CIENCIA DE DATOS
Millones de Datos Puestos a Prueba
Un total de 5.919.314 eventos asociados a 15.528.668 menciones procesados y analizados. Los ficheros CSV comprimidos ocuparon un total de 24Gb de espacio, incluyendo los de grafos cuyos datos no se han incluído en este proyecto.
Polars & Parquet
Se sustityó Pandas por Polars para la manipulación ultra-rápida de datos masivos comprimidos con Parquet.
Equilibrio Entre Diseño & Usabilidad
La programación manual de todo, sin utilizar webs o programas especializados, ha requerido mucho tiempo de revisión.
Algoritmo K-Means
Éste es el algoritmo de clústering eficiente por excelencia. Se probaron DBSCAN y HDSCAN buscando anomalías por diferencias en densidad. La imagen de la derecha muestra los cuatro grupos obtenidos con K-Means.
Visualización
4 Grupos Cartografiados
Los datos indican que el tono con el que se recopilan los eventos tiende a ser negativo. Su escala va de muy negativo (-100) a muy positivo (100). Por otro lado, la escala de Golstein, que se puede consultar en https://www.jstor.org/stable/174480, indica prominencia de eventos difefentes según el clúster. La dispersión de los sucesos respecto del "núcleo" de sus grupos no es constante entre clústeres.
La enseñanza es el acto más noble que un ser humano puede realizar, porque es compartir el alma misma.
PROYECCCIÓN
Reconstruyendo un Mundo de Experiencias
Contemplar una fotografía es un evento inusual: es el único momento en el que ves a través de los ojos de otro ser humano.
Al seleccionar los eventos que se encuentran a una determinada distancia de su centroide, podemos identificar aquellos que pueden clasificarse como anomalías. También es posible optar por analizar la distribución de uno o varios componentes, reducidos mediante técnicas como PCA (Análisis de Componentes Principales).
Si cogemos una subselección del dataset total que contenga estos datos, ¿cómo se distribuirán? Dado que los datos se agruparon, también, con coordenadas, ¿encontraremos patrones que no sean geográficos en estos? En la siguiente sección podremos consultar un mapamundi y salir de dudas.
