Visualizando COVID19

El COVID-19 ha paralizado el mundo y todos andamos perdidos sin saber qué hacer.

Todos los que nos dedicamos a la visualización de datos andamos estos días intentando entender la explosión de esta enfermedad.

He visto infinidad de dashboards que intentan hacer esto. Y, cómo me parece un ejercicio magnífico, voy a hacer una recopilación.

Empecé este artículo en Linkedin pero me lo voy a traer aquí para poder desarrollarlo más y mejor.

Los focos de interés (siempre desde mi punto de vista) son dos:

• Cómo se propaga en el mundo
• Cómo se propaga alrededor mío.

Internacional:

A nivel internacional tenemos estos magníficos dashboards:

Evolución en el tiempo: https://www.healthmap.org/covid-19/

Introducción a los modelos de previsión de ventas con python y tensorflow

Introducción

En Jortilles Llevamos algún tiempo trabajando con modelos predictivos y librerías de Machine Learning. Concretamente con TensorFlow . Hoy queremos hacer un ejercicio de predicción de ventas. Para ello necesitaremos un poco más de potencia que en la entrada anterior. Por eso lo haremos con Python + TensoFlow.

En ésta entrada presentamos una introducción a algunos de los modelos que podemos usar para realizar previsiones de ventas. La previsión de ventas, o en general previsión de series temporales, es un campo ámpliamente estudiado en el campo de la estadística. Éste trabajo pretende ser un resumen de algunas de las técnicas más comunes que podemos usar para realizar previsiones a futuro.

Presentaremos dos modelos: ARIMA (Autoregressive integrated moving average) y un modelo basado en redes neuronales. En cada caso trabajaremos con dos sets de datos, uno real y uno prefabricado que nos servirá para evaluar la calidad del modelo.

KCM19

Un año mas Jortilles ha asistido al KCM19. ¡Y ha sido un gran evento! Cómo knowBI cuenta en su web, el evento ha sido renombrado de PCM a KCM; porque, entre otras cosas, se habla principalmente de Kettle. En eventos anteriores era así y en este todavía mas.

El evento empezó el viernes con las Deep Drive Sessions. Sesiones donde se toca a fondo un tema ( todo lo «a fondo» que permiten dos horas. ) Había que elegir entre Apache Beam y Neo4J. Yo opté por Neo4j y me quedé con las ganas de asistir a la otra. Pero no se puede estar en dos sitio a la vez… Igualmente no me arrepiento. Fue muy interesante. Aprendimos mucho sobre Neo4j y Kettle. Ya os avanzamos algo en esta introducción, pero seguro que haremos mas posts.

Gracias a Tom Geudens por su interesante y divertida charla!

Tras lo cual disfrutamos de la maravillosa vida nocturna de Amberes.

El sábado fue el día principal donde todas las charlas se estructuraron en una única secuencia. Por lo que no tuvimos que elegir.

TensorFlow.js

Tensorflow.js es una de las principales librerías para el desarrollo y entrenamiento de modelos de machine learning. Nosotros usaremos su implementación en  JavaScript.  Esto nos facilitará hacer un ejemplo sencillo y funcional. TensorFlow nos permite hacer clasificaciones: Según los datos que tengo, predigo que este cliente compara o no comprara. Pero también podemos hacer regresiones. Según los datos que tengo, predigo que este cliente debería gastarse X importe.

En este ejemplo nuestro objetivo  es construir un modelo sencillo de red neuronal para resolver un problema de clasificación binaria ( compra o no compra ) y presentar las herramientas que ofrece la librería para diseñar y probar el modelo.

En los problemas de clasificación el objetivo es que nuestro modelo sea capaz de, dada una entrada, predecir si la salida será de tipo A (Compra) o B ( No Compra). En éste caso se trata de una problema de clasificación binaria puesto que sólo hay dos clases de salida (A-Compra o B-No compra), pero puede extenderse a más de dos clases.

NEO4J

Hoy queremos hablaros de NEO4J . Neo4j es una base de datos orientada a grafos. En contraposición a las bases de datos SQL (postgreSQL, SQLServer, etc), una base de datos orientada a grafos (BDOG) representa la información como nodos de un grafo y sus relaciones con las aristas del mismo, de manera que se pueda usar teoría de grafos para recorrer la base de datos.

En una base de datos SQL estructuramos la información en tablas. Cada tabla tiene una estructura predefinida (campos, tipos, claves primarias y foraneas, etc.). En las bases de datos orientadas a grafos la información se representa mediante nodos y aristas. Hay distintas bases de datos orientadas a grafos y cada una presenta sus peculiaridades, hoy hablaremos de NEO4j.

Este tipo de bases de datos están especialmente indicadas para ayudarnos con todo lo que tenga que ver con las relaciones. Analizar redes sociales, identificar influencers, Implementar recomendadores en función de similitudes y afinidades, detectar fraudes, etc.

Tutorial d3.js

D3.js es una librería de javascript que nos permite manipular documentos basándonos en sets de datos.

Esto es especialmente interesante cuando queremos hacer visualizaciones avanzadas cómo estas:

En jortilles estamos haciendo cosas muy impactantes gracias a D3.js

Con este post no pretendemos hacer un tutorial completo de d3.js sino ofrecer una introducción a los elementos más básicos que nos den una idea de las posibilidades de esta librería.

Para ello nos hemos fijado como objetivo representar relaciones entre dos grupos A y B mediante nodos y aristas, que representaran los elementos de cada grupo y las relaciones entre ellos.  Al final del tutorial conseguiremos algo parecido a esto (pasa el cursor por encima de los nodos):

Para empezar a usar d3js podemos descargar la librería en nuestro equipo o podemos añadir ésto a nuestro documento html:

Tendencias BI 2019

El mercado de las soluciones analíticas está cambiando y bastante deprisa en los últimos años.  Antes había unas cuantas herramientas que se repartían el mercado, cada una en su segmento. Cognos, Business Objects y Microstrategy para las grandes empresas. Qlik y Tableau para las medianas y Pentaho ( ahora Hitachi Vantara), Jasper y SpagoBI  (ahora Knowgate) en el àmbito Open Source.

Pero ha pasado que, las soluciones Open Source, se han comido parte del mercado. Por lo que, las soluciones de pago han ido abaratando costes progresivamente. Además de la irrupción del cloud. Todo esto ha hecho que casi todas las herramientas hayan sacado una versión cloud mucho más barata y mantenible. Así cómo ediciones personales gratuitas.

Dibujando con SVG

A veces ves dashboards tan atractivos cómo este y te preguntas… ¿cómo hacen para incorporar gráficos personalizados cómo el camion?

En esta guía entenderemos mejor como funciona el tag svg que nos proporciona html y veremos cómo pintar un camión simple… a partir de ahi… tu imaginación.

SVG (Scalable Vector Graphics) son dibujos vectoriales donde podemos recrear cualquier ilustración que tengamos en mente. Lógicamente ,cuanto más difícil sea, más complejo será el código.

Ahora aprenderemos los elementos básicos de svg, lo que podemos denominar como el Hello World de svg.

Nueva version de WAQE

Es un placer anunciar que hemos subido al marketplace de pentaho una nueva versión de WAQE. Es la primera revisión de la primera versión que consideramos estable y hemos pulido algunos bugs y añadido algunas funcionalidades nuevas. Entre las  que destacan filtros personalizados o aumentar el volumen de datos a exportar.

Si estais usando la versión 7.1 de pentaho o superior ya podéis acercaros al marketplace y descargar la nueva veersión. Si estáis usando versiones anteriores…. es hora de actualizar. 😉

Todo el feedback es bienvenido, aunque agradecemos mucho más los comentarios positivos.

Que todavía no sabes qué es WAQE? Te lo explico Aqui mismito  pero haciendo un resumen:

• Es un cliente de consultas libres sobre la metadata de Pentaho. (Web Adhoc Query Executor) es el sucesor de WAQR.
• Es nuestra pequeña aportación a la comunidad
• Es open source y libre
• Es el proyecto con el que no  nos haremos ricos.