KCM19

Un año mas Jortilles ha asistido al KCM19. ¡Y ha sido un gran evento! Cómo knowBI cuenta en su web, el evento ha sido renombrado de PCM a KCM; porque, entre otras cosas, se habla principalmente de Kettle. En eventos anteriores era así y en este todavía mas.

El evento empezó el viernes con las Deep Drive Sessions. Sesiones donde se toca a fondo un tema ( todo lo «a fondo» que permiten dos horas. ) Había que elegir entre Apache Beam y Neo4J. Yo opté por Neo4j y me quedé con las ganas de asistir a la otra. Pero no se puede estar en dos sitio a la vez… Igualmente no me arrepiento. Fue muy interesante. Aprendimos mucho sobre Neo4j y Kettle. Ya os avanzamos algo en esta introducción, pero seguro que haremos mas posts.

Gracias a Tom Geudens por su interesante y divertida charla!

Tras lo cual disfrutamos de la maravillosa vida nocturna de Amberes.

El sábado fue el día principal donde todas las charlas se estructuraron en una única secuencia. Por lo que no tuvimos que elegir.

Empezó Bart Maertens dando la bienvenida al evento. Tras lo cual Matt Casters nos hizo un resumen de las novedades en las últimas versiones de Kettle / Pentaho Data Integration.

A continuación fué el turno de Jens Bleuel y Leonardo Coelho. Que hicieron un repaso a las diferentes formas que la comunidad tiene para colaborar con Hitachi Vantara en Pentaho Data Integration y el proceso para hacerlo.

Mark Hall y Ken Wood presentaron PMI y Hey Ray! La verdad es que resultó bastante impresionante ver cómo el módulo PMI puede clasificar imágenes y cómo podemos hacer una interfaz de usuario sencilla, fácil y amigable.

Mark Hall, nos estuvo explicando cómo funciona el modulo PMI y cómo weka se beneficia de la colaboración con Pentaho. Muy prometedor. Así mismo sirvió de introducción para algunas de la siguientes charlas en las que se volvió sobre este tema.

Kunal Pattni hizo la única charla en la que pudimos ver el BA Server y un dasbhoard con CTOOLS. Kunal nos mostró un dashboard donde se representaba el mapa del mundo a través de Neo4j + CTOOLS. Muy logrado, muy interesante y elegante. Bravo por Kunal! Despertaste muchas ideas interesantes gracias a esta charla. La gente de Ubiquis son unos cracks!

Luego fué el turno, una vez más de Matt Casters con una nueva edición de Kettle Sucks…. «Kettle Sucks Again». Donde hizo un repaso de las principales carencias de kettle así como de cosas que no están del todo bien.

Anna Rumyantseva y Elena Salova volvieron sobre la tríada kettle + PMI + Neo4j para proponer un módulo de machine learning que automatize los procesos ETL. Que te sugiera cual va a ser tu próximo paso. Muy interesante. Sobretodo porque sugieren que los desarrolladores se dediquen a beber Cerveza mientras la máquina trabaja. Yo quiero apuntarme a su equipo!!

Esta charla fué muy inspiradora. Pero por «otros motivos». Presentaron una propuesta de UI para Kettle que causó furor:

Finalmente se propuso integrar sugerencias al estilo «Que haría Diethard en este caso? Secuencio la propuesta!

Luego vinieron algunas charlas sobre automatización, tests unitarios e integración continua. Beppe Raymaekers nos contó cómo lo hacen en Hitachi y las buenas prácticas oficiales. Muy interesante!

Tras otra pausa para el muy necesario café fue el turno de Tom Barber. Que vino a hablarnos de la ASF ( y no de saiku cómo mucho se hubieran imaginado ). Nos explicó cual es el proceso que se sigue en la ASF para aceptar un proyecto y el ciclo de vida del mismo.

Guido Van de Kerhof nos contó cómo están usando Kettle en ABN AMRO. Jortilles hemos trabajado alguna vez con algún banco y sabemos la burocracia que tienen. Y que es necesaria para asegurar la calidad del código. A nadie nos gusta ver un agujero en nuestra cuenta bancaria… je je. Nos contó por ejemplo, que desde que se implementa un cambio hasta que llega a producción suelen pasar de media 5 dias.

Me parece un tiempo aceptable, dado el contexto.

Lokke Bruyndonckx nos explicó la solución que habían implementado para hacer segimiento de los datos a través de una etl y cómo poder identificar todas las transformaciones donde se utiliza un campo en concreto, por ejemplo. Una vez más tenemos a Neo4J detrás de esta solución. Todo es un grafo….

Nelson Sousa y Luis Silva nos mostró el framework que Ubiquis había desarrollado para asegurar el éxito de un proyecto caótico. Querían hacer un datawarehouse a partir de diversas bases de datos mantenidas manualmente y de orígenes heterogéneos. Ciertamente no me gustaría estar en los zapatos de Beppe. Pero parece que los genios de Ubiquis están haciendo su magia. En Jortilles hacemos tests en nuestros desarrollos, pero Luis Silva está a otro nivel.

Nelson Sousa y Luis Silva nos presentaron la infraestructura que había montado para desarrollar, mantener y evolucionar un proyecto ETL muy conflictivo de una forma autimatizada y consistente. Untilizando Git y Jenkins. Una combinación que se está volviendo muy popular.

Hans Van Akelyen y Bart Maesters nos hablaron del proyecto Hop! El proyecto Hop es el proyecto por el que Matt, Bart y otros mienbros de la comunidad quieren llevar Kettle a la Apache Software Foundation para así volver a tener el control sobre el desarrollo de kettle y poder implementar mejoras sobre el. Dado el camino que está siguiendo Hitachi Vantara de parar los dearrollos de kettle para focalizarse en la integración con sus sistemas. Movimiento que no se puede criticar, al fin y al cabo son los dueños de kettle. Pero creo que el proyecto Hop es la respuesta natural ante el inmovilismo de Hitachi. Personalmente me asusta un poco el periodo de transición pero creo que es un movimiento en la buena dirección.

Estoy deseando probar Hop!

Por último. Si quieres ver las sesiones. La gente de Know-bi las grabó. ¡¡¡¡Hechale un vistazo a los videos!!!!