Sobre componentes, ecosistemas y plataformas en Big Data

Ando liado estos días reflexionado y discutiendo sobre Big Data con amigos y conocidos además de estar preparando unos materiales y haciendo investigación académica, así que recuperamos el tema aquí también. Sabemos que (big data) es un tema complicado, no lo digo yo solo, sino también Gartner, que además lo cuantifica: “dos tercios de los proyectos fracasarán” (!!). Esto va a ser un dolor de cabeza para muchos.

Aunque no debería sorprender a nadie. De hecho, va en línea de lo conocido para la inteligencia de negocio y que llevamos tiempo escuchando. Es necesario reconocer que este tipo de estrategias son complicadas de diseñar, implementar y hacer evolucionar. Dependen de tecnología, procesos y personas, y de esto último hemos hablando ya bastantes veces aquí y aquí.

Hay múltiples motivos para fracasar. Desde las barreras internas hasta la falta de apoyo de la dirección pasando por la falta de talento. Pero, entre tanto negocio y negocio, no hay que olvidar que Big Data es y seguirá siendo durante mucho tiempo un tema tecnológico.

Big Data trata de dominar el dato para generar valor. Y en ese control es necesario tener ingenieros del dato (además de los científicos del dato y de los trabajadores analíticos, claro). Un perfil que debe conocer qué componentes existen y para qué sirven, dentro de qué ecosistema se encuentran – sí, hablamos de Hadoop, de Spark y de los que vienen de camino –, y cómo los fabricantes lo combinan en plataformas. Al final quizá no para contar con una única plataforma, pero el ingeniero del dato debe ser capaz de decidir qué tecnologías de Big Data son las más adecuadas para un determinado caso de uso.

Las empresas deben reconocer que, a diferencia de otras tecnologías, Big Data no se encuentra en la fase de comprar, conectar, automatizar y ya estamos a punto (y probablemente pasemos muchos años antes de ver eso). Se trata de dominar flujos de datos, es decir, de capturar, procesar, almacenar, analizar y visualizar. Y ya no es posible usar una única plataforma en algunos escenarios (que nunca lo fue): lo que abre la puerta a plataformas ad-hoc y a los DevOps.

Eso sí, siempre nos quedará la gobernanza del dato que sí debe jugar el papel de anillo único (para dominarlos a todos, claro).

Josep Curto es colaborador docente del Máster en Inteligencia de Negocio y Big Data (MiB) de la UOC. Es además Director de Delfos Research, empresa especializada en investigación de los mercados de Business Intelligence, Business Analytics y Big Data.