La democratización del análisis de datos

Con el frenesí proveniente de las continuas innovaciones y aplicaciones impulsadas por la tecnología e internet sacudiendo incesantemente practicamente a cualquier industria, la industria de la música como bien sabes, es de las más sensibles a este tipo de nuevas aplicaciones y avances como ya hemos dado testimonio en otros artículos.

Pues bien, en el siguiente post tienes una ración extra sobre el mundo del análisis de datos y la evolución de las herramientas de ciencia de datos que ponen al alcance de nuestra mano el tratamiento de una cantidad cada vez más grande de datos, con el reto de extraer información y conocimiento práctico para una mejor toma de decisiones.

Artículos relacionados:

El análisis de datos fue históricamente algo reservado a los especialistas, ayudados por una organización de informáticos responsable del garaje de datos de la empresa, inteligencia empresarial y plataformas de administración de datos maestros.

Éste método de trabajo entregaba inteligencia empresarial, pero le requería a las compañías sacrificar su flexibilidad, reactividad y autonomía. Las herramientas de inteligencia empresarial pesadas convirtieron a los analistas de datos y a los informáticos de habilitadores a gatekeepers, manteniendo a la gente del negocio a una distancia un poco alejada de sus propios datos.

En una era de estabilidad empresarial, no había incentivo para innovar en obtener una solución a este problema: las cosas funcionaban suficientemente bien para ser aceptables y la inteligencia empresarial entregaba buenos resultados. Luego, la revolución digital destruyó esta comodidad. La tecnología móvil y el Internet de Las Cosas le permitió a los procesos empresariales ser monitoreados minuciosamente a tiempo real. Casi cualquier empleado en un negocio digital se puede beneficiar de tener las herramientas necesarias para convertir los datos en conocimiento. Las empresas que fallaban en democratizar el análisis de datos se quedaban rápidamente detrás de sus competidores.

People have the power

Antes de 2001, el software era diseñado para uso empresarial de las organizaciones, pero la explosión de los computadores personales, el internet y los dispositivos móviles causaron que los desarrolladores cambiaran su eje y empezaran a diseñar software para el consumidor final individual, en vez de para la organización. Como resultado el software se convirtió en algo más personal y usable.

El proceso de la consumerización fue acompañado por el avance del software de código abierto. El código abierto hizo que el software de grado empresarial estuviera disponible sin coste y dejó que los usuarios conocedores de la tecnología experimentaran sin tener que pasar por los guardianes (gatekeepers) de la informática y las finanzas. Una década después de la primera emergencia del código abierto en los negocios, los usuarios fueron ayudados otra vez más con los vendedores para los servicios en la nube, los cuales proveyeron ambientes en donde podían desplegar software libre – o en el caso de que ya lo hayan desplegado – separarlos de la infraestructura corporativa.

Al mismo tiempo que comenzaba la nube, una generación de “nativos digitales” – personas que habían crecido con computadoras como parte ordinaria de sus vidas – empezaron a entrar en el lugar de trabajo. Ellos utilizaban software consumerizado y no veían la programación como algo reservado para los especialistas informáticos, sino como una habilidad muy útil: la programación no sólo era para la ciencia o la ingeniería, pero también era para las ciencias sociales y humanas. Los nativos digitales aguardan con usar software para resolver sus problemas, y tienen la habilidad para hacerlo.

De golpe, los datos se liberaron

A finales de los 2000, las herramientas de descubrimiento de datos consumerizados y los nativos digitales se juntaron para prender un fuego debajo de la inteligencia empresarial común. Herramientas tales como Qlik, Spotfire y Tableau podían funcionar en la misma computadora de un usuario y podían ingerir, procesar, explorar y visualizar datos. Estas herramientas todo-en-uno y de auto-servicio les permitían a los usuarios evitar el kit de herramientas de inteligencia empresarial pesada del departamento de informática y los tiempos de espera largos.

Como era de esperar, las herramientas de descubrimiento de datos consiguieron un crecimiento rápido e inmenso, y se convirtieron tan importantes en el mercado como las plataformas de inteligencia empresarial establecidas de los vendedores empresariales.

El análisis de datos había sido democratizado.

Siguiente frontera: Big Data y analíticas avanzadas

Justo cuando parecía que un nuevo paradigma había superado a la inteligencia empresarial, el mercado fue barrido por el Big Data y la analítica avanzada.

La llegada del Big Data cambió el centro de gravedad de la inteligencia empresarial fuera del almacenamiento de datos empresarial y las hojas de cálculo corporativas. El Big Data requerían que los análisis incluyeran docenas de nuevas fuentes de datos: sitios web y archivos de registro del sistema, datos de publicidad y opiniones, medidas del Internet de las Cosas, datos de socios, datos de clima, econometrías y más. La inteligencia empresarial tradicional y las herramientas de descubrimiento de datos fueron creadas en el mundo de las hojas de cálculo corporativas, mercado de datos y almacenes de datos – no siendo así con el Big Data. Los vendedores rápidamente le dieron la habilidad a sus herramientas de conectarse con el Big Data, usualmente con adaptadores SQL a Hadoop, pero la experiencia no era la misma que la de una herramienta diseñada desde cero para atajar los desafíos del ambiente digital.

Al mismo tiempo, la transformación digital del negocio creó la necesidad de las empresas de identificar y aprovechar “momentos empresariales”. Estos momentos son oportunidades transitorias para los consumidores, negocios y las máquinas para interactuar. Por ejemplo, una lavadora con funcionalidad de internet podría notificar que se está acabando su detergente, iniciando una interacción con la lavadora del dueño y un conjunto de proveedores para rellenar su suministro de detergente.

El negocio digital pone un Premium en las analíticas avanzadas para la habilidad de predecir, simular y optimizar resultados. La inteligencia empresarial y las herramientas de descubrimiento de datos son excelentes en responder preguntas retrospectivas – tales como “¿Qué pasó?” y “¿Por qué?” – pero no tienen un registro de responder a preguntas predictivas.

Una serie de herramientas fueron desarolladas o readaptadas para soportar analíticas avanzadas de Big Data. Estos incluían software de código libre (R, Python, SPARK) y herramientas propietarias (más notablemente, ofertas de IBM y SAS). La mayoría de las herramientas de analíticas avanzadas son mesas de trabajo diseñadas para permitir a un analista de datos con conocimiento de tecnología crear sus propias aplicaciones predictivas y de descubrimiento. En otras palabras, estas herramientas tomaban el análisis de datos fuera del usuario de negocio y lo devolvía al departamento de informática.

Vuelve la democratización

A pesar de estas limitaciones, los beneficios que el auto-servicio y las herramientas traían a la inteligencia empresarial eran demasiado buenas para que las compañías las dejaran ir completamente. Como resultado, los vendedores de inteligencia empresarial de negocios tradicionales rápidamente añadieron capacidades de descubrimiento de datos en sus productos, mientras los vendedores de herramientas de descubrimiento de datos empezaron a añadir funciones de empresa, tales como seguridad sofisticada a sus herramientas. La inteligencia empresarial converge en el paradigma de descubrimiento de datos de auto-servicios, pero implantado en una plataforma que provee seguridad de clase, escalabilidad, desempeño y administración.

El Big Data también fueron establecidos firmemente en el futuro de la inteligencia empresarial. Los vendedores están mejorando sus productos para llevar a cabo el descubrimiento de datos contra conjuntos de datos más largos y diversos, además de soportar análisis complejos. Esto es un trabajo en progreso, pero las ofertas maduras están en proceso y/o en camino.

Las analíticas avanzadas son más difíciles de descifrar – es el reino de los científicos de datos, y requiere un nivel de entendimiento y habilidad mucho más allá que la de un usuario con conocimientos de tecnología con otro trabajo que hacer. La mayoría de las compañías solo permiten tomar sus necesidades más urgentes para las analíticas avanzadas, porque la demanda de los científicos de datos supera mayormente la oferta. Este punto de dolor es una gran oportunidad para cualquier vendedor capaz de democratizar las analíticas avanzadas, incluso de forma limitada. Como resultado, el problema está siendo atacado desde un número de direcciones convergentes.

Los científicos de datos altamente capacitados se beneficiarían de ser capaces de usar las capacidades visuales del descubrimiento de datos de las herramientas de inteligencia empresarial en los datos grandes como parte de su flujo de trabajo de analíticas avanzadas. Los vendedores de inteligencia empresarial están trabajando duro para permitir esto.

Los vendedores también están buscando ayudar a los usuarios no-expertos creando herramientas de analíticas avanzadas consumerizadas que les permitan llevar a cabo analíticas pre-definidas o simplificadas por ellos mismos. La lógica de la democratización es obvia: los usuarios que entiendan los datos son una oferta más grande que los científicos de datos, y con las herramientas correctas se podría ayudar a las compañías a tapar el hueco de sus habilidades en cuanto a ciencia de datos.

Viendo más allá en el futuro, Se está haciendo una gran cantidad de trabajo para traer el aprendizaje automático para que ayude en las analíticas avanzadas. Los investigadores de las universidades ya han demostrado máquinas asistentes de ciencia de datos que son capaces de generar automáticamente los mejores modelos predictivos para un conjunto de datos y algoritmos que excavan el Big Data buscando ideas. Estos asistentes de ciencia de datos están llegando a ser tan eficientes como un científico de datos promedio. Después de que sean suficientemente maduros para ser útiles, estas funciones serán implementadas en herramientas comerciales y de código abierto.

Conclusión

La trayectoria de la democratización del análisis de datos es clara: el descubrimiento de datos automático se expandirá para cubrir las fuentes de datos tradicionales y el Big Data, y luego se expandirá más para así cubrir las analíticas avanzadas.

Hay una necesidad desesperada y creciente de habilitar a los usuarios no-especialistas con trabajos a tiempo completo para tomar la exploración y analíticas de datos de auto-servicio en datos grandes.

Es muy temprano para decir cuál de las soluciones candidatas tendran éxito. Pero lo que si es cierto es que, con la cantidad de datos en la tierra creciendo 10 veces su cantidad para el 2020, de acuerdo con el Estudio Anual del Universo Digital de IDC en 2014, la democratización de análisis de datos será una fuerte irrefreanable en el negocio digital.

Original de Dudley, I.,«Uncommon Sense: The Democratization of Data Analysis»