Entendiendo a BigData (Parte I)

A fines de los años noventa del Siglo XX, IBM creó el concepto e-business y en menos de lo que cantaba un gallo, todos los proveedores de Hardware y Software se aprestaban a ofertar productos "Listos para e-business" o que afirmaban ser la mejor alternativa.

Posteriormente todos los proveedores hacían Service Oriented Architecture (SOA), Virtualización, Cloud Computing, etc. Tal pareciera que en ocasiones los proveedores de Tecnologías de la Información gustan de montarse en "la última ola" o mas bien "la última moda".

Hoy y como resultado del acelerado crecimiento en la utilización de las Redes Sociales, la implantación de la Web 2.0 y el Cómputo en la Nube, ha nacido algo que se le ha dado el nombre de BigData.

Considerando que la Web 2.0 enlaza a personas, empresas y cosas en línea, mientras que el Cómputo en La Nube plantea a la transición a una infraestructura de computación en línea, es por lo que entonces podemos afirmar que BigData nace como la consecuencia lógica de las enormes necesidades de almacenamiento y procesamiento de grandes cantidades de información digital, que no pueden ser analizados con técnicas de computación tradicionales.

Así pues entonces podemos definir de manera "a priori" a BigData como -"...almacenamiento y procesamiento de grandes cantidades de información digital, que no pueden ser analizados con técnicas de computación tradicionales."-

Solo como una referencia, CISCO estima que para finales de 2015 el tráfico global de Internet llegará a 4.8 zettabytes de un año. Esto es 4.8 millones de terabytes.

En estas entradas intentamos ofrecer una visión general de las características de BigData, tecnologías y oportunidades. 

La cantidad de datos informáticos que se generan en el planeta Tierra está creciendo de manera exponencial por una serie de razones relacionadas. Para empezar, como resultado del comercio electrónico y programas de fidelización de la tarjeta, los vendedores al detalle están comenzando a construir enormes bases de datos de actividad de los clientes registrados.
Las organizaciones que trabajan en la logística, servicios financieros, salud y muchos otros sectores también están ahora capturando más y más datos con la finalidad de generar un valor adicional para sus Clientes Finales.

El uso cada vez mas masivo y la popularización de los medios de comunicación social también está creando grandes cantidades de material digital que potencialmente puede ser explotado y reutilizado para generar más y muy valiosa información. 

Otro factor importante es la evidente mejora el reconocimiento por video, lo cual ya es posible realizar a través de los equipos de cómputo personal para recopilar y relacionar información útil.

A medida que más "appliances" inteligentes van agregándose a la red de datos en línea, se están generando grandes cantidades de información por una expansión de lo que se llama "Internet of Things". 

Por último diversos avances científicos como la rápida secuenciación del genoma humano, la proliferación de la nanotecnología, el fomento a la biología sintética y la simulación del clima, están comenzando a generar y tomar como materia prima grandes cantidades de datos que eran hasta hace muy poco casi inimaginables. 

La captura, almacenamiento y generación de valor a partir del BigData plantea una serie de desafíos técnicos y conceptuales que van más allá de las capacidades de la computación tradicional.

Para tener una idea de los retos que plantea BigData según la mayoría de los analistas y especialistas, estos apuntan a los que "de facto" son los mas acuiciantes conocidos como las "tres V": 

• Volumen 
• Velocidad 
• Variedad

El Volumen es el que plantea el mayor retos para BigData, por ende su mayor oportunidad. Esto es porque el almacenamiento, la interconexión y el procesamiento de grandes cantidades de información digital ofrece grandes posibilidades para una amplia gama de actividades y Servicios.

Los campos de aplicación para estos altos Volumen de BigData se incluyen la posibilidad de predecir el comportamiento de los clientes, el diagnóstico de las enfermedades, la planificación de los servicios de salud y el modelado del clima. 

Sin embargo, las soluciones tradicionales de computación como bases de datos relacionales son cada vez menos capaces de manejar estas tareas. La mayoría de las soluciones informáticas de hardware tradicionales tampoco son escalables a las proporciones de datos grandes.

La Velocidad de BigData también plantea una serie de retos. Para empezar, la velocidad a la que los datos fluyen en la mayoría de las organizaciones es cada vez mayor más allá de la capacidad de sus sistemas de TI para almacenar y procesar.
Qué decir de los usuarios que exigen cada vez más el flujo de datos en tiempo real con cada vez mayor frecuencia a través de los dispositivos móviles.
Dentro de esos datos en tiempo real se encuentran el video en línea, seguimiento de la ubicación y muchas otras aplicaciones se basan actualmente en grandes cantidades de estos flujos de datos en alta velocidad. Esto plantea todo un reto para las empresas que entregan la información. 

Por último y no menos importante tenemos a la Variedad que exige BigData. Ahora todas las organizaciones e individuos procesamos una cada vez mayor variedad y densidad de tipos de información.

Ya quedaron atrás los días en los centros de datos sólo tenían que procesar los documentos, transacciones financieras, registros de derechos y los archivos de personal. Hoy en día es indispensable procesar fotografías, audio, video, modelos 3D, simulaciones complejas y datos de localización,  apilados muchas veces en silos de datos dentro de las empresas. 

Cabe recordar que la mayoría de las fuentes de BigData también son casi en su totalidad no estructurada y por lo tanto difícil de clasificar y procesar con técnicas de computación tradicionales.

Todo lo anterior nos permite concluir que Bigdata son en realidad datos desordenados que requieren de una gran cantidad de esfuerzo en el pre-procesamiento y limpieza de datos antes de que pueda llevarse a cabo cualquier cualquier análisis significativo.

En una entrega posterior, ahondaremos en cuáles son las soluciones que los proveedores de Hardware, Software y Servicios, ofrecen a las empresas y personas para poder aprovechar este nuevo fenómeno denominado BigData.