Herramientas de Big Data

Como el Big Data es algo que no deja de crecer, las que se usan para gestionarlo evolucionan con el y se perfeccionan permanentemente. se emplean las herramientas como Hadoop, Pig, Hive, Cassandra, Spark, Kafka, etc., dependiendo de los requisitos de cada organización. Hay muchísimas soluciones, y buena parte de ellas son de código abierto. También hay una fundación Apache Software Foundation (ASF)— que apoya muchos de estos proyectos sobre Big Data. 

Como esas herramientas son muy importantes para el Big Data, vamos a explicar un poco en que consisten. Quizá una de las mas afianzadas para analizar Big Data sea Apache Hadoop un marco de trabajo de código abierto para almacenar y procesar grandes conjuntos de datos. Otra que cada vez esta recibiendo mas atención es Apache Spark. Una de las ventajas de Spark es que puede almacenar gran parte de los datos de procesamiento en la memoria y en el disco, así que pude ser mucho mas rápido. Spark puede funcionar con el sistema de archivos distribuidos de Hadoop (HDFS), Apache Cassandra u OpenStack Swift y muchas otras soluciones de almacenamiento de datos. Pero una de sus mejores funciones es que Spark puede funcionar en una sola maquina local y eso facilita enormemente el trabajo. 

Otra solución es Apache Kafka que permite a los usuarios publicar y suscribirse a fuentes de datos en tiempo real. La principal tarea de Kafka es trasladar la fiabilidad de otros sistemas de mensajería a los datos es streaming. 

Estas son otras grandes herramientas de Big Data:

  • Apache Lucene: Puede usarse para cualquier motor de recomendación porque utiliza bibliotecas de software de indexación y búsqueda de textos completos.
  • Apache Zeppelin: Es un nuevo proyecto que permite el análisis de datos interactivos con SQL y otros lenguajes de programación.
  • Elasticssearch: Es mas bien un motor de búsqueda empresarial. Lo mejor de esta solución es que puede aportar conocimientos a partir de datos estructurales y no estructurados.
  • TensorFlowers: Una biblioteca de software en auge porque se utiliza para el aprendizaje automático.
El Big Data seguirá creciendo y cambiando y por lo tanto, las herramientas también. Y quizá dentro de unos años las construcciones que usemos sena totalmente distintas. Pero, tal como hemos dicho, algunas de las herramientas funcionan con datos estructurados o no estructurados.



 


Comentarios

Publicar un comentario

Entradas populares de este blog

Cómo construir un plan de Data Governance en Big data

Imagen
Gobernabilidad significa asegurarse de que los datos estén autorizados, organizados y con los permisos de usuario necesarios en una base de datos, con el menor número posible de errores, manteniendo al mismo tiempo la privacidad y la seguridad . Esto no parece un equilibrio fácil de conseguir, sobre todo cuando la realidad de dónde y cómo los datos se alojan y procesan está en constante movimiento. A continuación veremos algunos pasos recomendados al crear un plan de Data Governance en Big Data. 1. Acceso y Autorización Granular a Datos 2. Seguridad perimetral, protección de datos y autenticación integrada Con la autenticación, se trata de ver  cómo integrarse con LDAP [Lightweight Directory Access Protocol], Active Directory y otros servicios de directorio . También se puede dar soporte a herramientas como Kerberos para soporte de autenticación. Pero  lo importante es no crear una infraestructura separada, sino integrarla en la estructura existente. 3. Encriptación y Tokeni...
Leer más

¿Cómo funciona el Big Data?

Imagen
La idea principal que subyace al Big Data es que cuanto más sabes sobre algo, mejor lo entiendes y te ayuda a tomar una decisión o buscar una solución. En muchos casos, este proceso está totalmente automatizado; contamos con unas herramientas tan avanzadas que crean millones de simulaciones para dar el mejor resultado posible. Pero para conseguirlo con la ayuda de las herramientas analíticas, el aprendizaje automático o incluso la inteligencia artificial, hay que saber cómo funciona el Big Data y configurarlo todo correctamente. La necesidad de gestionar tantos datos requiere una infraestructura estable y bien estructurada. Habrá que procesar rápidamente ingentes volúmenes y distintos tipos de datos y esto puede sobrecargar un único servidor o clúster. Por eso tendrás que contar con un sistema bien pensado para gestionar el Big Data. Según la capacidad del sistema, se deberán tener en cuenta todos los procesos. Y en el caso de las grandes empresas, pueden hacer falta cientos o miles de...
Leer más

Usos del Big Data

Imagen
El análisis del Big Data pueden hacerlo personas y máquinas, según las necesidades de cada uno. Usando distintos métodos analíticos, puedes combinar distintos tipos de datos y fuentes para descubrir cosas y tomar decisiones relevantes. Así podrás lanzar tus productos más rápido y dirigirlos al público adecuado. Vamos a ver algunos de los usos más habituales del Big Data. Desarrollo de productos  Cuando el grueso de tu actividad se centra en el producto, el Big Data es más que imprescindible. Vamos a tomar un ejemplo que casi todo el mundo conoce: Netflix. ¿Cómo crees que hace Netflix para enviarte un mensaje con recomendaciones especialmente elegidas para ti cada semana? Con la ayuda del análisis de Big Data, claro. Utilizan modelos predictivos y te informan de las novedades que quizás te gusten clasificando los datos del pasado y los programas que has visto o marcado como favoritos. Hay empresas que utilizan otros recursos, como información de redes sociales, información de ventas...
Leer más