Lago de datos

¿Qué es un lago de datos?

Un lago de datos se refiere a un repositorio de almacenamiento central donde se almacena una gran cantidad de datos granulares sin procesar en su formato nativo. Es un repositorio de almacenamiento único que contiene datos estructurados, datos semiestructurados y datos no estructurados.

Se utiliza un lago de datos donde no hay restricciones fijas de almacenamiento ni de tipo de archivo y el énfasis está en el almacenamiento de formato flexible para uso futuro. La arquitectura del lago de datos es plana y utiliza etiquetas e identificadores de metadatos para una recuperación de datos más rápida en un lago de datos.

El término «lago de datos» fue acuñado por el director de tecnología de Pentaho, James Dixon, para compararlo con el repositorio de almacén de datos refinado y procesado. La popularidad de los lagos de datos sigue creciendo, especialmente entre las empresas que prefieren un almacenamiento de datos grande e integral.

Los datos de un lago de datos no se filtran antes del almacenamiento y el acceso a los datos para su análisis es ad hoc y variado. Los datos sólo se transforman cuando son necesarios para el análisis. Sin embargo, los lagos de datos requieren un mantenimiento regular y alguna forma de gobernanza para garantizar la usabilidad y accesibilidad de los datos. Cuando los lagos de datos no se mantienen adecuadamente y ya no son accesibles, se les conoce como «pantanos de datos».

Lagos de datos versus almacenes de datos

Los lagos de datos suelen confundirse con los almacenes de datos; Por lo tanto, para comprender los lagos de datos, es importante reconocer las diferencias fundamentales entre los dos repositorios de datos.

Como se mencionó anteriormente, ambos son almacenes de datos que tienen el mismo propósito y objetivo universal, que es almacenar datos organizacionales para respaldar la toma de decisiones. Los lagos de datos y los almacenes de datos son alternativas y se diferencian principalmente en su arquitectura, que se puede dividir sucintamente en los siguientes puntos.

estructura

El esquema de un lago de datos no está predeterminado antes de que se le apliquen los datos. Esto significa que los datos se almacenan en su formato nativo, que incluye datos estructurados y no estructurados. El procesamiento de datos tiene lugar durante el uso. Sin embargo, un esquema de almacén de datos está predefinido y predeterminado antes de que se apliquen los datos, un estado conocido como Esquema al escribir. Los lagos de datos se llaman lagos de datos. Esquema mientras lee.

flexibilidad

Los lagos de datos son flexibles y adaptables a las condiciones y circunstancias de uso cambiantes, mientras que los almacenes de datos tardan mucho tiempo en definir su esquema, que no se puede adaptar apresuradamente a los requisitos cambiantes. Los lagos de datos pueden ampliar fácilmente su almacenamiento escalando sus servidores.

interfaz de usuario

Acceder a datos en un lago de datos requiere algunas habilidades para comprender las relaciones de los datos debido a su esquema indefinido. En comparación, los datos de un almacén de datos son fácilmente accesibles debido a su esquema estructurado y definido. Muchos usuarios pueden acceder fácilmente a los datos del almacén, aunque no todos los usuarios de una organización comprenden la accesibilidad de los lagos de datos.

¿Por qué crear un lago de datos?

Almacenar datos en un lago de datos para su posterior procesamiento bajo demanda es rentable y proporciona a los analistas de datos una vista ininterrumpida. Las otras razones para crear un lago de datos son las siguientes:

• La estructura diversa de datos en un lago de datos significa que ofrece a los analistas de datos una calidad de análisis más sólida y rica.
• No es necesario modelar datos en un esquema empresarial con un lago de datos.
• Los lagos de datos brindan flexibilidad en el análisis de datos con la capacidad de cambiar datos estructurados a no estructurados que no se encuentran en los almacenes de datos.
• La inteligencia artificial y el aprendizaje automático se pueden utilizar para crear pronósticos rentables.
• El uso de lagos de datos puede dar a una empresa una ventaja competitiva.

Arquitectura del lago de datos

Una arquitectura de lago de datos puede acomodar datos no estructurados y estructuras de datos dispares de múltiples fuentes en toda la organización. Todos los lagos de datos tienen dos componentes: almacenamiento y computación, y ambos pueden estar en las instalaciones o en la nube. La arquitectura del lago de datos puede aprovechar una combinación de ubicaciones locales y en la nube.

Es difícil medir el volumen de datos que debe ingerirse un lago de datos. Por este motivo, la arquitectura del lago de datos ofrece una escalabilidad ampliada hasta un exabyte, un rendimiento que un sistema de almacenamiento tradicional no puede lograr. Los datos deben etiquetarse con metadatos a medida que se aplican al lago de datos para garantizar la accesibilidad futura.

A continuación se muestra un diagrama conceptual para una estructura de lago de datos:

El software de lagos de datos como Hadoop y Amazon Simple Storage Service (Amazon S3) difieren en estructura y estrategia. El software de arquitectura de lago de datos organiza los datos en un lago de datos y facilita su acceso y uso. Las siguientes características deben integrarse en una arquitectura de lago de datos para evitar la creación de un pantano de datos y garantizar la funcionalidad del lago de datos.

• El uso de herramientas de elaboración de perfiles de datos proporciona información sobre la clasificación de objetos de datos y la implementación del control de calidad de los datos.
• La taxonomía de clasificación de datos incluye escenarios de usuarios y posibles grupos de usuarios, contenidos y tipos de datos.
• Jerarquía de archivos con convenciones de nomenclatura
• Mecanismo de seguimiento para el acceso de los usuarios al lago de datos junto con una alerta generada en el momento del acceso.
• Función de búsqueda en el catálogo de datos.
• Seguridad de datos, que incluye cifrado de datos, control de acceso, autenticación y otras herramientas de seguridad de datos para evitar el acceso no autorizado.
• Formación y sensibilización sobre el uso de lagos de datos

Arquitectura de lagos de datos de Hadoop

Como ejemplo, seleccionamos la ilustración de la infraestructura del lago de datos Hadoop. Algunos proveedores de arquitectura de lago de datos utilizan una plataforma de gestión de datos basada en Hadoop que consta de uno o más clústeres de Hadoop. Hadoop utiliza un grupo de servidores distribuidos para almacenar datos. El ecosistema Hadoop consta de tres elementos centrales principales:

1. Sistema de archivos distribuido Hadoop (HDFS) – La capa de almacenamiento, cuya función es almacenar y replicar datos en múltiples servidores.
2. Otro negociador de recursos más (YARN) – Herramienta de gestión de recursos
3. Reducir el tamaño del mapa – El modelo de programación para dividir los datos en subsecciones más pequeñas antes de procesarlos en los servidores.

Las herramientas complementarias de Hadoop incluyen Pig, Hive, Sqoop y Kafka. Las herramientas apoyan los procesos de registro, preparación y extracción. Hadoop se puede combinar con Plataformas empresariales en la nube ofrecer una infraestructura de lago de datos basada en la nube.

Hadoop es una tecnología de código abierto y más económica de utilizar. Hay varias herramientas ETL disponibles para la integración con Hadoop. Es fácil de escalar y permite cálculos más rápidos debido a la localización de sus datos, lo que ha aumentado su popularidad y prominencia entre la mayoría de los usuarios de tecnología.

Conceptos clave del lago de datos

A continuación se muestran algunos conceptos clave del lago de datos para ampliar y profundizar su comprensión de la arquitectura del lago de datos.

1. Grabación de datos – El proceso de recopilar datos de múltiples fuentes de datos y cargarlos en el lago de datos. El proceso admite todas las estructuras de datos, incluidos los datos no estructurados. También admite grabación por lotes y única.
2. Seguridad – La implementación de protocolos de seguridad para el lago de datos es una consideración importante. Esto implica gestionar la seguridad de los datos y el flujo del lago de datos desde la carga hasta la búsqueda, el almacenamiento y la accesibilidad. Otros aspectos de la seguridad de los datos, como la protección de los datos, la autenticación, la contabilidad y el control de acceso para evitar el acceso no autorizado, también son de suma importancia para los lagos de datos.
3. Calidad de datos – La información de un lago de datos se utiliza para la toma de decisiones, por lo que es importante que los datos sean de alta calidad. Los datos de mala calidad pueden llevar a malas decisiones que pueden tener consecuencias desastrosas para la empresa.
4. Oficina de datos – Gestionar y gestionar la integridad, disponibilidad, usabilidad y seguridad de los datos dentro de una organización.
5. Descubrimiento de datos – Descubrir datos es importante antes de prepararlos y analizarlos. Los datos se recopilan de múltiples fuentes y se consolidan en el lago. Las técnicas de etiquetado se utilizan para reconocer patrones y así permitir una mejor comprensión de los datos.
6. Exploración de datos – La exploración de datos comienza justo antes de la fase de análisis de datos. Ayuda a identificar el conjunto de datos adecuado para el análisis.
7. Almacenamiento de datos – El almacenamiento de datos debe admitir múltiples formatos de datos, ser escalable, accesible fácil y rápidamente y rentable.
8. Verificación de datos – Facilita la evaluación de riesgos y cumplimiento y realiza un seguimiento de todos los cambios realizados en elementos de datos clave, incluida la identificación de quién realizó los cambios, cómo se cambiaron los datos y cuándo ocurrieron los cambios.
9. Origen de los datos – Se ocupa del flujo de datos desde su fuente u origen y ruta a medida que se mueve dentro del lago de datos. El linaje de datos facilita la corrección de errores en un proceso de análisis de datos desde el origen hasta el destino.

Ventajas de un lago de datos

• Un lago de datos es una plataforma de almacenamiento ágil que se puede configurar fácilmente para cualquier modelo, estructura, aplicación o consulta de datos. La agilidad del lago de datos permite múltiples y avanzados métodos de análisis para interpretar los datos.
• Como la lectura es un esquema, un lago de datos es escalable y flexible.
• Los lagos de datos admiten consultas que requieren un análisis profundo examinando la información hasta su fuente, hasta consultas que requieren un informe simple con datos resumidos. Se atiende a todo tipo de usuarios.
• La mayoría de las aplicaciones de software de lagos de datos son de código abierto y pueden instalarse con hardware económico.
• El desarrollo del esquema se pospone hasta que una organización encuentre un caso de negocio para los datos. Por lo tanto, no se pierde tiempo ni dinero en el desarrollo de esquemas.
• Los lagos de datos ofrecen la centralización de varias fuentes de datos.
• Proporcionan valor agregado para todo tipo de datos y reducen los costos operativos a largo plazo.
• Los lagos de datos basados ​​en la nube son más fáciles y rápidos de implementar, rentables con un modelo de pago por uso y más fáciles de escalar según demanda. También ahorra espacio y costes inmobiliarios.

Desafíos y críticas a los lagos de datos

• Los lagos de datos corren el riesgo de volverse menos relevantes y convertirse en pantanos de datos con el tiempo si no se gestionan adecuadamente.
• Es difícil garantizar la seguridad de los datos y el control de acceso porque algunos datos terminan en el lago sin la supervisión adecuada.
• No hay rastro de análisis previos de los datos que pudieran ayudar a nuevos usuarios.
• Los costos de almacenamiento y procesamiento pueden aumentar a medida que se agregan más datos al lago.
• Los lagos de datos locales enfrentan desafíos como limitaciones de espacio, configuración de hardware y centros de datos, escalabilidad del almacenamiento, costos y presupuesto de recursos.

Proveedores populares de tecnología de lagos de datos

Los proveedores de tecnología de lagos de datos populares incluyen:

• Amazon S3: ofrece escalabilidad ilimitada
• Apache: utiliza el ecosistema de código abierto Hadoop
• Google Cloud Platform (GCP): almacenamiento en la nube de Google
• Nube de Big Data de Oracle
• Microsoft Azure Data Lake y Azure Data Analytics
• Snowflake: procesa conjuntos de datos estructurados y semiestructurados, particularmente JSON, XML y Parquet.

Más recursos

Para continuar aprendiendo y desarrollando su base de conocimientos, explore los siguientes recursos adicionales relevantes: