¿Qué es Lakehouse sin fronteras?

Lakehouse sin fronteras te permite crear data lakehouses abiertos en Google Cloud combinando el formato de tabla abierto de Apache Iceberg con el almacenamiento administrado. Esta arquitectura separa el almacenamiento del procesamiento para proporcionar una base unificada para las cargas de trabajo de análisis y de IA.

Para administrar los metadatos de las tablas abiertas, Lakehouse usa el catálogo de tiempo de ejecución de Lakehouse, un servicio de metadatos sin servidores que centraliza el descubrimiento y elimina la sincronización entre repositorios. Este diseño permite que varios motores, incluidos Managed Service para Apache Spark, Apache Flink, Apache Hive, Trino y BigQuery, accedan directamente a una única fuente de información sin duplicar datos.

Ventajas clave

  • Arquitectura sin servidores: El lakehouse de Google Cloud elimina la necesidad de administrar servidores o clústeres, lo que reduce la sobrecarga operativa y escala automáticamente según la demanda. Para las cargas de trabajo de procesamiento, las sesiones interactivas y por lotes sin servidores quitan la contención de recursos entre los trabajos y automatizan el mantenimiento de la infraestructura.
  • Administración y administración de datos unificadas: La integración en Knowledge Catalog garantiza la definición y la aplicación centralizadas de las políticas de administración en varios motores, y permite la búsqueda semántica, el linaje de datos y las verificaciones de calidad.
  • Extensiones de almacenamiento: El lakehouse de Google Cloud extiende las capacidades de administración de Cloud Storage para incluir funciones como la organización en niveles de Autoclass y las claves de encriptación administradas por el cliente (CMEK).
  • Experiencia completamente administrada: Cuando se integra en BigQuery, Lakehouse de Google Cloud proporciona una experiencia de análisis y de IA completamente administrada.
  • Alta disponibilidad y recuperación ante desastres: El lakehouse de Google Cloud ofrece opciones para la replicación entre regiones y la recuperación ante desastres (versión preliminar) para admitir la alta disponibilidad de tus datos.

Casos de uso

  • Lakehouse abierto: Usa Cloud Storage como la capa de almacenamiento, y Lakehouse de Google Cloud proporciona la interfaz de administración y control para los datos de Apache Iceberg.
  • Integración analítica y transaccional: Accede a tablas analíticas de Apache Iceberg directamente en AlloyDB para PostgreSQL ([versión preliminar][4]) para combinar datos analíticos con cargas de trabajo transaccionales.
  • Acceso unificado: Permite que diferentes motores (Apache Spark, Apache Flink, BigQuery) interactúen con las mismas tablas de Apache Iceberg con metadatos coherentes.
  • Análisis y IA multinube: Accede a datos multinube (versión preliminar) para sincronizar metadatos de otros proveedores de servicios en la nube, lo que te permite consultar datos con BigQuery o motores externos de código abierto a través del extremo del catálogo de Apache Iceberg REST, todo sin migrar los datos.
  • Exploración de conjuntos de datos públicos: Consulta con facilidad conjuntos de datos públicos de alta calidad con el extremo del catálogo de REST de Apache Iceberg sin administrar la infraestructura.
  • Hive Metastore: Conecta motores de código abierto, como Apache Spark y Apache Hive, al catálogo de entornos de ejecución de Lakehouse con el catálogo de Hive. Esto elimina la sobrecarga operativa de mantener un Hive Metastore (HMS) autohospedado y, al mismo tiempo, permite el uso compartido de datos sin problemas y las consultas directas de tablas en BigQuery.

Interfaces y herramientas

Puedes interactuar con los recursos de Lakehouse de Google Cloud con las siguientes herramientas:

  • Consola deGoogle Cloud : Usa la consola para crear catálogos, ver las propiedades de los catálogos, ver los registros de auditoría y configurar los permisos.
  • SQL de BigQuery: Usa el DDL (lenguaje de definición de datos) de SQL estándar para crear y administrar tablas de Apache Iceberg y tablas externas integradas en el catálogo de tiempo de ejecución de Lakehouse.
  • Motores de código abierto: Usa motores como Apache Spark, Apache Flink y Apache Hive con el catálogo de tiempo de ejecución de Lakehouse para leer y escribir datos.
  • IDEs y notebooks: Usa notebooks interactivos de Apache Spark y extensiones de IDE, como la extensión de Data Agent Kit (DAK) para VS Code, para autenticarte en Google Cloud, crear código de forma interactiva y administrar sesiones de notebooks directamente en tu entorno de desarrollo.
  • Herramientas de organización y MLOps: Integra canalizaciones por lotes sin servidores y operaciones de catálogo con flujos de trabajo de organización con Managed Service para Apache Airflow (antes Cloud Composer) y Kubeflow Pipelines en Vertex AI.
  • API de catálogo de REST de Apache Iceberg: Usa el extremo del catálogo de REST de Apache Iceberg para interactuar con el servicio con herramientas que sean compatibles con la especificación de REST de Apache Iceberg abierta.
  • Compatibilidad con tablas de Apache Iceberg: Se admiten las tablas de Apache Iceberg V2 (disponibilidad general) y V3 (versión preliminar). Las tablas de Iceberg V1 no son compatibles.

¿Qué sigue?