Interactúa con datos de Lakehouse sin fronteras en BigQuery

Lakehouse sin fronteras es un motor de almacenamiento que une Google Cloud servicios de código abierto y patentados para crear una interfaz unificada para estadísticas avanzadas y la IA. Proporciona la base para crear un lakehouse abierto, administrado y de alto rendimiento con administración de datos automatizada y administración integrada con Apache Iceberg.

Cuando creas una tabla en Lakehouse, se puede consultar automáticamente desde BigQuery y se puede ver en la página de BigQuery de la Google Cloud consola. Tus esquemas y espacios de nombres de Lakehouse también se asignan automáticamente a los conjuntos de datos de BigQuery.

Diferencias entre los recursos de Lakehouse y otros recursos de BigQuery

Las siguientes son las diferencias clave entre Lakehouse y los recursos estándar de BigQuery:

  • Los conjuntos de datos de Lakehouse aparecen en la página de BigQuery de la Google Cloud consola junto al ícono de agua.
  • No puedes modificar los recursos de Lakehouse desde BigQuery.
  • Los recursos de Lakehouse tienen metadatos adicionales en su sección Detalles respectiva.

Comparación de capacidades de la tabla de Iceberg

Usa la siguiente tabla para comparar las capacidades entre las tablas de Apache Iceberg administradas por el catálogo de entornos de ejecución de Lakehouse y las tablas de Apache Iceberg administradas por BigQuery.

Función Tablas de Apache Iceberg administradas por el catálogo de entornos de ejecución de Lakehouse Tablas de Apache Iceberg administradas por BigQuery
Catálogo Catálogo de entornos de ejecución de Lakehouse (catálogo de REST de Iceberg compatible) BigQuery
Almacenamiento Cloud Storage Cloud Storage
Accesible a través del extremo del catálogo de REST de Iceberg Sí Sí, con la federación de catálogos de BigQuery
Interoperabilidad de lectura y escritura
Consultas de lectura de BigQuery (SELECT, BQML, funciones de IA) Admitido Admitido
DML de BigQuery (INSERT, UPDATE, DELETE, MERGE) Admitido (versión preliminar) Admitido (DG)
Lecturas del motor de OSS Admitido (DG) Admitido (DG) (con la federación de catálogos de BigQuery)
Escrituras del motor de OSS Admitido (DG) No compatible
Escrituras de transmisión del motor de OSS (Kafka, Spark, Dataflow con receptor de E/S de Iceberg) Admitido (DG) No compatible
Funciones administradas y avanzadas
Administración de tablas (compactación, recolección de elementos no utilizados) Admitido (versión preliminar) Admitido (DG)
Escrituras de transmisión de BigQuery (API de Storage Write) No compatible Admitido (DG)
Transmisión o suscripción de Pub/Sub, transmisión de Dataflow con receptor de E/S de BigQuery No compatible Admitido (DG)
Captura de datos modificados (CDC) de BigQuery No compatible Admitido (vista previa privada)
Transacciones de varias declaraciones de BigQuery No compatible Admitido (versión preliminar)
Recuperación ante desastres administrada No compatible No compatible
Índice de la Búsqueda No compatible No compatible
Índice vectorial (incluida la generación automática de embeddings) No compatible No compatible
Viaje en el tiempo
Viaje en el tiempo (con motores de OSS) Flexible (configurado a través de las propiedades de la tabla) No compatible
Viaje en el tiempo (con BigQuery) Límite de 7 días Límite de 7 días
Historial de instantáneas y reversión a la instantánea anterior Admitido No compatible
Administración, seguridad y uso compartido
Vistas autorizadas de BigQuery No compatible No compatible
Seguridad a nivel de la columna de BigQuery No compatible Admitido (DG)
Enmascaramiento de datos y etiquetas de política de BigQuery No compatible Admitido (DG)
Seguridad a nivel de la fila de BigQuery No compatible No compatible
Integración de Analytics Hub No compatible Admitido
Funciones de Knowledge Catalog
Categorización, búsqueda y descubrimiento de metadatos Admitido Admitido
Linaje Admitido Admitido
Calidad de los datos o creación de perfiles de datos Admitido Admitido
Estadísticas Admitido Admitido
Generación de descripciones de tablas y columnas basadas en IA Admitido Admitido

Accede a datos entre nubes

La capacidad de acceso a datos entre nubes de Lakehouse te permite consultar datos almacenados con otros proveedores de servicios en la nube directamente desde BigQuery, sin migrar archivos ni compilar canalizaciones de ETL complejas. Para obtener información sobre la configuración, consulta Consulta datos remotos.

¿Qué sigue?