Interactúa con los datos de Lakehouse sin fronteras en BigQuery

Borderless Lakehouse es un motor de almacenamiento que une Google Cloud y servicios de código abierto para crear una interfaz unificada para el análisis avanzado y la IA. Proporciona la base para crear un lakehouse abierto, administrado y de alto rendimiento con administración de datos automatizada y administración integrada con Apache Iceberg.

Cuando creas una tabla en Lakehouse, se puede consultar automáticamente desde BigQuery y es visible en la página de BigQuery de la consola de Google Cloud . Tus espacios de nombres y esquemas de Lakehouse también se asignan automáticamente a los conjuntos de datos de BigQuery. Además, puedes crear y actualizar catálogos, espacios de nombres y tablas de Lakehouse directamente en BigQuery Studio.

Diferencias entre los recursos de Lakehouse y otros recursos de BigQuery

A continuación, se indican las diferencias clave entre Lakehouse y los recursos estándar de BigQuery:

• Los conjuntos de datos de Lakehouse aparecen en la página de BigQuery de la consola de Google Cloud junto al ícono de agua.
• Los recursos de Lakehouse tienen metadatos adicionales en su respectiva sección Detalles.

Crea una tabla de Lakehouse en BigQuery Studio

1. Ve a la página de BigQuery.

   Ir a BigQuery

2. En el panel Explorador, haz clic en Agregar datos.

3. Haz clic en la tarjeta de la fuente de datos de Google Cloud Storage.

4. En Accede a los datos externos implementados, haz clic en la tarjeta Archivos de datos de GCS.

5. En Ruta de acceso al archivo o bucket de GCS, selecciona tu bucket de Cloud Storage.

6. En Formato de archivo (File format), selecciona Parquet.

7. En Nombre de la tabla, ingresa un nombre para la tabla.

8. En Proyecto, seleccione su proyecto.

9. En ID del catálogo, selecciona el catálogo de Lakehouse existente para el bucket o crea uno si aún no existe.

10. En ID del espacio de nombres, selecciona un espacio de nombres de Lakehouse existente o crea uno nuevo. Los IDs de espacio de nombres solo pueden contener letras, números y guiones bajos.

11. Opcional: En Esquema, define los nombres de los campos y los tipos de datos para la tabla nueva.

12. Haz clic en Crear tabla.

Tu tabla de Lakehouse ahora es visible en BigQuery y se puede consultar y modificar como una tabla estándar de BigQuery.

En lugar de crear una tabla que contenga datos, puedes crear una tabla de Lakehouse vacía de la misma manera que puedes hacerlo con las tablas estándar de BigQuery. La única diferencia es seleccionar un espacio de nombres de Lakehouse como el conjunto de datos de destino.

Migra o federa otros catálogos a Lakehouse

1. Ve a la página de BigQuery.

   Ir a BigQuery

2. En el panel Explorador, haz clic en Agregar datos.

3. Haz clic en la tarjeta de la fuente de datos de Google Cloud Storage.

4. En Accede a los datos externos implementados, haz clic en la tarjeta Catálogos externos o heredados.

5. En Seleccionar la fuente del catálogo, elige la fuente del catálogo.

   • Si seleccionaste Hive Metastore, haz lo siguiente:
     1. En Región, selecciona una región para tu nuevo catálogo de Lakehouse.
     2. En Nombre visible de la migración, ingresa un nombre nuevo para la migración.
     3. Haz clic en Continuar.
     4. En Configuración del sistema de origen, ingresa la URL, la cuenta de servicio y un adjunto de red.
   • Si seleccionaste una fuente de catálogo diferente, haz lo siguiente:
     1. En Nombre del catálogo (en Lakehouse), ingresa un nombre para el catálogo.
     2. En Ubicación de los datos, selecciona una región para tu nuevo catálogo de Lakehouse.
     3. Haz clic en Continuar.
     4. En Configuración del catálogo, ingresa los detalles del catálogo remoto, el método de autenticación y el intervalo de actualización.

6. Haz clic en Crear.

Accede a datos multinube

Vista previa

Esta función está sujeta a las "Condiciones de la oferta previa a la DG" en la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de la fase previa a la DG están disponibles “sin modificaciones” y pueden tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Nota: Para obtener asistencia durante la versión preliminar, envía un correo electrónico a [e-mail].

La capacidad de acceso a datos multinube de Lakehouse te permite consultar datos almacenados con otros proveedores de servicios en la nube directamente desde BigQuery, sin migrar archivos ni compilar canalizaciones de ETL complejas. Para obtener información sobre la configuración, consulta Consulta datos remotos.

Comparación de las capacidades de las tablas de Iceberg

Usa la siguiente tabla para comparar las capacidades entre las tablas de Apache Iceberg administradas por el catálogo de entorno de ejecución de Lakehouse y las tablas de Apache Iceberg administradas por BigQuery.

Función	Tablas de Apache Iceberg administradas por el catálogo de tiempo de ejecución de Lakehouse	Tablas de Apache Iceberg administradas por BigQuery
Catálogo	Catálogo de tiempo de ejecución de Lakehouse (compatible con el catálogo de REST de Iceberg)	BigQuery
Almacenamiento	Cloud Storage	Cloud Storage
Accesible a través del extremo del catálogo de REST de Iceberg	Sí	Sí, con la federación de catálogos de BigQuery
Interoperabilidad de lectura y escritura
Consultas de lectura de BigQuery (SELECT, BQML, funciones de IA)	Admitido	Admitido
DML de BigQuery (INSERT, UPDATE, DELETE, MERGE)	Compatible (versión preliminar)	Compatible (DG)
Lecturas del motor de OSS	Compatible (DG)	Compatible (DG) (con la federación de catálogos de BigQuery)
Escrituras del motor de OSS	Compatible (DG)	No compatible
Escrituras de transmisión del motor de OSS (Kafka, Spark, Dataflow con receptor de E/S de Iceberg)	Compatible (DG)	No compatible
Funciones administradas y avanzadas
Administración de tablas (compactación, recolección de elementos no utilizados)	Compatible (versión preliminar)	Compatible (DG)
Escrituras de transmisión de BigQuery (API de Storage Write)	No compatible	Compatible (DG)
Transmisión o suscripción de Pub/Sub, transmisión de Dataflow con receptor de E/S de BigQuery	No compatible	Compatible (DG)
Captura de datos modificados (CDC) de BigQuery	Compatible (versión preliminar)	Admitido
Transacciones de varias declaraciones de BigQuery	No compatible	Compatible (versión preliminar)
Recuperación ante desastres administrada	No compatible	No compatible
Índice de la Búsqueda	No compatible	No compatible
Índice de vectores (incluida la generación automática de embeddings)	No compatible	No compatible
Viaje en el tiempo
Viaje en el tiempo (con motores de OSS)	Flexible (se configura a través de las propiedades de la tabla)	No compatible
Viaje en el tiempo (con BigQuery)	Límite de 7 días	Límite de 7 días
Historial de instantáneas y reversión a la instantánea anterior	Admitido	No compatible
Administración, seguridad y uso compartido
Vistas autorizadas de BigQuery	No compatible	No compatible
Seguridad a nivel de columna de BigQuery	No compatible	Compatible (DG)
Enmascaramiento de datos y etiquetas de política de BigQuery	No compatible	Compatible (DG)
Seguridad a nivel de fila de BigQuery	No compatible	Compatible (DG)
Integración de Analytics Hub	No compatible	Admitido
Funciones de Knowledge Catalog
Categorización, búsqueda y descubrimiento de metadatos	Admitido	Admitido
Linaje	Admitido	Admitido
Calidad de los datos y creación de perfiles	Admitido	Admitido
Estadísticas	Admitido	Admitido
Generación de descripciones de columnas y tablas basadas en IA	Admitido	Admitido

¿Qué sigue?

• Obtén más información sobre el lakehouse sin límites.