Elegir la arquitectura de tabla adecuada te permite optimizar el rendimiento, reducir los costos y mantener el acceso a los datos en todas tus herramientas de estadísticas. Borderless Lakehouse ofrece varios tipos de tablas y extremos de entrega para que puedas seleccionar la opción que se adapte a tus motores de escritura, requisitos de lectura y necesidades de control de administración.
Formatos de tabla por catálogo o motor
Selecciona un catálogo o motor para obtener información sobre los formatos de tabla admitidos, la configuración de metastore, las capacidades de optimización del almacenamiento y la interoperabilidad del motor.
Catálogo de tiempo de ejecución de Lakehouse
El catálogo de entorno de ejecución de Lakehouse administra las tablas de Apache Iceberg a través del extremo del catálogo de REST de Apache Iceberg y proporciona interoperabilidad de lectura y escritura sin problemas en los motores compatibles con Iceberg (Apache Spark, Apache Flink y Trino) y BigQuery, a la vez que cuenta con el respaldo de la interfaz del catálogo de REST de Iceberg, que es un estándar de la industria.
Formatos de tabla admitidos
Se admiten las tablas de Apache Iceberg V2 (DG) y V3 (versión preliminar). Las tablas de Iceberg V1 no son compatibles. Antes de usar tablas V1 existentes con Lakehouse, debes actualizarlas a una versión compatible. Para obtener más información, consulta Actualiza las tablas de Iceberg V1 a V2.
Las funciones clave incluyen las siguientes:
- Metastore: Catálogo de tiempo de ejecución de Lakehouse.
- Almacenamiento: Cloud Storage.
- Optimización del almacenamiento: Administrado por ti, un tercero o (administrado por Google, versión preliminar).
- Acceso de lectura y escritura:
- Motores de código abierto: lectura y escritura (DG)
- BigQuery: lectura y escritura (versión preliminar)
- Casos de uso: Lakehouse abierto con almacenamiento de alto rendimiento y de nivel empresarial para estadísticas avanzadas, transmisión y la IA.
Hive Metastore
El catálogo de tiempo de ejecución de Lakehouse administra las tablas de Apache Hive
a través de un extremo de metastore de Apache Hive (HMS) optimizado
para la compatibilidad con Spark ExternalCatalog, lo que te permite
compartir datos sin problemas entre Spark,
Apache Hive y BigQuery. Estas tablas se crean
a partir de motores de código abierto y se almacenan en Cloud Storage. Esta
opción funciona bien si deseas que tu flujo de trabajo de ETL sea administrado por motores de código abierto
sin necesidad de un almacén de metadatos de Hive alojado de forma independiente y solo
requieres acceso de lectura desde BigQuery.
Las tablas administradas por el extremo del almacén de metadatos de Hive son tablas estándar de Apache Hive y Spark (con fuentes de datos de Hive SerDes o Spark), no tablas de Apache Iceberg. Para crear y administrar tablas de Apache Iceberg en el catálogo de tiempo de ejecución de Lakehouse, usa el extremo del catálogo de REST de Apache Iceberg.
Las funciones clave incluyen las siguientes:
- Metastore: Catálogo de tiempo de ejecución de Lakehouse (a través de
IMetastoreClientpersonalizado). - Almacenamiento: Cloud Storage (admite formatos como Parquet, ORC y Avro).
- Optimización del almacenamiento: Administrado por ti o por un tercero.
- Acceso de lectura y escritura:
- Motores de código abierto (Spark y Apache Hive): Lectura y escritura.
- BigQuery: solo lectura.
- Casos de uso: Migra cargas de trabajo existentes de Spark y Apache Hive a un almacén de metadatos completamente administrado y sin servidores en Google Cloud.
Formatos de tabla por producto
Usa el siguiente gráfico para comparar los tipos de tablas en el catálogo de tiempo de ejecución de Lakehouse.
Lakehouse
| Apache Iceberg (DG) | Acceso a datos multinube (versión preliminar) | Apache Hive (DG) | |
|---|---|---|---|
| Metastore | Catálogo de tiempo de ejecución de Lakehouse | Catálogo de tiempo de ejecución de Lakehouse | Catálogo de tiempo de ejecución de Lakehouse |
| Almacenamiento | Cloud Storage | Cloud Storage / Amazon S3 | Cloud Storage |
| Optimización del almacenamiento | Administradas por el cliente, por terceros o por Google (versión preliminar) | Administrado por el cliente o por terceros | Administrado por el cliente o por terceros |
| Lectura y escritura |
Motores de código abierto (lectura y escritura) BigQuery (lectura y escritura [versión preliminar]) |
Motores de código abierto (lectura) BigQuery (lectura) |
Motores de código abierto (lectura y escritura) BigQuery (solo lectura) |
| Operaciones avanzadas | Ninguno | Ninguna | Ninguno |
| Control de acceso | Seguridad a nivel de tabla con IAM | Seguridad a nivel de tabla con IAM | Seguridad a nivel de tabla con IAM |
| Casos de uso | Lakehouse abierto | Consulta datos en otros proveedores de servicios en la nube sin migrar archivos ni crear canalizaciones de ETL complejas | Migra las cargas de trabajo existentes de Spark y Apache Hive a un almacén de metadatos sin servidores y completamente administrado |
Funciones de las tablas de Iceberg
Usa la siguiente tabla para obtener más información sobre las capacidades que se ofrecen en las tablas de Apache Iceberg en el catálogo de tiempo de ejecución de Lakehouse.
Para comparar las capacidades entre las tablas de Apache Iceberg administradas por el catálogo de tiempo de ejecución de Lakehouse y las tablas de Apache Iceberg administradas por BigQuery, consulta Comparación de las capacidades de las tablas de Iceberg.
| Función | Asistencia |
|---|---|
| Catálogo | Catálogo de entorno de ejecución de Lakehouse (compatible con el catálogo de REST de Iceberg) |
| Almacenamiento | Cloud Storage |
| Accesible a través del extremo del catálogo de REST de Iceberg | Sí |
| Interoperabilidad de lectura y escritura | |
Consultas de lectura de BigQuery (SELECT,
BigQuery ML y funciones IA)
|
Compatible (DG) |
DML de BigQuery (INSERT, UPDATE,
DELETE, MERGE)
|
Compatible (versión preliminar) |
| Lecturas del motor de OSS | Compatible (DG) |
| Escrituras del motor de OSS | Compatible (DG) |
| Escrituras de transmisión del motor de OSS (Kafka, Spark, Dataflow con receptor de E/S de Iceberg) | Compatible (DG) |
| Funciones administradas y avanzadas | |
| Administración de tablas (compactación, recolección de elementos no utilizados) | Compatible (versión preliminar) |
| Captura de datos modificados (CDC) de BigQuery | Compatible (versión preliminar) |
| Viaje en el tiempo | |
| Viaje en el tiempo (con motores de OSS) | Flexible (se configura a través de las propiedades de la tabla) |
| Viaje en el tiempo (con BigQuery) | Límite de 7 días |
| Historial de instantáneas y reversión a la instantánea anterior | Compatible (DG) |
| Funciones de Knowledge Catalog | |
| Categorización, búsqueda y descubrimiento de metadatos | Compatible (DG) |
| Linaje | Compatible (DG) |
| Calidad de los datos y creación de perfiles | Compatible (DG) |
| Estadísticas | Compatible (DG) |
| Generación de descripciones de columnas y tablas basadas en IA | Compatible (DG) |
¿Qué sigue?
Aprende a administrar tablas de Apache Iceberg.
Obtén información para importar tablas externas de Iceberg con Dataflow.