Comparar tipos de tablas

Elegir la arquitectura de tabla adecuada es fundamental para maximizar el rendimiento, reducir los costos y garantizar el acceso a los datos en tus herramientas de estadísticas. En esta página, se explican los diferentes tipos de tablas y extremos de servicio disponibles en Lakehouse para Apache Iceberg, lo que te ayudará a elegir la mejor opción según tus motores de escritura, requisitos de lectura y necesidades de control de administración.

Sugerencia: Para la mayoría de las cargas de trabajo de lakehouse modernas y abiertas, te recomendamos que uses tablas de Apache Iceberg administradas por el catálogo de entorno de ejecución de Lakehouse y que se publiquen a través del extremo del catálogo de REST de Iceberg. Esta configuración proporciona la mejor interoperabilidad entre los motores de código abierto y BigQuery.

Formatos de tabla por catálogo o motor

Selecciona un catálogo o motor para obtener información sobre sus formatos de tabla compatibles, la configuración del metastore, las capacidades de optimización del almacenamiento y la interoperabilidad del motor.

Catálogo de entorno de ejecución de Lakehouse

El catálogo de entorno de ejecución de Lakehouse administra las tablas de Apache Iceberg a través de el extremo del catálogo de REST de Iceberg y proporciona una interoperabilidad de lectura y escritura sin interrupciones en los motores compatibles con Iceberg (Spark, Flink, Trino) y BigQuery, al mismo tiempo que está respaldado por la interfaz de catálogo de REST de Iceberg estándar de la industria.

Formatos de tabla compatibles

Se admiten las tablas de Apache Iceberg V2 (DG) y V3 (vista previa). No se admiten las tablas de Iceberg V1. Antes de usar las tablas V1 existentes con Lakehouse para Apache Iceberg, debes actualizarlas a una versión compatible. Para obtener más información, consulta Actualiza las tablas de Iceberg V1 a V2.

Las funciones clave incluyen las siguientes:

• Metastore: Catálogo de entorno de ejecución de Lakehouse
• Almacenamiento: Cloud Storage
• Optimización del almacenamiento: Administrada por ti o, de manera opcional, por Google (vista previa)
• Acceso de lectura y escritura:
  • Motores de código abierto: lectura y escritura (DG)
  • BigQuery: lectura y escritura (vista previa)
• Casos de uso: Lakehouse abierto con almacenamiento de alto rendimiento y de nivel empresarial para estadísticas avanzadas, transmisión y IA

Hive Metastore

Vista previa

Esta función está sujeta a las "Condiciones de la oferta previa a la DG" en la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de la fase previa a la DG están disponibles “sin modificaciones” y pueden tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

El catálogo de entorno de ejecución de Lakehouse administra las tablas de Apache Hive a través de un extremo de Hive Metastore (HMS) de Apache optimizado para la compatibilidad con ExternalCatalog de Apache Spark, lo que te permite compartir datos sin problemas en Apache Spark, Apache Hive y BigQuery. Puedes crear estas tablas a partir de motores de código abierto y almacenarlas en Cloud Storage. Esta opción es la mejor si deseas que tu flujo de trabajo de ETL sea administrado por motores de código abierto sin necesidad de un Hive Metastore autoalojado independiente y solo requieres acceso de lectura desde BigQuery.

Las tablas administradas por el extremo de Hive Metastore son tablas estándar de Apache Hive y Spark (con Hive SerDes o fuentes de datos de Spark), no tablas de Apache Iceberg. Para crear y administrar tablas de Apache Iceberg en el catálogo de entorno de ejecución de Lakehouse, usa el extremo del catálogo de REST de Iceberg.

Las funciones clave incluyen las siguientes:

• Metastore: Catálogo de entorno de ejecución de Lakehouse (a través de IMetastoreClient personalizado)
• Almacenamiento: Cloud Storage (compatible con formatos como Parquet, ORC y Avro)
• Optimización del almacenamiento: Administrada por ti o por un tercero
• Acceso de lectura y escritura:
  • Motores de código abierto (Spark y Hive): Lectura y escritura
  • BigQuery: Solo lectura
• Casos de uso: Migración de cargas de trabajo existentes de Spark y Hive a un metastore completamente administrado y sin servidores en Google Cloud.

BigQuery

BigQuery admite tablas administradas de Apache Iceberg, tablas nativas y tablas externas.

• Tablas administradas de Apache Iceberg: Son tablas de Apache Iceberg que creas y administras desde BigQuery y almacenas en Cloud Storage. Si bien los motores de código abierto pueden leerlas, BigQuery es el motor que administra los metadatos y escribe en ellos. Esta opción es la mejor si deseas que BigQuery administre por completo tu flujo de trabajo.

• Tablas nativas: Son tablas nativas de BigQuery. Están completamente administradas y ofrecen las funciones de administración y estadísticas más avanzadas. Esta opción es la mejor para cargas de trabajo que no son de Iceberg.

• Tablas externas: Estas tablas son construcciones específicas de BigQuery para datos almacenados en Cloud Storage, Amazon S3 o Azure Blob Storage. Los datos y los metadatos se administran por sí mismos, y BigQuery solo tiene acceso de lectura. Elige esta opción para los datos que deseas administrar directamente en un catálogo o almacenamiento de terceros.

Formatos de tabla por producto

Usa el siguiente gráfico para comparar los tipos de tablas entre el catálogo de entorno de ejecución de Lakehouse y BigQuery.

Lakehouse

	Apache Iceberg (DG)	Apache Hive (vista previa)
Metastore	Catálogo de entorno de ejecución de Lakehouse	Catálogo de entorno de ejecución de Lakehouse
Almacenamiento	Cloud Storage	Cloud Storage
Optimización del almacenamiento	Administrado por el cliente, por terceros o por Google (vista previa)	Administrado por el cliente o por terceros
Lectura y escritura	Motores de código abierto (lectura y escritura) BigQuery (lectura y escritura). Vista previa	Motores de código abierto (lectura y escritura) BigQuery (solo lectura)
Operaciones avanzadas	Ninguna	Ninguna
Casos de uso	Lakehouse abierto	Migra cargas de trabajo existentes de Spark y Hive a un metastore completamente administrado, sin servidores

BigQuery

	Tablas administradas de Apache Iceberg	Tablas externas	Tablas estándar
Metastore	BigQuery	Metastore externo o autoalojado	BigQuery
Almacenamiento	Cloud Storage	Cloud Storage, Amazon S3 o Azure	BigQuery
Optimización del almacenamiento	Administrado por Google	Administrado por el cliente o por terceros	Administrado por Google
Lectura y escritura	Motores de código abierto (solo lectura con bibliotecas de Iceberg, interoperabilidad de lectura y escritura con la API de BigQuery Storage) BigQuery (lectura y escritura)	Motores de código abierto (lectura y escritura) BigQuery (solo lectura)	Motores de código abierto (interoperabilidad de lectura y escritura con API de BigQuery Storage) BigQuery (lectura y escritura)
Operaciones avanzadas	Transmisión de alta capacidad con la API de BigQuery Storage Write, captura de datos modificados (CDC) y transacciones de varias instrucciones	Ninguna	Transmisión de alta capacidad con la API de BigQuery Storage Write, captura de datos modificados (CDC) y transacciones de varias instrucciones
Casos de uso	Lakehouse abierto con almacenamiento de alto rendimiento y de nivel empresarial para estadísticas avanzadas, transmisión y IA	Tablas de etapa de pruebas para cargas de BigQuery, tablas heredadas de solo consulta tablas	Almacenamiento de nivel empresarial para estadísticas avanzadas, transmisión y IA

¿Qué sigue?

• Obtén información para administrar tablas de Apache Iceberg.

• Obtén información para importar tablas externas de Iceberg con Dataflow.

• Obtén información para usar la federación de catálogos con BigQuery.