Comparar tipos de tablas

Elegir la arquitectura de tablas adecuada es fundamental para maximizar el rendimiento, reducir los costos y garantizar el acceso a los datos en todas tus herramientas de estadísticas. En esta página, se explican los diferentes tipos de tablas y los extremos de entrega disponibles en Lakehouse para Apache Iceberg, lo que te ayuda a elegir la mejor opción según tus motores de escritura, requisitos de lectura y necesidades de control de administración.

Sugerencia: Para la mayoría de las cargas de trabajo modernas de lakehouse abierto, recomendamos usar tablas de Apache Iceberg administradas por el catálogo de entornos de ejecución de Lakehouse y publicadas a través del extremo del catálogo de REST de Iceberg. Esta configuración proporciona la mejor interoperabilidad entre los motores de código abierto y BigQuery.

Formatos de tabla por catálogo o motor

Selecciona un catálogo o un motor para obtener información sobre los formatos de tabla admitidos, la configuración del metastore, las capacidades de optimización del almacenamiento y la interoperabilidad del motor.

Catálogo de entorno de ejecución de Lakehouse

El catálogo del entorno de ejecución de Lakehouse administra las tablas de Apache Iceberg a través del extremo del catálogo de REST de Iceberg y proporciona interoperabilidad de lectura y escritura sin interrupciones en los motores compatibles con Iceberg (Spark, Flink, Trino) y BigQuery, mientras que está respaldado por la interfaz del catálogo de REST de Iceberg estándar de la industria.

Formatos de tabla admitidos

Se admiten las tablas de Apache Iceberg V2 (DG) y V3 (versión preliminar). No se admiten las tablas de Iceberg V1. Antes de usar tablas de la versión 1 existentes con Lakehouse para Apache Iceberg, debes actualizarlas a una versión compatible. Para obtener más información, consulta Actualiza las tablas de Iceberg V1 a V2.

Las funciones clave incluyen las siguientes:

• Metastore: Catálogo de entorno de ejecución de Lakehouse.
• Almacenamiento: Cloud Storage.
• Optimización del almacenamiento: La administras tú o, de forma opcional, Google (versión preliminar).
• Acceso de lectura y escritura:
  • Motores de código abierto: lectura y escritura (DG)
  • BigQuery: Lectura y escritura (vista previa)
• Casos de uso: Lakehouse abierto con almacenamiento de alto rendimiento y nivel empresarial para estadísticas avanzadas, transmisión y IA.

Hive Metastore

Vista previa

Esta función está sujeta a las "Condiciones de la oferta previa a la DG" en la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de la fase previa a la DG están disponibles “sin modificaciones” y pueden tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

El catálogo de entorno de ejecución de Lakehouse administra las tablas de Apache Hive a través de un extremo de metastore de Apache Hive (HMS) optimizado para la compatibilidad con Apache Spark, lo que te permite compartir datos sin problemas en Apache Spark, Apache Hive y BigQuery.ExternalCatalog Creas estas tablas a partir de motores de código abierto y las almacenas en Cloud Storage. Esta opción es la mejor si deseas que los motores de código abierto administren tu flujo de trabajo de ETL sin necesidad de un metastore de Hive autohospedado independiente y solo requieres acceso de lectura desde BigQuery.

Las tablas que administra el extremo de Hive metastore son tablas estándar de Apache Hive y Spark (que usan SerDes de Hive o fuentes de datos de Spark), no tablas de Apache Iceberg. Para crear y administrar tablas de Apache Iceberg en el catálogo del entorno de ejecución de Lakehouse, usa el extremo del catálogo de REST de Iceberg.

Las funciones clave incluyen las siguientes:

• Metastore: Catálogo de entorno de ejecución de Lakehouse (a través de IMetastoreClient personalizado)
• Almacenamiento: Cloud Storage (compatible con formatos como Parquet, ORC y Avro)
• Optimización del almacenamiento: La administras tú o un tercero.
• Acceso de lectura y escritura:
  • Motores de código abierto (Spark y Hive): Lectura y escritura
  • BigQuery: Solo lectura.
• Casos de uso: Migrar cargas de trabajo existentes de Spark y Hive a un metastore sin servidores completamente administrado en Google Cloud.

BigQuery

BigQuery admite tablas administradas, tablas nativas y tablas externas de Apache Iceberg.

• Tablas administradas de Apache Iceberg: Son tablas de Apache Iceberg que creas y administras desde BigQuery, y que se almacenan en Cloud Storage. Si bien los motores de código abierto pueden leerlos, BigQuery es el motor que administra los metadatos y escribe en ellos. Esta opción es la mejor si deseas que BigQuery administre por completo tu flujo de trabajo.

• Tablas nativas: Son tablas nativas de BigQuery. Están completamente administrados y ofrecen las funciones de administración y análisis más avanzadas. Esta opción es mejor para las cargas de trabajo que no son de Iceberg.

• Tablas externas: Estas tablas son construcciones específicas de BigQuery para los datos almacenados en Cloud Storage, Amazon S3 o Azure Blob Storage. Los datos y los metadatos se administran por sí mismos, y BigQuery solo tiene acceso de lectura. Elige esta opción para los datos que deseas administrar directamente en un catálogo o almacenamiento de terceros.

Formatos de tabla por producto

Usa el siguiente gráfico para comparar los tipos de tablas entre el catálogo del entorno de ejecución de Lakehouse y BigQuery.

Lakehouse

	Apache Iceberg (GA)	Apache Hive (vista previa)
Metastore	Catálogo de entorno de ejecución de Lakehouse	Catálogo de entorno de ejecución de Lakehouse
Almacenamiento	Cloud Storage	Cloud Storage
Optimización del almacenamiento	Administrado por el cliente, por terceros o por Google (vista previa)	Administrado por el cliente o por terceros
Lectura y escritura	Motores de código abierto (lectura y escritura) BigQuery (lectura y escritura). Vista previa	Motores de código abierto (lectura y escritura) BigQuery (solo lectura)
Operaciones avanzadas	Ninguno	Ninguna
Casos de uso	Lakehouse abierto	Migra las cargas de trabajo existentes de Spark y Hive a un metastore sin servidores completamente administrado

BigQuery

	Tablas administradas de Apache Iceberg	Tablas externas	Tablas estándar
Metastore	BigQuery	Metastore externo o autoalojado	BigQuery
Almacenamiento	Cloud Storage	Cloud Storage, Amazon S3 y Azure	BigQuery
Optimización del almacenamiento	Administrado por Google	Administrado por el cliente o por terceros	Administrado por Google
Lectura y escritura	Motores de código abierto (solo lectura con bibliotecas de Iceberg, interoperabilidad de lectura y escritura con la API de BigQuery Storage) BigQuery (lectura y escritura)	Motores de código abierto (lectura y escritura) BigQuery (solo lectura)	Motores de código abierto (interoperabilidad de lectura y escritura con la API de BigQuery Storage) BigQuery (lectura y escritura)
Operaciones avanzadas	Transmisión de alta capacidad de procesamiento con la API de BigQuery Storage Write, captura de datos modificados (CDC) y transacciones de varias instrucciones	Ninguno	Transmisión de alta capacidad de procesamiento con la API de BigQuery Storage Write, captura de datos modificados (CDC) y transacciones de varias instrucciones
Casos de uso	Lakehouse abierto con almacenamiento de alto rendimiento y nivel empresarial para análisis avanzados, transmisión y IA	Tablas de etapa intermedia para cargas de BigQuery, tablas heredadas de solo consulta	Almacenamiento de nivel empresarial para análisis avanzados, transmisión y IA

¿Qué sigue?

• Obtén más información para administrar tablas de Apache Iceberg.

• Obtén información para importar tablas externas de Iceberg con Dataflow.