Descripción general de las tablas de Apache Iceberg

Las tablas de Apache Iceberg administradas por el catálogo de tiempo de ejecución de Lakehouse y entregadas a través del extremo del catálogo de REST de Apache Iceberg te permiten trabajar con datos abiertos e interoperables que cumplen con la especificación de la tabla de Apache Iceberg de código abierto. Puedes leer y escribir estas tablas con BigQuery o cualquier motor de procesamiento compatible con Iceberg.

En este documento, se hace referencia a estas tablas como tablas de Apache Iceberg administradas o tablas de Iceberg. Para comparar los tipos de tablas, consulta Compara los tipos de tablas.

Opciones de la tabla

Puedes habilitar las siguientes funciones configurando las opciones de la tabla:

  1. Interoperabilidad de lectura y escritura (versión preliminar): Compatibilidad de lectura y escritura sin problemas para varios motores, incluidos BigQuery, Managed Service para Apache Spark, motores compatibles con Iceberg, como los de código abierto (Apache Spark, Apache Flink y Trino) y motores de terceros (como Snowflake).
  2. Administración automática de tablas (versión preliminar): Administración automática de tablas (optimización del almacenamiento), como la compactación y la recolección de elementos no utilizados.

Además de las capacidades anteriores, las siguientes capacidades también son compatibles de forma predeterminada con las tablas de Apache Iceberg administradas por Lakehouse:

  1. Lenguaje de definición de datos de BigQuery (versión preliminar): También puedes crear o actualizar tablas de Iceberg con declaraciones de DDL de BigQuery (por ejemplo, CREATE TABLE, ALTER TABLE y DROP TABLE), además de crear o actualizar tablas con motores compatibles con Iceberg, como Spark, Flink y Trino. Después de crear las tablas, están disponibles para lecturas y escrituras en esos motores y en BigQuery, y forman parte de la misma construcción de catálogo y espacio de nombres, administrada por el catálogo de tiempo de ejecución de Lakehouse.
  2. Compatibilidad con la distribución de credenciales para BigQuery: BigQuery admite el uso de la distribución de credenciales para la autenticación cuando se leen o escriben tablas de Iceberg en el catálogo de tiempo de ejecución de Lakehouse. Puedes configurar la venta de credenciales a nivel del catálogo.

Acciones de administración

Puedes realizar las siguientes acciones de administración en tus tablas de Apache Iceberg:

  • Crea una tabla: Crea una tabla de Apache Iceberg dentro de un espacio de nombres de catálogo con la consola de Google Cloud , Spark, Trino, gcloud, BigQuery (versión preliminar) o la API de Iceberg REST Catalog (CreateIcebergTable).
  • Registra una tabla: Registra una tabla de Apache Iceberg existente dentro de un espacio de nombres de catálogo con gcloud o la API de Iceberg REST Catalog (RegisterIcebergTable).
  • Enumera tablas: Consulta los identificadores de tablas dentro de un espacio de nombres con la consola de Google Cloud , Spark, Trino, gcloud, BigQuery (versión preliminar) o la API de Iceberg REST Catalog (ListIcebergTableIdentifiers).
  • Obtén detalles de la tabla: Inspecciona el esquema, las propiedades y las credenciales de la tabla con la consola de Google Cloud , Spark, Trino, gcloud, BigQuery (versión preliminar) o la API de Iceberg REST Catalog (GetIcebergTable, LoadIcebergTableCredentials).
  • Inserta datos: Agrega filas de datos a tus tablas de Iceberg con Spark, Trino o BigQuery (versión preliminar).
  • Consulta una tabla: Ejecuta consultas en tus tablas de Iceberg desde Spark, Trino o BigQuery con nombres de tablas de cuatro partes.
  • Modifica datos con DML: Actualiza, borra o combina filas de datos en tus tablas de Iceberg con sentencias DML de BigQuery (versión preliminar), Spark o Trino.
  • Modifica una tabla: Evoluciona el esquema de la tabla y actualiza las propiedades de los metadatos con la consola de Google Cloud , Spark, Trino, gcloud, BigQuery (versión preliminar) o la API de Iceberg REST Catalog (UpdateIcebergTable).
  • Configura las opciones de la tabla: Configura las propiedades para habilitar el DML de BigQuery (versión preliminar) y la administración automática de tablas.
  • Administra las LCA de las tablas: Consulta y actualiza las políticas de IAM en tus tablas de Iceberg para controlar el acceso de principales específicos (get-iam-policy, set-iam-policy).
  • Actualiza las tablas de Iceberg V1 a V2: Actualiza tus tablas de Iceberg V1 existentes al formato V2 compatible.
  • Usa vectores de eliminación binarios en tablas de Iceberg V3: Habilita los vectores de eliminación binarios para optimizar el rendimiento de la eliminación en tablas de Iceberg V3.
  • Borra una tabla: Borra un registro de tabla del catálogo sin borrar los archivos de almacenamiento subyacentes con la consola de Google Cloud , Spark, Trino, gcloud, BigQuery (versión preliminar) o la API de Iceberg REST Catalog (DeleteIcebergTable).

¿Qué sigue?