Descripción general de las tablas de Apache Iceberg

Las tablas de Apache Iceberg, administradas por el catálogo del entorno de ejecución de Lakehouse y el endpoint del catálogo de Iceberg REST, son tablas de Iceberg abiertas e interoperables que cumplen con la especificación de la tabla de Apache Iceberg de código abierto, que se puede leer y escribir con cualquier motor de procesamiento compatible con Iceberg o BigQuery.

En este documento, estas tablas se denominan "tablas de Iceberg de Lakehouse" o "tablas de Iceberg".

Puedes habilitar las siguientes funciones configurando las opciones de la tabla:

  1. Interoperabilidad de lectura y escritura (versión preliminar): Compatibilidad perfecta con la lectura y escritura para varios motores, incluidos BigQuery, Managed Service para Apache Spark, motores compatibles con Iceberg, como motores de código abierto (Apache Spark, Apache Flink y Trino), y motores de terceros (como Snowflake)
  2. Administración automática de tablas (versión preliminar): Administración automática de tablas (optimización del almacenamiento), como la compactación y la recolección de elementos no utilizados.

Además de las capacidades anteriores, las siguientes también son compatibles de forma predeterminada con las tablas de Iceberg de Lakehouse (versión preliminar).

  1. Lenguaje de definición de datos de BigQuery (vista previa): También puedes crear o actualizar tablas de Iceberg con instrucciones DDL de BigQuery (por ejemplo, CREATE TABLE, ALTER TABLE y DROP TABLE), además de crear o actualizar tablas con motores compatibles con Iceberg, como Spark, Flink y Trino. Una vez que se crean las tablas, están disponibles para lecturas y escrituras en esos motores y en BigQuery, y forman parte del mismo catálogo y construcción de espacio de nombres, administrados por el catálogo de tiempo de ejecución de Lakehouse.
  2. Compatibilidad con la venta de credenciales para BigQuery (versión preliminar): BigQuery admite el uso de la venta de credenciales para la autenticación cuando se leen o escriben tablas de Iceberg en el catálogo de Lakehouse Runtime. Puedes configurar la venta de credenciales a nivel del catálogo.

Acciones de administración

Puedes realizar las siguientes acciones de administración en tus tablas de Apache Iceberg:

  • Crea una tabla: Crea una tabla de Apache Iceberg dentro de un espacio de nombres del catálogo con la consola de Google Cloud , Spark, Trino, gcloud, BigQuery (versión preliminar) o la API de REST del catálogo de Iceberg (CreateIcebergTable).
  • List tables: Consulta los identificadores de tablas dentro de un espacio de nombres con la consola de Google Cloud , Spark, Trino, gcloud, BigQuery (versión preliminar) o la API de Iceberg REST Catalog (ListIcebergTableIdentifiers).
  • Obtén detalles de la tabla: Inspecciona el esquema, las propiedades y las credenciales de la tabla con la consola de Google Cloud , Spark, Trino, gcloud, BigQuery (versión preliminar) o la API de REST del catálogo de Iceberg (GetIcebergTable, LoadIcebergTableCredentials).
  • Insertar datos: Agrega filas de datos a tus tablas de Iceberg con Spark, Trino o BigQuery (versión preliminar).
  • Consultar una tabla: Ejecuta consultas en tus tablas de Iceberg desde Spark, Trino o BigQuery (versión preliminar) con nombres de tabla de cuatro partes.
  • Modifica datos con DML: Actualiza, borra o combina filas de datos en tus tablas de Iceberg con sentencias DML de BigQuery (vista previa), Spark o Trino.
  • Modifica una tabla: Evoluciona el esquema de la tabla y actualiza las propiedades de los metadatos con la consola de Google Cloud , Spark, Trino, gcloud, BigQuery (vista previa) o la API de Iceberg REST Catalog (UpdateIcebergTable).
  • Configurar opciones de tabla: Configura propiedades para habilitar el DML de BigQuery (versión preliminar) y la administración automática de tablas.
  • Administrar LCA de tablas: Consulta y actualiza las políticas de IAM en tus tablas de Iceberg para controlar el acceso de principales específicos (get-iam-policy, set-iam-policy).
  • Actualiza las tablas de Iceberg V1 a V2: Actualiza tus tablas existentes de Iceberg V1 al formato V2 compatible.
  • Usar vectores de eliminación binarios en tablas de Iceberg V3: Habilita los vectores de eliminación binarios para optimizar el rendimiento de la eliminación en las tablas de Iceberg V3.
  • Borra una tabla: Quita el registro de una tabla del catálogo sin purgar los archivos de almacenamiento subyacentes con la consola de Google Cloud , Spark, Trino, gcloud, BigQuery (versión preliminar) o la API de Iceberg REST Catalog (DeleteIcebergTable).

¿Qué sigue?