Panoramica delle tabelle Apache Iceberg

Le tabelle Apache Iceberg, gestite dal catalogo runtime di Lakehouse e dall'endpoint REST del catalogo Iceberg, sono tabelle Iceberg aperte e interoperabili che rispettano le specifiche della tabella Apache Iceberg open source, che possono essere lette e scritte utilizzando qualsiasi motore di elaborazione compatibile con Iceberg o BigQuery.

In questo documento, queste tabelle sono denominate "tabelle Lakehouse Iceberg" o "tabelle Iceberg".

Puoi attivare le seguenti funzionalità configurando le opzioni della tabella:

  1. Interoperabilità di lettura/scrittura (anteprima): supporto di lettura e scrittura senza interruzioni per più motori, tra cui BigQuery, Managed service for Apache Spark, motori compatibili con Iceberg come motori open source (Apache Spark, Apache Flink e Trino) e motori di terze parti (come Snowflake).
  2. Gestione automatica delle tabelle (anteprima): gestione automatica delle tabelle (ottimizzazione dell'archiviazione) come compattazione e garbage collection.

Oltre alle funzionalità precedenti, le seguenti funzionalità sono supportate per impostazione predefinita anche per le tabelle Lakehouse Iceberg (anteprima).

  1. Linguaggio di definizione dei dati (DDL) BigQuery (anteprima): puoi anche creare o aggiornare tabelle Iceberg utilizzando istruzioni DDL BigQuery (ad esempio CREATE TABLE, ALTER TABLE e DROP TABLE), oltre a creare o aggiornare tabelle utilizzando motori compatibili con Iceberg come Spark, Flink e Trino. Una volta create, le tabelle sono disponibili per le letture e le scritture in questi motori e in BigQuery e fanno parte della stessa struttura di catalogo e spazio dei nomi, gestita dal catalogo del runtime Lakehouse.
  2. Supporto della distribuzione delle credenziali per BigQuery (anteprima): BigQuery supporta l'utilizzo della distribuzione delle credenziali per l'autenticazione durante la lettura o la scrittura di tabelle Iceberg nel catalogo Lakehouse Runtime. Puoi impostare la distribuzione delle credenziali a livello di catalogo.

Azioni di gestione

Puoi eseguire le seguenti azioni di gestione sulle tabelle Apache Iceberg:

  • Crea una tabella: crea una tabella Apache Iceberg all'interno di uno spazio dei nomi del catalogo utilizzando la console Google Cloud , Spark, Trino, gcloud, BigQuery (anteprima) o l'API Iceberg REST Catalog (CreateIcebergTable).
  • Elenca tabelle: visualizza gli identificatori delle tabelle all'interno di uno spazio dei nomi utilizzando la console Google Cloud , Spark, Trino, gcloud, BigQuery (anteprima) o l'API Iceberg REST Catalog (ListIcebergTableIdentifiers).
  • Visualizza i dettagli della tabella: esamina lo schema, le proprietà e le credenziali della tabella utilizzando la console Google Cloud , Spark, Trino, gcloud, BigQuery (anteprima) o l'API Iceberg REST Catalog (GetIcebergTable,LoadIcebergTableCredentials).
  • Inserisci dati: aggiungi righe di dati alle tue tabelle Iceberg utilizzando Spark, Trino o BigQuery (anteprima).
  • Esegui query su una tabella: esegui query sulle tabelle Iceberg da Spark, Trino o BigQuery (anteprima) utilizzando la denominazione delle tabelle in quattro parti.
  • Modifica i dati con DML: aggiorna, elimina o unisci le righe di dati nelle tabelle Iceberg utilizzando le istruzioni DML di BigQuery (anteprima), Spark o Trino.
  • Modifica di una tabella: evolvi lo schema della tabella e aggiorna le proprietà dei metadati utilizzando la console Google Cloud , Spark, Trino, gcloud, BigQuery (anteprima) o l'API Iceberg REST Catalog (UpdateIcebergTable).
  • Configura le opzioni della tabella: configura le proprietà per attivare il linguaggio DML di BigQuery (anteprima) e la gestione automatica delle tabelle.
  • Gestisci gli ACL delle tabelle: visualizza e aggiorna i criteri IAM nelle tabelle Iceberg per controllare l'accesso per principal specifici (get-iam-policy, set-iam-policy).
  • Esegui l'upgrade delle tabelle Iceberg V1 alla versione V2: Esegui l'upgrade delle tabelle Iceberg V1 esistenti al formato V2 supportato.
  • Utilizza i vettori di eliminazione binaria nelle tabelle Iceberg V3: Attiva i vettori di eliminazione binaria per prestazioni di eliminazione ottimizzate nelle tabelle Iceberg V3.
  • Elimina una tabella: elimina la registrazione di una tabella dal catalogo senza eliminare i file di archiviazione sottostanti utilizzando la console Google Cloud , Spark, Trino, gcloud, BigQuery (anteprima) o l'API REST Catalog Iceberg (DeleteIcebergTable).

Passaggi successivi