Übersicht über Apache Iceberg-Tabellen

Apache Iceberg-Tabellen, die vom Lakehouse-Laufzeitkatalog und dem Iceberg REST-Katalog endpunkt verwaltet werden, sind offen und interoperabel. Sie entsprechen der Open-Source-Spezifikation für Apache Iceberg-Tabellen und können mit jeder Iceberg-kompatiblen Verarbeitungs-Engine oder mit BigQuery gelesen und beschrieben werden.

In diesem Dokument werden diese Tabellen als „verwaltete Apache Iceberg-Tabellen“ oder „Iceberg-Tabellen“ bezeichnet.

Informationen zum Vergleichen von Tabellentypen finden Sie unter Tabellentypen vergleichen.

Tabellenoptionen

Sie können die folgenden Funktionen aktivieren, indem Sie Tabellenoptionen konfigurieren:

  1. Lese-/Schreibinteroperabilität (Vorschau): Nahtlose Lese- und Schreibunterstützung für mehrere Engines, darunter BigQuery, Managed Service for Apache Spark, Iceberg-kompatible Engines wie Open-Source-Engines (Apache Spark, Apache Flink und Trino) und Engines von Drittanbietern (z. B. Snowflake).
  2. Automatische Tabellenverwaltung (Vorschau): Automatische Tabellenverwaltung (Speicher optimierung) wie Komprimierung und Garbage Collection.

Zusätzlich zu den oben genannten Funktionen werden die folgenden Funktionen standardmäßig für Apache Iceberg-Tabellen unterstützt, die von Lakehouse (Vorschau) verwaltet werden.

  1. BigQuery-Datendefinitionssprache (Vorschau): Sie können Iceberg-Tabellen auch mit BigQuery-DDL-Anweisungen (z. B. CREATE TABLE, ALTER TABLE, und DROP TABLE) erstellen oder aktualisieren. Alternativ können Sie Tabellen mit Iceberg-kompatiblen Engines wie Spark, Flink und Trino erstellen oder aktualisieren. Nachdem die Tabellen erstellt wurden, können sie in diesen Engines und in BigQuery gelesen und beschrieben werden. Sie sind Teil desselben Katalogs und Namespace-Konstrukts, das vom Lakehouse-Laufzeitkatalog verwaltet wird.
  2. Unterstützung für die Bereitstellung von Anmeldedaten für BigQuery (Vorschau): BigQuery unterstützt die Verwendung von Anmeldedatenbereitstellung für die Authentifizierung beim Lesen oder Schreiben von Iceberg-Tabellen im Lakehouse-Laufzeitkatalog. Sie können die Bereitstellung von Anmeldedaten auf Katalogebene festlegen.

Verwaltungsaktionen

Sie können die folgenden Verwaltungsaktionen für Ihre Apache Iceberg-Tabellen ausführen:

  • Tabelle erstellen: Erstellen Sie eine Apache Iceberg-Tabelle in einem Katalognamespace mit der Google Cloud Console, Spark, Trino, gcloud, BigQuery (Vorschau) oder der Iceberg REST Catalog API (CreateIcebergTable).
  • Tabelle registrieren: Registrieren Sie eine vorhandene Apache Iceberg-Tabelle in einem Katalognamespace mit gcloud oder der Iceberg REST Catalog API (RegisterIcebergTable).
  • Tabellen auflisten: Zeigen Sie Tabellenkennungen in einem Namespace mit der Google Cloud Console, Spark, Trino, gcloud, BigQuery (Vorschau) oder der Iceberg REST Catalog API (ListIcebergTableIdentifiers) an.
  • Tabellendetails abrufen: Prüfen Sie das Tabellenschema, die Eigenschaften und die Anmeldedaten mit der Google Cloud Console, Spark, Trino, gcloud, BigQuery (Vorschau) oder der Iceberg REST Catalog API (GetIcebergTable, LoadIcebergTableCredentials).
  • Daten einfügen: Hängen Sie Datenzeilen mit Spark, Trino oder BigQuery (Vorschau) an Ihre Iceberg-Tabellen an.
  • Tabelle abfragen: Führen Sie mit der vierteiligen Tabellennamenkonvention Abfragen für Ihre Iceberg-Tabellen aus Spark, Trino oder BigQuery (Vorschau) aus.
  • Daten mit DML ändern: Aktualisieren, löschen oder führen Sie Datenzeilen in Ihren Iceberg-Tabellen mit DML-Anweisungen aus BigQuery (Vorschau), Spark oder Trino zusammen.
  • Tabelle ändern: Entwickeln Sie das Tabellenschema weiter und aktualisieren Sie die Metadateneigenschaften mit der Google Cloud Console, Spark, Trino, gcloud, BigQuery (Vorschau) oder der Iceberg REST Catalog API (UpdateIcebergTable).
  • Tabellenoptionen konfigurieren: Konfigurieren Sie Eigenschaften, um BigQuery (Vorschau) DML und die automatische Tabellenverwaltung zu aktivieren.
  • Tabellen-ACLs verwalten: Sehen Sie sich IAM-Richtlinien für Ihre Iceberg-Tabellen an und aktualisieren Sie sie, um den Zugriff für bestimmte Principals zu steuern (get-iam-policy, set-iam-policy).
  • Iceberg V1-Tabellen auf V2 aktualisieren: Aktualisieren Sie Ihre vorhandenen Iceberg V1-Tabellen auf das unterstützte V2-Format.
  • Binäre Löschvektoren in Iceberg V3-Tabellen verwenden: Aktivieren Sie binäre Löschvektoren für eine optimierte Löschleistung in Iceberg V3-Tabellen.
  • Tabelle löschen: Entfernen Sie eine Tabellenregistrierung aus dem Katalog, ohne die zugrunde liegenden Speicherdateien zu löschen, mit der Google Cloud Console, Spark, Trino, gcloud, BigQuery (Vorschau) oder der Iceberg REST Catalog API (DeleteIcebergTable).

Nächste Schritte