Übersicht über Apache Iceberg-Tabellen

Apache Iceberg-Tabellen, die vom Lakehouse-Laufzeit katalog und dem Iceberg-REST-Katalog endpunkt verwaltet werden, sind offen und interoperabel. Sie entsprechen der Open-Source-Spezifikation für Apache Iceberg-Tabellen und können mit jeder Iceberg-kompatiblen Verarbeitungs-Engine oder mit BigQuery gelesen und geschrieben werden.

In diesem Dokument werden diese Tabellen als „Lakehouse Iceberg-Tabellen“ oder „Iceberg-Tabellen“ bezeichnet.

Sie können die folgenden Funktionen aktivieren, indem Sie Tabellenoptionen konfigurieren:

  1. Interoperabilität für Lese-/Schreibvorgänge (Vorschau): Nahtlose Lese- und Schreibunterstützung für mehrere Engines, darunter BigQuery, Managed Service for Apache Spark, Iceberg-kompatible Engines wie Open-Source-Engines (Apache Spark, Apache Flink und Trino) und Engines von Drittanbietern (z. B. Snowflake).
  2. Automatische Tabellenverwaltung (Vorschau): Automatische Tabellenverwaltung (Speicher optimierung) wie Komprimierung und Garbage Collection.

Zusätzlich zu den oben genannten Funktionen werden die folgenden Funktionen standardmäßig für Lakehouse Iceberg-Tabellen (Vorschau) unterstützt.

  1. BigQuery-Datendefinitionssprache (Vorschau): Sie können Iceberg-Tabellen auch mit BigQuery-DDL-Anweisungen (z. B. CREATE TABLE, ALTER TABLE, und DROP TABLE) erstellen oder aktualisieren. Alternativ können Sie Tabellen mit Iceberg-kompatiblen Engines wie Spark, Flink und Trino erstellen oder aktualisieren. Nachdem die Tabellen erstellt wurden, können sie in diesen Engines und in BigQuery gelesen und geschrieben werden. Sie sind Teil desselben Katalogs und Namespace-Konstrukts, das vom Lakehouse-Laufzeitkatalog verwaltet wird.
  2. Unterstützung für die Bereitstellung von Anmeldedaten für BigQuery (Vorschau): BigQuery unterstützt die Verwendung von Anmeldedaten für die Authentifizierung beim Lesen oder Schreiben von Iceberg-Tabellen im Lakehouse Laufzeitkatalog. Sie können die Bereitstellung von Anmeldedaten auf Katalogebene festlegen.

Verwaltungsaktionen

Sie können die folgenden Verwaltungsaktionen für Ihre Apache Iceberg-Tabellen ausführen:

  • Tabelle erstellen: Erstellen Sie eine Apache Iceberg-Tabelle in einem Katalognamespace mit der Google Cloud Console, Spark, Trino, gcloud, BigQuery (Vorschau) oder der Iceberg REST Catalog API (CreateIcebergTable).
  • Tabellen auflisten: Zeigen Sie Tabellenkennungen in einem Namespace mit der Google Cloud Console, Spark, Trino, gcloud, BigQuery (Vorschau) oder der Iceberg REST Catalog API (ListIcebergTableIdentifiers) an.
  • Tabellendetails abrufen: Prüfen Sie Tabellenschema, Eigenschaften und Anmeldedaten mit der Google Cloud Console, Spark, Trino, gcloud, BigQuery (Vorschau) oder der Iceberg REST Catalog API (GetIcebergTable, LoadIcebergTableCredentials).
  • Daten einfügen: Hängen Sie Datenzeilen mit Spark, Trino oder BigQuery (Vorschau) an Ihre Iceberg-Tabellen an.
  • Tabelle abfragen: Führen Sie Abfragen für Ihre Iceberg-Tabellen in Spark, Trino oder BigQuery (Vorschau) mit vierteiligen Tabellennamen aus.
  • Daten mit DML ändern: Aktualisieren, löschen oder führen Sie Datenzeilen in Ihren Iceberg-Tabellen mit DML-Anweisungen aus BigQuery (Vorschau), Spark oder Trino zusammen.
  • Tabelle ändern: Entwickeln Sie das Tabellenschema weiter und aktualisieren Sie Metadateneigenschaften mit der Google Cloud Console, Spark, Trino, gcloud, BigQuery (Vorschau) oder der Iceberg REST Catalog API (UpdateIcebergTable).
  • Tabellenoptionen konfigurieren: Konfigurieren Sie Eigenschaften, um BigQuery (Vorschau) DML und die automatische Tabellenverwaltung zu aktivieren.
  • Tabellen-ACLs verwalten: Sehen Sie sich IAM-Richtlinien für Ihre Iceberg-Tabellen an und aktualisieren Sie sie, um den Zugriff für bestimmte Principals zu steuern (get-iam-policy, set-iam-policy).
  • Iceberg V1-Tabellen auf V2 aktualisieren: Aktualisieren Sie Ihre vorhandenen Iceberg V1-Tabellen auf das unterstützte V2-Format.
  • Binäre Löschvektoren in Iceberg V3-Tabellen verwenden: Aktivieren Sie binäre Löschvektoren für eine optimierte Löschleistung in Iceberg V3-Tabellen.
  • Tabelle löschen: Entfernen Sie eine Tabellenregistrierung aus dem Katalog, ohne die zugrunde liegenden Speicherdateien zu löschen, mit der Google Cloud Console, Spark, Trino, gcloud, BigQuery (Vorschau) oder der Iceberg REST Catalog API (DeleteIcebergTable).

Nächste Schritte