Übersicht über Apache Iceberg-Ansichten

Mit Apache Iceberg-Ansichten können Sie offene, nicht materialisierte logische Tabellen mit SQL definieren und sie in Iceberg-kompatiblen Engines wie Apache Spark, Trino, Apache Flink, PyIceberg und dbt verwenden. Mit Iceberg-Ansichten können Sie modulare SQL-Pipelines erstellen und ausgewählte, kopierfreie Projektionen über Iceberg-Tabellen bereitstellen. Iceberg-Ansichten werden vom Lakehouse-Laufzeitkatalog über den Apache Iceberg REST-Katalogendpunkt verwaltet und entsprechen der Apache Iceberg-Ansichtsspezifikation und der Iceberg REST OpenAPI-Spezifikation.

In diesem Dokument werden diese Ansichten als Iceberg-Ansichten bezeichnet.

Im Gegensatz zu autorisierten Ansichten in BigQuery werden Iceberg-Ansichten clientseitig von Ihrer Compute-Engine ausgewertet. Iceberg-Ansichten sind Katalogobjekte, die Sie mit Open-Source-Engines erstellen, verwalten und abfragen.

Leistungsspektrum

Die folgenden Funktionen werden unterstützt:

  • Vollständiger Ansichtslebenszyklus: Erstellen, ersetzen, ändern Sie Attribute, listen Sie auf, prüfen Sie und löschen Sie Iceberg-Ansichten aus Iceberg-kompatiblen Open-Source-Engines wie Apache Spark und Trino.
  • Umfangreiche Ansichtsdefinitionen: Definieren Sie Ansichten mit Spalten-Aliassen, Kommentaren auf Spalten- und Ansichtsebene, benutzerdefinierten Eigenschaften, Joins, Aggregationen, allgemeinen Tabellenausdrücken (CTEs), UNION ALL, Unterabfragen, verschachtelten Ansichten und Zeitreisen für die zugrunde liegenden Tabellen.
  • Flexible Authentifizierung: Verwenden Sie entweder Endnutzer-Anmeldedaten oder Credential Vending mit Standard-Cloud Storage-Buckets und Buckets mit hierarchischem Namespace.
  • Katalogunterstützung: Erstellen Sie Ansichten in Katalogen mit mehreren Buckets und Katalogen mit einem Bucket.

Sie können Iceberg-Ansichten nur über Iceberg-kompatible Open-Source-Engines erstellen, verwalten und abfragen, die eine Verbindung zum Apache Iceberg REST-Katalogendpunkt herstellen. Weitere Informationen finden Sie unter Einschränkungen.

Verwenden Sie für Spark die Version 3.5 oder höher mit der Iceberg-Laufzeit 1.6.0 oder höher. Verwenden Sie die Iceberg-Laufzeit 1.10.0 oder höher, damit Spark die unterstützten Ansichtsendpunkte über die GET /v1/config-Antwort des Katalogs erkennt. Legen Sie spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions fest, damit Spark die Ansichts-DDL und die Auflösung an den Apache Iceberg REST-Katalogendpunkt delegiert.

Verwenden Sie für Trino die Version 482 oder höher. Weitere Informationen finden Sie unter Trino-Unterstützung.

Funktionsweise von Iceberg-Ansichten

Eine Iceberg-Ansicht speichert ihre SQL-Definition, ihr Schema und ihre Attribute in einer versionierten metadata.json-Datei in Cloud Storage unter VIEW_LOCATION/metadata/. Der Lakehouse-Laufzeitkatalog verfolgt den aktuellen Metadatenspeicherort für jede Ansicht und stellt die Ansicht über die Ansichtsendpunkte des Apache Iceberg REST-Katalogendpunkts bereit.

Ihre Compute Engine wertet Iceberg-Ansichten clientseitig aus. Wenn Sie SELECT * FROM my_view ausführen, lädt die Engine die Ansichtsdefinition aus dem Katalog, löst jede referenzierte Tabelle und verschachtelte Ansicht auf und führt dann die Abfrage für die zugrunde liegenden Iceberg-Tabellen aus. Der Katalog führt die Abfrage nicht in Ihrem Namen aus.

Jedes Mal, wenn Sie eine Ansicht durch CREATE OR REPLACE VIEW ersetzen, schreibt der Katalog eine neue metadata.json-Datei, hängt eine neue Version und ein neues Schema an die Metadaten der Ansicht an und behält die view-uuid der Ansicht bei. Das Attribut version.history.num-entries begrenzt die Anzahl der beibehaltenen Versionen. Weitere Informationen finden Sie unter Attribute ansehen.

Tabellen und Ansichten haben denselben Kennzeichnungs-Namespace innerhalb eines Katalog-Namespace. Sie können keine Ansicht mit demselben Namen wie eine vorhandene Tabelle erstellen oder eine Tabelle durch eine Ansicht ersetzen.

Erforderliche Rollen und Berechtigungen

Da Ihre Compute Engine Ansichten clientseitig auswertet, sind für die Abfrage einer Ansicht Berechtigungen für die Ansicht und für jede Tabelle und verschachtelte Ansicht erforderlich, auf die die Ansicht verweist.

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt und Ihren Storage-Bucket zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen, Verwalten und Abfragen von Iceberg-Ansichten benötigen:

  • Ansichten erstellen, ersetzen, ändern und löschen: BigLake-Bearbeiter (roles/biglake.editor) – Ihr Projekt
  • Ansichtsdefinitionen auflisten und prüfen: BigLake-Betrachter (roles/biglake.viewer) – Ihr Projekt
  • Ansichten im Modus für die Bereitstellung von Anmeldedaten abfragen: BigLake-Betrachter (roles/biglake.viewer) – Ihr Projekt
  • Ansichten im Modus „Anmeldedaten des Endnutzers“ abfragen:
    • BigLake-Betrachter (roles/biglake.viewer) – Ihr Projekt
    • Storage-Objekt-Betrachter (roles/storage.objectViewer) – der Cloud Storage-Bucket
  • Metadatendateien für Ansichten im Modus für Endnutzer-Anmeldedaten schreiben: Storage-Objekt-Nutzer (roles/storage.objectUser) – der Cloud Storage-Bucket

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen, Verwalten und Abfragen von Iceberg-Ansichten erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Iceberg-Ansichten zu erstellen, zu verwalten und abzufragen:

  • Ansicht erstellen:
    • biglake.views.create für den Namespace
    • biglake.tables.get für jede Iceberg-Tabelle, auf die die Ansicht verweist
  • Listenansichten: biglake.views.list für den Namespace
  • Details zur Ansicht abrufen: biglake.views.get für die Ansicht
  • Ansicht ändern:
    • biglake.views.update für die Ansicht
    • biglake.tables.get für jede Iceberg-Tabelle, auf die die neue Ansichtsdefinition verweist
  • Ansicht löschen: biglake.views.delete für die Ansicht
  • Ansicht abfragen:
    • biglake.views.get für die Ansicht und alle verschachtelten Ansichten
    • biglake.tables.get für jede Iceberg-Tabelle, auf die die Ansicht verweist
  • Tabellendaten im Modus für die Bereitstellung von Anmeldedaten lesen: biglake.tables.getData für jede Iceberg-Tabelle, auf die die Ansicht verweist
  • Lesen Sie Ansichtsmetadaten und Tabellendaten im Modus für Endnutzer-Anmeldedaten: storage.objects.get für den Cloud Storage-Bucket
  • Metadatendateien für Ansichten im Modus für Endnutzer-Anmeldedaten schreiben: storage.objects.create für den Cloud Storage-Bucket

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

In der folgenden Tabelle werden die einzelnen Ansichtsberechtigungen den Apache Iceberg REST-Katalogendpunktvorgängen zugeordnet, die sie autorisieren:

Berechtigung Ressource Endpunktvorgänge In vordefinierten Rollen enthalten
biglake.views.create Namespace CreateIcebergView roles/biglake.admin, roles/biglake.editor
biglake.views.get Ansehen GetIcebergView, CheckIcebergViewExists roles/biglake.admin, roles/biglake.editor, roles/biglake.viewer, roles/biglake.metadataViewer
biglake.views.update Ansehen UpdateIcebergView roles/biglake.admin, roles/biglake.editor
biglake.views.delete Ansehen DeleteIcebergView roles/biglake.admin, roles/biglake.editor
biglake.views.list Namespace ListIcebergViewIdentifiers roles/biglake.admin, roles/biglake.editor, roles/biglake.viewer, roles/biglake.metadataViewer

Weitere Informationen finden Sie unter IAM-Rollen für Lakehouse.

Unterstützte Ansichtsendpunkte

Wenn eine Engine eine Katalogsitzung mit GET /v1/config?warehouse=WAREHOUSE_URI initialisiert, gibt der Apache Iceberg REST-Katalogendpunkt die folgenden Ansichtsendpunkte in der Liste endpoints an. In der folgenden Tabelle ist {prefix} projects/PROJECT_ID/catalogs/CATALOG_ID.

Methode und Pfad Vorgang Beschreibung Erforderliche Berechtigung
GET /v1/{prefix}/namespaces/{namespace}/views ListIcebergViewIdentifiers Listet Ansichts-IDs im Namespace auf. Unterstützt pageToken und pageSize. Tabellen sind nicht enthalten. biglake.views.list für den Namespace
POST /v1/{prefix}/namespaces/{namespace}/views CreateIcebergView Erstellt eine Ansicht, schreibt die ursprüngliche 00000-UUID.metadata.json-Datei in Cloud Storage und registriert die Ansicht. biglake.views.create für den Namespace
GET /v1/{prefix}/namespaces/{namespace}/views/{view} GetIcebergView Lädt die aktuellen Ansichtsmetadaten und den Metadatenspeicherort. biglake.views.get für die Ansicht
POST /v1/{prefix}/namespaces/{namespace}/views/{view} UpdateIcebergView Validiert die Anforderungen an die optimistische Nebenläufigkeit und schreibt Aktualisierungen in eine neue metadata.json-Datei. biglake.views.update für die Ansicht
DELETE /v1/{prefix}/namespaces/{namespace}/views/{view} DeleteIcebergView Entfernt die Ansicht aus dem Katalog und löscht die IAM-Richtlinie (Identity and Access Management) auf Ansichtsebene. biglake.views.delete für die Ansicht
HEAD /v1/{prefix}/namespaces/{namespace}/views/{view} CheckIcebergViewExists Prüft, ob eine Ansicht vorhanden ist. biglake.views.get für die Ansicht

Verwaltungsaktionen

Sie können die folgenden Verwaltungsaktionen für Ihre Iceberg-Ansichten ausführen:

  • Ansicht erstellen: Definieren Sie eine Ansicht für eine oder mehrere Iceberg-Tabellen mit Spark oder dem Apache Iceberg REST-Katalogendpunkt (CreateIcebergView).
  • Ansichten auflisten: Listen Sie die Ansichts-IDs in einem Namespace mit Spark oder dem Apache Iceberg REST-Katalogendpunkt (ListIcebergViewIdentifiers) auf.
  • Ansichtsdetails abrufen: Prüfen Sie das Schema, die SQL-Definition und die Attribute einer Ansicht mit Spark oder dem Apache Iceberg REST-Katalogendpunkt (GetIcebergView).
  • Ansicht abfragen: Führen Sie Abfragen für eine Ansicht aus einer Iceberg-kompatiblen Open-Source-Engine wie Spark aus.
  • Ansicht ändern: Ersetzen Sie die Ansichtsdefinition oder aktualisieren Sie die Ansichtseigenschaften mit Spark oder dem Apache Iceberg REST-Katalogendpunkt (UpdateIcebergView).
  • Ansicht löschen: Löschen Sie eine Ansicht aus dem Katalog mit Spark oder dem Apache Iceberg REST-Katalogendpunkt (DeleteIcebergView).

Beschränkungen

Für Iceberg-Ansichten gelten die folgenden Einschränkungen:

  • Nur Open-Source-Engines. Sie können Iceberg-Ansichten nur über den Apache Iceberg REST-Katalogendpunkt aus Iceberg-kompatiblen Open-Source-Engines erstellen, verwalten und abfragen. BigQuery SQL, das bq-Befehlszeilentool, die Google Cloud Console, die gcloud CLI und Terraform unterstützen keine Iceberg-Ansichten.
  • Unterstützte Katalogtypen Iceberg-Ansichten werden nur in Katalogen mit mehreren Buckets und Katalogen mit einem Bucket unterstützt. Der Katalog lehnt Ansichtsvorgänge für BigQuery-Kataloge und föderierte Kataloge mit dem Fehler 400 Bad Request (FAILED_PRECONDITION) ab.
  • Nicht unterstützte REST-Ansichtsvorgänge.
    • Das Umbenennen einer Ansicht (POST /v1/{prefix}/views/rename oder ALTER VIEW ... RENAME TO) wird nicht unterstützt. Wenn Sie eine Ansicht umbenennen möchten, erstellen Sie eine Ansicht mit dem neuen Namen und löschen Sie dann die ursprüngliche Ansicht.
    • Das Registrieren einer vorhandenen Ansichtsdatei metadata.json (registerView) wird nicht unterstützt.
    • Materialisierte Ansichten werden nicht unterstützt. Es werden nur logische Iceberg-Ansichten unterstützt.
  • Zeitreise für Ansichten. Sie können TIMESTAMP AS OF oder VERSION AS OF nicht auf eine Ansichtskennung anwenden. In einer Ansichtsdefinition kann Zeitreisen auf die zugrunde liegenden Tabellen angewendet werden, die abgefragt werden. Weitere Informationen finden Sie unter Ansicht mit Zeitreisen für zugrunde liegende Tabellen erstellen.
  • Speicherort ansehen
    • In Katalogen mit einem einzelnen Bucket werden benutzerdefinierte Ansichtsstandorte nicht unterstützt. Der Speicherort der Ansicht muss mit dem Standardpfad NAMESPACE_LOCATION/VIEW_NAME übereinstimmen.
    • In Katalogen mit mehreren Buckets muss der Speicherort einer benutzerdefinierten Ansicht innerhalb des Speicher-URI-Präfixes des Namespace und der zulässigen Speicherorte des Katalogs liegen.
    • Nachdem Sie eine Ansicht erstellt haben, kann ihr Speicherort nicht mehr geändert werden. Der Versuch, einen anderen Standort festzulegen, schlägt mit dem Fehler 400 Bad Request fehl.

Attribute ansehen

Iceberg-Ansichten unterstützen die von Apache Iceberg definierten Ansichtseigenschaften. In der folgenden Tabelle wird beschrieben, wie der Katalog diese Attribute verarbeitet:

Attribut Standardwert Verhalten
write.metadata.compression-codec gzip Standardmäßig schreibt der Katalog mit gzip komprimierte .gz.metadata.json-Dateien. Legen Sie none fest, um unkomprimierte .metadata.json-Dateien zu schreiben. Beim Wert muss die Groß-/Kleinschreibung beachtet werden. Sie können dieses Attribut beim Erstellen oder mit ALTER VIEW ... SET TBLPROPERTIES festlegen.
write.metadata.path VIEW_LOCATION/metadata Wird bei Aufrufen ignoriert. Der Katalog schreibt Ansichtsmetadatendateien immer unter VIEW_LOCATION/metadata/VERSION-UUID.metadata.json.
version.history.num-entries 10 Hier können nur positive ganze Zahlen eingegeben werden. Begrenzt die Anzahl der Einträge, die der Katalog in der Liste versions und version-log der Ansicht beibehält. Wenn ein Commit dieses Limit überschreitet, werden die ältesten Einträge aus dem Katalog entfernt. Die aktuelle Version und die durch den Commit hinzugefügten Versionen bleiben immer erhalten. Das Versionsprotokoll ist für Audits und administrative Rollbacks vorgesehen. Compute-Engines unterstützen keine Abfragen von Verlaufsversionen von Ansichten mit SQL.

Nächste Schritte