Ansicht erstellen

Wenn Sie eine Apache Iceberg-Ansicht erstellen, können Sie eine SQL-definierte, nicht materialisierte logische Tabelle in einem Namespace des Lakehouse-Laufzeitkatalogs registrieren, damit Iceberg-kompatible Engines wie Spark und Trino sie abfragen können. Der Katalog schreibt die Ansichtsdefinition in eine versionierte metadata.json-Datei in Cloud Storage am Speicherort der Ansicht.

Da der Katalog die Schemas der referenzierten Tabellen beim Erstellen einer Ansicht validiert, müssen der Namespace und jede Tabelle, auf die die Ansicht verweist, bereits vorhanden sein. Weitere Informationen finden Sie unter Übersicht über Apache Iceberg-Ansichten.

Hinweis

  1. Prüfen Sie, ob die Abrechnung für Ihr Google Cloud -Projekt aktiviert ist.

  2. Aktivieren Sie die BigLake API, falls sie noch nicht aktiviert ist.

    Rollen, die zum Aktivieren von APIs erforderlich sind

    Zum Aktivieren von APIs benötigen Sie die Berechtigung serviceusage.services.enable. Wenn Sie das Projekt erstellt haben, haben Sie diese Berechtigung wahrscheinlich bereits über die Inhaberrolle (roles/owner). Andernfalls können Sie diese Berechtigung über die Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin) erhalten. Informationen zum Zuweisen von Rollen

    API aktivieren

  3. Richten Sie den Lakehouse-Laufzeitkatalog mit einem Katalog mit mehreren Buckets oder einem Katalog mit einem einzelnen Bucket ein. Iceberg-Ansichten werden in BigQuery-Katalogen oder föderierten Katalogen nicht unterstützt.
  4. Lesen Sie die Einschränkungen von Iceberg-Ansichten.
  5. Verbinden Sie Ihre Open-Source-Engine mit dem Apache Iceberg REST-Katalogendpunkt.

    • Spark: Verwenden Sie Spark 3.5 oder höher mit der Iceberg-Laufzeit 1.6.0 oder höher. Verwenden Sie die Iceberg-Laufzeitversion 1.10.0 oder höher, damit Spark die unterstützten Ansichtsendpunkte über die GET /v1/config-Antwort des Katalogs erkennt. Legen Sie spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions fest, damit Spark die Ansichts-DDL und die Auflösung an den Apache Iceberg REST-Katalogendpunkt delegiert.
    • Trino: Verwenden Sie Trino 482 oder höher und konfigurieren Sie Ihren Trino Iceberg-Connector so, dass er den Apache Iceberg REST-Katalogendpunkt verwendet. Weitere Informationen finden Sie unter Trino-Unterstützung.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Projekt und Ihren Storage-Bucket zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer Ansicht benötigen:

  • Ansicht erstellen: BigLake-Bearbeiter (roles/biglake.editor) – Ihr Projekt
  • Metadatendateien für Ansichten im Modus für Endnutzer-Anmeldedaten schreiben: Storage-Objekt-Nutzer (roles/storage.objectUser) – der Cloud Storage-Bucket

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen einer Ansicht erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Zum Erstellen einer Ansicht sind die folgenden Berechtigungen erforderlich:

  • Ansicht erstellen:
    • biglake.views.create für den Namespace
    • biglake.tables.get für jede Iceberg-Tabelle, auf die die Ansicht verweist
  • Metadatendateien für Ansichten im Modus für Endnutzer-Anmeldedaten schreiben: storage.objects.create für den Cloud Storage-Bucket

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Eine vollständige Liste der Leseberechtigungen finden Sie unter Erforderliche Rollen und Berechtigungen.

Basistabellen erstellen

Die Beispiele in diesem Dokument beziehen sich auf den folgenden Namespace und die folgenden Tabellen. Wenn sie noch nicht vorhanden sind, erstellen Sie sie:

CREATE NAMESPACE IF NOT EXISTS my_ns;
USE my_ns;

CREATE TABLE IF NOT EXISTS employees (
  id INT,
  name STRING,
  dept STRING,
  salary DOUBLE
) USING iceberg;

CREATE TABLE IF NOT EXISTS departments (
  dept_code STRING,
  dept_name STRING,
  building STRING
) USING iceberg;

Optional: Fügen Sie Beispieldaten ein, damit Sie die von Ihnen erstellten Ansichten abfragen können:

INSERT INTO my_ns.employees VALUES
  (1, 'Alice', 'Engineering', 150000.0),
  (2, 'Bob', 'Marketing', 120000.0),
  (3, 'Charlie', 'Engineering', 135000.0);

INSERT INTO my_ns.departments VALUES
  ('Engineering', 'Eng Org', 'Building A'),
  ('Marketing', 'Growth Org', 'Building B');

Ansicht erstellen

Iceberg-Ansicht über eine oder mehrere Iceberg-Tabellen erstellen

Spark

Erstellen Sie eine Ansicht mit expliziten Spalten-Aliassen, Kommentaren auf Spaltenebene, einem Kommentar auf Ansichtsebene und benutzerdefinierten Eigenschaften. Die Engine löst nicht qualifizierte Tabellennamen in der Ansichtsdefinition mithilfe des default-catalog und des default-namespace der Ansicht auf:

CREATE VIEW eng_employees (
  emp_id COMMENT 'Unique employee ID',
  emp_name COMMENT 'Full name of employee',
  salary COMMENT 'Annual compensation'
)
COMMENT 'Curated view of Engineering department employees'
TBLPROPERTIES ('tier' = 'silver')
AS SELECT id, name, salary
FROM employees
WHERE dept = 'Engineering';

Wenn Sie eine Ansicht nur erstellen möchten, wenn sie noch nicht vorhanden ist, verwenden Sie CREATE VIEW IF NOT EXISTS. Wenn die Ansicht vorhanden ist, wird die Anweisung erfolgreich ausgeführt, ohne sie zu ändern:

CREATE VIEW IF NOT EXISTS eng_employees AS
SELECT id, name, salary FROM employees;

Standardmäßig schreibt der Katalog mit GZIP komprimierte Metadatendateien (.gz.metadata.json). Wenn Sie unkomprimierte Metadatendateien (.metadata.json) schreiben möchten, legen Sie das Attribut write.metadata.compression-codec auf none fest:

CREATE VIEW uncompressed_eng_view
TBLPROPERTIES ('write.metadata.compression-codec' = 'none')
AS SELECT id, name FROM employees WHERE dept = 'Engineering';

REST

Wenn Sie eine Iceberg-Ansicht mit der REST API erstellen möchten, senden Sie eine POST-Anfrage an den Endpunkt CreateIcebergView:

POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/views

Der Anfragetext muss eine gültige Iceberg-CreateViewRequest-JSON-Nutzlast enthalten, die den Ansichtsnamen, das Schema, die Ansichtsversion und die anfänglichen Attribute definiert. Wenn Sie einen benutzerdefinierten location festlegen, muss dieser den Regeln für den Speicherort der Ansicht für Ihren Katalogtyp entsprechen. Der Standort kann nach dem Erstellen nicht mehr geändert werden.

Ersetzen Sie Folgendes:

  • PROJECT_ID: Ihre Projekt-ID in Google Cloud.
  • CATALOG_ID: die ID Ihres Katalogs.
  • NAMESPACE_NAME: der Name Ihres Katalog-Namespace.

Ansichten mit Joins, Aggregationen und Unterabfragen erstellen

Eine Ansichtsdefinition kann Joins, Aggregationen, CASE-Ausdrücke, allgemeine Tabellenausdrücke (CTEs), UNION ALL und Unterabfragen enthalten.

Erstellen Sie eine Ansicht, die zwei Tabellen verknüpft:

CREATE VIEW employee_directory AS
SELECT e.id, e.name, d.dept_name, d.building
FROM my_ns.employees e
JOIN my_ns.departments d
  ON e.dept = d.dept_code;

Erstellen Sie eine Ansicht, die Daten aggregiert und einen CASE-Ausdruck verwendet:

CREATE VIEW dept_summary AS
SELECT
  dept,
  CASE WHEN dept = 'Engineering' THEN 'TECH' ELSE 'NON-TECH' END AS category,
  COUNT(*) AS headcount,
  AVG(salary) AS avg_salary
FROM my_ns.employees
GROUP BY dept;

Erstellen Sie eine Ansicht, die einen CTE, UNION ALL und eine Unterabfrage verwendet:

CREATE VIEW high_earners_cte AS
WITH eng AS (
  SELECT id, name, salary FROM my_ns.employees WHERE dept = 'Engineering'
)
SELECT id, name FROM eng WHERE salary >= 140000.0
UNION ALL
SELECT id, name FROM my_ns.employees
WHERE id IN (SELECT id FROM my_ns.employees WHERE dept = 'Marketing');

Verschachtelte Ansicht erstellen

Eine Ansicht kann eine andere Ansicht abfragen. Zum Abfragen der äußeren Ansicht ist biglake.views.get für beide Ansichten und Lesezugriff auf jede Tabelle erforderlich, auf die eine der Ansichten verweist.

CREATE VIEW top_eng_employees AS
SELECT emp_id, emp_name
FROM my_ns.eng_employees
WHERE salary >= 140000.0;

Ansicht mit Zeitreise für zugrunde liegende Tabellen erstellen

Ansichten verwalten keine eigenen Daten-Snapshots, aber eine Ansichtsdefinition kann eine zugrunde liegende Iceberg-Tabelle mit einem bestimmten Zeitstempel oder einer bestimmten Snapshot-ID abfragen. Verwenden Sie dieses Muster, um reproduzierbare historische Referenzwerte für Compliance, Berichterstellung oder Modelltraining zu erstellen.

  1. Fügen Sie einen Eintrag ein, um eine neue Version der zugrunde liegenden Tabelle zu erstellen:

    INSERT INTO my_ns.employees VALUES (4, 'Diana', 'Engineering', 160000.0);
    
  2. Erstellen Sie eine Ansicht, die an den Tabellenstatus vor dem Einfügen angepinnt ist. Ersetzen Sie den Zeitstempel durch eine Zeit vor dem Einfügen:

    CREATE VIEW eng_employees_baseline AS
    SELECT id, name, salary
    FROM my_ns.employees TIMESTAMP AS OF 'TIMESTAMP'
    WHERE dept = 'Engineering';
    

    Alternativ können Sie die Ansicht an eine bestimmte Tabellen-Snapshot-ID anpinnen:

    CREATE VIEW eng_employees_snapshot_audit AS
    SELECT id, name, salary
    FROM my_ns.employees VERSION AS OF SNAPSHOT_ID
    WHERE dept = 'Engineering';
    
  3. Fragen Sie die Verlaufsansicht ab. Der neu eingefügte Datensatz ist im Ergebnis nicht enthalten:

    SELECT * FROM eng_employees_baseline;
    

Sie können TIMESTAMP AS OF oder VERSION AS OF nicht direkt auf eine Ansichts-ID anwenden. Zeitreise in der Ansichtsdefinition für die zugrunde liegende Tabelle ausdrücken. Weitere Informationen finden Sie unter Fehlerbehebung bei Iceberg-Ansichten.

Nächste Schritte