Iceberg-Tabelle in Lakehouse mit der Google Cloud Console erstellen und abfragen
In dieser Kurzanleitung erfahren Sie, wie Sie mit der Google Cloud Console und dem grenzenlosen Lakehouse Apache Iceberg-Tabellen in Google Cloud und Open-Source-Engines verwalten und freigeben können. Dazu werden Tabellenmetadaten wie Schemas, Snapshots und Speicherorte im Lakehouse-Laufzeitkatalog gespeichert.
Führen Sie die folgenden Schritte in derGoogle Cloud -Console aus, um diese Kurzanleitung abzuschließen:
- Cloud Storage-Bucket erstellen: Erstellen Sie einen Bucket in Cloud Storage, um die Daten und Metadatendateien Ihrer Iceberg-Tabelle zu speichern.
- Katalog erstellen: Erstellen Sie einen Katalog mit mehreren Buckets im Lakehouse-Laufzeitkatalog, der von Ihrem Bucket mit aktivierter Anmeldedatenbereitstellung unterstützt wird.
- Namespace und Iceberg-Tabelle erstellen: Erstellen Sie auf der Seite Lakehouse in der Google Cloud Console einen Namespace und eine Iceberg-Tabelle mit aktivierter BigQuery-Datenbearbeitungssprache (DML).
- Daten ändern und Tabelle in BigQuery abfragen: Verwenden Sie BigQuery-DML-Anweisungen (
INSERT,UPDATEundDELETE), um Zeilen in der Iceberg-Tabelle zu ändern und die Ergebnisse mit der vierteiligen Syntax P.C.N.T (Project.Catalog.Namespace.Table) abzufragen. Es ist keine ETL- oder manuelle Tabellenregistrierung erforderlich.
Hinweis
- Melden Sie sich in Ihrem Google Cloud Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigLake, Cloud Storage, and BigQuery APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Make sure that you have the following role or roles on the project: BigLake Admin (
roles/biglake.admin), Storage Admin (roles/storage.admin), and BigQuery Job User (roles/bigquery.jobUser)Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
- Click Grant access.
-
In the New principals field, enter your user identifier. This is typically the email address for a Google Account.
- Click Select a role, then search for the role.
- To grant additional roles, click Add another role and add each additional role.
- Click Save.
-
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigLake, Cloud Storage, and BigQuery APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Make sure that you have the following role or roles on the project: BigLake Admin (
roles/biglake.admin), Storage Admin (roles/storage.admin), and BigQuery Job User (roles/bigquery.jobUser)Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
- Click Grant access.
-
In the New principals field, enter your user identifier. This is typically the email address for a Google Account.
- Click Select a role, then search for the role.
- To grant additional roles, click Add another role and add each additional role.
- Click Save.
-
Cloud Storage-Bucket erstellen
Erstellen Sie in der Google Cloud Console einen Cloud Storage-Bucket, um die Daten und Metadatendateien Ihrer Iceberg-Tabelle zu speichern:
Wechseln Sie in der Google Cloud Console unter „Cloud Storage“ zur Seite Buckets.
Klicken Sie auf Erstellen.
Geben Sie im Bereich Erste Schritte einen global eindeutigen Bucket-Namen ein (z. B.
lakehouse-quickstart-UNIQUE_IDoderPROJECT_ID-lakehouse) und klicken Sie dann auf Weiter.Lassen Sie im Abschnitt Speicherort für Daten auswählen den Standorttyp auf Multiregional (us (mehrere Regionen in den USA)) festgelegt und klicken Sie dann auf Erstellen.
Wenn das Dialogfeld Der öffentliche Zugriff wird verhindert angezeigt wird, klicken Sie auf Bestätigen.
Katalog im Lakehouse-Laufzeitkatalog erstellen
Erstellen Sie im Lakehouse-Laufzeitkatalog einen Katalog mit mehreren Buckets für Ihre Apache Iceberg-Tabellen. In einem Katalog mit mehreren Buckets können Sie Ihren Katalog unabhängig von einem Bucket-Namen benennen und mehrere Cloud Storage-Buckets mit einem einzigen Katalog verknüpfen. Um den Zugriff auf diese Buckets zu sichern, aktivieren Sie den Modus für die Bereitstellung von Anmeldedaten, damit der Katalog automatisch temporäre Speicheranmeldedaten direkt an Ihre Client-Engines ausgeben kann.
Rufen Sie in der Google Cloud Console die Seite Lakehouse auf.
Klicken Sie auf Katalog erstellen und wählen Sie dann Lakehouse-Laufzeitkatalog aus.
Konfigurieren Sie im Abschnitt Katalogtyp und ‑quelle die folgenden Einstellungen:
- Katalogtyp: Wählen Sie Iceberg-REST-Katalog aus.
- Optionen für Lakehouse-Katalog-Bucket: Wählen Sie Katalog mit mehreren Buckets aus.
- Cloud Storage-Pfad für Standardkatalog: Klicken Sie auf Durchsuchen, wählen Sie den von Ihnen erstellten Bucket aus und klicken Sie auf Auswählen.
- Katalog-ID: Geben Sie
quickstart_catalogein. - Primärer Standort: Wählen Sie Multiregional und dann USA (mehrere Regionen in den USA) aus. Das Feld Gerichtsbarkeit wird automatisch anhand des Buckets ausgefüllt.
Klicken Sie auf Weiter und dann im Abschnitt Datenpfade auf Weiter.
Wählen Sie im Abschnitt Authentifizierungsmethode die Option Modus für die Bereitstellung von Anmeldedaten aus.
Mit der Bereitstellung von Anmeldedaten stellt der Katalog Client-Engines und BigQuery sicher temporäre, tabellenspezifische Speichertokens aus, sodass externe Engines keine direkten IAM-Berechtigungen für Ihren Bucket benötigen.
Klicken Sie auf Erstellen.
Der Katalog wird erstellt und die Seite Katalogdetails wird geöffnet.
Klicken Sie unter Authentifizierungsmethode auf Bucket-Berechtigungen festlegen (oder Berechtigungen für Buckets festlegen, wenn Ihr Katalog mehrere Buckets umfasst) und dann im Dialogfeld auf Bestätigen.
In diesem Schritt werden dem Dienstkonto des Katalogs die erforderlichen Berechtigungen für Ihren Cloud Storage-Bucket gewährt, um temporäre Anmeldedaten bereitzustellen.
Namespace und Iceberg-Tabelle erstellen
Nachdem Sie einen Katalog erstellt haben, können Sie auf der Seite Lakehouse in derGoogle Cloud Console einen Namespace und eine Iceberg-Tabelle erstellen.
Namespace erstellen
Klicken Sie auf der Seite Katalogdetails für
quickstart_catalogauf Namespace erstellen.Geben Sie im Feld Namespace-Name den Wert
quickstart_namespaceein.Lassen Sie Speicherort auf dem Standard-Cloud Storage-Pfad, der automatisch in das Feld eingefügt wird.
Klicken Sie auf Erstellen.
Iceberg-Tabelle erstellen
Klicken Sie auf der Seite Katalogdetails auf
quickstart_namespace.Die Seite Namespace-Details wird geöffnet.
Klicken Sie auf Tabelle erstellen.
Konfigurieren Sie im Bereich Tabelle erstellen die folgenden Einstellungen:
- Tabellenformat: Prüfen Sie, ob Iceberg ausgewählt ist.
- Tabellenname: Geben Sie
quickstart_tableein. - Speicherort: Behalten Sie den standardmäßigen Cloud Storage-Pfad bei.
Klicken Sie unter Schema zweimal auf Feld hinzufügen, um der Tabelle zwei Spalten hinzuzufügen:
- Geben Sie für das erste Feld im Feld Feldname den Wert
idein und wählen Sie im Menü Typ die Option INTEGER aus. - Geben Sie für das zweite Feld im Feld Feldname den Wert
nameein und wählen Sie im Menü Typ die Option STRING aus.
- Geben Sie für das erste Feld im Feld Feldname den Wert
Suchen Sie unter Properties das vordefinierte Attribut
gcp.biglake.bigquery-dml.enabledund ändern Sie den Wert vonfalseintrue. Lassen Siegcp.biglake.table-management.enabledauffalsefestgelegt.Wenn Sie
gcp.biglake.bigquery-dml.enabledauftruesetzen, können Sie Daten in der Iceberg-Tabelle mit BigQuery-DML-Anweisungen wieINSERT,UPDATE,DELETEundMERGEändern. Weitere Informationen finden Sie unter Tabellenoptionen konfigurieren.Klicken Sie auf Erstellen.
Ihre neue Iceberg-Tabelle (
quickstart_table) wird auf der Seite Namespace-Details angezeigt und der Lakehouse-Laufzeitkatalog schreibt die erste Iceberg-Metadatendatei in Ihren Cloud Storage-Bucket.
Daten ändern und Tabelle in BigQuery abfragen
Nachdem Sie quickstart_table erstellt und BigQuery-DML aktiviert haben, können Sie Zeilen direkt in BigQuery einfügen, aktualisieren, löschen und abfragen. Verwenden Sie dazu die vierteilige P.C.N.T-Syntax (Project.Catalog.Namespace.Table). Ersetzen Sie in jeder Anweisung PROJECT_ID durch Ihre Projekt-ID inGoogle Cloud :
Rufen Sie in der Google Cloud Console die Seite BigQuery auf.
Klicken Sie im Abfrageeditor auf SQL-Abfrage.
Geben Sie die folgende Anweisung in den Abfrageeditor ein, um Beispieldaten einzufügen, und klicken Sie dann auf Ausführen:
INSERT INTO `PROJECT_ID.quickstart_catalog.quickstart_namespace.quickstart_table` (id, name) VALUES (1, 'one'), (2, 'two'), (3, 'three');
Wenn die
INSERT-Anweisung abgeschlossen ist, schreibt BigQuery die Parquet-Datendateien in Ihren Cloud Storage-Bucket und überträgt einen neuen Iceberg-Snapshot in den Lakehouse-Laufzeitkatalog.Wenn Sie eine Zeile in der Tabelle ändern möchten, geben Sie die folgende Anweisung in den Abfrageeditor ein und klicken Sie auf Ausführen:
UPDATE `PROJECT_ID.quickstart_catalog.quickstart_namespace.quickstart_table` SET name = 'updated' WHERE id = 1;
Wenn Sie eine Zeile aus der Tabelle löschen möchten, geben Sie die folgende Anweisung in den Abfrageeditor ein und klicken Sie auf Ausführen:
DELETE FROM `PROJECT_ID.quickstart_catalog.quickstart_namespace.quickstart_table` WHERE id = 3;
Geben Sie die folgende Anweisung in den Abfrageeditor ein und klicken Sie auf Ausführen, um die Tabelle abzufragen und Ihre Änderungen zu prüfen:
SELECT * FROM `PROJECT_ID.quickstart_catalog.quickstart_namespace.quickstart_table` ORDER BY id;
Im Bereich Abfrageergebnisse werden die verbleibenden zwei Zeilen angezeigt, einschließlich des aktualisierten Werts für
id = 1:+----+---------+ | id | name | +----+---------+ | 1 | updated | | 2 | two | +----+---------+
Da der Lakehouse-Laufzeitkatalog die Iceberg
-Metadaten verwaltet und die Bereitstellung von Anmeldedaten aktiviert ist, können Sie auch mit jeder Iceberg-kompatiblen Open-Source-Engine wie
Apache Spark, Trino oder Apache Flink aus lesen oder in
quickstart_table schreiben, ohne ihnen
direkten IAM-Zugriff auf Ihren Bucket zu gewähren.
Bereinigen
Löschen Sie die in dieser Kurzanleitung erstellten Ressourcen, um unnötige Kosten für Ihr Google Cloud Konto zu vermeiden. Durch das Löschen der Tabelle, des Namespace und des Katalogs wird die Metadatenregistrierung aus dem Lakehouse-Laufzeitkatalog entfernt. Durch das Löschen des Buckets werden die zugrunde liegenden Parquet-Daten und Iceberg-Metadatendateien entfernt, die in Cloud Storage gespeichert sind:
Rufen Sie in der Google Cloud Console die Seite Lakehouse auf.
Löschen Sie die Tabelle aus Ihrem Katalog:
- Klicken Sie auf
quickstart_catalogund dann aufquickstart_namespace. - Klicken Sie in der Zeile für
quickstart_tableauf Aktionen > Löschen. - Geben Sie im Bestätigungsdialogfeld
deleteein, um den Vorgang zu bestätigen, und klicken Sie dann auf Löschen.
- Klicken Sie auf
Löschen Sie den Namespace aus Ihrem Katalog:
- Kehren Sie zur Seite Katalogdetails für
quickstart_catalogzurück. - Klicken Sie in der Zeile für
quickstart_namespaceauf Weitere Namespace-Aktionen > Löschen. - Geben Sie im Bestätigungsdialogfeld
deleteein, um den Vorgang zu bestätigen, und klicken Sie dann auf Löschen.
- Kehren Sie zur Seite Katalogdetails für
Löschen Sie Ihren Katalog:
- Kehren Sie zur Seite Lakehouse zurück.
- Klicken Sie in der Zeile für
quickstart_catalogauf Weitere Katalogaktionen > Löschen. - Geben Sie im Bestätigungsdialogfeld
deleteein, um den Vorgang zu bestätigen, und klicken Sie dann auf Löschen.
Löschen Sie den Cloud Storage-Bucket und seinen Inhalt:
Rufen Sie die Seite Cloud Storage-Buckets auf:
Klicken Sie auf das Kästchen neben dem Bucket, den Sie für diese Kurzanleitung erstellt haben, und dann auf Löschen.
Geben Sie im Bestätigungsdialogfeld
DELETEein, um den Vorgang zu bestätigen, und klicken Sie dann auf Löschen.
Nächste Schritte
- Probieren Sie die Kurzanleitung zum Erstellen und Abfragen einer Iceberg-Tabelle mit der Google Cloud CLI aus.
- Daten mit BigQuery-DML-Anweisungen ändern und Tabellenoptionen konfigurieren
- Probieren Sie das Codelab zum Einrichten des cloudübergreifenden Datenzugriffs aus, um Daten in Amazon Web Services (AWS), AlloyDB for PostgreSQL und Cloud Storage ohne ETL abzufragen.
- Weitere Informationen zu Katalogen mit mehreren Buckets und dem Apache Iceberg REST-Katalogendpunkt.
- Kataloge im Lakehouse-Laufzeitkatalog verwalten
- Von Lakehouse verwaltete Apache Iceberg-Tabellen