Katalog erstellen

Mit dem Lakehouse-Laufzeitkatalog können Sie Katalogendpunkte in einem grenzenlosen Lakehouse erstellen.

Ein Katalogendpunkt verweist auf einen zugrunde liegenden Cloud Storage-Bucket und bietet eine Metadatenebene, über die Abfrage-Engines und Open-Source-Arbeitslasten direkt mit Ihren Tabellen interagieren können. Wenn Sie einen Katalogendpunkt erstellen, können Sie zwischen Anmeldedaten von Endnutzern und dem Modus für die Bereitstellung von Anmeldedaten für die Delegierung des Speicherzugriffs wählen.

Hinweis

1. Lesen Sie About the Lakehouse-Laufzeitkatalog, um zu erfahren, wie der Lakehouse-Laufzeitkatalog funktioniert und welche Einschränkungen für den Dienst gelten.
Melden Sie sich in Ihrem Google Cloud Konto an. Wenn Sie noch kein Google Cloud-Nutzer sind, erstellen Sie ein Konto, um zu testen, wie sich unsere Produkte in realen Szenarien schlagen. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigLake API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Katalogs und zum Registrieren von Tabellen benötigen:

• Katalog erstellen:
  • BigLake-Administrator (roles/biglake.admin) für Ihr Projekt
  • Storage-Administrator (roles/storage.admin) für Ihr Projekt
• Tabellen erstellen (registrieren): BigLake-Administrator (roles/biglake.admin) für Ihr Projekt. Für die Registrierung von Tabellen ist die Berechtigung zur Tabellenregistrierung (biglake.tables.register) erforderlich, die in der Rolle „BigLake-Administrator“ enthalten ist.
• Das automatisch bereitgestellte Dienstkonto des Katalogs im Modus für die Bereitstellung von Anmeldedaten verwenden: Storage Object User (roles/storage.objectUser) für die Ziel-Cloud Storage-Buckets. Nachdem Sie den Katalog erstellt haben, weisen Sie dem automatisch bereitgestellten Dienstkonto explizit die Rolle „Storage Object User“ (roles/storage.objectUser) für Ihre Storage-Buckets zu.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Hinweis: Die Erstellung des automatisch bereitgestellten Dienstkontos des Katalogs ist eventual konsistent. Das bedeutet, dass es einige Zeit dauert, bis das Dienstkonto im System verfügbar ist. Wenn Sie dem Dienstkonto sofort nach der Erstellung Rollen zuweisen, schlägt die Anfrage möglicherweise fehl. Informationen darüber, wie lange es durchschnittlich dauert, bis Zugriffsänderungen weitergegeben werden, finden Sie unter Zugriffsänderungsverteilung.

Katalog erstellen

Führen Sie die folgenden Schritte aus, um einen Katalog basierend auf dem bevorzugten Modus für Anmeldedaten und dem Bucket-Typ zu erstellen. Weitere Informationen zu den verschiedenen Katalogtypen finden Sie unter Informationen zum Apache Iceberg-REST-Katalogendpunkt.

Hinweis: Wenn Sie in einen Katalog mit mehreren Buckets erstellen oder verwalten, geben Sie Cloud Storage-Pfade (gs://) für die Standard- und eingeschränkten Speicherorte an.Google CloudDas bl://projects/PROJECT_ID/catalogs/CATALOG_ID URI-Format wird ausschließlich bei der Clientkonfiguration verwendet, um das Katalog-Data Warehouse zu identifizieren, wenn eine Verbindung von Abfrage-Engines (z. B. Apache Spark oder Trino) hergestellt wird.

Console

Katalog mit mehreren Buckets erstellen (empfohlen)

Mit dieser Konfiguration können Sie Ihrem Katalog mehrere Buckets zuordnen und ihn unabhängig von einem Bucket-Namen benennen.

1. Öffnen Sie in der Google Cloud console die Lakehouse Seite.

   Zu Lakehouse

2. Klicken Sie auf Katalog erstellen und wählen Sie dann Lakehouse-Laufzeitkatalog aus.

3. Wählen Sie unter Katalogtyp die Option Iceberg-REST-Katalog aus.

4. Wählen Sie unter Optionen für den Lakehouse-Katalog-Bucket die Option Katalog mit mehreren Buckets aus.

5. Geben Sie unter Standardmäßiger Cloud Storage-Pfad für Katalog den Cloud Storage-Pfad ein, der mit Ihrem Katalog verwendet werden soll, oder suchen Sie danach.

6. Geben Sie unter Katalog-ID einen benutzerdefinierten Namen für Ihren Katalog ein.

7. Wählen Sie unter Primärer Standort einen Standort aus. Der Standort muss sich in der Nähe der Regionen des Haupt-Buckets befinden.

8. Klicken Sie auf Weiter.

9. Wenn Sie im Schritt Datenpfade weitere Cloud Storage-Pfade hinzufügen möchten, klicken Sie auf Pfad hinzufügen und geben Sie einen Pfad ein oder suchen Sie danach.

10. Klicken Sie auf Weiter.

11. Wählen Sie unter Authentifizierungsmethode die Option Anmeldedaten von Endnutzern oder Modus für die Bereitstellung von Anmeldedaten aus.

12. Klicken Sie auf Erstellen.

    Ihr Katalog wird erstellt und die Seite Katalogdetails wird geöffnet.

13. Wenn Sie Modus für die Bereitstellung von Anmeldedaten ausgewählt haben, führen Sie die folgenden zusätzlichen Schritte aus:

    1. Klicken Sie unter Authentifizierungsmethode auf Bucket-Berechtigungen festlegen (oder Berechtigungen für Buckets festlegen, wenn Ihr Katalog mehrere Buckets verwendet).
    2. Klicken Sie im Dialogfeld auf Bestätigen.

Katalog mit einem Bucket erstellen

Achtung:Verwenden Sie die Konfiguration mit einem Bucket nicht für neue Projekte. Mit dieser Konfiguration ist Ihr Katalog auf einen einzelnen Bucket beschränkt und der Katalogname ist an den Bucket-Namen gebunden.

1. Klicken Sie auf der Seite Lakehouse auf Katalog erstellen und wählen Sie dann Lakehouse-Laufzeitkatalog aus.
2. Wählen Sie unter Katalogtyp die Option Iceberg-REST-Katalog oder Hive-Metastore aus.
3. Wenn Sie Iceberg-REST-Katalog ausgewählt haben, wählen Sie unter Optionen für den Lakehouse-Katalog-Bucket die Option Katalog mit einem Bucket aus.
4. Geben Sie unter Standardmäßiger Cloud Storage-Bucket für Katalog (oder Standardmäßiger Cloud Storage-Pfad für Katalog für einen Apache Hive-Katalogendpunkt) den Cloud Storage-Bucket ein, der mit Ihrem Katalog verwendet werden soll, oder suchen Sie danach. Für einen Katalog mit einem Bucket kann es nur einen Katalog pro Bucket geben und der Katalogname entspricht dem Bucket-Namen.
5. Klicken Sie auf Weiter.
6. Wählen Sie unter Authentifizierungsmethode die Option Anmeldedaten von Endnutzern oder Modus für die Bereitstellung von Anmeldedaten aus.
7. Klicken Sie auf Erstellen.
8. Wenn Sie Modus für die Bereitstellung von Anmeldedaten ausgewählt haben, führen Sie die folgenden zusätzlichen Schritte aus:
   1. Klicken Sie unter Authentifizierungsmethode auf Bucket-Berechtigungen festlegen.
   2. Klicken Sie im Dialogfeld auf Bestätigen.

gcloud

Katalog mit mehreren Buckets erstellen (empfohlen)

Mit dieser Konfiguration können Sie Ihrem Katalog mehrere Buckets zuordnen und ihn unabhängig von einem Bucket-Namen benennen.

Führen Sie den gcloud biglake iceberg catalogs create Befehl aus, um einen Katalog mit mehreren Buckets zu erstellen (empfohlen):

gcloud biglake iceberg catalogs create \
    CATALOG_NAME \
    --project PROJECT_ID \
    --catalog-type biglake \
    --default-location DEFAULT_LOCATION \
    --credential-mode CREDENTIAL_MODE \
    [--restricted-locations RESTRICTED_LOCATIONS] \
    [--primary-location LOCATION]

Ersetzen Sie Folgendes:

• CATALOG_NAME: ein Name für Ihren Katalog. Für Kataloge mit mehreren Buckets (empfohlen) ist dies der benutzerdefinierte Katalogname.
• PROJECT_ID: Ihre Google Cloud Projekt-ID.
• DEFAULT_LOCATION: der Standardspeicherort für den Katalog. Sie können einen Bucket (gs://my-bucket) oder einen Unterpfad (gs://my-bucket/path) angeben. Alle Namespaces und Tabellen im Katalog müssen sich unter dem angegebenen Pfad befinden. Wenn Sie beispielsweise gs://my-bucket/path angeben, können Sie keine Namespaces oder Tabellen unter gs://my-bucket/another/path erstellen.

• CREDENTIAL_MODE: die Authentifizierungsmethode. Verwenden Sie end-user für Anmeldedaten von Endnutzern oder vended-credentials für den Modus für die Bereitstellung von Anmeldedaten.

  Hinweis: Wenn Sie den Modus für die Bereitstellung von Anmeldedaten verwenden, müssen Sie dem automatisch bereitgestellten Dienstkonto des Lakehouse-Laufzeitkatalogs Ihres Katalogs explizit die Rolle „Storage Object User“ (roles/storage.objectUser) für alle zugehörigen Storage-Buckets zuweisen.

• RESTRICTED_LOCATIONS: optional: eine durch Kommas getrennte Liste zusätzlicher zulässiger Speicherorte im Format gs://my-bucket-1/...,gs://my-bucket-2/.... Wenn Sie einen Pfad angeben (z. B. gs://my-bucket/path), müssen sich alle Namespaces oder Tabellen in diesem Bucket unter diesem Pfad befinden. Alle konfigurierten Cloud Storage-Speicherorte, einschließlich des Standardspeicherorts und der eingeschränkten Speicherorte, müssen sich in derselben geografischen Region oder Gerichtsbarkeit befinden (z. B. USA, Europa, Kanada oder Asien). Sie können beispielsweise keinen Bucket in den USA mit einem Bucket in Europa kombinieren. Eine Liste der unterstützten Standorte finden Sie unter Lakehouse-Standorte.

  Warnung: Konfigurieren Sie keine sich überschneidenden Pfade mit anderen Katalogen, um die unbefugte Offenlegung von Anmeldedaten zu verhindern. Weitere Informationen finden Sie unter Speicher über mehrere Buckets hinweg.

• LOCATION: optional: die primäre Region für den Katalog, um die Interoperabilität mit BigQuery zu gewährleisten. Geben Sie für Cloud Storage-Buckets in der Region USA (z. B. US oder us-central1) oder in der Region EU (z. B. EU oder europe-west4) US bzw. EU an, damit der Katalog von den entsprechenden multiregionalen Standorten von BigQuery aus zugänglich ist und für Abfragen zur Verfügung steht. Weitere Informationen finden Sie unter Bucket- und Katalogregionen.

Katalog mit einem Bucket erstellen

Achtung:Verwenden Sie die Konfiguration mit einem Bucket nicht für neue Projekte. Mit dieser Konfiguration ist Ihr Katalog auf einen einzelnen Bucket beschränkt und der Katalogname ist an den Bucket-Namen gebunden.

Führen Sie den folgenden Befehl aus, um einen Katalog mit einem Bucket zu erstellen:

gcloud biglake iceberg catalogs create \
    CATALOG_NAME \
    --project PROJECT_ID \
    --catalog-type gcs-bucket \
    --credential-mode CREDENTIAL_MODE

Ersetzen Sie Folgendes:

• CATALOG_NAME: ein Name für Ihren Katalog. Für Kataloge mit einem Bucket entspricht dieser Name der Cloud Storage-Bucket-ID, die mit dem Katalog verwendet wird.
• PROJECT_ID: Ihre Google Cloud Projekt-ID.
• CREDENTIAL_MODE: die Authentifizierungsmethode. Verwenden Sie end-user für Anmeldedaten von Endnutzern oder vended-credentials für den Modus für die Bereitstellung von Anmeldedaten.

REST

Iceberg-REST-Katalog erstellen

Senden Sie eine POST Anfrage an den CreateIcebergCatalog Endpunkt, um einen Endpunkt für die Katalogverwaltung mit der REST API zu erstellen:

POST /iceberg/v1/restcatalog/extensions/projects/PROJECT_ID/catalogs?iceberg-catalog-id=CATALOG_ID

Der Anfragetext muss eine IcebergCatalog-JSON-Nutzlast enthalten, die die Katalogkonfiguration definiert, z. B. das zugrunde liegende Cloud Storage-Bucket-Data Warehouse und den Authentifizierungsmodus.

Ersetzen Sie Folgendes:

• PROJECT_ID: Ihre Google Cloud Projekt-ID.
• CATALOG_ID: die ID Ihres Lakehouse-Laufzeitkatalogs.