Datenprodukte erstellen

Dieses Dokument richtet sich an Inhaber von Datenprodukten, die Datenprodukte in Dataplex Universal Catalog erstellen und konfigurieren möchten.

Weitere Informationen zur Architektur und zu den wichtigsten Konzepten von Datenprodukten finden Sie unter Datenprodukte.

Hinweise

  1. Enable the Dataplex, BigQuery APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  2. Prüfen Sie, ob Ihre Daten-Assets (z. B. BigQuery-Datasets, ‑Tabellen und ‑Ansichten) erstellt und mit Daten gefüllt wurden.

    Weitere Informationen zum Erstellen von Daten-Assets finden Sie in den folgenden Dokumenten:

  3. Ermitteln oder erstellen Sie die Google-Gruppen, die Sie in Ihrem Datenprodukt konfigurieren möchten. Für jedes Datenprodukt muss eine eindeutige Google-Gruppe vorhanden sein.

Erforderliche Rollen

In diesem Abschnitt werden die erforderlichen Mindest-IAM-Rollen für zwei primäre Nutzergruppen beschrieben: Eigentümer von Datenprodukten (diejenigen, die Datenprodukte erstellen und verwalten) und Nutzer von Datenprodukten (diejenigen, die nach Datenprodukten suchen und sie verwenden).

Rollen für einen Data Product Owner

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen und Verwalten von Datenprodukten benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Erstellen und Verwalten von Datenprodukten erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um Datenprodukte zu erstellen und zu verwalten:

  • Bearbeiten Sie den Systemaspekttyp overview: dataplex.entryGroups.useOverviewAspect
  • Bearbeiten Sie den Systemaspekttyp refresh cadence: dataplex.entryGroups.useRefreshCadenceAspect

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Rollen für einen Nutzer eines Datenprodukts

Damit Nutzer von Datenprodukten nach Datenprodukten suchen, sie aufrufen und Zugriff darauf anfordern können, müssen Sie als Inhaber eines Datenprodukts dafür sorgen, dass das Datenprodukt auffindbar ist. Weisen Sie den Nutzern des Datenprodukts dazu die folgenden IAM-Rollen für das Datenprodukt zu:

  • Suchen Sie nach Datenprodukten und greifen Sie über die Dataplex Universal Catalog-Suche darauf zu: Dataplex Data Product Consumer (dataplex.dataProductsConsumer)
  • Schreibgeschützter Zugriff zum Aufrufen von Datenproduktdefinitionen und ‑metadaten: Dataplex Data Product Viewer (dataplex.dataProductsViewer)
  • Zugriff auf Datenprodukte anfordern: Dataplex Data Product Consumer (dataplex.dataProductsConsumer)

Datenprodukt erstellen und konfigurieren

Das Erstellen eines Datenprodukts umfasst die folgenden allgemeinen Aufgaben:

  1. Datenprodukt erstellen

    In diesem obligatorischen ersten Schritt müssen grundlegende Details wie ein eindeutiger Name des Datenprodukts, eine Beschreibung, die Region, in der das Datenprodukt erstellt wird, und Details zum Inhaber angegeben werden.

  2. Optional: Assets hinzufügen

    In dieser Phase wählen Sie Assets aus, die in das Datenprodukt aufgenommen werden sollen. Eine wichtige Einschränkung ist, dass sich Assets in derselben Region wie das Datenprodukt selbst befinden müssen. Sie können einem Datenprodukt maximal 10 Assets hinzufügen.

    Eine Liste der unterstützten Assets finden Sie unter Unterstützte Assets.

  3. Optional: Zugriffsgruppen und Asset-Berechtigungen konfigurieren

    In dieser optionalen Phase vereinfachen Sie die Zugriffssteuerung, indem Sie Zugriffsgruppen erstellen. Diese Zugriffsgruppen fungieren als nutzerfreundliche Aliase (z. B. Analyst oder Reader) für zugrunde liegende Google-Gruppen. Anschließend weisen Sie Berechtigungen zu, indem Sie eine bestimmte IAM-Rolle auswählen und sie einer Zugriffsgruppe für ein bestimmtes Asset zuordnen.

  4. Optional: Zusätzliche Details wie Verträge, Aspekte und Dokumentation hinzufügen

    Diese optionale Phase verbessert die Governance und Metadaten. Sie können einen Vertrag hinzufügen, der ein Aspekttyp mit selbst erhobenen Daten ist, um die vereinbarte Datenaktualisierungshäufigkeit formal zu kommunizieren. Geben Sie dazu Parameter wie Aktualisierungshäufigkeit, Aktualisierungszeit und Grenzwert an. Sie können auch Aspekte einfügen, um zusätzliche Metadaten für Ihr Datenprodukt bereitzustellen. Außerdem fügen Sie Rich-Text-Dokumentation wie Nutzerhandbücher und Beispielabfragen hinzu.

Führen Sie die Schritte in den folgenden Abschnitten aus, um ein Datenprodukt zu erstellen und zu konfigurieren:

Datenprodukt erstellen

Console

  1. Rufen Sie in der Google Cloud Console die Dataplex Universal Catalog-Seite Datenprodukte auf.

    Zu den Datenprodukten

  2. Klicken Sie auf Erstellen.

  3. Geben Sie im Bereich Datenprodukte erstellen die folgenden Details ein:

    • Name des Datenprodukts: Geben Sie einen eindeutigen Namen für Ihr Datenprodukt ein.
    • Datenprodukt-ID: Dies ist eine automatisch generierte eindeutige Kennung. Dieses Feld kann bearbeitet werden.
    • Projekt-ID: Eine eindeutige Kennung des Projekts, in dem das Datenprodukt erstellt wird. Suchen Sie nach dem Projekt und wählen Sie es aus.
    • Region: Wählen Sie die Region oder multiregionale Umgebung aus, in der das Datenprodukt erstellt wird.
    • Symbol: Suchen Sie nach einem Symbol und wählen Sie es aus, um das Datenprodukt visuell zu kennzeichnen. Dies ist optional.
    • Beschreibung: Geben Sie eine kurze Beschreibung des Datenprodukts ein.
    • Kontakte: Geben Sie die E‑Mail-ID des Datenproduktinhabers ein.
    • Labels: Fügen Sie Schlüssel/Wert-Labels hinzu, um Ihre Ressourcen zu organisieren. Dies ist optional.

  4. Klicken Sie auf Datenprodukt erstellen.

REST

Verwenden Sie zum Erstellen eines Datenprodukts die Methode dataProducts.create.

Senden Sie beispielsweise die folgende POST-Anfrage:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"display_name": "DISPLAY_NAME", "owner_emails": ["EMAIL_IDs"]}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts?data_product_id=DATA_PRODUCT_ID

Ersetzen Sie Folgendes:

  • DISPLAY_NAME: ein benutzerfreundlicher Name für Ihr Datenprodukt
  • EMAIL_IDs: Durch Kommas getrennte E‑Mail-IDs der Inhaber des Datenprodukts
  • PROJECT_ID: die ID Ihres Google Cloud-Projekts
  • LOCATION: die Region, in der Sie das Datenprodukt erstellen möchten
  • DATA_PRODUCT_ID: Eine eindeutige ID für Ihr Datenprodukt.

Optional: Assets hinzufügen

Console

  1. Klicken Sie im Bereich Assets hinzufügen auf + Hinzufügen.

  2. Suchen Sie nach den Assets, die Sie Ihrem Datenprodukt hinzufügen möchten, und wählen Sie sie aus. Die von Ihnen ausgewählten Assets müssen sich in derselben Region wie das Datenprodukt befinden.

    Wenn Sie die erforderlichen Berechtigungen haben, können Sie die Metadaten von Assets aufrufen, indem Sie auf das Asset klicken.

  3. Verwenden Sie Filter, um die Suchergebnisse einzugrenzen.

  4. Klicken Sie nach der Auswahl der Assets auf Hinzufügen.

  5. Klicken Sie auf Weiter.

REST

Verwenden Sie die Methode dataAssets.create, um Ihrem Datenprodukt ein Daten-Asset hinzuzufügen.

Senden Sie beispielsweise die folgende POST-Anfrage:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"resource": "RESOURCE_NAME"}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets?data_asset_id=DATA_ASSET_ID

Ersetzen Sie Folgendes:

  • RESOURCE_NAME: Der vollständige Ressourcenname des Daten-Assets, z. B. //bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID
  • PROJECT_ID: die ID Ihres Google Cloud -Projekts
  • LOCATION: die Region, in der das Datenprodukt vorhanden ist
  • DATA_PRODUCT_ID: die ID des Datenprodukts
  • DATA_ASSET_ID: eine eindeutige ID für dieses Daten-Asset im Datenprodukt

Optional: Zugriffsgruppen und Asset-Berechtigungen konfigurieren

Im Bereich Zugriffsgruppen und Asset-Berechtigungen konfigurieren können Sie Zugriffsgruppen erstellen und Assets Berechtigungen zuweisen.

Zugriffsgruppen konfigurieren

Console

  1. Klicken Sie auf Zugriffsgruppe hinzufügen.

  2. Geben Sie im Feld Name der Zugriffsgruppe einen Namen für die Zugriffsgruppe ein. Beispiel: Analyst.

  3. Geben Sie im Feld Beschreibung der Zugriffsgruppe eine Beschreibung für die Zugriffsgruppe ein.

  4. Geben Sie im Feld Kennung der Zugriffsgruppe die E‑Mail-Adresse einer Google-Gruppe ein, die Sie dieser Zugriffsgruppe zuweisen möchten. Datenproduktnutzer, die Zugriff auf diese Zugriffsgruppe anfordern, können der zugeordneten Google-Gruppe als Mitglieder hinzugefügt werden.

    Wenn Sie noch keine Google-Gruppe haben, können Sie eine erstellen. Weitere Informationen finden Sie unter Google Groups-Gruppen in der Google Cloud Console erstellen und verwalten.

  5. Klicken Sie auf Hinzufügen.

REST

Verwenden Sie die Methode dataProducts.patch, um eine Zugriffsgruppe für das Datenprodukt zu konfigurieren.

Senden Sie beispielsweise die folgende PATCH-Anfrage:

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"access_groups": ACCESS_GROUPS_MAP}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID?update_mask="access_groups"

Ersetzen Sie Folgendes:

  • ACCESS_GROUPS_MAP: Ein JSON-Objekt, das eine Zuordnung darstellt, in der jeder Schlüssel eine Zugriffsgruppen-ID und der Wert ein AccessGroup-Objekt ist. Beispiel:

    {
"analyst": {
  "id": "analyst","display_name": "Analyst access group","description": "Access group for analysts","principal":
{"google_group": "analyst-team@example.com"}
  }
}

  • PROJECT_ID: die ID Ihres Google Cloud-Projekts

  • LOCATION: die Region, in der das Datenprodukt vorhanden ist

  • DATA_PRODUCT_ID: die ID Ihres Datenprodukts

Asset-Berechtigungen konfigurieren

Nachdem Sie Zugriffsgruppen konfiguriert haben, können Sie Berechtigungen für die Assets im Datenprodukt konfigurieren.

Console

  1. Wählen Sie im Bereich Asset permissions (Asset-Berechtigungen) das Asset aus, für das Sie Berechtigungen konfigurieren möchten.

  2. Klicken Sie auf Berechtigungen konfigurieren.

  3. Wählen Sie im Feld Zugriffsgruppe auswählen eine Zugriffsgruppe aus.

  4. Wählen Sie im Feld IAM-Rolle zuweisen eine IAM-Rolle aus, die Sie der Zugriffsgruppe zuweisen möchten.

    Wenn Ihr Asset beispielsweise eine BigQuery-Tabelle mit dem Namen Sales ist, Sie die Zugriffsgruppe Analyst ausgewählt und dieser Zugriffsgruppe die Rolle BigQuery Metadata Viewer zugewiesen haben, haben die Nutzer des Datenprodukts, die Teil der Zugriffsgruppe Analyst sind, die Berechtigung BigQuery Metadata Viewer für die Tabelle Sales.

    Sie können einem Asset mehrere Rollen zuweisen.

  5. Klicken Sie auf Konfigurieren. Für das Asset werden jetzt die zugewiesenen Berechtigungen angezeigt.

  6. Wenn Sie Berechtigungen für andere Assets konfigurieren möchten, wiederholen Sie die Schritte.

  7. Klicken Sie auf Weiter.

REST

Verwenden Sie die Methode dataAssets.patch, um Berechtigungen für die Assets im Datenprodukt zu konfigurieren.

Senden Sie beispielsweise die folgende PATCH-Anfrage:

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"access_group_configs": ACCESS_GROUP_CONFIGS_MAP}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets/DATA_ASSET_ID?update_mask="access_group_configs"

Ersetzen Sie Folgendes:

  • ACCESS_GROUP_CONFIGS_MAP: Ein JSON-Objekt, das eine Zuordnung darstellt, in der jeder Schlüssel eine Zugriffs-Gruppen-ID und der Wert ein AccessGroupConfig-Objekt ist. Beispiel:

    {
"analyst": {
  iam_roles: ["roles/bigquery.dataViewer"]
  }
}

  • PROJECT_ID: die ID Ihres Google Cloud-Projekts

  • LOCATION: die Region, in der das Datenprodukt vorhanden ist

  • DATA_PRODUCT_ID: die ID Ihres Datenprodukts

  • DATA_ASSET_ID: die ID des Assets, für das Sie Berechtigungen konfigurieren möchten

Optional: Zusätzliche Details hinzufügen

Sie können auch Verträge, Aspekte und zusätzliche Dokumentation für das Datenprodukt hinzufügen.

Vertrag hinzufügen

Console

  1. Klicken Sie im Bereich Zusätzliche Details hinzufügen auf Vertrag hinzufügen.

  2. Wählen Sie im Feld Vertrag auswählen die Option Refresh cadence aus.

  3. Wählen Sie im Feld Häufigkeit einen vereinbarten Zeitplan dafür aus, wie oft Daten aktualisiert oder bereitgestellt werden. So wird ein vorhersehbarer Fluss vom Datenproduzenten zum Datenverbraucher sichergestellt. Beispiel: Weekly.

  4. Geben Sie im Feld Aktualisierungszeit die maximal zulässige Zeit ein, die zwischen der Aktualisierung der Daten an der Quelle und der Verfügbarkeit für den Nutzer vergehen darf. Beispiel: 23:00 PST.

  5. Geben Sie im Feld Schwellenwert (in Minuten) ein messbares Limit in Minuten für die akzeptable Verzögerung bei der Datenübermittlung ein. Wenn Sie beispielsweise den Schwellenwert auf 30 Minuten festlegen möchten, geben Sie 30 ein.

  6. Optional: Geben Sie im Feld Cron-Zeitplan einen Cron-Ausdruck ein, der den Zeitplan für die Datengenerierung und ‑bereitstellung im Format MINUTE HOUR DAY_OF_MONTH MONTH DAY_OF_WEEK definiert.

    Folgende Werte sind zulässig:

    • MINUTE: 0–59
    • HOUR: 0–23
    • DAY_OF_MONTH: 1–31
    • MONTH: 1-31 oder JAN-DEC
    • DAY_OF_WEEK: 0-6 oder SUN-SAT

    Beispiel: 0 8 * * 1-5 wird an Wochentagen (Montag bis Freitag) um 8:00 Uhr ausgeführt.

  7. Klicken Sie auf Speichern.

REST

Verträge werden als Aspekte für das Datenprodukt modelliert. Wenn Sie einen Refresh Cadence-Vertrag für ein Datenprodukt hinzufügen möchten, verwenden Sie die Methode entries.patch.

Senden Sie beispielsweise die folgende PATCH-Anfrage:

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d \
'{
  "aspects": {
    "dataplex-types.global.refresh-cadence": {
      "aspectType": "projects/dataplex-types/locations/global/aspectTypes/refresh-cadence",
      "data": {
        "frequency": "REFRESH_FREQUENCY"
      }
    }
  }
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@dataplex/entries/projects/DATA_PRODUCT_PROJECT_ID/locations/DATA_PRODUCT_LOCATION/dataProducts/DATA_PRODUCT_ID?updateMask=aspects"

Ersetzen Sie Folgendes:

  • REFRESH_FREQUENCY: Der vereinbarte Zeitplan für die Häufigkeit, mit der Daten aktualisiert oder bereitgestellt werden, um einen vorhersehbaren Fluss vom Datenproduzenten zum Datenverbraucher zu gewährleisten. Beispiel: Weekly
  • PROJECT_ID: die ID Ihres Google Cloud Projekts, in dem der API-Aufruf erfolgt
  • LOCATION: Die Region des Dataplex Universal Catalog-Dienstendpunkts, den Sie aufrufen (z. B. us-central1)
  • DATA_PRODUCT_PROJECT_ID: die Projekt-ID des Projekts, in dem sich die Datenproduktressource befindet
  • DATA_PRODUCT_LOCATION: der Speicherort der Datenproduktressource
  • DATA_PRODUCT_ID: die ID Ihres Datenprodukts

Zusätzliche Metadaten hinzufügen

So fügen Sie zusätzliche Metadaten für das Datenprodukt als Aspekte hinzu:

Console

  1. Klicken Sie im Bereich Zusätzliche Details hinzufügen auf + Aspekt hinzufügen.

  2. Suchen Sie im Feld Aspekttyp auswählen nach einem Aspekttyp und wählen Sie ihn aus der Liste aus. Beispiel: Geo context.

  3. Wählen Sie im Feld Land das Land aus, zu dem das Asset gehört.

  4. Wählen Sie im Feld Region die Geschäftsregion aus, zu der das Asset gehört.

  5. Klicken Sie auf Speichern.

  6. Wenn Sie zusätzliche Dokumentation wie ein Nutzerhandbuch oder Beispielabfragen hinzufügen möchten, klicken Sie neben Dokumentation auf Bearbeiten. Dadurch wird ein Rich-Text-Editor geöffnet. Fügen Sie Inhalte hinzu und klicken Sie auf Speichern.

  7. Klicken Sie auf Speichern.

    Das neu erstellte Datenprodukt wird auf der Seite Datenprodukte von Dataplex Universal Catalog angezeigt.

REST

Wenn Sie einem Datenprodukt Aspekte und Dokumentation hinzufügen möchten, verwenden Sie die Methode entries.patch.

Die Dokumentation für ein Datenprodukt wird über den Systemaspekttyp overview verwaltet.

Nächste Schritte