Metadaten einer BigQuery-Tabelle hinzufügen

Metadaten einer BigQuery-Tabelle hinzufügen

Hier lernen Sie, wie Sie Metadaten in Dataplex Universal Catalog verwalten.

In dieser Kurzanleitung erfahren Sie, wie Sie einer BigQuery-Tabelle Metadaten hinzufügen. In dieser Kurzanleitung führen Sie folgende Schritte aus:

1. Erstellen Sie ein BigQuery-Dataset und eine Tabelle auf Grundlage eines öffentlichen Datasets.

2. Erstellen Sie eine Vorlage, die eine Reihe von zugehörigen Metadatenfeldern definiert.

   Die Vorlage wird als Aspekttyp bezeichnet. Die Gruppe der zugehörigen Metadatenfelder, die die geschäftlichen und technischen Metadaten für Ihre Daten-Assets beschreiben, wird als Aspekt bezeichnet.

3. Fügen Sie der Tabelle Metadaten hinzu.

   In Dataplex Universal Catalog wird jedes Daten-Asset als Eintrag dargestellt. Wenn Sie einem Daten-Asset Metadaten zuweisen möchten, fügen Sie dem Eintrag Aspekte hinzu.

Hinweis

Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Hinzufügen von Metadaten zu einer BigQuery-Tabelle benötigen:

• Dataplex Catalog-Administrator (roles/dataplex.catalogAdmin)
• BigQuery-Dateninhaber (roles/bigquery.dataOwner)
• BigQuery Job User (roles/bigquery.jobUser)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Dataset und Tabelle erstellen

1. Öffnen Sie in der Google Cloud Console die Seite BigQuery Studio.

   Zu BigQuery Studio

2. Dataset erstellen:

   1. Klicken Sie im linken Bereich auf  Explorer:

      

      Wenn Sie den linken Bereich nicht sehen, klicken Sie auf  Linken Bereich maximieren, um ihn zu öffnen.

   2. Suchen Sie im Bereich Explorer nach Ihrem Projekt. Klicken Sie auf Aktionen ansehen, und dann auf Dataset erstellen.

   3. Geben Sie im Feld Dataset-ID den Wert catalog_demo_dataset ein.

      Übernehmen Sie für die anderen Felder die Standardwerte.

   4. Klicken Sie auf Dataset erstellen.

3. Öffentliche Tabelle in Ihr Dataset kopieren:

   1. Suchen Sie im Bereich Explorer nach der Tabelle mit dem Namen bigquery-public-data.new_york_citibike.citibike_stations. Möglicherweise müssen Sie den Suchbereich so festlegen, dass das Projekt bigquery-public-data einbezogen wird.

      Diese Tabelle ist Teil des Datasets „NYC Citi Bike Trips“, einem öffentlichen Dataset, das Daten zu einem Bike-Sharing-Programm enthält.

   2. Wählen Sie die Tabelle citibike_stations aus.

   3. Klicken Sie auf Kopieren. Geben Sie die folgenden Informationen ein:

      • Projekt: Wählen Sie Ihr Projekt aus.
      • Dataset: Wählen Sie catalog_demo_dataset aus.
      • Tabelle: Geben Sie bike_stations ein.

   4. Klicken Sie auf Kopieren.

4. Suchen Sie im Bereich Explorer nach dem Dataset catalog_demo_dataset und prüfen Sie, ob die Tabelle bike_stations im Dataset aufgeführt ist.

Metadatenvorlage definieren: Aspekttyp erstellen

1. Rufen Sie in der Google Cloud -Console die Seite Dataplex Universal Catalog Catalog auf.

   Zum Katalog

2. Klicken Sie auf den Tab Aspekttypen und Tag-Vorlagen und dann auf den Tab Benutzerdefiniert.

3. Klicken Sie auf Aspekttyp erstellen.

4. Geben Sie im Feld Aspect type ID (ID des Aspekttyps) den Wert data-governance-demo ein.

5. Wählen Sie für Typ den Wert global aus.

6. Klicken Sie im Bereich Vorlage auf Feld hinzufügen. Verwenden Sie die Informationen in der folgenden Tabelle, um dem Aspekttyp mehrere Felder hinzuzufügen:

   Name	Typ	Ist erforderlich	Beschreibung
   source-of-data-asset	Text	Nein	-
   retention-date	Datum und Uhrzeit	Nein	-
   data-classification	Enum Fügen Sie die Werte Public, Sensitive und Confidential hinzu.	Ja	-
   has-pii	Boolesch	Ja	Whether the data asset has personally identifiable information

7. Klicken Sie auf Speichern.

Der Tabelle Metadaten hinzufügen: dem Eintrag einen Aspekt hinzufügen

1. Rufen Sie in der Google Cloud -Console die Dataplex Universal Catalog-Seite Verarbeiten auf.

   Zur Suche

2. Geben Sie catalog_demo_dataset in das Suchfeld ein.

3. Wählen Sie die Tabelle bike_stations aus.

4. So fügen Sie dem Eintrag einen benutzerdefinierten Aspekt hinzu:

   1. Klicken Sie im Bereich Tags und Aspekte neben Optionale Tags und Aspekte auf Hinzufügen.

   2. Wählen Sie den Aspekttyp data-governance-demo aus.

      Dadurch wird ein Aspekt erstellt, der Ihren Aspekttyp als Vorlage verwendet.

   3. Geben Sie die folgenden Werte ein:

      • Quelle des Datenassets: Copied from NYC Citi Bike Trips public dataset
      • Aufbewahrungsdatum: Geben Sie ein Datum ein.
      • Datenklassifizierung: Public
      • PII vorhanden: False

   4. Klicken Sie auf Speichern.

5. Wenn Sie die von Ihnen hinzugefügten Metadatenwerte sehen möchten, wählen Sie im Bereich Tags und Aspekte den Aspekt data-governance-demo aus.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten, wenn Sie das für den Schnellstart erstellte Projekt löschen.

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, zum Beispiel eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, anstatt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud -Console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Einzelne Ressourcen löschen

Wenn Sie Ihr Projekt wiederverwenden möchten, löschen Sie die erstellten Ressourcen.

1. Löschen Sie das Dataset:

   1. Öffnen Sie in der Google Cloud Console die Seite BigQuery Studio.

      Zu BigQuery Studio

   2. Klicken Sie im linken Bereich auf  Explorer:

      

   3. Suchen Sie im Bereich Explorer nach dem Dataset catalog_demo_dataset.

   4. Klicken Sie auf Aktionen anzeigen und dann auf Löschen. Bestätigen Sie den Vorgang, wenn Sie dazu aufgefordert werden.

2. Löschen Sie den Aspekttyp:

   1. Rufen Sie in der Google Cloud Console- die Dataplex Universal Catalog-Seite Katalog auf.

      Zum Katalog

   2. Klicken Sie auf den Tab Aspekttypen und Tag-Vorlagen und dann auf den Tab Benutzerdefiniert.

   3. Klicken Sie auf den Aspekttyp data-governance-demo.

   4. Klicken Sie auf Löschen. Bestätigen Sie den Vorgang, wenn Sie dazu aufgefordert werden.

Nächste Schritte

• Weitere Informationen zur Metadatenverwaltung.
• Weitere Informationen zum Suchen nach Ressourcen.
• Weitere Informationen zu Aspekten und Aspekttypen.