Metadaten einer BigQuery-Tabelle hinzufügen

Metadaten einer BigQuery-Tabelle hinzufügen

Hier lernen Sie, wie Sie Metadaten in Dataplex Universal Catalog verwalten.

In dieser Kurzanleitung wird beschrieben, wie Sie einer BigQuery-Tabelle Metadaten hinzufügen. In dieser Kurzanleitung führen Sie folgende Schritte aus:

1. Erstellen Sie ein BigQuery-Dataset und eine Tabelle auf Grundlage eines öffentlichen Datasets.

2. Erstellen Sie eine Vorlage, die eine Reihe von zugehörigen Metadatenfeldern definiert.

   Die Vorlage wird als Aspekttyp bezeichnet. Die Gruppe der zugehörigen Metadatenfelder, die die geschäftlichen und technischen Metadaten für Ihre Daten-Assets beschreiben, wird als Aspekt bezeichnet.

3. Fügen Sie der Tabelle Metadaten hinzu.

   In Dataplex Universal Catalog wird jedes Daten-Asset als Eintrag dargestellt. Wenn Sie einem Daten-Asset Metadaten zuweisen möchten, fügen Sie dem Eintrag Aspekte hinzu.

Hinweise

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Enable the Dataplex and BigQuery APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.
Enable the APIs
Make sure that you have the following role or roles on the project: Dataplex Catalog Admin, BigQuery Data Owner, BigQuery Job User
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   IAM aufrufen
2. Wählen Sie das Projekt aus.
3. Klicken Sie auf Zugriffsrechte erteilen.

4. Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Das ist in der Regel die E‑Mail-Adresse eines Google-Kontos.

5. Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
6. Klicken Sie auf Weitere Rolle hinzufügen, wenn Sie weitere Rollen zuweisen möchten.
7. Klicken Sie auf Speichern.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex and BigQuery APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Make sure that you have the following role or roles on the project: Dataplex Catalog Admin, BigQuery Data Owner, BigQuery Job User

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   IAM aufrufen
2. Wählen Sie das Projekt aus.
3. Klicken Sie auf Zugriffsrechte erteilen.

4. Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Das ist in der Regel die E‑Mail-Adresse eines Google-Kontos.

5. Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
6. Klicken Sie auf Weitere Rolle hinzufügen, wenn Sie weitere Rollen zuweisen möchten.
7. Klicken Sie auf Speichern.

Dataset und Tabelle erstellen

1. Öffnen Sie in der Google Cloud Console die Seite BigQuery Studio.

   Zu BigQuery Studio

2. Dataset erstellen:

   1. Suchen Sie im Bereich Explorer nach Ihrem Projekt. Klicken Sie auf Aktionen ansehen, und dann auf Dataset erstellen.

   2. Geben Sie im Feld Dataset-ID den Wert catalog_demo_dataset ein.

      Übernehmen Sie für die anderen Felder die Standardwerte.

   3. Klicken Sie auf Dataset erstellen.

3. Öffentliche Tabelle in Ihr Dataset kopieren:

   1. Suchen Sie im Bereich Explorer nach der Tabelle mit dem Namen bigquery-public-data.new_york_citibike.citibike_stations. Möglicherweise müssen Sie den Suchbereich so festlegen, dass das Projekt bigquery-public-data einbezogen wird.

      Diese Tabelle ist Teil des Datasets „NYC Citi Bike Trips“, einem öffentlichen Dataset, das Daten zu einem Bike-Sharing-Programm enthält.

   2. Wählen Sie die Tabelle citibike_stations aus.

   3. Klicken Sie auf Kopieren. Geben Sie die folgenden Informationen ein:

      • Projekt: Wählen Sie Ihr Projekt aus.
      • Dataset: Wählen Sie catalog_demo_dataset aus.
      • Tabelle: Geben Sie bike_stations ein.

   4. Klicken Sie auf Kopieren.

4. Suchen Sie im Bereich Explorer nach dem Dataset catalog_demo_dataset und prüfen Sie, ob die Tabelle bike_stations im Dataset aufgeführt ist.

Metadatenvorlage definieren: Aspekttyp erstellen

1. Rufen Sie in der Google Cloud -Console die Seite Dataplex Universal Catalog Catalog auf.

   Zum Katalog

2. Klicken Sie auf den Tab Aspekttypen und Tag-Vorlagen und dann auf den Tab Benutzerdefiniert.

3. Klicken Sie auf Aspekttyp erstellen.

4. Geben Sie im Feld Aspect type ID (ID des Aspekttyps) den Wert data-governance-demo ein.

5. Wählen Sie für Typ den Wert global aus.

6. Klicken Sie im Bereich Vorlage auf Feld hinzufügen. Verwenden Sie die Informationen in der folgenden Tabelle, um dem Aspekttyp mehrere Felder hinzuzufügen:

   Name	Typ	Erforderlich	Beschreibung
   source-of-data-asset	Text	Nein	-
   retention-date	Datum und Uhrzeit	Nein	-
   data-classification	Enum Fügen Sie die Werte Public, Sensitive und Confidential hinzu.	Ja	-
   has-pii	Boolesch	Ja	Whether the data asset has personally identifiable information

7. Klicken Sie auf Speichern.

Der Tabelle Metadaten hinzufügen: dem Eintrag einen Aspekt hinzufügen

1. Rufen Sie in der Google Cloud -Console die Dataplex Universal Catalog-Seite Verarbeiten auf.

   Zur Suche

2. Geben Sie catalog_demo_dataset in das Suchfeld ein.

3. Wählen Sie die Tabelle bike_stations aus.

4. So fügen Sie dem Eintrag einen benutzerdefinierten Aspekt hinzu:

   1. Klicken Sie im Bereich Tags und Aspekte neben Optionale Tags und Aspekte auf Hinzufügen.

   2. Wählen Sie den Aspekttyp data-governance-demo aus.

      Dadurch wird ein Aspekt erstellt, der Ihren Aspekttyp als Vorlage verwendet.

   3. Geben Sie die folgenden Werte ein:

      • Quelle des Datenassets: Copied from NYC Citi Bike Trips public dataset
      • Aufbewahrungsdatum: Geben Sie ein Datum ein.
      • Datenklassifizierung: Public
      • PII vorhanden: False

   4. Klicken Sie auf Speichern.

5. Wenn Sie die von Ihnen hinzugefügten Metadatenwerte sehen möchten, wählen Sie im Bereich Tags und Aspekte den Aspekt data-governance-demo aus.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten, wenn Sie das für den Schnellstart erstellte Projekt löschen.

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, zum Beispiel eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, anstatt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Einzelne Ressourcen löschen

Wenn Sie Ihr Projekt wiederverwenden möchten, löschen Sie die erstellten Ressourcen.

1. Löschen Sie das Dataset:

   1. Öffnen Sie in der Google Cloud Console die Seite BigQuery Studio.

      Zu BigQuery Studio

   2. Suchen Sie im Bereich Explorer nach dem Dataset catalog_demo_dataset.

   3. Klicken Sie auf Aktionen anzeigen und dann auf Löschen. Bestätigen Sie den Vorgang, wenn Sie dazu aufgefordert werden.

2. Löschen Sie den Aspekttyp:

   1. Rufen Sie in der Google Cloud Console- die Dataplex Universal Catalog-Seite Katalog auf.

      Zum Katalog

   2. Klicken Sie auf den Tab Aspekttypen und Tag-Vorlagen und dann auf den Tab Benutzerdefiniert.

   3. Klicken Sie auf den Aspekttyp data-governance-demo.

   4. Klicken Sie auf Löschen. Bestätigen Sie den Vorgang, wenn Sie dazu aufgefordert werden.

Nächste Schritte

• Weitere Informationen zur Metadatenverwaltung.
• Weitere Informationen zum Suchen nach Ressourcen.
• Weitere Informationen zu Aspekten und Aspekttypen.