Mit Knowledge Catalog grundlegenden Datenkontext schaffen

Mit Knowledge Catalog (ehemals Dataplex Universal Catalog) können Sie strukturierte Metadaten und klare Geschäftsdefinitionen direkt an Ihre Daten-Assets anhängen. Durch die Bereitstellung dieses Kontexts werden Ihre Daten auffindbar, Sie schaffen Vertrauen bei den Nutzern und fundieren KI-Agenten.

In dieser Anleitung für Data Stewards und Business Analysts führen Sie UI-basierte Schritte aus, um Standardgeschäftsbegriffe und Metadatenkontext zu erstellen, bevor Sie diese Workflows automatisieren. Außerdem erfahren Sie, wie die wichtigsten Knowledge Catalog-Konzepte zusammenarbeiten.

Ziele

In dieser Anleitung erfahren Sie mehr über die folgenden Themen:

• Mit einem Unternehmensglossar können Sie eine zentrale Informationsquelle für Geschäftsbegriffe erstellen.
• Metadaten mit Aspekttypen strukturieren und organisieren.
• Aspekte an Daten-Assets anhängen
• Mit der Knowledge Catalog-Suche können Sie anhand dieser neuen strukturierten Metadaten genau das finden, was Sie benötigen.

Hinweis

Führen Sie zuerst folgende Schritte aus:

• Wählen Sie ein Google Cloud -Projekt für diese Anleitung aus.
• Das können Sie hier überprüfen.

Umgebung einrichten

In dieser Anleitung wird Cloud Shell verwendet, eine Befehlszeilenumgebung, die in der Cloud ausgeführt wird.

1. Klicken Sie in der Google Cloud Console rechts oben in der Symbolleiste auf Cloud Shell aktivieren. Die Bereitstellung und Verbindung mit der Umgebung dauert einen kleinen Moment.

2. Legen Sie in Cloud Shell die Variablen PROJECT_ID und LOCATION fest, damit alle zukünftigen Befehle auf Ihr spezifisches Google Cloud Projekt abzielen.

   export PROJECT_ID=$(gcloud config get-value project)
   gcloud config set project $PROJECT_ID
   export LOCATION="us-central1"
   

   Hinweis: Bei Cloud Shell-Sitzungen kann es gelegentlich zu Zeitüberschreitungen kommen. Bevor Sie Shell-Skripts ausführen, können Sie Ihre Umgebungsvariablen mit echo $PROJECT_ID prüfen. Wenn der Befehl eine leere Zeile zurückgibt, führen Sie die Exportbefehle aus diesem Schritt zur Umgebungseinrichtung noch einmal aus.

3. Aktivieren Sie die erforderlichen Google Cloud -Dienste.

   gcloud services enable \
     dataplex.googleapis.com \
     bigquery.googleapis.com 
   

BigQuery-Dataset erstellen und Beispieldaten vorbereiten

Verwenden Sie den folgenden Code, um ein BigQuery-Dataset zu erstellen und einige Beispiel-CSV-Transaktionen in eine Tabelle zu laden. Nachdem Sie die Tabelle erstellt haben, wird sie von Knowledge Catalog erkannt und es wird ein Eintrag dafür im Katalog erstellt.

Ein Eintrag ist die Darstellung eines Daten-Assets in Knowledge Catalog. Es ist wie ein Eintrag im Katalog, an den Sie Metadaten anhängen können. Anstatt der BigQuery-Tabelle direkt Kontext hinzuzufügen (oder sie zu erweitern), fügen Sie ihn dem Eintrag in Knowledge Catalog hinzu.

# Create the BigQuery Dataset in the us-central1 region
bq --location=$LOCATION mk --dataset \
    --description "Sample retail data for foundational data context tutorial" \
    $PROJECT_ID:retail_data

# Create a temporary CSV file with the sample data
echo "transaction_id,user_email,gmv,transaction_date
1001,[e-mail],150.50,2025-08-28
1002,[e-mail],75.00,2025-08-28" > /tmp/transactions.csv

# Load the data from the temporary CSV file into a BigQuery table
bq load \
    --source_format=CSV \
    --autodetect \
    retail_data.transactions \
    /tmp/transactions.csv

# (Optional) Clean up the temporary file
rm /tmp/transactions.csv

Führen Sie eine SELECT-Abfrage aus, um die Einrichtung zu überprüfen:

bq query --nouse_legacy_sql "SELECT * FROM retail_data.transactions"

Beispielausgabe:

+----------------+------------------+-------+------------------+
| transaction_id |    user_email    |  gmv  | transaction_date |
+----------------+------------------+-------+------------------+
|           1001 | [e-mail] | 150.5 |       2025-08-28 |
|           1002 | [e-mail] |  75.0 |       2025-08-28 |
+----------------+------------------+-------+------------------+

Hinweis: Sie müssen die Tabelle nicht manuell in Knowledge Catalog registrieren oder importieren. Knowledge Catalog nimmt automatisch technische Metadaten aus BigQuery-Tabellen auf und erstellt Einträge.

Allgemeine Begriffe mit einem Unternehmensglossar festlegen

Ein guter Datenkontext basiert auf klaren Definitionen, die Fragen wie „Was bedeutet dieser Spaltenname?“ beantworten. Ein Entwickler sollte beispielsweise nicht raten müssen, ob eine Spalte mit dem Namen gmv den Bruttowarenwert bedeutet oder ob sie Steuern und Retouren enthält. Ein Unternehmensglossar schafft eine zentrale Datenquelle für diese Definitionen in Ihrem Unternehmen. Wenn Teammitglieder oder KI-Agenten Ihre Daten analysieren, übernehmen sie diesen präzisen Geschäftskontext. Gemeinsame Definitionen sorgen für einheitliche Messwerte in Teams wie Finanzen, Vertrieb und Betrieb und helfen KI-Agenten, Halluzinationen zu vermeiden.

So erstellen Sie ein Glossar und definieren Ihren ersten Begriff:

1. Rufen Sie in der Google Cloud Console die Seite Glossare im Knowledge Catalog auf.

   Zu Glossaren

2. Klicken Sie auf Unternehmensglossar erstellen.

3. Geben Sie die folgenden Informationen ein:

   • Display name (Anzeigename): Retail Business Glossary.
   • Standort: us-central1 (Iowa)

4. Klicken Sie auf Erstellen.

5. Klicken Sie auf Kategorie erstellen.

6. Geben Sie der Kategorie den Namen Sales Metrics und klicken Sie auf Erstellen.

7. Wählen Sie die Kategorie Sales Metrics aus und klicken Sie auf Add term.

8. Geben Sie dem Begriff den Namen Gross Merchandise Value und klicken Sie auf Erstellen.

9. Klicken Sie auf den Begriff Bruttowarenwert, um die Detailseite zu öffnen.

10. Klicken Sie neben Übersicht auf Hinzufügen. Geben Sie die folgenden Informationen ein: The total value of merchandise sold over a given period of time before the deduction of any fees or expenses. This is a key indicator of e-commerce business growth.

11. Klicken Sie auf Speichern.

Sie haben jetzt einen Glossarbegriff erstellt, den Sie mit Dateneinträgen in Ihrer Organisation verknüpfen können.

Technische Metadaten mit einem Aspekttyp definieren

Wenn Sie mit Daten arbeiten, müssen Sie oft Fragen wie „Wem gehört dieses fehlerhafte Dataset?“ oder „Ist diese Tabelle für die Verwendung freigegeben?“ beantworten. Unstrukturierte Metadaten-Tags versuchen, diese Fragen zu beantworten, werden aber schnell veraltet oder inkonsistent. Eine Tabelle könnte beispielsweise mit owner:bob und eine andere mit steward:[e-mail] getaggt sein. Damit Ihre Metadaten auch bei großen Datenmengen übersichtlich bleiben, benötigen Sie ein einheitliches Schema.

Hier kommen Aspekttypen ins Spiel. Ein Aspekttyp ist eine Metadatenvorlage, mit der Sie klare Regeln und Pflichtfelder festlegen können. Wenn Sie Standardfelder wie gültige E-Mail-Adressen für Data Stewards vorschreiben, können nachgelagerte Skripts Ihre Metadaten automatisch validieren und schützen.

So erstellen Sie einen Aspekttyp:

1. Rufen Sie in der Google Cloud Console auf der Seite Metadatentypen den Tab Aspekttypen des Knowledge Catalog auf.

   Zu den Aspekttypen

2. Klicken Sie auf dem Tab Benutzerdefiniert auf Erstellen.

3. Geben Sie die folgenden Informationen ein:

   • Display name (Anzeigename): Data Asset Context.
   • Standort: us-central1 (Iowa)

4. Klicken Sie im Bereich Vorlage auf Feld hinzufügen, um die folgenden drei Felder zu erstellen:

   • Feld 1:

     • Display name (Anzeigename): Data Steward.
     • Typ: Text
     • Ist erforderlich: Aktivieren Sie das Kästchen.
     • Texttyp: Plain text

   • Feld 2 (auf Feld hinzufügen klicken):

     • Display name (Anzeigename): Data Sensitivity.
     • Typ: Enum
     • Erforderlich: Lassen Sie die Option „Optional“ ausgewählt.
     • Werte: Fügen Sie Public, Internal und Confidential hinzu.

   • Feld 3 (klicken Sie auf Feld hinzufügen):

     • Display name (Anzeigename): Last Review Date.
     • Erforderlich: Lassen Sie die Option „Optional“ ausgewählt.
     • Typ: Date and time

5. Klicken Sie auf Speichern.

Sie haben jetzt einen Aspekttyp für Metadatenfelder im Zusammenhang mit Data Governance, z. B. Data Steward, Vertraulichkeitsstufe und Überprüfungsdatum. Im nächsten Abschnitt wenden Sie dieses Schema auf einen Tabelleneintrag an, indem Sie einen Aspekt mit bestimmten Werten für diese Felder anhängen.

Eintrag mit geschäftlichem und technischem Kontext anreichern

Spaltennamen sind oft abgekürzt oder mehrdeutig. Wenn Sie eine Spalte mit einem Begriff in Ihrem Unternehmensglossar verknüpfen, erhalten Sie eine klare und einheitliche Definition. In diesem Schritt reichern Sie den Eintrag für die Tabelle retail_data.transactions an, indem Sie den Begriff Gross Merchandise Value mit einer Spalte namens gmv verknüpfen und dem Tabelleneintrag mithilfe Ihres Aspekttyps einen Aspekt hinzufügen.

Spalte mit einem Unternehmensbegriff verknüpfen

Um zu verdeutlichen, was die Spalte gmv in retail_data.transactions ist, verknüpfen Sie sie mit dem Begriff Gross Merchandise Value.

1. Rufen Sie in der Google Cloud Console die Seite Suchen im Knowledge Catalog auf.

   Zur Suche

2. Klicken Sie auf Filter, um den Bereich Filter zu öffnen.

3. Wählen Sie unter Bereich die Option Aktuelles Projekt aus.

4. Suchen Sie nach retail_data.transactions und klicken Sie auf die Tabelle mit den zurückgegebenen Transaktionen.

5. Klicken Sie auf den Tab Schema.

6. Klicken Sie das Kästchen neben der Spalte gmv an und klicken Sie auf Geschäftlichen Begriff hinzufügen.

7. Wählen Sie Gross Merchandise Value aus.

Aspekt an den Tabelleneintrag anhängen

Sie können nicht nur Geschäftsbegriffe mit Spalten verknüpfen, sondern auch einen Aspekt an einen Tabelleneintrag anhängen, um Metadaten auf Tabellenebene zu erfassen, z. B. Dateneigentum und Vertraulichkeit.

Ein Aspekt ist eine Instanz eines Aspekttyps mit bestimmten Werten für Metadatenfelder. Wenn Sie einen Aspekt an einen Eintrag anhängen, gleicht Knowledge Catalog die von Ihnen angegebenen Informationen mit dem im Aspekttyp definierten Schema ab, um die Konsistenz zu gewährleisten.

Wenn Sie die Inhaberschaft und Vertraulichkeit für die Tabelle retail_data.transactions definieren möchten, hängen Sie den Aspekt Data Asset Context an:

1. Klicken Sie auf dem Tab Details der Eintragsseite retail_data.transactions neben Optionale Aspekte auf Hinzufügen.
2. Wählen Sie Data Asset Context aus der Liste aus.

3. Geben Sie Werte in die Felder ein:

   • Data Steward: [e-mail]
   • Datenvertraulichkeit: Wählen Sie Intern aus.
   • Letztes Überprüfungsdatum:Wählen Sie das heutige Datum aus.

4. Klicken Sie auf Speichern.

Durch das Anreichern Ihrer Beispieltransaktionsdaten haben Sie eine solide Grundlage für den Datenkontext in Knowledge Catalog geschaffen.

Mit angereicherten Metadaten nach Einträgen suchen

Sie können jetzt die Knowledge Catalog-Suche verwenden, um Einträge anhand des von Ihnen eingerichteten Geschäftskontexts zu finden. Sie können beispielsweise alle Assets mit einer bestimmten Vertraulichkeitsstufe finden oder nach einem Glossarbegriff suchen, um die zugrunde liegenden Tabellen zu finden.

Tipp: Knowledge Catalog bietet zwei verschiedene Suchoptionen mit unterschiedlichen Syntaxen: Natürliche Sprache (KI-gestützt) und Keyword (strukturierte/genaue Übereinstimmung). In dieser Anleitung geht es um natürliche Sprache.

1. Rufen Sie in der Google Cloud Console die Seite Suchen im Knowledge Catalog auf.

   Zur Suche

2. Klicken Sie auf Filter, um den Bereich Filter zu öffnen.

3. Wählen Sie unter Bereich die Option Aktuelles Projekt aus.

4. Geben Sie in der Suchleiste Find tables where the Data Asset Context aspect has Internal sensitivity. ein.

5. Die Tabelle retail_data.transactions sollte in der Ergebnisliste angezeigt werden.

6. Leeren Sie die Suchleiste und geben Sie Find tables with the Gross Merchandise Value term attached. ein.

7. Die Tabelle retail_data.transactions sollte wieder in den Ergebnissen angezeigt werden, da die Spalte gmv direkt mit diesem Geschäftsbegriff verknüpft ist.

Wenn Sie einen KI-Agenten mit Knowledge Catalog verbinden, übernimmt er diese angereicherten Metadaten automatisch. Wenn Sie einen KI-Agenten beispielsweise bitten, interne Verkaufsdaten abzurufen, liest er den Aspekt „Datensensibilität“ (den Sie auf „Intern“ festgelegt haben) und den verknüpften Glossarbegriff „Bruttowarenwert“. Dieser gemeinsame Kontext hilft dem Agenten, seine Datenquellen zu überprüfen, Zugriffsrichtlinien einzuhalten und Halluzinationen zu vermeiden.

Bereinigen

Löschen Sie die in dieser Anleitung erstellten Ressourcen, um Gebühren zu vermeiden.

Beispiel-Dataset löschen

Verwenden Sie den folgenden Befehl, um das BigQuery-Beispiel-Dataset und alle zugehörigen Tabellen zu löschen. Diese Aktion kann nicht rückgängig gemacht werden.

Warnung: Bei diesem rekursiven Löschbefehl wird keine Bestätigung angefordert. Um versehentlichen Datenverlust durch falsche Umgebungsvariablen zu vermeiden, sollten Sie Ihre Projekt-ID und den Dataset-Namen überprüfen, bevor Sie den Befehl ausführen.

# Re-run these exports if your Cloud Shell session timed out
export PROJECT_ID=$(gcloud config get-value project)

# Manually type this command to confirm you are deleting the correct dataset
bq rm -r -f --dataset $PROJECT_ID:retail_data

Knowledge Catalog-Artefakte löschen

1. Rufen Sie in der Google Cloud Console auf der Seite Metadatentypen den Tab Aspekttypen des Knowledge Catalog auf.

   Zu „Aspekttypen“

2. Wählen Sie den Aspekttyp Data Asset Context aus und klicken Sie auf Löschen.

3. Rufen Sie in der Google Cloud Console die Seite Glossare im Knowledge Catalog auf.

   Zu Glossaren

   Hinweis: Sie müssen alle Begriffe und Kategorien löschen, bevor Sie das Glossar selbst löschen können.

4. Wählen Sie den Begriff Gross Merchandise Value aus und klicken Sie auf Löschen.

5. Wählen Sie die Kategorie Sales Metrics aus und klicken Sie auf Löschen.

6. Wählen Sie Retail Business Glossary aus und klicken Sie auf Löschen.

Nächste Schritte

Weitere Informationen zum Kuratieren von Katalogen und zum Erstellen von KI-Agenten mit Knowledge Catalog finden Sie in den folgenden Ressourcen:

• Aspekte verwalten und Metadaten anreichern: Informationen zum Definieren benutzerdefinierter Schemas und zum Anhängen strukturierter Metadaten finden Sie unter Aspekte verwalten und Metadaten anreichern.
• Unternehmensglossare verwalten: Unter Unternehmensglossar verwalten erfahren Sie, wie Sie ein standardisiertes Vokabular für Ihre Organisation einrichten.
• Mit Terraform verwalten: Hier erfahren Sie, wie Sie benutzerdefinierte Aspekttypen und Glossare mit Terraform bereitstellen.
• Mit Glossarbegriffen im großen Maßstab arbeiten: Führen Sie eine Bulk-Metadatenanreicherung mit JSON-Dateien in Glossare und Eintragslinks importieren und exportieren durch.
• Metadaten mit KI-Agenten anreichern: Erstellen Sie einen KI-Agenten, um Kontext zu extrahieren und Ihre Daten-Assets anzureichern. Weitere Informationen finden Sie unter KI-Agenten zum Anreichern von Metadaten erstellen.
• Weitere Anwendungsfälle ansehen:Unter Anwendungsfälle finden Sie weitere anpassbare Workflows und Szenarien.