Mit Knowledge Catalog grundlegenden Datenkontext schaffen

Wenn Sie mit Daten arbeiten, haben Sie sich wahrscheinlich schon Fragen wie „Was bedeutet dieser Spaltenname?“ gestellt. „Wem gehört dieses fehlerhafte Dataset?“ oder „Darf diese Tabelle verwendet werden?“ Metadaten-Tags versuchen, diese Fragen zu beantworten, werden aber schnell veraltet oder inkonsistent. Knowledge Catalog (ehemals Dataplex Universal Catalog) löst dieses Problem, indem Sie strukturierte Metadaten und klare Geschäftsdefinitionen direkt an Daten-Assets anhängen können. Durch die Bereitstellung eines klaren Datenkontexts werden KI-Agenten fundiert und es wird eine Vertrauensbasis für alle Nutzer geschaffen, die mit den Daten interagieren.

In diesem Tutorial erfahren Sie, wie Sie Datenkontext in Knowledge Catalog herstellen. Diese Anleitung richtet sich an Nutzer wie Data Stewards und Business-Analysten. Sie enthält UI-basierte Schritte zum Erstellen von Standardbegriffen und ‑kontexten, bevor Sie diese Workflows automatisieren. In der Anleitung werden die Beziehungen zwischen wichtigen Knowledge Catalog-Konzepten erläutert. Am Ende wissen Sie, wie Sie Ihre Daten auffindbar und vertrauenswürdig machen.

Ziele

In dieser Anleitung erfahren Sie mehr über die folgenden Themen:

• Mit einem Unternehmensglossar können Sie eine zentrale Datenquelle für Geschäftsbegriffe erstellen.
• Metadaten mit Aspekttypen strukturieren und organisieren.
• Aspekte verwenden, um Daten-Assets Metadaten hinzuzufügen.
• Mit der Knowledge Catalog-Suche können Sie anhand dieser neuen strukturierten Metadaten genau das finden, was Sie benötigen.

Hinweis

Führen Sie zuerst folgende Schritte aus:

• Wählen Sie ein Google Cloud -Projekt für diese Anleitung aus.
• Prüfen Sie, ob für Ihr Projekt die Abrechnung aktiviert ist.

Umgebung einrichten

In dieser Anleitung wird Cloud Shell verwendet, eine Befehlszeilenumgebung, die in der Cloud ausgeführt wird.

1. Klicken Sie in der Google Cloud Console rechts oben in der Symbolleiste auf Cloud Shell aktivieren. Die Bereitstellung und Verbindung mit der Umgebung dauert einen kleinen Moment.

2. Legen Sie in Cloud Shell die Variablen PROJECT_ID und LOCATION so fest, dass alle zukünftigen Befehle auf Ihr spezifisches Google Cloud Projekt ausgerichtet sind.

   export PROJECT_ID=$(gcloud config get-value project)
   gcloud config set project $PROJECT_ID
   export LOCATION="us-central1"
   

   Hinweis: Bei Cloud Shell-Sitzungen kommt es gelegentlich zu Zeitüberschreitungen. Bevor Sie Shell-Skripts ausführen, können Sie Ihre Umgebungsvariablen mit echo $PROJECT_ID prüfen. Wenn der Befehl eine leere Zeile zurückgibt, führen Sie die Exportbefehle aus diesem Schritt zur Umgebungseinrichtung noch einmal aus.

3. Aktivieren Sie die erforderlichen Google Cloud Dienste.

   gcloud services enable \
     dataplex.googleapis.com \
     bigquery.googleapis.com 
   

BigQuery-Dataset erstellen und Beispieldaten vorbereiten

Verwenden Sie den folgenden Code, um ein BigQuery-Dataset zu erstellen und einige Beispiel-CSV-Transaktionen in eine Tabelle zu laden. Nachdem Sie die Tabelle erstellt haben, wird sie von Knowledge Catalog erkannt und es wird ein Eintrag dafür im Katalog erstellt.

Ein Eintrag ist die Darstellung eines Daten-Assets in Knowledge Catalog. Es ist wie ein Datensatz im Katalog, an den Sie Metadaten anhängen können. Anstatt der BigQuery-Tabelle direkt Kontext hinzuzufügen (oder sie anzureichern), fügen Sie ihn dem zugehörigen Eintrag in Knowledge Catalog hinzu.

# Create the BigQuery Dataset in the us-central1 region
bq --location=$LOCATION mk --dataset \
    --description "Sample retail data for foundational data context tutorial" \
    $PROJECT_ID:retail_data

# Create a temporary CSV file with the sample data
echo "transaction_id,user_email,gmv,transaction_date
1001,[e-mail],150.50,2025-08-28
1002,[e-mail],75.00,2025-08-28" > /tmp/transactions.csv

# Load the data from the temporary CSV file into a BigQuery table
bq load \
    --source_format=CSV \
    --autodetect \
    retail_data.transactions \
    /tmp/transactions.csv

# (Optional) Clean up the temporary file
rm /tmp/transactions.csv

Führen Sie eine SELECT-Abfrage aus, um die Einrichtung zu überprüfen:

bq query --nouse_legacy_sql "SELECT * FROM retail_data.transactions"

Beispielausgabe:

+----------------+------------------+-------+------------------+
| transaction_id |    user_email    |  gmv  | transaction_date |
+----------------+------------------+-------+------------------+
|           1001 | [e-mail] | 150.5 |       2025-08-28 |
|           1002 | [e-mail] |  75.0 |       2025-08-28 |
+----------------+------------------+-------+------------------+

Hinweis :Sie müssen die Tabelle nicht manuell im Knowledge Catalog registrieren oder importieren. Knowledge Catalog nimmt automatisch technische Metadaten aus BigQuery-Tabellen auf und erstellt Einträge.

Allgemeine Begriffe mit einem Unternehmensglossar festlegen

Ein guter Datenkontext beruht auf klaren Definitionen. Ein Entwickler sollte beispielsweise nicht raten müssen, ob eine Spalte mit dem Namen gmv den Bruttowarenwert enthält oder ob Steuern und Retouren berücksichtigt sind. Ein Unternehmensglossar schafft eine zentrale Datenquelle für diese Definitionen in Ihrer Organisation. Wenn Teammitglieder oder KI-Agents Ihre Daten analysieren, wird dieser genaue geschäftliche Kontext übernommen. Gemeinsame Definitionen gleichen Messwerte in Teams wie Finanzen, Vertrieb und Betrieb an und helfen KI-Agenten, Halluzinationen zu vermeiden.

So erstellen Sie ein Glossar und definieren den ersten Begriff:

1. Rufen Sie in der Google Cloud Console die Seite Glossare im Knowledge Catalog auf.

   Zu Glossaren

2. Klicken Sie auf Unternehmensglossar erstellen.

3. Geben Sie die folgenden Informationen ein:

   • Display name (Anzeigename): Retail Business Glossary.
   • Standort: us-central1 (Iowa)

4. Klicken Sie auf Erstellen.

5. Klicken Sie auf Kategorie erstellen.

6. Geben Sie der Kategorie den Namen Sales Metrics und klicken Sie auf Erstellen.

7. Wählen Sie die Kategorie Verkaufsmesswerte aus und klicken Sie auf Begriff hinzufügen.

8. Geben Sie dem Begriff den Namen Gross Merchandise Value und klicken Sie auf Erstellen.

9. Klicken Sie auf den Begriff Gross Merchandise Value (Bruttowarenwert), um die Detailseite zu öffnen.

10. Klicken Sie neben Übersicht auf Hinzufügen. Geben Sie die folgenden Informationen ein: The total value of merchandise sold over a given period of time before the deduction of any fees or expenses. This is a key indicator of e-commerce business growth.

11. Klicken Sie auf Speichern.

Sie haben jetzt einen Glossarbegriff erstellt, den Sie mit Dateneinträgen in Ihrer gesamten Organisation verknüpfen können.

Technische Metadaten mit einem Aspekttyp definieren

Wenn Sie unstrukturierte Metadaten-Tags verwenden, erhalten Sie oft inkonsistente Katalogeinträge. So könnte eine Tabelle mit owner:bob und eine andere mit steward:[e-mail] getaggt sein. Damit Ihre Metadaten auch bei großen Mengen organisiert bleiben, benötigen Sie ein einheitliches Schema.

Hier kommen Aspekttypen ins Spiel. Ein Aspekttyp ist eine Metadatenvorlage, mit der Sie klare Regeln und Pflichtfelder festlegen können. Wenn Sie Standardfelder wie gültige E‑Mail-Adressen für Datenverantwortliche benötigen, können nachgelagerte Skripts Ihre Metadaten automatisch validieren und schützen.

So erstellen Sie einen Aspekttyp:

1. Rufen Sie in der Google Cloud Console auf der Seite Metadatentypen den Tab Aspekttypen des Knowledge Catalog auf.

   Zu den Aspekttypen

2. Klicken Sie auf dem Tab Benutzerdefiniert auf Erstellen.

3. Geben Sie die folgenden Informationen ein:

   • Display name (Anzeigename): Data Asset Context.
   • Standort: us-central1 (Iowa)

4. Klicken Sie im Bereich Vorlage auf Feld hinzufügen, um die folgenden drei Felder zu erstellen:

   • Feld 1:

     • Display name (Anzeigename): Data Steward.
     • Typ: Text
     • Ist erforderlich: Aktivieren Sie das Kästchen.
     • Texttyp: Plain text

   • Feld 2 (klicken Sie auf Feld hinzufügen):

     • Display name (Anzeigename): Data Sensitivity.
     • Typ: Enum
     • Erforderlich: Optional lassen.
     • Werte: Fügen Sie Public, Internal und Confidential hinzu.

   • Feld 3 (klicken Sie auf Feld hinzufügen):

     • Display name (Anzeigename): Last Review Date.
     • Erforderlich: Optional lassen.
     • Typ: Date and time

5. Klicken Sie auf Speichern.

Sie haben jetzt einen Aspekttyp für Metadatenfelder, die mit Data Governance zusammenhängen, z. B. Datenverantwortlicher, Vertraulichkeitsstufe und Überprüfungsdatum. Im nächsten Abschnitt wenden Sie dieses Schema auf einen Tabelleneintrag an, indem Sie ein Attribut mit bestimmten Werten für diese Felder anhängen.

Eintrag mit geschäftlichem und technischem Kontext anreichern

Spaltennamen sind oft abgekürzt oder mehrdeutig. Wenn Sie eine Spalte mit einem Begriff in Ihrem Unternehmensglossar verknüpfen, erhalten Sie eine klare und einheitliche Definition. In diesem Schritt reichern Sie den Eintrag für die Tabelle retail_data.transactions an, indem Sie den Begriff Gross Merchandise Value mit einer Spalte namens gmv verknüpfen und dem Tabelleneintrag einen Aspekt mit Ihrem Aspekttyp zuweisen.

Spalte mit einem Unternehmensbegriff verknüpfen

Um zu verdeutlichen, was die Spalte gmv in retail_data.transactions ist, verknüpfen Sie sie mit dem Begriff Gross Merchandise Value.

1. Rufen Sie in der Google Cloud Console die Seite Suchen im Knowledge Catalog auf.

   Zur Suche

2. Klicken Sie auf Filter, um den Bereich Filter zu öffnen.

3. Wählen Sie unter Umfang die Option Aktuelles Projekt aus.

4. Suchen Sie nach retail_data.transactions und klicken Sie auf die zurückgegebenen Transaktionen.

5. Klicken Sie auf den Tab Schema.

6. Klicken Sie das Kästchen neben der Spalte gmv an und klicken Sie auf Geschäftsbegriff hinzufügen.

7. Wählen Sie Gross Merchandise Value aus.

Aspekt an den Tabelleneintrag anhängen

Sie können nicht nur Geschäftsbegriffe mit Spalten verknüpfen, sondern auch einen Aspekt an einen Tabelleneintrag anhängen, um Metadaten auf Tabellenebene zu erfassen, z. B. Dateneigentum und Vertraulichkeit.

Ein Aspekt ist eine Instanz eines Aspekttyps mit bestimmten Werten für Metadatenfelder. Wenn Sie einen Aspekt an einen Eintrag anhängen, gleicht Knowledge Catalog die von Ihnen angegebenen Informationen mit dem im Aspekttyp definierten Schema ab, um die Konsistenz zu gewährleisten.

Wenn Sie die Inhaberschaft und die Vertraulichkeit für die Tabelle retail_data.transactions definieren möchten, fügen Sie den Aspekt Data Asset Context hinzu:

1. Klicken Sie auf dem Tab Details der Eintragsseite retail_data.transactions neben Optionale Aspekte auf Hinzufügen.
2. Wählen Sie Data Asset Context aus der Liste aus.

3. Geben Sie Werte in die Felder ein:

   • Data Steward: [e-mail]
   • Data Sensitivity (Datenvertraulichkeit): Wählen Sie Internal (Intern) aus.
   • Datum der letzten Überprüfung:Wählen Sie das heutige Datum aus.

4. Klicken Sie auf Speichern.

Durch die Anreicherung Ihrer Beispieltransaktionsdaten für den Einzelhandel haben Sie eine solide Grundlage für den Datenkontext in Knowledge Catalog geschaffen.

Mit angereicherten Metadaten nach Einträgen suchen

Sie können jetzt die Knowledge Catalog-Suche verwenden, um Einträge basierend auf dem von Ihnen eingerichteten Geschäftskontext zu finden. Sie können beispielsweise alle Assets mit einem bestimmten Vertraulichkeitsniveau finden oder nach Ihrem Glossarbegriff suchen, um die zugrunde liegenden Tabellen zu ermitteln.

Tipp: Knowledge Catalog bietet zwei verschiedene Suchfunktionen mit unterschiedlichen Syntaxen: Natürliche Sprache (KI-gestützt) und Keyword (strukturierte/genaue Übereinstimmung). In dieser Anleitung geht es um natürliche Sprache.

1. Rufen Sie in der Google Cloud Console die Seite Suchen im Knowledge Catalog auf.

   Zur Suche

2. Klicken Sie auf Filter, um den Bereich Filter zu öffnen.

3. Wählen Sie unter Umfang die Option Aktuelles Projekt aus.

4. Geben Sie in der Suchleiste Find tables where the Data Asset Context aspect has Internal sensitivity. ein.

5. Die Tabelle retail_data.transactions sollte in der Ergebnisliste angezeigt werden.

6. Leeren Sie die Suchleiste und geben Sie Find tables with the Gross Merchandise Value term attached. ein.

7. Die Tabelle retail_data.transactions sollte wieder in den Ergebnissen angezeigt werden, da die Spalte gmv direkt mit diesem Geschäftsbegriff verknüpft ist.

Wenn Sie einen KI-Agenten mit Knowledge Catalog verbinden, werden diese angereicherten Metadaten automatisch übernommen. Wenn Sie einen KI-Agenten beispielsweise bitten, interne Verkaufsdaten abzurufen, liest er den Aspekt „Datensensibilität“ (den Sie auf „Intern“ festgelegt haben) und den verknüpften Glossarbegriff „Bruttowarenwert“. Dieser gemeinsame Kontext hilft dem KI-Agenten, seine Datenquellen zu überprüfen, Zugriffsrichtlinien einzuhalten und Halluzinationen zu vermeiden.

Bereinigen

Löschen Sie die in dieser Anleitung erstellten Ressourcen, um Gebühren zu vermeiden.

Beispiel-Dataset löschen

Verwenden Sie den folgenden Befehl, um das BigQuery-Beispiel-Dataset und alle zugehörigen Tabellen zu löschen. Diese Aktion kann nicht rückgängig gemacht werden.

Warnung :Bei diesem rekursiven Löschbefehl werden Sie nicht zur Bestätigung aufgefordert. Um versehentlichen Datenverlust durch falsche Umgebungsvariablen zu verhindern, sollten Sie Ihre Projekt-ID und den Namen des Datasets überprüfen, bevor Sie das Skript ausführen.

# Re-run these exports if your Cloud Shell session timed out
export PROJECT_ID=$(gcloud config get-value project)

# Manually type this command to confirm you are deleting the correct dataset
bq rm -r -f --dataset $PROJECT_ID:retail_data

Knowledge Catalog-Artefakte löschen

1. Rufen Sie in der Google Cloud Console auf der Seite Metadatentypen den Tab Aspekttypen des Knowledge Catalog auf.

   Zu den Aspekttypen

2. Wählen Sie den Aspekttyp Data Asset Context aus und klicken Sie auf Löschen.

3. Rufen Sie in der Google Cloud Console die Seite Glossare im Knowledge Catalog auf.

   Zu Glossaren

   Hinweis :Sie müssen alle Begriffe und Kategorien löschen, bevor Sie das Glossar selbst löschen können.

4. Wählen Sie den Begriff Gross Merchandise Value aus und klicken Sie auf Löschen.

5. Wählen Sie die Kategorie Sales Metrics aus und klicken Sie auf Löschen.

6. Wählen Sie Retail Business Glossary aus und klicken Sie auf Löschen.

Nächste Schritte

Weitere Informationen zur Katalogkuratierung und zum Erstellen von KI-Agenten mit Knowledge Catalog finden Sie in den folgenden Ressourcen:

• Aspekte verwalten und Metadaten anreichern:Benutzerdefinierte Schemas definieren und strukturierte Metadaten anhängen
• Unternehmensglossare verwalten: Informationen zum Erstellen eines standardisierten Vokabulars für Ihre Organisation finden Sie unter Unternehmensglossar verwalten.
• Mit Terraform verwalten:Hier erfahren Sie, wie Sie benutzerdefinierte Aspekttypen und Glossare mit Terraform bereitstellen.
• Mit Glossarbegriffen im großen Maßstab arbeiten: Führen Sie eine Bulk-Metadatenanreicherung mit JSON-Dateien in Glossare und Eintragslinks importieren und exportieren durch.
• Metadaten mit Agents anreichern:Erstellen Sie einen KI-Agenten, um Kontext zu extrahieren und Ihre Daten-Assets anzureichern. Weitere Informationen
• Weitere Anwendungsfälle ansehen:Unter Anwendungsfälle finden Sie weitere anpassbare Workflows und Szenarien.