Knowledge Catalog mit BigQuery verwenden

Knowledge Catalog (früher Dataplex Universal Catalog) interagiert mit BigQuery als zentrale Ebene für Datenverwaltung und Agentenzugriff für die Metadaten von BigQuery. Weitere Informationen finden Sie in der Übersicht zu Knowledge Catalog.

Wie verwende ich Knowledge Catalog mit BigQuery?

Knowledge Catalog interagiert auf folgende Weise mit BigQuery:

Automatisierte Metadatenaufnahme

Knowledge Catalog erkennt und indexiert automatisch technische Metadaten aus BigQuery-Assets. Der Support umfasst

Metadatendarstellung und ‑anreicherung

  • Einträge: Jede BigQuery-Tabelle oder jedes BigQuery-Asset wird im Katalog als Eintrag und nicht als gesamte Tabelle dargestellt, z. B. project.dataset.table.
  • Metadaten auf Spaltenebene: Einzelne Spalten oder Felder werden als Pfade dargestellt. So können Sie bestimmten Feldern in einer BigQuery-Tabelle spezifische Metadaten wie PII-Markierungen oder Datenqualitätsfaktoren zuweisen und nicht nur der Tabelle selbst.
  • Aspekte: Technische Metadaten werden mit Aspekten angereichert, die Daten geschäftlichen Kontext hinzufügen, z. B. Eigentumsrechte, Datenqualität und Dokumentation.
  • Datenprodukte: Sie können zugehörige BigQuery-Assets in Datenprodukte packen, z. B. E-Commerce-Geschäftsdaten, die gemeinsame Zugriffs- und Governance-Einschränkungen haben.
  • Semantische Suche: Nutzer können in natürlicher Sprache nach BigQuery-Daten suchen. Das ist besonders nützlich für Data Scientists und KI-Agenten, um vertrauenswürdige Datenprodukte mit langen oder komplexen Anfragen zu finden.
  • Namensübersetzung: Für eine einfachere programmatische Suche ermöglicht das System die Übersetzung von BigQuery-SQL-Namen oder vollqualifizierten Namen in Knowledge Catalog-Eintragsnamen.

Zugriff und Fundierung von KI-Agenten

  • Agentischer Zugriff: KI-Agenten können Knowledge Catalog-Tools über einen lokalen oder Remote-MCP-Server erkennen und adaptiv verwenden.
  • Kontext für KI-Agents: Im Knowledge Catalog wird ein Kontextdiagramm erstellt, in dem BigQuery-Datasets mit geschäftlicher Semantik verknüpft werden. So werden KI-Halluzinationen reduziert, da sichergestellt wird, dass Modelle von Unternehmen genehmigte Daten verwenden.

Governance und Compliance

  • Datenherkunft: Knowledge Catalog verfolgt automatisch, wie Daten in BigQuery-Tabellen einfließen und transformiert werden und wie sie aus BigQuery-Tabellen herausfließen und transformiert werden. Diese Funktion ist wichtig, um sensible Informationen wie personenidentifizierbare Informationen in den Daten zu prüfen.
  • Zugriffssteuerung:Die Metadatenverwaltung ist in Identity and Access Management (IAM) und VPC Service Controls integriert, um sicherzustellen, dass die Ermittlung und der Zugriff auf BigQuery-Metadaten den Sicherheitsrichtlinien der Organisation entsprechen.

Hinweise zur Migration

Die Migration von Data Catalog (eingestellt) zu Knowledge Catalog umfasst mehrere Schritte. Standardmetadaten aus BigQuery (z. B. Datasets, Tabellen, Ansichten) sind automatisch in Knowledge Catalog verfügbar. Der Migrationsprozess konzentriert sich daher hauptsächlich auf benutzerdefinierte Metadaten, die API-Nutzung und die Standardeinstellungen der Benutzeroberfläche.

Im Folgenden sind die wichtigsten Punkte aufgeführt, die Sie bei der Migration berücksichtigen sollten:

Änderung verstehen

Knowledge Catalog bietet im Vergleich zu Data Catalog erweiterte Funktionen für die Metadatenverwaltung, Governance und Ermittlung. Knowledge Catalog verwendet eine andere API (die Knowledge Catalog API) und ein leicht abweichendes Datenmodell. So werden in Knowledge Catalog beispielsweise Aspekte und Aspekttypen anstelle von Tags und Tag-Vorlagen verwendet.

Aktuelle Nutzung des Datenkatalogs bewerten

  • Keine benutzerdefinierten Metadaten: Wenn Sie sich nur auf Knowledge Catalog für die automatische Aufnahme und Erkennung von Standard-BigQuery-Metadaten verlassen haben, ohne benutzerdefinierte Tags, Tag-Vorlagen, benutzerdefinierte Einträge oder Eintragsgruppen zu erstellen, ist die Umstellung unkompliziert. Sie können die Knowledge Catalog-Benutzeroberfläche sofort verwenden.
  • Benutzerdefinierte Metadaten oder programmatische Verwendung: Wenn Sie benutzerdefinierte Tags oder Vorlagen, benutzerdefinierte Einträge erstellt oder die Data Catalog API, Clientbibliotheken, Google Cloud CLI-Befehle oder Terraform verwendet haben, ist ein strukturierterer Übergang erforderlich.

Spezifische Hinweise zu BigQuery

  • Automatische Aufnahme: Technische Metadaten aus BigQuery-Assets (Datasets, Tabellen, Ansichten, Modelle und Routinen) werden weiterhin automatisch in Knowledge Catalog aufgenommen, wie es auch beim Dataplex Universal Catalog der Fall war.
  • Richtlinien-Tags: Richtlinien-Tags, die für die Zugriffssteuerung auf Spaltenebene in BigQuery verwendet werden, sind nicht veraltet und ihre Verwaltung erfolgt weiterhin in BigQuery.
  • Herkunft: Die Datenherkunft für BigQuery-Vorgänge wird im Knowledge Catalog angezeigt. Weitere Informationen zur Datenherkunft finden Sie unter Datenherkunft für eine BigQuery-Tabelle nachverfolgen.

Umstellungsleitfaden folgen

Folgen Sie der Anleitung unter Von Data Catalog auf Knowledge Catalog umstellen, um zu Knowledge Catalog zu migrieren.

Informationen zum Aktualisieren programmatischer Arbeitsabläufe auf die Knowledge Catalog API finden Sie unter Data Catalog API-Methoden Knowledge Catalog zuordnen.

Nächste Schritte

Weitere Informationen zu Knowledge Catalog: