Knowledge Catalog mit BigQuery verwenden

Knowledge Catalog (früher Dataplex Universal Catalog) interagiert mit BigQuery als zentrale Data-Governance- und Agent-Zugriffsebene für die Metadaten von BigQuery. Weitere Informationen finden Sie in der Übersicht über den Knowledge Catalog.

Wie verwende ich Knowledge Catalog mit BigQuery?

Knowledge Catalog interagiert auf folgende Weise mit BigQuery.

Automatisierte Metadatenaufnahme

Knowledge Catalog erkennt und indexiert automatisch technische Metadaten aus BigQuery-Assets. Der Support umfasst

Metadatendarstellung und -anreicherung

  • Einträge: Jede BigQuery-Tabelle oder jedes BigQuery-Asset wird als Eintrag im Katalog dargestellt, nicht als gesamte Tabelle, z. B. project.dataset.table.
  • Integration der Datenqualitäts-Scorecard: Knowledge Catalog bietet für jeden Eintrag im Katalog eine Datenqualitäts-Scorecard. Zusätzlich zu den integrierten Knowledge Catalog-Datenscans sind die Assertion-Ergebnisse aus Dataform eine Quelle für diese Scorecard.

  • Automatisierte Metadatenanreicherung: Für Tabellen und Ansichten, die mit Dataform erstellt wurden, können Sie semantische Metadaten direkt im Code definieren. Diese Metadaten werden nach erfolgreichem Abschluss einer Pipelineaktion automatisch mit Knowledge Catalog synchronisiert. Die folgenden Aspekttypen werden unterstützt:

    • Übersicht: Dokumentation und Zusammenfassungstext für den Eintrag.
    • Allgemeine Aspekte: Semantische Metadaten-Tags für technische Details wie Tabellensystem- und Typinformationen.

    Wenn Sie den Status einer Metadatenaktualisierung prüfen möchten, folgen Sie der Anleitung unter Letzte manuelle Ausführungen aufrufen.

    Nachdem die Metadaten synchronisiert wurden, können Sie den Eintrag in Knowledge Catalog suchen und aufrufen. Weitere Informationen finden Sie unter Nach Ressourcen suchen.

  • Metadaten auf Spaltenebene: Einzelne Spalten oder Felder werden als Pfad dargestellt. So können Sie bestimmte Metadaten wie Markierungen für personenidentifizierbare Informationen oder Datenqualitätswerte an einzelne Felder in einer BigQuery-Tabelle anhängen, anstatt nur an die Tabelle selbst.

  • Aspekte: Technische Metadaten werden mit Aspekten angereichert, die den Daten geschäftlichen Kontext hinzufügen, z. B. Eigentumsrechte, Datenqualität und Dokumentation.

  • Datenprodukte: Sie können zusammengehörige BigQuery-Assets in Datenprodukten zusammenfassen, z. B. E-Commerce-Geschäftsdaten, für die gemeinsame Zugriffs- und Governance-Einschränkungen gelten.

  • Semantische Suche: Nutzer können BigQuery-Daten in natürlicher Sprache suchen. Das ist besonders für Data Scientists und KI-Agenten nützlich, um vertrauenswürdige Datenprodukte mithilfe langer oder komplexer Abfragen zu finden.
  • Namensübersetzung: Zur einfacheren programmatischen Suche ermöglicht das System die Übersetzung von BigQuery-SQL-Namen oder vollständig qualifizierten Namen in Knowledge Catalog-Eintragsnamen.

Agentischer Zugriff und Fundierung

  • Agentischer Zugriff: KI-Agenten können Knowledge Catalog-Tools über einen lokalen oder Remote-MCP-Server finden und adaptiv verwenden.
  • Kontext für KI-Agenten: Knowledge Catalog erstellt einen Kontextgraphen, der BigQuery-Datasets mit Geschäftssemantik verknüpft. So werden KI-Halluzinationen reduziert, da Modelle nur vom Unternehmen genehmigte Daten verwenden.

Governance und Compliance

  • Datenherkunft: Knowledge Catalog verfolgt automatisch, wie Daten in BigQuery-Tabellen fließen und transformiert werden. Diese Funktion ist entscheidend für die Prüfung sensibler Informationen wie personenidentifizierbarer Informationen im gesamten Datenbestand.
  • Zugriffssteuerung: Die Metadatenverwaltung ist in Identity and Access Management (IAM) und VPC Service Controls eingebunden, um sicherzustellen, dass die Erkennung und der Zugriff auf BigQuery-Metadaten den Sicherheitsrichtlinien der Organisation entsprechen.

Nächste Schritte

Weitere Informationen zu Knowledge Catalog: