Metadaten-Connectors

In diesem Dokument wird beschrieben, wie Sie Knowledge Catalog-Connectors (ehemals Dataplex Universal Catalog) verwenden, um Metadaten aus externen Drittanbieter-Datenquellen in den Knowledge Catalog zu importieren.

Knowledge Catalog-Connectors nutzen den BigQuery Data Transfer Service, um vorgefertigte Integrationen bereitzustellen, mit denen Metadaten automatisch aus Quellsystemen extrahiert und Einträgen in einer Knowledge Catalog-Eintragsgruppe zugeordnet werden.

Die Connectors extrahieren die folgenden Metadatentypen:

  • Technische Metadaten: Definitionen für Schema, Datentyp und Spaltenname.
  • Betriebsmetadaten: Zeitstempel für Erstellung und Änderung, Herkunft, Nutzungsstatistiken und Ergebnisse zur Datenqualität.
  • Geschäftliche Metadaten: Tags/Labels, Inhaber und Anmerkungen.
  • Semantische Metadaten: Dimensionen, Measures, Messwerte/KPIs, Golden Queries und Beziehungen.

Nachdem Sie einen Connector konfiguriert haben, plant Knowledge Catalog Metadatenimporte entsprechend dem von Ihnen angegebenen Zeitplan, damit der Katalog mit dem Quellsystem synchronisiert bleibt.

Unterstützte Datenquellen

Sie können Metadaten aus den folgenden Quellen mit Knowledge Catalog-Connectors importieren:

  • dbt Core
  • Oracle
  • MySQL
  • PostgreSQL
  • SQL Server

Integrationen mit Data Governance-Partnern

Sie können Knowledge Catalog in andere Plattformen für die Katalogisierung und Governance von Unternehmensdaten einbinden. Diese Integrationen sorgen dafür, dass Metadaten in der Datenlandschaft Ihrer Organisation auffindbar und konsistent sind. So können Sie Metadaten in Knowledge Catalog anreichern oder Knowledge Catalog-Metadaten in Drittanbietertools ansehen.

Die folgenden Partner bieten Integrationen für Knowledge Catalog an:

Funktionsweise

Knowledge Catalog-Connectors verwenden Übertragungskonfigurationen, die von BigQuery Data Transfer Service verwaltet werden, um eine Verbindung zu Ihrer Datenquelle herzustellen, Metadaten zu extrahieren und in eine von Ihnen angegebene Knowledge Catalog-Eintragsgruppe aufzunehmen.

Bei jedem Metadatenimport wird ein vollständiges Überschreiben der Einträge in der Zieleintragsgruppe durchgeführt, die von dieser Konfiguration verwaltet wird. Metadatenobjekte, die nicht mehr in der Quelle vorhanden sind, werden aus der Eintragssammlung entfernt und neue Objekte werden hinzugefügt. Objekte in der Eintragsgruppe, die nicht durch die Connector-Konfiguration importiert wurden, sind nicht betroffen.

Sie konfigurieren und verwalten diese Konfigurationen auf der Seite Connectors im Bereich „Knowledge Catalog“ der Google Cloud Console.

Terminologie

In dieser Dokumentation werden die folgenden Begriffe verwendet:

  • Konfiguration für den Metadatenimport: Die Einstellungen für einen geplanten oder On-Demand-Vorgang, bei dem BigQuery Data Transfer Service verwendet wird, um Metadaten aus einer Quelle zu extrahieren und in Knowledge Catalog zu laden.
  • Lauf: Eine einzelne Ausführungsinstanz einer Metadatenimportkonfiguration.
  • Eintragsgruppe: Eine Ressource in Knowledge Catalog, die Metadateneinträge enthält. Wenn Sie einen Connector konfigurieren, legen Sie eine Einträgegruppe als Ziel für die importierten Metadaten fest.
  • Eintrag: Eine Ressource in Knowledge Catalog, die ein Daten-Asset wie eine Tabelle oder Ansicht darstellt.

Preise

Für den Import von Metadaten mit Connectors fallen keine zusätzlichen Gebühren für Knowledge Catalog oder BigQuery Data Transfer Service an.

Für die sonstige Nutzung von Knowledge Catalog (z. B. für die Speicherung von Metadaten) fallen Standardgebühren an. Weitere Informationen finden Sie unter Preise für den Knowledge Catalog.

Beschränkungen

  • Es werden nur Metadaten importiert, nicht die zugrunde liegenden Daten aus den Quelltabellen oder ‑ansichten. Wenn Sie die zugrunde liegenden Daten übertragen möchten, können Sie den BigQuery Data Transfer Service verwenden.
  • Bei jeder Ausführung werden alle von Connectors verwalteten Einträge in der Ziel-Eintragsgruppe vollständig überschrieben. Inkrementelle Metadaten-Updates werden nicht unterstützt.
  • Der Laufverlauf wird 90 Tage lang aufbewahrt.

Nächste Schritte