Metadaten-Connectors

Mit Knowledge Catalog-Connectors (ehemals Dataplex Universal Catalog) können Sie technische, betriebliche, geschäftliche und semantische Metadaten aus Datenquellen von Drittanbietern in Ihren Katalog importieren. Sie können wiederkehrende Ausführungen planen, um Ihren Katalog mit Ihren Quellsystemen zu synchronisieren, damit Sie externe Assets an einem Ort finden, durchsuchen und verwalten können.

Unterstützte Datenquellen

Mit Knowledge Catalog-Connectors können Sie Metadaten aus den folgenden Quellen importieren:

  • dbt Core
  • Oracle
  • MySQL
  • PostgreSQL
  • SQL Server

Integrationen mit Data Governance-Partnern

Sie können Knowledge Catalog in andere Plattformen für die Datenkatalogisierung und ‑verwaltung von Unternehmen einbinden. Diese Integrationen sorgen dafür, dass Metadaten in der gesamten Datenlandschaft Ihres Unternehmens auffindbar und konsistent sind. So können Sie Metadaten in Knowledge Catalog anreichern oder Knowledge Catalog-Metadaten in Tools von Drittanbietern ansehen.

Die folgenden Partner bieten Integrationen für Knowledge Catalog an:

Funktionsweise

Knowledge Catalog-Connectors verwenden vorgefertigte Integrationen und Übertragungskonfigurationen, die von BigQuery Data Transfer Service verwaltet werden, um eine Verbindung zu Ihrer Datenquelle herzustellen, Metadaten automatisch zu extrahieren und sie Einträgen in einer von Ihnen angegebenen Knowledge Catalog-Eintragsgruppe zuzuordnen.

Die Connectors extrahieren die folgenden Arten von Metadaten:

  • Technische Metadaten: Definitionen von Schema, Datentyp und Spaltenname.
  • Betriebliche Metadaten: Zeitstempel für Erstellung und Änderung, Datenherkunft, Nutzungs statistiken und Ergebnisse der Datenqualität.
  • Geschäftliche Metadaten: Tags, Eigentümer und Anmerkungen.
  • Semantische Metadaten: Dimensionen, Messwerte, Metriken, Golden Queries und Beziehungen.

Nachdem Sie einen Connector konfiguriert haben, plant Knowledge Catalog Metadatenimportläufe nach dem von Ihnen angegebenen Zeitplan, damit der Katalog mit dem Quellsystem synchronisiert bleibt. Bei jedem Metadatenimportlauf werden die Einträge in der Zieleintragsgruppe, die von dieser Konfiguration verwaltet wird, vollständig überschrieben. Metadatenobjekte, die in der Quelle nicht mehr vorhanden sind, werden aus der Eintragsgruppe entfernt und neue Objekte werden hinzugefügt. Objekte in der Eintragsgruppe, die nicht von der Connector-Konfiguration importiert werden, sind davon nicht betroffen.

Sie können diese Konfigurationen auf der Seite Connectors im Knowledge Catalog-Bereich der Google Cloud Konsole konfigurieren und verwalten.

Terminologie

In dieser Dokumentation werden die folgenden Begriffe verwendet:

  • Metadatenimportkonfiguration: Die Einstellungen für eine geplante oder On-Demand-Aufgabe, bei der BigQuery Data Transfer Service verwendet wird, um Metadaten aus einer Quelle zu extrahieren und in Knowledge Catalog zu laden.
  • Ausführung: Eine einzelne Ausführungsinstanz einer Metadatenimportkonfiguration.
  • Eintragsgruppe: Eine Ressource in Knowledge Catalog, die Metadateneinträge enthält. Wenn Sie einen Connector konfigurieren, legen Sie eine Eintragsgruppe als Ziel für die importierten Metadaten fest.
  • Eintrag: Eine Ressource in Knowledge Catalog, die ein Daten Asset wie eine Tabelle oder Ansicht darstellt.

Preise

Für den Import von Metadaten mit Connectors fallen keine zusätzlichen Gebühren für Knowledge Catalog oder BigQuery Data Transfer Service an.

Für andere Knowledge Catalog-Nutzung (z. B. Metadatenspeicherung) gelten die Standardgebühren. Weitere Informationen finden Sie unter Knowledge Catalog-Preise.

Beschränkungen

  • Es werden nur Metadaten importiert, nicht die zugrunde liegenden Daten aus den Quelltabellen oder ‑ansichten. Wenn Sie die zugrunde liegenden Daten übertragen möchten, können Sie den BigQuery Data Transfer Service verwenden.
  • Bei jeder Ausführung werden die von Connectors verwalteten Einträge in der Zieleintragsgruppe vollständig überschrieben. Inkrementelle Metadatenupdates werden nicht unterstützt.
  • Der Ausführungsverlauf wird 90 Tage lang aufbewahrt.

Nächste Schritte