Metadaten-Connectors

Mit Knowledge Catalog-Connectors (ehemals Dataplex Universal Catalog) können Sie technische, operative, geschäftliche und semantische Metadaten aus Drittanbieter-Datenquellen in Ihren Katalog importieren. Sie können wiederkehrende Ausführungen planen, um Ihren Katalog mit Ihren Quellsystemen zu synchronisieren, damit Sie externe Assets an einem Ort finden, suchen und verwalten können.

Unterstützte Datenquellen

Sie können Metadaten aus den folgenden Quellen mit Knowledge Catalog-Connectors importieren:

  • dbt Core
  • Oracle
  • MySQL
  • PostgreSQL
  • SQL Server

Integrationen mit Data-Governance-Partnern

Sie können Knowledge Catalog in andere Plattformen für die Katalogisierung und Governance von Unternehmensdaten einbinden. Diese Integrationen tragen dazu bei, dass Metadaten in der gesamten Datenlandschaft Ihres Unternehmens auffindbar und konsistent sind. So können Sie Metadaten in Knowledge Catalog anreichern oder Knowledge Catalog-Metadaten in Drittanbietertools ansehen.

Die folgenden Partner bieten Integrationen für Knowledge Catalog an:

Funktionsweise

Knowledge Catalog-Connectors verwenden vordefinierte Integrationen und Transferkonfigurationen, die von BigQuery Data Transfer Service verwaltet werden, um eine Verbindung zu Ihrer Datenquelle herzustellen, Metadaten automatisch zu extrahieren und sie Einträgen in einer von Ihnen angegebenen Knowledge Catalog-Eintragsgruppe zuzuordnen.

Die Connectors extrahieren die folgenden Metadatentypen:

  • Technische Metadaten: Schema-, Datentyp- und Spaltennamendefinitionen.
  • Betriebsmetadaten: Zeitstempel für Erstellung und Änderung, Herkunft, Nutzungsstatistiken und Ergebnisse zur Datenqualität.
  • Geschäftliche Metadaten: Tags, Inhaber und Annotationen.
  • Semantische Metadaten: Dimensionen, Measures, Messwerte, Golden Queries und Beziehungen.

Nachdem Sie einen Connector konfiguriert haben, plant Knowledge Catalog Metadatenimportläufe gemäß dem von Ihnen angegebenen Zeitplan. So wird sichergestellt, dass der Katalog mit dem Quellsystem synchronisiert bleibt. Bei jedem Metadatenimport werden die Einträge in der von dieser Konfiguration verwalteten Zieleintragsgruppe vollständig überschrieben. Metadatenobjekte, die nicht mehr in der Quelle vorhanden sind, werden aus der Eintraggruppe entfernt und neue Objekte werden hinzugefügt. Objekte in der Eintraggruppe, die nicht von der Connector-Konfiguration importiert werden, sind davon nicht betroffen.

Sie können diese Konfigurationen auf der Seite Connectors im Bereich „Knowledge Catalog“ der Google Cloud Konsole konfigurieren und verwalten.

Terminologie

In dieser Dokumentation werden die folgenden Begriffe verwendet:

  • Konfiguration für den Metadatenimport: Die Einstellungen für eine geplante oder On-Demand-Aufgabe, die BigQuery Data Transfer Service verwendet, um Metadaten aus einer Quelle zu extrahieren und in Knowledge Catalog zu laden.
  • Ausführung: Eine einzelne Ausführungsinstanz einer Metadatenimport-Konfiguration.
  • Eintragsgruppe: Eine Ressource in Knowledge Catalog, die Metadateneinträge enthält. Wenn Sie einen Connector konfigurieren, legen Sie eine Eintraggruppe als Ziel für die importierten Metadaten fest.
  • Eintrag: Eine Ressource in Knowledge Catalog, die ein Daten-Asset wie eine Tabelle oder Ansicht darstellt.

Preise

Für den Import von Metadaten über Connectors fallen keine zusätzlichen Gebühren von Knowledge Catalog oder BigQuery Data Transfer Service an.

Für die sonstige Nutzung von Knowledge Catalog (z. B. Metadatenspeicherung) fallen die Standardgebühren an. Weitere Informationen finden Sie unter Knowledge Catalog – Preise.

Beschränkungen

  • Es werden nur Metadaten importiert, nicht die zugrunde liegenden Daten aus den Quelltabellen oder -ansichten. Zum Übertragen der zugrunde liegenden Daten können Sie den BigQuery Data Transfer Service verwenden.
  • Bei jeder Ausführung werden die vom Connector verwalteten Einträge in der Zieleintragsgruppe vollständig überschrieben. Inkrementelle Metadatenaktualisierungen werden nicht unterstützt.
  • Der Ausführungsverlauf wird 90 Tage lang aufbewahrt.

Nächste Schritte