Datenbank-Connectors

In diesem Dokument wird beschrieben, wie Sie Knowledge Catalog-Connectors (ehemals Dataplex Universal Catalog) verwenden, um Metadaten aus externen Datenquellen von Drittanbietern in Knowledge Catalog zu importieren.

Knowledge Catalog-Connectors nutzen den BigQuery Data Transfer Service, um vorgefertigte Integrationen bereitzustellen, die automatisch Metadaten aus Quellsystemen extrahieren und sie Einträgen in einer Knowledge Catalog-Eintragsgruppe zuordnen.

Die Connectors extrahieren die folgenden Arten von Metadaten:

  • Technische Metadaten: Datenbank-, Schema-, Tabellen- und Ansichtsdefinitionen.
  • Betriebliche Metadaten: Zeitstempel für die Erstellung und letzte Aktualisierung von Assets, wie Tabellen, Ansichten und Routinen.
  • Geschäftliche Metadaten: Assetinhaber und Annotationen.

Nachdem Sie einen Connector konfiguriert haben, plant Knowledge Catalog Metadatenimportläufe nach dem von Ihnen angegebenen Zeitplan, damit der Katalog mit dem Quellsystem synchronisiert bleibt.

Unterstützte Datenquellen

Mit Knowledge Catalog-Connectors können Sie Metadaten aus den folgenden Quellen importieren:

  • Oracle
  • MySQL

Integrationen mit Partnern für Data Governance

Sie können Knowledge Catalog in andere Plattformen für die Datenkatalogisierung und ‑Governance von Unternehmen einbinden. Diese Integrationen sorgen dafür, dass Metadaten in der gesamten Datenlandschaft Ihres Unternehmens auffindbar und konsistent sind. So können Sie Metadaten in Knowledge Catalog anreichern oder Knowledge Catalog-Metadaten in Tools von Drittanbietern ansehen.

Die folgenden Partner bieten Integrationen für Knowledge Catalog an:

Funktionsweise

Knowledge Catalog-Connectors verwenden Übertragungskonfigurationen, die vom BigQuery Data Transfer Service verwaltet werden, um eine Verbindung zu Ihrer Datenquelle herzustellen, Metadaten zu extrahieren und sie in eine von Ihnen angegebene Knowledge Catalog-Eintragsgruppe aufzunehmen.

Bei jedem Metadatenimportlauf werden die Einträge in der Zieleintragsgruppe, die von dieser Konfiguration verwaltet wird, vollständig überschrieben. Metadatenobjekte, die in der Quelle nicht mehr vorhanden sind, werden aus der Eintragsgruppe entfernt und neue Objekte werden hinzugefügt. Objekte in der Eintragsgruppe, die nicht von der Connector-Konfiguration importiert wurden, sind davon nicht betroffen.

Sie konfigurieren und verwalten diese Konfigurationen auf der Seite Connectors im Knowledge Catalog-Bereich der Google Cloud Console.

Terminologie

In dieser Dokumentation werden die folgenden Begriffe verwendet:

  • Metadatenimportkonfiguration: Die Einstellungen für eine geplante oder bedarfsgerechte Aufgabe, bei der der BigQuery Data Transfer Service verwendet wird, um Metadaten aus einer Quelle zu extrahieren und in Knowledge Catalog zu laden.
  • Lauf: Eine einzelne Ausführung einer Metadatenimportkonfiguration.
  • Eintragsgruppe: Eine Ressource in Knowledge Catalog, die Metadaten einträge enthält. Wenn Sie einen Connector konfigurieren, legen Sie eine Eintragsgruppe als Ziel für die importierten Metadaten fest.
  • Eintrag: Eine Ressource in Knowledge Catalog, die ein Daten-Asset darstellt, wie eine Tabelle oder Ansicht.

Preise

Für den Import von Metadaten mit Connectors fallen keine zusätzlichen Gebühren für Knowledge Catalog oder den BigQuery Data Transfer Service an.

Für andere Nutzungen von Knowledge Catalog (z. B. Metadatenspeicherung) gelten die Standardgebühren. Weitere Informationen finden Sie unter Knowledge Catalog-Preise.

Beschränkungen

  • Es werden nur Metadaten importiert, nicht die zugrunde liegenden Daten aus den Quelltabelle oder ‑ansichten. Wenn Sie die zugrunde liegenden Daten übertragen möchten, können Sie den BigQuery Data Transfer Service verwenden.
  • Bei jedem Lauf werden die von Connectors verwalteten Einträge in der Zieleintragsgruppe vollständig überschrieben. Inkrementelle Metadatenaktualisierungen werden nicht unterstützt.
  • Der Verlauf der Läufe wird 90 Tage lang aufbewahrt.

Nächste Schritte