In diesem Dokument wird beschrieben, wie Sie Knowledge Catalog-Connectors (ehemals Dataplex Universal Catalog) verwenden, um Metadaten aus externen Drittanbieter-Datenquellen in den Knowledge Catalog zu importieren.
Knowledge Catalog-Connectors nutzen den BigQuery Data Transfer Service, um vorgefertigte Integrationen bereitzustellen, mit denen Metadaten automatisch aus Quellsystemen extrahiert und Einträgen in einer Knowledge Catalog-Eintragsgruppe zugeordnet werden.
Die Connectors extrahieren die folgenden Arten von Metadaten:
- Technische Metadaten: Datenbank-, Schema-, Tabellen- und Ansichtsdefinitionen.
- Betriebsmetadaten: Zeitstempel für die Erstellung und letzte Aktualisierung von Assets wie Tabellen, Ansichten und Routinen.
- Geschäftsmetadaten: Asset-Inhaber und Anmerkungen.
Nachdem Sie einen Connector konfiguriert haben, plant Knowledge Catalog Metadatenimportläufe gemäß dem von Ihnen angegebenen Zeitplan, damit der Katalog mit dem Quellsystem synchronisiert bleibt.
Unterstützte Datenquellen
Sie können Metadaten aus den folgenden Quellen mit Knowledge Catalog-Connectors importieren:
- Oracle
- MySQL
Integrationen mit Data Governance-Partnern
Sie können Knowledge Catalog in andere Plattformen für die Katalogisierung und Governance von Unternehmensdaten einbinden. Diese Integrationen sorgen dafür, dass Metadaten in der gesamten Datenlandschaft Ihrer Organisation auffindbar und konsistent sind. So können Sie Metadaten in Knowledge Catalog anreichern oder Knowledge Catalog-Metadaten in Drittanbietertools ansehen.
Die folgenden Partner bieten Integrationen für Knowledge Catalog an:
Funktionsweise
Knowledge Catalog-Connectors verwenden Übertragungskonfigurationen, die vom BigQuery Data Transfer Service verwaltet werden, um eine Verbindung zu Ihrer Datenquelle herzustellen, Metadaten zu extrahieren und in eine von Ihnen angegebene Knowledge Catalog-Eintragsgruppe aufzunehmen.
Bei jedem Metadatenimport wird ein vollständiges Überschreiben der Einträge in der Zielgruppe von Einträgen durchgeführt, die von dieser Konfiguration verwaltet wird. Metadatenobjekte, die nicht mehr in der Quelle vorhanden sind, werden aus der Eintragsgruppe entfernt und neue Objekte werden hinzugefügt. Objekte in der Eintragsgruppe, die nicht durch die Connector-Konfiguration importiert wurden, sind nicht betroffen.
Sie konfigurieren und verwalten diese Einstellungen auf der Seite Connectors im Bereich „Knowledge Catalog“ der Google Cloud -Konsole.
Terminologie
In dieser Dokumentation werden die folgenden Begriffe verwendet:
- Konfiguration für den Metadatenimport: Die Einstellungen für einen geplanten oder On-Demand-Vorgang, bei dem der BigQuery Data Transfer Service verwendet wird, um Metadaten aus einer Quelle zu extrahieren und in den Knowledge Catalog zu laden.
- Ausführung: Eine einzelne Ausführungsinstanz einer Metadatenimportkonfiguration.
- Eintragsgruppe: Eine Ressource in Knowledge Catalog, die Metadateneinträge enthält. Wenn Sie einen Connector konfigurieren, legen Sie eine Eintragsgruppe als Ziel für die importierten Metadaten fest.
- Eintrag: Eine Ressource in Knowledge Catalog, die ein Daten-Asset wie eine Tabelle oder Ansicht darstellt.
Preise
Für den Import von Metadaten mit Connectors fallen keine zusätzlichen Gebühren für Knowledge Catalog oder BigQuery Data Transfer Service an.
Für andere Knowledge Catalog-Nutzungen (z. B. Metadatenspeicher) fallen Standardgebühren an. Weitere Informationen finden Sie unter Preise für den Knowledge Catalog.
Beschränkungen
- Es werden nur Metadaten importiert, nicht die zugrunde liegenden Daten aus den Quelltabellen oder ‑ansichten. Zum Übertragen der zugrunde liegenden Daten können Sie den BigQuery Data Transfer Service verwenden.
- Bei jedem Lauf werden alle von Connectors verwalteten Einträge in der Ziel-Eintragsgruppe vollständig überschrieben. Inkrementelle Metadaten-Updates werden nicht unterstützt.
- Der Ausführungsverlauf wird 90 Tage lang aufbewahrt.