Verwaltete Verbindungen – Übersicht

Pipelines für verwaltete Verbindungen importieren Metadaten aus Drittanbieterquellen in Knowledge Catalog (ehemals Dataplex Universal Catalog). Mit diesen Pipelines können Sie Metadaten in großem Umfang in Knowledge Catalog importieren, um Daten aus Ihren Quellen zu extrahieren. Die Pipelines erstellen bei Bedarf auch Knowledge Catalog-Eintragsgruppen in Ihrem Google Cloud Projekt. Mit diesem Ansatz können Sie Workflows orchestrieren und Importjobs nach Bedarf planen.

Sie erstellen benutzerdefinierte Connectors, um Metadaten aus verschiedenen Drittanbieterquellen zu extrahieren, darunter MySQL, SQL Server, Oracle, Snowflake und Databricks. Alternativ können Sie von der Community erstellte benutzerdefinierte Connectors für eine größere Auswahl an Quellen verwenden.

So funktionieren verwaltete Verbindungen

Das folgende Diagramm zeigt eine Pipeline für verwaltete Verbindungen.

Eine Pipeline für verwaltete Verbindungen.

So funktionieren verwaltete Verbindungen:

  1. Sie erstellen einen Connector für Ihre Datenquelle.

    Der Connector muss ein Artifact Registry-Image sein, das auf Managed Service for Apache Spark ausgeführt werden kann.

  2. Sie führen die Pipeline für verwaltete Verbindungen auf der Orchestrierungsplattform Workflows aus.

  3. Die Pipeline für verwaltete Verbindungen führt die folgenden Aktionen aus:

    1. Sie erstellt anhand Ihrer Konfiguration eine Zieleintragsgruppe, sofern diese noch nicht vorhanden ist.
    2. Sie führt den Connector aus. Der Connector extrahiert die Metadaten aus Ihrer Datenquelle und generiert eine Metadaten-Importdatei, die in Knowledge Catalog importiert werden kann.
    3. Sie überwacht den Fortschritt der Metadatenextraktion.
    4. Sie führt einen Metadatenimportjob aus, um die Metadaten in Knowledge Catalog zu importieren.
    5. Sie überwacht den Fortschritt des Metadatenimportjobs.

Die Pipeline für verwaltete Verbindungen nutzt Managed Service for Apache Spark, um den Connector auszuführen, und die API-Methoden von Knowledge Catalog für den Metadatenimport, um den Metadatenimportjob auszuführen.

Die Metadaten, die Sie importieren, bestehen aus Knowledge Catalog-Einträgen und ihren Aspekten. Weitere Informationen zu Knowledge Catalog-Metadaten finden Sie unter Metadatenverwaltung in Knowledge Catalog.

Von der Community erstellte benutzerdefinierte Connectors

Zum Importieren von Metadaten aus Drittanbieterquellen können Sie benutzerdefinierte Connectors verwenden, die von der Community erstellt wurden. Eine Einrichtungsanleitung und weitere Informationen zum Connector finden Sie in der README-Datei des jeweiligen Connectors.

Datenquelle Repository
MySQL mysql-connector
Oracle oracle-connector
PostgreSQL postgresql-connector
Snowflake snowflake-connector
SQL Server sql-server-connector

Nächste Schritte