Présentation de la connectivité gérée

Les pipelines de connectivité gérée importent des métadonnées depuis des sources tierces dans Knowledge Catalog (anciennement Dataplex Universal Catalog). Vous pouvez utiliser ces pipelines pour importer des métadonnées dans Knowledge Catalog à grande échelle afin d'extraire des données de vos sources. Si nécessaire, les pipelines créent également des groupes d'entrées Knowledge Catalog dans votre projetGoogle Cloud . Cette approche vous permet d'orchestrer les workflows et de planifier les jobs d'importation selon vos besoins.

Vous créez des connecteurs personnalisés pour extraire les métadonnées de diverses sources tierces, y compris MySQL, SQL Server, Oracle, Snowflake et Databricks. Vous pouvez également utiliser des connecteurs personnalisés issus de la communauté pour une plus large gamme de sources.

Fonctionnement de la connectivité gérée

Le diagramme suivant représente un pipeline de connectivité gérée.

Pipeline de connectivité gérée

De manière générale, voici comment fonctionne la connectivité gérée :

  1. Vous créez un connecteur pour votre source de données.

    Le connecteur doit être une image Artifact Registry pouvant s'exécuter sur Managed Service pour Apache Spark.

  2. Vous exécutez le pipeline de connectivité gérée dans Workflows, une plate-forme d'orchestration.

  3. Le pipeline de connectivité gérée effectue les actions suivantes :

    1. Il crée un groupe d'entrées cible basé sur votre configuration, si le groupe d'entrées n'existe pas.
    2. Il exécute le connecteur. Le connecteur extrait les métadonnées de votre source de données et génère un fichier d'importation de métadonnées qui peut être importé dans Knowledge Catalog.
    3. Il surveille la progression de l'extraction des métadonnées.
    4. Il exécute un job d'importation de métadonnées pour importer les métadonnées dans Knowledge Catalog.
    5. Il surveille la progression de la tâche d'importation des métadonnées.

Le pipeline de connectivité gérée utilise Managed Service pour Apache Spark pour exécuter le connecteur, ainsi que les méthodes d'API d'importation de métadonnées Knowledge Catalog pour exécuter le job d'importation des métadonnées.

Les métadonnées que vous importez se composent d'entrées Knowledge Catalog et de leurs aspects. Pour en savoir plus sur les métadonnées Knowledge Catalog, consultez À propos de la gestion des métadonnées dans Knowledge Catalog.

Connecteurs personnalisés issus de la communauté

Pour importer des métadonnées depuis des sources tierces, vous pouvez utiliser des connecteurs personnalisés issus de la communauté. Consultez le fichier README de chaque connecteur pour obtenir des instructions de configuration et des informations détaillées sur le connecteur.

Source de données Dépôt
MySQL mysql-connector
Oracle oracle-connector
PostgreSQL postgresql-connector
Snowflake snowflake-connector
SQL Server sql-server-connector

Étapes suivantes