À propos des connecteurs de base de données

Ce document explique comment utiliser les connecteurs Knowledge Catalog (anciennement Dataplex Universal Catalog) pour importer des métadonnées depuis des sources de données externes tierces dans Knowledge Catalog.

Les connecteurs Knowledge Catalog exploitent le service de transfert de données BigQuery pour fournir des intégrations prédéfinies qui extraient automatiquement les métadonnées des systèmes sources et les mettent en correspondance avec des entrées dans un groupe d'entrées Knowledge Catalog.

Les connecteurs extraient les types de métadonnées suivants :

  • Métadonnées techniques : définitions de base de données, de schéma, de table et de vue.
  • Métadonnées opérationnelles : horodatages de création et de dernière mise à jour pour les éléments, tels que les tables, les vues et les routines.
  • Métadonnées métier : propriétaires et annotations des éléments.

Une fois que vous avez configuré un connecteur, Knowledge Catalog planifie des exécutions d'importation de métadonnées selon la planification que vous spécifiez, ce qui garantit que le catalogue reste synchronisé avec le système source.

Sources de données prises en charge

Vous pouvez importer des métadonnées à partir des sources suivantes à l'aide des connecteurs Knowledge Catalog :

  • Oracle
  • MySQL

Intégrations avec des partenaires de gouvernance des données

Vous pouvez intégrer Knowledge Catalog à d'autres plates-formes de gouvernance et de catalogage des données d'entreprise. Ces intégrations permettent de s'assurer que les métadonnées sont détectables et cohérentes dans l'ensemble du paysage de données de votre organisation. Vous pouvez ainsi enrichir les métadonnées dans Knowledge Catalog ou afficher les métadonnées Knowledge Catalog dans des outils tiers.

Les partenaires suivants fournissent des intégrations pour Knowledge Catalog :

Fonctionnement

Les connecteurs Knowledge Catalog utilisent des configurations de transfert gérées par le service de transfert de données BigQuery pour se connecter à votre source de données, extraire les métadonnées et les ingérer dans un groupe d'entrées Knowledge Catalog que vous spécifiez.

Chaque fois qu'une exécution d'importation de métadonnées a lieu, elle effectue un remplacement complet des entrées du groupe d'entrées de destination géré par cette configuration. Les objets de métadonnées qui ne sont plus présents dans la source sont supprimés du groupe d'entrées, et de nouveaux objets sont ajoutés. Les objets du groupe d'entrées qui n'ont pas été importés par la configuration du connecteur ne sont pas affectés.

Vous configurez et gérez ces configurations à partir de la page Connecteurs de la section Knowledge Catalog de la Google Cloud console.

Terminologie

Les termes suivants sont utilisés dans cette documentation :

  • Configuration d'importation de métadonnées : paramètres d'une tâche planifiée ou à la demande qui utilise le service de transfert de données BigQuery pour extraire des métadonnées d'une source et les charger dans Knowledge Catalog.
  • Exécution : instance d'exécution unique d'une configuration d'importation de métadonnées.
  • Groupe d'entrées : ressource dans Knowledge Catalog qui contient des entrées de métadonnées. Lorsque vous configurez un connecteur, vous désignez un groupe d'entrées comme destination des métadonnées importées.
  • Entrée : ressource dans Knowledge Catalog qui représente un élément de données, tel qu'une table ou une vue.

Tarifs

L'importation de métadonnées à l'aide de connecteurs n'entraîne aucun frais supplémentaire de la part de Knowledge Catalog ni du service de transfert de données BigQuery.

Les frais standards s'appliquent aux autres utilisations de Knowledge Catalog (telles que le stockage de métadonnées). Pour en savoir plus, consultez les tarifs de Knowledge Catalog.

Limites

  • Seules les métadonnées sont importées, et non les données sous-jacentes des tables ou des vues sources. Pour transférer les données sous-jacentes, vous pouvez utiliser le service de transfert de données BigQuery.
  • Chaque exécution effectue un remplacement complet des entrées gérées par le connecteur dans le groupe d'entrées de destination. Les mises à jour incrémentielles des métadonnées ne sont pas acceptées.
  • L'historique des exécutions est conservé pendant 90 jours.

Étape suivante