À propos des connecteurs de base de données

Ce document explique comment utiliser les connecteurs Knowledge Catalog (anciennement Dataplex Universal Catalog) pour importer des métadonnées depuis des sources de données externes tierces dans Knowledge Catalog.

Les connecteurs Knowledge Catalog s'appuient sur le service de transfert de données BigQuery pour fournir des intégrations prédéfinies qui extraient automatiquement les métadonnées des systèmes sources et les mappent aux entrées d'un groupe d'entrées Knowledge Catalog.

Les connecteurs extraient les types de métadonnées suivants :

  • Métadonnées techniques : définitions de base de données, de schéma, de table et de vue.
  • Métadonnées opérationnelles : codes temporels de création et de dernière mise à jour pour les composants, tels que les tables, les vues et les routines.
  • Métadonnées métier : propriétaires des composants et annotations.

Une fois que vous avez configuré un connecteur, Knowledge Catalog planifie des exécutions d'importation de métadonnées selon la fréquence que vous spécifiez. Cela permet de s'assurer que le catalogue reste synchronisé avec le système source.

Sources de données prises en charge

Vous pouvez importer des métadonnées depuis les sources suivantes à l'aide des connecteurs Knowledge Catalog :

  • Oracle
  • MySQL
  • PostgreSQL
  • SQL Server

Intégrations avec des partenaires de gouvernance des données

Vous pouvez intégrer Knowledge Catalog à d'autres plates-formes de catalogage et de gouvernance des données d'entreprise. Ces intégrations permettent de s'assurer que les métadonnées sont détectables et cohérentes dans l'ensemble du paysage de données de votre organisation. Vous pouvez ainsi enrichir les métadonnées dans Knowledge Catalog ou afficher les métadonnées Knowledge Catalog dans des outils tiers.

Les partenaires suivants proposent des intégrations pour Knowledge Catalog :

Fonctionnement

Les connecteurs Knowledge Catalog utilisent des configurations de transfert gérées par le service de transfert de données BigQuery pour se connecter à votre source de données, extraire les métadonnées et les ingérer dans un groupe d'entrées Knowledge Catalog que vous spécifiez.

Chaque fois qu'une importation de métadonnées est exécutée, elle écrase complètement les entrées du groupe d'entrées de destination géré par cette configuration. Les objets de métadonnées qui ne sont plus présents dans la source sont supprimés du groupe d'entrées, et de nouveaux objets sont ajoutés. Les objets du groupe d'entrées qui n'ont pas été importés par la configuration du connecteur ne sont pas affectés.

Vous configurez et gérez ces configurations depuis la page Connecteurs de la section "Knowledge Catalog" de la console Google Cloud .

Terminologie

Les termes suivants sont utilisés dans cette documentation :

  • Configuration d'importation de métadonnées : paramètres d'une tâche programmée ou à la demande qui utilise le service de transfert de données BigQuery pour extraire des métadonnées d'une source et les charger dans Knowledge Catalog.
  • Exécution : instance d'exécution unique d'une configuration d'importation de métadonnées.
  • Groupe d'entrées : ressource dans Knowledge Catalog qui contient des entrées de métadonnées. Lorsque vous configurez un connecteur, vous désignez un groupe d'entrées comme destination des métadonnées importées.
  • Entrée : ressource dans Knowledge Catalog qui représente un élément de données, tel qu'une table ou une vue.

Tarifs

Aucuns frais supplémentaires ne sont facturés par Knowledge Catalog ni par le service de transfert de données BigQuery pour l'importation de métadonnées à l'aide de connecteurs.

Des frais standards s'appliquent aux autres utilisations de Knowledge Catalog (comme le stockage de métadonnées). Pour en savoir plus, consultez les tarifs de Knowledge Catalog.

Limites

  • Seules les métadonnées sont importées, et non les données sous-jacentes des tables ou vues sources. Pour transférer les données sous-jacentes, vous pouvez utiliser le service de transfert de données BigQuery.
  • Chaque exécution écrase complètement les entrées gérées par le connecteur dans le groupe d'entrées de destination. Les mises à jour incrémentielles des métadonnées ne sont pas acceptées.
  • L'historique des exécutions est conservé pendant 90 jours.

Étapes suivantes