À propos des connecteurs de métadonnées

Les connecteurs Knowledge Catalog (anciennement Dataplex Universal Catalog) vous permettent d'importer des métadonnées techniques, opérationnelles, commerciales et sémantiques depuis des sources de données tierces dans votre catalogue. Vous pouvez planifier des exécutions récurrentes pour synchroniser votre catalogue avec vos systèmes sources afin de découvrir, de rechercher et de gérer des éléments externes au même endroit.

Sources de données prises en charge

Vous pouvez importer des métadonnées à partir des sources suivantes à l'aide des connecteurs Knowledge Catalog :

  • dbt Core
  • Oracle
  • MySQL
  • PostgreSQL
  • SQL Server

Intégrations avec des partenaires de gouvernance des données

Vous pouvez intégrer Knowledge Catalog à d'autres plates-formes de catalogage et de gouvernance des données d'entreprise. Ces intégrations permettent de s'assurer que les métadonnées sont détectables et cohérentes dans l'ensemble du paysage de données de votre organisation. Vous pouvez ainsi enrichir les métadonnées dans Knowledge Catalog ou afficher les métadonnées de Knowledge Catalog dans des outils tiers.

Les partenaires suivants proposent des intégrations pour Knowledge Catalog :

Fonctionnement

Les connecteurs Knowledge Catalog utilisent des intégrations prédéfinies et des configurations de transfert gérées par le service de transfert de données BigQuery pour se connecter à votre source de données, extraire automatiquement les métadonnées et les mapper aux entrées d'un groupe d'entrées Knowledge Catalog que vous spécifiez.

Les connecteurs extraient les types de métadonnées suivants :

  • Métadonnées techniques : définitions du schéma, du type de données et du nom de la colonne.
  • Métadonnées opérationnelles : codes temporels de création et de modification, traçabilité, statistiques d'utilisation et résultats de qualité des données.
  • Métadonnées métier : tags, propriétaires et annotations.
  • Métadonnées sémantiques : dimensions, mesures, métriques, requêtes de référence et relations.

Une fois que vous avez configuré un connecteur, Knowledge Catalog planifie l'importation des métadonnées selon la programmation que vous spécifiez, ce qui garantit que le catalogue reste synchronisé avec le système source. Chaque fois qu'une importation de métadonnées est exécutée, elle écrase complètement les entrées du groupe d'entrées de destination géré par cette configuration. Les objets de métadonnées qui ne sont plus présents dans la source sont supprimés du groupe d'entrées, et de nouveaux objets sont ajoutés. Les objets du groupe d'entrées qui ne sont pas importés par la configuration du connecteur ne sont pas affectés.

Vous pouvez configurer et gérer ces configurations depuis la page Connecteurs de la section Knowledge Catalog de la console Google Cloud .

Terminologie

Les termes suivants sont utilisés dans cette documentation :

  • Configuration de l'importation de métadonnées : paramètres d'une tâche planifiée ou à la demande qui utilise le service de transfert de données BigQuery pour extraire des métadonnées d'une source et les charger dans Knowledge Catalog.
  • Exécution : instance d'exécution unique d'une configuration d'importation de métadonnées.
  • Groupe d'entrées : ressource dans Knowledge Catalog qui contient des entrées de métadonnées. Lorsque vous configurez un connecteur, vous désignez un groupe d'entrées comme destination des métadonnées importées.
  • Entrée : ressource dans Knowledge Catalog qui représente un élément de données, tel qu'une table ou une vue.

Tarifs

Knowledge Catalog et le service de transfert de données BigQuery ne facturent aucuns frais supplémentaires pour l'importation de métadonnées à l'aide de connecteurs.

Les frais standards s'appliquent aux autres utilisations de Knowledge Catalog (comme le stockage des métadonnées). Pour en savoir plus, consultez les tarifs de Knowledge Catalog.

Limites

  • Seules les métadonnées sont importées, pas les données sous-jacentes des tables ou des vues sources. Pour transférer les données sous-jacentes, vous pouvez utiliser le service de transfert de données BigQuery.
  • Chaque exécution écrase complètement les entrées gérées par le connecteur dans le groupe d'entrées de destination. Les mises à jour incrémentielles des métadonnées ne sont pas acceptées.
  • L'historique des exécutions est conservé pendant 90 jours.

Étapes suivantes