À propos des connecteurs de métadonnées

Les connecteurs Knowledge Catalog (anciennement Dataplex Universal Catalog) vous permettent d'importer des métadonnées techniques, opérationnelles, métier et sémantiques depuis des sources de données tierces dans votre catalogue. Vous pouvez planifier des exécutions récurrentes pour synchroniser votre catalogue avec vos systèmes sources afin de pouvoir découvrir, rechercher et gérer les actifs externes au même endroit.

Sources de données prises en charge

Vous pouvez importer des métadonnées depuis les sources suivantes à l'aide des connecteurs Knowledge Catalog :

  • dbt Core
  • Oracle
  • MySQL
  • PostgreSQL
  • SQL Server

Intégrations avec des partenaires de gouvernance des données

Vous pouvez intégrer Knowledge Catalog à d'autres plates-formes de gouvernance et de catalogage des données d'entreprise. Ces intégrations permettent de s'assurer que les métadonnées sont détectables et cohérentes dans l'ensemble du paysage de données de votre organisation. Vous pouvez ainsi enrichir les métadonnées dans Knowledge Catalog ou afficher les métadonnées Knowledge Catalog dans des outils tiers.

Les partenaires suivants proposent des intégrations pour Knowledge Catalog :

Fonctionnement

Les connecteurs Knowledge Catalog utilisent des intégrations prédéfinies et des configurations de transfert gérées par le service de transfert de données BigQuery pour se connecter à votre source de données, extraire automatiquement les métadonnées et les mapper à des entrées d'un groupe d'entrées Knowledge Catalog que vous spécifiez.

Les connecteurs extraient les types de métadonnées suivants :

  • Métadonnées techniques : définitions du schéma, du type de données et du nom de la colonne.
  • Métadonnées opérationnelles : horodatages de création et de modification, traçabilité, statistiques d’utilisation et résultats de la qualité des données.
  • Métadonnées métier : tags, propriétaires et annotations.
  • Métadonnées sémantiques : dimensions, mesures, métriques, requêtes de référence et relations.

Une fois que vous avez configuré un connecteur, Knowledge Catalog planifie les exécutions d'importation de métadonnées selon la planification que vous spécifiez, ce qui garantit que le catalogue reste synchronisé avec le système source. Chaque fois qu'une exécution d'importation de métadonnées a lieu, elle effectue un remplacement complet des entrées du groupe d'entrées de destination géré par cette configuration. Les objets de métadonnées qui ne sont plus présents dans la source sont supprimés du groupe d'entrées, et de nouveaux objets sont ajoutés. Les objets du groupe d'entrées qui ne sont pas importés par la configuration du connecteur ne sont pas affectés.

Vous pouvez configurer et gérer ces configurations à partir de la page Connecteurs de la section Knowledge Catalog de la Google Cloud console.

Terminologie

Les termes suivants sont utilisés dans cette documentation :

  • Configuration d'importation de métadonnées : paramètres d'une tâche planifiée ou à la demande qui utilise le service de transfert de données BigQuery pour extraire des métadonnées d'une source et les charger dans Knowledge Catalog.
  • Exécution : instance d'exécution unique d'une configuration d'importation de métadonnées.
  • Groupe d'entrées : ressource de Knowledge Catalog qui contient des entrées de métadonnées. Lorsque vous configurez un connecteur, vous désignez un groupe d'entrées comme destination des métadonnées importées.
  • Entrée : ressource de Knowledge Catalog qui représente un actif de données, tel qu'une table ou une vue.

Tarifs

L'importation de métadonnées à l'aide de connecteurs n'entraîne aucun frais supplémentaire de la part de Knowledge Catalog ni du service de transfert de données BigQuery.

Les frais standards s'appliquent aux autres utilisations de Knowledge Catalog (telles que le stockage des métadonnées). Pour en savoir plus, consultez les tarifs de Knowledge Catalog.

Limites

  • Seules les métadonnées sont importées, et non les données sous-jacentes des tables ou des vues sources. Pour transférer les données sous-jacentes, vous pouvez utiliser le service de transfert de données BigQuery.
  • Chaque exécution effectue un remplacement complet des entrées gérées par le connecteur dans le groupe d'entrées de destination. Les mises à jour incrémentielles des métadonnées ne sont pas acceptées.
  • L'historique des exécutions est conservé pendant 90 jours.

Étape suivante