Les flux de modifications des métadonnées Knowledge Catalog (anciennement Dataplex Universal Catalog) vous permettent de suivre les modifications apportées aux métadonnées des entrées et des aspects dans votre organisation, vos projets ou vos groupes d'entrées en temps quasi réel, et de créer des workflows basés sur des événements. Pour créer et gérer ces flux, consultez Recevoir des notifications avec des flux de modification de métadonnées.
Fonctionnement des flux de modification des métadonnées
Dans Knowledge Catalog, une entrée représente un élément de données, tel qu'une table BigQuery, et un aspect est un ensemble de champs de métadonnées associés à une entrée qui la décrit. Lorsqu'une entrée ou un aspect est créé, mis à jour ou supprimé, Knowledge Catalog publie un message de notification dans un sujet Pub/Sub que vous spécifiez. Ces notifications, également appelées flux de modification des métadonnées, contiennent des informations sur la modification. Cela inclut la date de la modification, la ressource modifiée et le type de modification. Pour en savoir plus sur les entrées et les aspects, consultez À propos de la gestion des métadonnées dans Knowledge Catalog.
Le diagramme d'architecture suivant montre comment Knowledge Catalog capture les modifications de métadonnées (création, mise à jour, suppression) et les transmet à Pub/Sub pour les workflows en aval basés sur des événements.
Pour contrôler les modifications qui génèrent des notifications, vous pouvez configurer un flux de modifications de métadonnées afin de surveiller des ressources spécifiques. Pour ce faire, vous devez spécifier un champ d'application, tel que l'ensemble de votre organisation, des projets spécifiques ou des groupes d'entrées spécifiques.
Le champ d'application vous permet de définir quelles ressources surveiller, mais vous pouvez utiliser des filtres pour affiner davantage quand Knowledge Catalog envoie des notifications. Par exemple, vous pouvez choisir de ne recevoir des notifications que lorsque des tables de type bigquery-table sont mises à jour, mais pas lorsqu'elles sont créées ou supprimées. Pour ce faire, vous pouvez appliquer un ou plusieurs filtres à votre flux de modifications de métadonnées en fonction du type d'entrée, du type d'aspect ou du type de modification (CREATE, UPDATE ou DELETE).
Par exemple, une entreprise de vente au détail en ligne utilise BigQuery pour gérer l'inventaire des produits dans un projet dédié. Pour ne surveiller que les modifications de schéma dans leurs tables d'inventaire, ils créent un flux de modifications de métadonnées avec le projet comme champ d'application, et appliquent des filtres pour entry_type=bigquery-table et change_type=UPDATE. Si le schéma d'une table critique, telle que product_stock, est mis à jour, cette modification génère une notification UPDATE qui correspond au filtre du flux de modifications des métadonnées. Le flux de modifications des métadonnées envoie ensuite une notification à un sujet Pub/Sub. Un workflow automatisé abonné à ce sujet Pub/Sub peut immédiatement suspendre les pipelines de reporting en aval et alerter l'équipe de gestion de l'inventaire pour éviter que des décisions soient prises sur la base de données incohérentes.
Cas d'utilisation du flux de modification des métadonnées
Vous pouvez utiliser les flux de modifications des métadonnées à différentes fins, par exemple :
- Synchronisation des métadonnées : synchronisez en continu les modifications des métadonnées de Knowledge Catalog avec un Data Catalog ou un index de recherche externe ou tiers.
- Application des règles : appliquez ou mettez à jour automatiquement les règles de sécurité lorsqu'un aspect de la classification des données change sur une entrée.
- Automatisation de la qualité des données : déclenchez une analyse de la qualité des données ou alertez le propriétaire des données lorsque le schéma d'une table change.
- Déclenchement ETL/ELT : démarrez un job de transformation de données lorsqu'une entrée de table est créée ou mise à jour.
- Audit : consigne toutes les modifications de métadonnées dans une table d'audit à des fins de conformité.
Concepts fondamentaux et configuration
Un flux de modifications de métadonnées est une ressource Knowledge Catalog qui surveille les modifications de métadonnées (création, mise à jour, suppression) pour les entrées et les aspects, et envoie des notifications à un sujet Pub/Sub. Dans l'API, cette ressource est appelée metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID).
Vous configurez un flux de modification des métadonnées en définissant son champ d'application, ses filtres et sa destination. Lorsqu'une modification de métadonnées correspond au champ d'application et aux filtres du flux de modifications de métadonnées, Knowledge Catalog publie un message de notification dans le sujet Pub/Sub de destination.
Configuration du flux de modification des métadonnées
Vous pouvez configurer un flux de modification des métadonnées en définissant les éléments suivants :
Champ d'application : ensemble de ressources dont les modifications doivent être surveillées, par exemple l'ensemble de votre organisation, des projets spécifiques ou des groupes d'entrées spécifiques. Dans l'API, vous spécifiez le nom de la ressource. L'exemple suivant montre le format du nom de ressource d'un groupe d'entrées :
projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.Filtres : critères permettant de filtrer les modifications qui génèrent des notifications en fonction du type d'entrée, du type d'aspect ou du type de modification (
CREATE,UPDATEouDELETE). Dans l'API, vous spécifiez le nom de la ressource. L'exemple suivant montre le format du nom de ressource pour un type d'entrée :projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE. Si vous ne spécifiez aucun filtre, tous les types de modifications (CREATE,UPDATEetDELETE) dans le champ d'application du flux génèrent des notifications.Destination : sujet Pub/Sub dans lequel Knowledge Catalog publie des messages de notification. Dans l'API, vous spécifiez le nom du sujet. L'exemple suivant montre le format du nom de ressource pour un sujet Pub/Sub :
projects/PROJECT_ID/topics/TOPIC_ID.
L'exemple suivant montre un flux de modifications de métadonnées configuré pour surveiller les projets PROJECT_ID_1 et PROJECT_ID_2 pour les événements CREATE, en envoyant des notifications à TOPIC_ID :
{
"scope": {
"projects": [
"projects/PROJECT_ID_1",
"projects/PROJECT_ID_2"
]
},
"filters": {
"changeTypes": [
"CREATE"
]
},
"pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}
Format du message de notification
Lorsqu'une modification de métadonnées déclenche une notification, Knowledge Catalog publie un message dans le sujet Pub/Sub spécifié. Les détails de l'événement de modification sont capturés dans un message Pub/Sub. Le message se compose d'attributs de filtrage et d'une charge utile de données contenant les détails de la modification.
Pour en savoir plus sur l'utilisation de ces messages, consultez Utiliser les messages de notification.
Attributs
Les attributs permettent de filtrer les messages dans le sujet. Vous pouvez filtrer les messages d'un abonnement à l'aide de filtres d'abonnement Pub/Sub.
Les champs suivants sont fournis dans les attributs :
timestamp: code temporel de la modification.entry_name: nom de ressource de l'entrée, au formatprojects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.feed_name: nom de ressource du flux de modification des métadonnées, au formatprojects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID.entry_type: nom de ressource du type d'entrée, au formatprojects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID. Pour en savoir plus, consultez Types d'entrées.entry_change_type: type de modification :CREATED,UPDATEDouDELETED.
L'exemple suivant montre les attributs d'un événement de création d'entrée :
{
"feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
"entry_change_type": "CREATE",
"timestamp": "2026-02-03T23:12:03.054469Z",
"entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}
Données utiles
La charge utile de données du message Pub/Sub est une chaîne JSON qui contient des détails sur la modification.
Voici un exemple de charge utile de données :
{
"entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
"fullyQualifiedName": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
"updatedAspects": [
"projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
],
"createdAspects": [
"projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
],
"deletedAspects": [
"projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
]
}
Points à prendre en compte concernant VPC Service Controls
Les flux de modifications de métadonnées sont conformes à VPC Service Controls (VPC-SC).
Si un flux de modifications de métadonnées est limité à l'organisation, seuls les projets situés dans le périmètre VPC Service Controls du flux de modifications de métadonnées génèrent des notifications.
Si un flux de modifications de métadonnées est limité à un projet ou à un groupe d'entrées, tous les projets ou groupes d'entrées spécifiés doivent se trouver dans le même périmètre VPC Service Controls que le flux de modifications de métadonnées. Sinon, la création du flux de modifications de métadonnées échoue.
Quotas et limites
Pour en savoir plus sur les quotas liés aux flux de modifications de métadonnées, consultez Quotas et limites de Knowledge Catalog.
Tenez compte des limites suivantes concernant les flux de modifications de métadonnées :
Diffusion : les flux de modifications de métadonnées envoient des notifications "au moins une fois". Vous devez gérer les messages potentiellement en double dans votre abonné.
Ordre : Knowledge Catalog ne garantit pas l'ordre de distribution des messages.
Latence : les notifications du flux de modifications des métadonnées sont envoyées en temps quasi réel.
Délai d'activation : l'activation d'une configuration de flux de modifications de métadonnées nouvellement créée ou mise à jour peut prendre jusqu'à 10 minutes en raison de la mise en cache dans le backend.
Charge utile : le message de notification initial ne contient que les signatures de modification. Par exemple, le nom de l'entrée, le type d'entrée, le type de modification et une liste des types ou des clés d'aspect modifiés, et ne contient pas les données réellement modifiées (la charge utile de l'aspect). Vous devez appeler l'API Dataplex (
GetEntry) pour récupérer l'état actuel de l'entrée ou de l'aspect si nécessaire.Aspects de stockage génériques : les flux de modification des métadonnées ne sont pas compatibles avec les aspects de stockage génériques.
Tarifs
Knowledge Catalog propose des flux de modifications de métadonnées sans frais supplémentaires. Toutefois, des frais vous sont facturés pour les ressources utilisées, telles que la distribution des messages Pub/Sub, le stockage et la sortie de données. Pour plus d'informations, consultez les tarifs de Pub/Sub.
Étapes suivantes
- Découvrez comment recevoir des notifications avec des flux de modification des métadonnées.
- Résoudre les problèmes liés aux flux de modifications des métadonnées.