À propos des flux de modification des métadonnées

Ce document présente les flux de modifications des métadonnées Dataplex Universal Catalog. Ces flux de modifications de métadonnées vous permettent de suivre les modifications apportées aux métadonnées dans votre instance Dataplex Universal Catalog en temps quasi réel et de créer des workflows basés sur des événements en fonction de ces modifications.

Surveillance automatisée des modifications apportées aux métadonnées

Dans Dataplex Universal Catalog, une entrée représente un élément de données, tel qu'une table BigQuery. Un aspect est un ensemble de champs de métadonnées associés à une entrée et qui la décrivent. Lorsqu'une entrée ou un aspect est créé, mis à jour ou supprimé, Dataplex Universal Catalog publie un message de notification dans un sujet Pub/Sub que vous spécifiez. Ces notifications, également appelées flux de modification des métadonnées, contiennent des informations sur la modification. Cela inclut la date de la modification, la ressource modifiée et le type de modification. Pour en savoir plus sur les entrées et les aspects, consultez À propos de la gestion des métadonnées dans Dataplex Universal Catalog.

Le schéma d'architecture suivant montre comment Dataplex Universal Catalog capture les modifications de métadonnées (création, mise à jour, suppression) et les envoie à Pub/Sub pour les workflows en aval axés sur les événements.

Diagramme montrant comment les modifications apportées aux métadonnées Dataplex sont publiées dans Pub/Sub et consommées par les abonnés.
Figure 1. Présentation des flux de modifications des métadonnées

Pour contrôler les modifications qui génèrent des notifications, vous pouvez configurer un flux de modifications de métadonnées afin de surveiller des ressources spécifiques. Pour ce faire, spécifiez un champ d'application, comme l'ensemble de votre organisation, des projets spécifiques ou des groupes d'entrées spécifiques. Alors que le champ d'application vous permet de définir quelles ressources surveiller, vous pouvez utiliser des filtres pour affiner quand Dataplex Universal Catalog envoie des notifications. Par exemple, vous pouvez choisir de recevoir des notifications uniquement lorsque des tables de type bigquery-table sont mises à jour, mais pas lorsqu'elles sont créées ou supprimées. Pour ce faire, vous pouvez appliquer un ou plusieurs filtres à votre flux de modifications de métadonnées en fonction du type d'entrée, du type d'aspect ou du type de modification (CREATE, UPDATE ou DELETE).

Par exemple, une entreprise de vente au détail en ligne utilise BigQuery pour gérer l'inventaire de produits dans un projet dédié. Pour ne surveiller que les modifications de schéma dans leurs tables d'inventaire, ils créent un flux de modifications de métadonnées avec le projet comme portée et appliquent des filtres pour entry_type=bigquery-table et change_type=UPDATE. Si le schéma d'une table critique, telle que product_stock, est mis à jour, cette modification génère une notification UPDATE qui correspond au filtre du flux de modifications des métadonnées. Le flux de modification des métadonnées envoie ensuite une notification à un sujet Pub/Sub. Un workflow automatisé abonné à ce sujet Pub/Sub peut immédiatement mettre en pause les pipelines de création de rapports en aval et alerter l'équipe de gestion de l'inventaire pour éviter les décisions basées sur des données incohérentes.

Cas d'utilisation

Vous pouvez utiliser les flux de modifications des métadonnées à différentes fins, y compris :

  • Synchronisation des métadonnées : synchronise en continu les modifications apportées aux métadonnées Dataplex Universal Catalog avec un catalogue de données ou un index de recherche externes ou tiers.
  • Application des règles : appliquez ou mettez à jour automatiquement les règles de sécurité lorsqu'un aspect de la classification des données change dans une entrée.
  • Automatisation de la qualité des données : déclenchez une analyse de la qualité des données ou avertissez le propriétaire des données lorsque le schéma d'une table change.
  • Déclenchement d'ETL/ELT : démarrez un job de transformation de données lorsqu'une entrée de table est créée ou mise à jour.
  • Audit : enregistrez toutes les modifications apportées aux métadonnées dans une table d'audit à des fins de conformité.

Terminologie

Un flux de modifications de métadonnées est une ressource Dataplex Universal Catalog qui surveille les modifications de métadonnées (création, mise à jour, suppression) pour les entrées et les aspects, et envoie des notifications à un sujet Pub/Sub. Dans l'API, cette ressource est appelée metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID).

Pour configurer un flux de modifications de métadonnées, vous devez définir sa portée, ses filtres et sa destination. Lorsqu'une modification de métadonnées correspondant au champ d'application et aux filtres du flux de modification de métadonnées se produit, Dataplex Universal Catalog publie un message de notification dans le sujet Pub/Sub de destination.

Configurer le flux de modifications des métadonnées

Vous pouvez configurer un flux de modifications de métadonnées en définissant les éléments suivants :

  • Champ d'application : ensemble de ressources à surveiller pour détecter les modifications, comme l'ensemble de votre organisation, des projets spécifiques ou des groupes d'entrées spécifiques. Dans l'API, vous spécifiez le nom de la ressource. L'exemple suivant montre le format du nom de ressource pour un groupe d'entrées : projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.

  • Filtres : critères permettant de filtrer les modifications qui génèrent des notifications en fonction du type d'entrée, du type d'aspect ou du type de modification (CREATE, UPDATE ou DELETE). Dans l'API, vous spécifiez le nom de la ressource. L'exemple suivant montre le format du nom de ressource pour un type d'entrée : projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE. Si vous ne spécifiez aucun filtre, tous les types de modifications (CREATE, UPDATE et DELETE) dans le champ d'application du flux génèrent des notifications.

  • Destination : sujet Pub/Sub dans lequel Dataplex Universal Catalog publie les messages de notification. Dans l'API, vous spécifiez le nom du sujet. L'exemple suivant montre le format du nom de ressource pour un sujet Pub/Sub : projects/PROJECT_ID/topics/TOPIC_ID.

L'exemple suivant montre un flux de modifications des métadonnées configuré pour surveiller les projets PROJECT_ID_1 et PROJECT_ID_2 pour les événements CREATE, en envoyant des notifications à TOPIC_ID :

{
  "scope": {
    "projects": [
      "projects/PROJECT_ID_1",
      "projects/PROJECT_ID_2"
    ]
  },
  "filter": {
    "changeTypes": [
      "CREATE"
    ]
  },
  "pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}

Pour savoir comment créer et gérer des flux de modification des métadonnées, consultez Recevoir des notifications avec des flux de modification des métadonnées.

Format des messages de notification

Lorsqu'une modification de métadonnées déclenche une notification, Dataplex Universal Catalog publie un message dans le sujet Pub/Sub spécifié. Les détails de l'événement de modification sont enregistrés dans un message Pub/Sub. Le message se compose d'attributs de filtrage et d'une charge utile de données contenant des informations sur la modification.

Pour en savoir plus sur la consommation de ces messages, consultez Consommer des messages de notification.

Attributs

Les attributs permettent de filtrer les messages dans le sujet. Vous pouvez filtrer les messages d'un abonnement à l'aide des filtres d'abonnement Pub/Sub.

Les champs suivants sont fournis dans les attributs :

  • timestamp : code temporel de la modification.
  • entry_name : nom de ressource de l'entrée, au format projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
  • entry_fqn : nom complet de l'entrée.
  • feed_name : nom de ressource du flux de modifications des métadonnées, au format projects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID.
  • entry_type : nom de ressource du type d'entrée, au format projects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID. Pour en savoir plus, consultez Types d'entrées.
  • entry_change_type : type de modification : CREATED, UPDATED ou DELETED.

L'exemple suivant montre les attributs d'un événement de création d'entrée :

{
  "feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
  "entry_change_type": "CREATE",
  "timestamp": "2026-02-03T23:12:03.054469Z",
  "entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}

Données utiles

La charge utile de données du message Pub/Sub est une chaîne JSON qui contient des informations sur la modification.

Voici un exemple de charge utile de données :

{
  "entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
  "full_qualified_name": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
  "updatedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
  ],
  "createdAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
  ],
  "deletedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
  ]
}

Points à prendre en compte concernant VPC Service Controls

Les flux de modifications des métadonnées sont conformes à VPC Service Controls (VPC-SC).

  • Si un flux de modifications de métadonnées est limité à l'organisation, seuls les projets situés dans le périmètre VPC Service Controls du flux de modifications de métadonnées génèrent des notifications.

  • Si un flux de modifications de métadonnées est limité à un projet ou à un groupe d'entrées, tous les projets ou groupes d'entrées spécifiés doivent résider dans le même périmètre VPC Service Controls que le flux de modifications de métadonnées. Sinon, la création du flux de modifications de métadonnées échoue.

Quotas et limites

Pour en savoir plus sur les quotas liés aux flux de modifications des métadonnées, consultez Quotas.

Consultez les limites suivantes pour les flux de modifications des métadonnées :

  • Diffusion : les flux de modifications de métadonnées envoient des notifications "au moins une fois". Vous devez gérer les éventuels messages en double dans votre abonné.

  • Ordre : Dataplex Universal Catalog ne garantit pas l'ordre de livraison des messages.

  • Latence : bien que les notifications soient presque en temps réel, la latence cible est de 3 à 10 minutes.

  • Délai d'activation : l'activation d'une configuration de flux de modifications de métadonnées nouvellement créée ou mise à jour peut prendre jusqu'à 10 minutes en raison de la mise en cache dans le backend.

  • Charge utile : le message de notification initial ne contient que des signatures de modification. Par exemple, le nom de l'entrée, le type d'entrée, le type de modification et une liste des types ou clés d'aspects modifiés, mais ne contient pas les données modifiées réelles (le payload d'aspect). Vous devez appeler l'API Dataplex Universal Catalog (GetEntry) pour récupérer l'état actuel de l'entrée ou de l'aspect, si nécessaire.

Tarifs

Les flux de modifications des métadonnées Dataplex Universal Catalog ne sont pas facturés directement. Toutefois, les ressources utilisées vous sont facturées, comme la distribution de messages Pub/Sub, le stockage et la sortie de données. Consultez les tarifs de Pub/Sub.

Étapes suivantes