Résoudre les problèmes liés aux flux de modifications des métadonnées

Ce document vous aide à résoudre les problèmes courants liés aux flux de modification des métadonnées Dataplex Universal Catalog.

Erreurs de création des flux de modifications des métadonnées

Cette section explique comment résoudre les erreurs que vous pouvez rencontrer lorsque vous créez des flux de modifications de métadonnées.

Erreurs de type autorisation refusée

Vous recevez une erreur PERMISSION_DENIED lorsque vous essayez de créer un flux de modification des métadonnées.

Ce problème se produit, car il vous manque peut-être les autorisations requises, ou le compte de service Dataplex Universal Catalog.

Pour résoudre ce problème, vérifiez les exigences suivantes :

  • Assurez-vous de disposer de l'autorisation dataplex.metadataFeeds.create.

  • Assurez-vous de disposer de l'autorisation dataplex.entryGroups.export sur le champ d'application du flux (organisation, projet ou groupe d'entrées).

  • Assurez-vous que le compte de service Dataplex Universal Catalog (service-{PROJECT_NUMBER}@gcp-sa-dataplex.iam.gserviceaccount.com) dispose du rôle roles/pubsub.publisher sur la rubrique Pub/Sub de destination.

Erreurs liées à VPC Service Controls

Vous recevez une erreur PERMISSION_DENIED ou VPC Service Controls lorsque vous créez un flux.

Pour résoudre le problème, vérifiez que le flux de modifications des métadonnées et les ressources qu'il surveille appartiennent au même périmètre VPC Service Controls :

  • Si le flux est limité à l'organisation, seuls les projets du même périmètre sont surveillés.

  • Si le flux est limité à un projet ou à un groupe d'entrées, assurez-vous que tous les projets ou groupes d'entrées spécifiés se trouvent dans le même périmètre que le projet dans lequel vous créez le flux.

Problèmes de réception des notifications

Cette section explique comment résoudre les problèmes de distribution des notifications.

Notifications non reçues

Vous ne recevez pas de notifications dans votre sujet Pub/Sub. Plusieurs facteurs peuvent expliquer ce problème :

  • Autorisations manquantes : le compte de service Dataplex Universal Catalog a perdu le rôle roles/pubsub.publisher sur le thème.

  • Délai d'activation : l'activation d'un flux nouvellement créé ou mis à jour peut prendre jusqu'à 10 minutes.

  • Sujet supprimé : si le sujet Pub/Sub de destination est supprimé, Dataplex Universal Catalog cesse de publier.

  • Incompatibilité de champ d'application ou de filtre : il est possible que les modifications ne correspondent pas au champ d'application ou aux filtres configurés.

Pour résoudre le problème, vérifiez les points suivants :

  • Vérifiez que le compte de service Dataplex Universal Catalog dispose du rôle roles/pubsub.publisher sur le thème.

  • Patientez au moins 10 minutes après avoir créé ou mis à jour un flux.

  • Vérifiez si le sujet Pub/Sub existe. Si elle a été supprimée, vous devez la recréer.

  • Vérifiez la configuration de votre flux pour vous assurer que le champ d'application et les filtres correspondent aux modifications de métadonnées que vous prévoyez de recevoir.

Notifications en double

Vous recevez des notifications en double. Dataplex Universal Catalog garantit la distribution "au moins une fois", ce qui signifie que des messages en double peuvent se produire, en particulier lors des tentatives.

Configurez votre application d'abonné pour qu'elle gère les doublons potentiels. Vous pouvez utiliser messageId ou l'horodatage de modification pour identifier et dédupliquer les messages.

Problèmes de contenu

Cette section explique comment résoudre les problèmes liés au contenu des notifications de flux de modification des métadonnées.

Métadonnées complètes manquantes dans la charge utile

Le message de notification ne contient que le nom de la ressource et le type de modification, mais pas les métadonnées complètes ni les modifications spécifiques.

En effet, les notifications du flux de modifications des métadonnées fournissent par conception des "signatures de modification" (ce qui a changé) plutôt que la charge utile complète. Cela permet de conserver des messages légers et d'éviter les limites de taille de la charge utile.

Utilisez le nom de ressource fourni dans la notification pour appeler l'API Dataplex Universal Catalog (par exemple, GetEntry) et récupérer l'état actuel de la ressource.