Résoudre les problèmes liés aux flux de modifications des métadonnées

Ce document vous aide à résoudre les problèmes courants liés aux flux de modifications des métadonnées de Knowledge Catalog (anciennement Dataplex Universal Catalog).

Erreurs de création de flux de modifications des métadonnées

Cette section explique comment résoudre les erreurs que vous pouvez rencontrer lorsque vous créez des flux de modifications des métadonnées.

Erreurs de type autorisation refusée

Vous recevez une erreur PERMISSION_DENIED lorsque vous essayez de créer un flux de modifications des métadonnées.

Ce problème se produit, car vous ou le compte de service Knowledge Catalog ne disposez peut-être pas des autorisations requises.

Pour résoudre ce problème, examinez les exigences suivantes :

  • Assurez-vous de disposer de l'autorisation dataplex.metadataFeeds.create.

  • Assurez-vous de disposer de l'autorisation dataplex.entryGroups.export sur le champ d'application du flux (organisation, projet ou groupe d'entrées).

  • Assurez-vous que le compte de service Knowledge Catalog (service-{PROJECT_NUMBER}@gcp-sa-dataplex.iam.gserviceaccount.com) dispose du rôle roles/pubsub.publisher sur le sujet Pub/Sub de destination.

Erreurs liées à VPC Service Controls

Vous recevez une erreur PERMISSION_DENIED ou VPC Service Controls lorsque vous créez un flux.

Pour résoudre le problème, vérifiez que le flux de modifications des métadonnées et les ressources qu'il surveille appartiennent au même périmètre VPC Service Controls :

  • Si le flux est limité à l'organisation, seuls les projets situés dans le même périmètre sont surveillés.

  • Si le flux est limité au projet ou au groupe d'entrées, assurez-vous que tous les projets ou groupes d'entrées spécifiés se trouvent dans le même périmètre que le projet dans lequel vous créez le flux.

Problèmes de distribution des notifications

Cette section explique comment résoudre les problèmes liés à la distribution des notifications.

Notifications non reçues

Vous ne recevez pas de notifications dans votre sujet Pub/Sub. Cela peut être dû à plusieurs facteurs :

  • Autorisations manquantes : le compte de service Knowledge Catalog a perdu le roles/pubsub.publisher rôle sur le sujet.

  • Délai d'activation : l'activation d'un flux nouvellement créé ou mis à jour peut prendre jusqu'à 10 minutes.

  • Sujet supprimé : si le sujet Pub/Sub de destination est supprimé, Knowledge Catalog cesse de publier.

  • Incompatibilité de champ d'application ou de filtre : les modifications peuvent ne pas correspondre au champ d'application ou aux filtres configurés.

Pour résoudre le problème, vérifiez les points suivants :

  • Vérifiez que le compte de service Knowledge Catalog dispose du rôle roles/pubsub.publisher sur le sujet.

  • Attendez au moins 10 minutes après avoir créé ou mis à jour un flux.

  • Vérifiez si le sujet Pub/Sub existe. S'il a été supprimé, vous devez le recréer.

  • Vérifiez la configuration de votre flux pour vous assurer que le champ d'application et les filtres correspondent aux modifications de métadonnées que vous vous attendez à recevoir.

Notifications en double

Vous recevez des messages de notification en double. Knowledge Catalog garantit une distribution "au moins une fois", ce qui signifie que des messages en double peuvent se produire, en particulier lors des nouvelles tentatives.

Configurez votre application d'abonné pour gérer les doublons potentiels. Vous pouvez utiliser le messageId ou l'horodatage de la modification pour identifier et dédupliquer les messages.

Problèmes de contenu

Cette section explique comment résoudre les problèmes liés au contenu des notifications de flux de modifications des métadonnées.

Métadonnées complètes manquantes dans la charge utile

Le message de notification ne contient que le nom de la ressource et le type de modification, mais pas les métadonnées complètes ni les modifications spécifiques.

En effet, par conception, les notifications de flux de modifications des métadonnées fournissent des "signatures de modification" (ce qui a changé) plutôt que la charge utile complète. Cela permet de limiter la taille des messages et d'éviter les limites de taille de la charge utile.

Utilisez le nom de la ressource fourni dans la notification pour appeler l' API Dataplex (par exemple, GetEntry) et récupérer l'état actuel de la ressource.