Résoudre les problèmes liés aux flux de modifications des métadonnées

Les flux de modification des métadonnées Knowledge Catalog (anciennement Dataplex Universal Catalog) vous permettent de suivre les modifications apportées à vos entrées et aspects de métadonnées en temps quasi réel en publiant des notifications dans Pub/Sub. Lors de la configuration ou de la surveillance de ces flux, vous pouvez diagnostiquer et résoudre les problèmes courants liés aux autorisations de création de flux, aux périmètres VPC Service Controls, à la distribution des notifications et aux charges utiles des messages. Pour en savoir plus, consultez À propos des flux de modifications des métadonnées.

Si vous avez besoin d'aide pour résoudre un problème qui n'est pas abordé dans ce document, consultez Cloud Customer Care.

Erreurs de création de flux de modification des métadonnées

Cette section explique comment résoudre les erreurs que vous pouvez rencontrer lorsque vous créez des flux de modifications de métadonnées.

Erreurs de type autorisation refusée

Vous recevez une erreur PERMISSION_DENIED lorsque vous essayez de créer un flux de modifications de métadonnées.

Le problème se produit, car vous ou le compte de service Knowledge Catalog ne disposez peut-être pas des autorisations requises.

Pour résoudre ce problème, vérifiez les exigences suivantes :

  • Assurez-vous de disposer de l'autorisation dataplex.metadataFeeds.create.

  • Assurez-vous de disposer de l'autorisation dataplex.entryGroups.export sur le champ d'application du flux (organisation, projet ou groupe d'entrées).

  • Assurez-vous que le compte de service Knowledge Catalog (service-{PROJECT_NUMBER}@gcp-sa-dataplex.iam.gserviceaccount.com) dispose du rôle roles/pubsub.publisher sur le sujet Pub/Sub de destination.

Erreurs liées à VPC Service Controls

Vous recevez une erreur PERMISSION_DENIED ou VPC Service Controls lors de la création d'un flux.

Pour résoudre le problème, vérifiez que le flux de modifications des métadonnées et les ressources qu'il surveille appartiennent au même périmètre VPC Service Controls :

  • Si le flux est limité à l'organisation, seuls les projets situés dans le même périmètre sont surveillés.

  • Si le flux est limité à un projet ou à un groupe d'entrées, assurez-vous que tous les projets ou groupes d'entrées spécifiés se trouvent dans le même périmètre que le projet dans lequel vous créez le flux.

Problèmes de distribution des notifications

Cette section explique comment résoudre les problèmes de distribution des notifications.

Notifications non reçues

Vous ne recevez pas de notifications dans votre sujet Pub/Sub. Cela peut être dû à plusieurs facteurs :

  • Autorisations manquantes : le compte de service Knowledge Catalog a perdu le rôle roles/pubsub.publisher sur le sujet.

  • Délai d'activation : l'activation d'un flux nouvellement créé ou mis à jour peut prendre jusqu'à 10 minutes.

  • Sujet supprimé : si le sujet Pub/Sub de destination est supprimé, Knowledge Catalog arrête la publication.

  • Incompatibilité de champ d'application ou de filtre : il est possible que les modifications ne correspondent pas au champ d'application ou aux filtres configurés.

Pour résoudre le problème, vérifiez les points suivants :

  • Vérifiez que le compte de service Knowledge Catalog dispose du rôle roles/pubsub.publisher sur le sujet.

  • Attendez au moins 10 minutes après avoir créé ou mis à jour un flux.

  • Vérifiez si le sujet Pub/Sub existe. S'il a été supprimé, vous devez le recréer.

  • Vérifiez la configuration de votre flux pour vous assurer que le champ d'application et les filtres correspondent aux modifications de métadonnées que vous prévoyez de recevoir.

Notifications en double

Vous recevez des messages de notification en double. Knowledge Catalog garantit une distribution "au moins une fois", ce qui signifie que des messages en double peuvent se produire, en particulier lors des nouvelles tentatives.

Configurez votre application d'abonné pour qu'elle gère les doublons potentiels. Vous pouvez utiliser le messageId ou le code temporel de modification pour identifier et dédupliquer les messages.

Problèmes de contenu

Cette section explique comment résoudre les problèmes liés au contenu des notifications de flux de modifications des métadonnées.

Métadonnées complètes manquantes dans la charge utile

Le message de notification ne contient que le nom de la ressource et le type de modification, mais pas les métadonnées complètes ni les modifications spécifiques.

En effet, par conception, les notifications de flux de modifications des métadonnées fournissent des "signatures de modification" (ce qui a changé) plutôt que la charge utile complète. Cela permet de limiter la taille des messages et d'éviter les limites de taille de la charge utile.

Utilisez le nom de ressource fourni dans la notification pour appeler l'API Dataplex (par exemple, GetEntry) et récupérer l'état actuel de la ressource.