Évaluer et approuver les propositions d'enrichissement

Ce guide est destiné aux intendants de données et aux administrateurs de catalogue. Il explique comment évaluer et approuver les propositions de métadonnées générées par les exécutions d'enrichissement.

Chaque fois que vous exécutez une tâche d'enrichissement, une exécution d'enrichissement est générée. L'exécution traite votre ensemble de contexte par rapport à vos signaux de connaissances, génère des métriques d'évaluation et propose de nouvelles propriétés de métadonnées.

Vous pouvez afficher les détails des exécutions historiques, évaluer leurs performances et décider d'approuver ou de refuser les modifications de métadonnées proposées.

Avant de commencer

Pour obtenir les autorisations nécessaires pour évaluer et approuver les exécutions d'enrichissement, demandez à votre administrateur de vous accorder l'un des rôles IAM suivants sur le projet :

  • Éditeur de catalogue Dataplex (roles/dataplex.catalogEditor)
  • Administrateur de catalogue Dataplex (roles/dataplex.catalogAdmin)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous devez également avoir une tâche d'enrichissement active exécutée dans votre projet. Pour en savoir plus, consultez Créer des tâches d'enrichissement.

Workflow d'évaluation

Vous pouvez examiner une exécution d'enrichissement en trois phases :

  1. Évaluer la viabilité globale : vérifiez les scores agrégés dans les onglets Présentation et Évaluation. Cela vous indique si l'exécution est globalement réussie ou s'il s'agit d'une hallucination complète avant d'examiner les détails.

  2. Examinez les propositions individuelles : filtrez l'onglet Aperçu pour afficher les propositions de niveau de confiance Low. Si la décision d'une proposition n'est pas claire, utilisez l'onglet Artefacts pour auditer les traces de conversation brutes afin de comprendre pourquoi l'agent a fait sa suggestion.

  3. Approuver ou refuser l'exécution : effectuez une dernière vérification. Si la majorité des propositions sont solides et correctement fondées, approuvez l'exécution pour fusionner les métadonnées dans votre catalogue. Si elle est très imparfaite, refusez l'exécution, améliorez vos ensembles de contexte et réessayez.

Ouvrir une exécution d'enrichissement

Pour afficher les détails d'une exécution d'enrichissement :

  1. Dans la console Google Cloud , accédez à la page Knowledge Studio.

    Accéder à Knowledge Studio

  2. Dans le volet de navigation de gauche, sélectionnez Enrichissements.

    La page Enrichissement s'ouvre et affiche la liste des tâches actives, ayant échoué et ayant réussi. La liste des tâches inclut le nom, l'état, le récapitulatif de l'exécution, le déclencheur et la date de la dernière modification de la tâche.

  3. Dans la liste des tâches, cliquez sur le nom de la tâche d'enrichissement que vous souhaitez examiner.

  4. Cliquez sur l'onglet Tâches.

  5. Dans la liste des jobs, cliquez sur le lien Nom (ID) de l'exécution que vous souhaitez afficher. Vous pouvez également cliquer sur Actions à côté d'une exécution, puis sélectionner Afficher le résultat.

La page Détails de l'exécution de l'enrichissement s'ouvre.

La page d'informations organise vos résultats dans les onglets suivants :

Tabulation Utilisez cet onglet pour…
Présentation Évaluez l'état et la confiance de haut niveau, puis examinez et approuvez les propositions de métadonnées générées. Répond aux questions : Cette exécution est-elle globalement satisfaisante ? et Qu'est-ce qui sera exactement publié dans le catalogue ?
Évaluation Vérifiez les scores quantitatifs et les métriques de réussite/échec. Répond à la question suivante : La logique d'enrichissement a-t-elle réellement amélioré l'utilisabilité des données ?
Artefacts Inspectez les diagnostics, l'apprentissage tacite et les scores d'ancrage. Répond à la question : Pourquoi l'agent a-t-il pris cette décision et la logique est-elle fiable ?
Journaux Résoudre les problèmes liés aux traces d'exécution du système Répond à la question : Le job a-t-il échoué techniquement ?

Évaluer la viabilité globale de l'exécution

L'onglet Aperçu est votre point de départ. Accédez à cet onglet pour évaluer la réussite globale de l'exécution, parcourir les métriques générales, et examiner ou approuver les modifications de métadonnées spécifiques proposées par l'IA.

Pour examiner le récapitulatif de l'exécution :

  1. Sur la page Détails de l'exécution de l'enrichissement, sélectionnez l'onglet Présentation.

  2. Consultez le rapport sur l'enrichissement. Cette section affiche l'état général de l'exécution, y compris le score global, l'état (par exemple, "Examen requis"), la durée, le nombre total de jetons utilisés et un résumé décrivant la confiance globale des propositions.

    Ce qu'il faut rechercher : examinez le score global et le résumé pour évaluer rapidement si l'exécution a réussi à un niveau macroscopique avant d'examiner les propositions individuelles. Par exemple, un score de 80% ou plus indique généralement une exécution à haut niveau de confiance, tandis que des scores inférieurs peuvent nécessiter un examen plus attentif des propositions.

  3. Consultez la section Évaluation de bout en bout. Les taux de réussite de référence et projetés pour vos cas d'évaluation s'affichent. Une exécution acceptable donne généralement un delta positif (par exemple, +5%), ce qui indique que les métadonnées proposées améliorent l'utilisabilité globale des données par rapport à la référence.

  4. Examinez la section Propositions. Cette section affiche un résumé général des modifications proposées (par exemple, le nombre total de créations, de mises à jour ou de suppressions), suivi d'une liste de propositions regroupées par type de ressource (par exemple, Documents de la base de connaissances). Vous pouvez filtrer les propositions par niveau de confiance (High, Medium, Low, N/A) et développer les types de ressources pour afficher des entrées spécifiques.

    Que rechercher ? Recherchez en particulier les propositions de confiance Low, car elles indiquent généralement un contexte manquant ou des hallucinations qui doivent être rejetées.

Examiner les propositions individuelles

Sauf si vous avez activé la publication automatique sur la tâche, les exécutions d'enrichissement ne modifient pas automatiquement vos métadonnées. L'exécution génère des modifications proposées que vous devez approuver.

Lorsque vous examinez les propositions, nous vous recommandons de les filtrer par score de confiance et d'examiner d'abord les propositions de confiance Low, car elles nécessitent un examen plus approfondi et sont plus susceptibles de nécessiter des ajustements manuels ou d'être refusées. Vérifiez que le Markdown, les tags ou les descriptions générés représentent fidèlement votre logique métier en mode Aperçu, et recherchez d'éventuels remplacements d'attributs involontaires dans la vue Modifications.

Pour examiner les propositions spécifiques générées par l'exécution :

  1. Dans l'onglet Détails de l'exécution de l'enrichissement, dans la section Propositions, recherchez la proposition que vous souhaitez examiner.

  2. Cliquez sur Afficher la proposition pour l'entrée. Un panneau latéral Modifications proposées s'ouvre.

  3. Dans le panneau latéral, examinez et, si vous le souhaitez, modifiez les métadonnées générées par l'IA.

    • Sous la ressource spécifique en cours de modification (par exemple, l'aspect Présentation), utilisez le bouton d'activation/de désactivation de la vue pour passer d'une vue à l'autre.

      La vue Modifications vous permet d'inspecter la différence exacte transmise au catalogue.

      La vue Aperçu affiche la mise en forme conviviale des documents et des tables générés.

    • Pour ajuster manuellement la proposition de l'IA, cliquez sur Modifier à côté du nom de la ressource, apportez vos modifications dans l'éditeur de texte, puis cliquez sur Enregistrer.

  4. Si la proposition est incorrecte, cliquez sur Supprimer de la demande dans le panneau latéral, puis sur Supprimer pour confirmer. La modification proposée est alors définitivement supprimée, ce qui l'empêche d'être ajoutée au catalogue lorsque vous approuvez l'exécution.

  5. Après avoir examiné toutes les propositions, cliquez sur Approuver dans l'en-tête de la section Propositions pour fusionner les propositions restantes dans votre catalogue. Si l'ensemble de l'exécution est incorrect, vous pouvez cliquer sur Refuser.

Afficher les métriques d'évaluation de bout en bout

L'onglet Évaluation mesure l'impact de l'exécution de l'enrichissement. Il compare la pertinence des réponses de vos données aux questions de test avec les métadonnées proposées par rapport à sans celles-ci. Cela vous aide à déterminer si vous devez approuver l'exécution ou ajuster vos ensembles de contexte.

Lorsque vous évaluez les résultats, utilisez la colonne Pourquoi pour comprendre le raisonnement. L'agent fournit un raisonnement détaillé comparant sa logique à la référence. Vous pouvez utiliser ces commentaires pour comprendre pourquoi l'agent a échoué (par exemple, s'il manque une jointure de table critique). Vous pouvez ensuite utiliser ces informations pour améliorer vos données sources ou clarifier votre ensemble de contexte.

Pour interpréter les résultats de l'évaluation :

  1. Sur la page Détails de l'exécution de l'enrichissement, cliquez sur l'onglet Évaluation.
  2. Examinez les scores en haut de l'onglet. Concentrez-vous sur le Delta, qui indique la variation globale en pourcentage du taux de réussite, ce qui indique la valeur ajoutée de haut niveau des propositions d'enrichissement.
  3. Examinez les métriques récapitulatives pour voir les changements statistiques (comme la moyenne ou le maximum) pour des critères spécifiques, tels que la précision des résultats de données.
  4. Utilisez le tableau Résultats par cas pour déboguer des lacunes cognitives spécifiques. Ce tableau liste toutes les questions de test évaluées lors de l'exécution.
    • Filtrez la liste pour localiser les résultats Échec ou les entrées Still failing dans la colonne Modification.
    • Lisez l'explication dans la colonne Pourquoi pour comprendre les échecs de l'IA.

Artefacts d'exécution d'audit

L'onglet Artefacts contient des diagnostics détaillés et des preuves étayant les décisions de l'IA. Consultez cet onglet lorsque vous devez comprendre pourquoi une proposition a reçu un score de confiance faible. Vous pouvez également l'utiliser pour auditer les traces de conversation brutes et les règles apprises extraites par l'agent.

Dans l'onglet Enseignements, vérifiez le nombre d'éléments Appliqués par rapport à ceux qui nécessitent une attention requise. Le nombre Appliqué indique combien de nouveaux faits ont été ajoutés au système, tandis que Attention requise signale les résultats contradictoires ou ambigus qui nécessitent un nettoyage manuel. Un nombre de 0 signifie qu'aucune nouvelle connaissance n'a été extraite lors de ce cycle, ce qui est un résultat normal. Si des éléments sont signalés comme ambigus ou en conflit, cela signifie que l'agent a trouvé des informations contradictoires dans vos sources que vous devez résoudre dans votre ensemble de contexte.

Lorsque vous consultez l'onglet Scores de confiance, lisez la phrase récapitulative (par exemple, Ce qui a freiné la plupart des propositions). Accédez à la section Modifications proposées pour isoler les modifications les moins bien notées. Si une modification est listée ici, elle n'a probablement pas réussi les vérifications d'ancrage ou n'a pas fourni suffisamment de preuves. Utilisez cette liste pour prioriser les propositions à refuser.

Pour afficher les artefacts d'exécution :

  1. Sur la page Détails de l'exécution de l'enrichissement, cliquez sur l'onglet Artefacts.

  2. Examinez les sous-onglets suivants pour inspecter les données de diagnostic :

    • Apprentissages : indique si l'agent a réussi à extraire de nouvelles connaissances tacites (par exemple, à partir des journaux de conversation ou de l'historique des discussions). Vous pouvez également afficher les traces de conversation qui ont conduit à des propositions spécifiques.

    • Scores de confiance : décompose le niveau de confiance de l'IA selon trois dimensions : Ancrage, Corroboration et Qualité de la source. Vous pouvez également accéder à l'ensemble de données dynamic_eval.json brut à partir de cette section si vous devez auditer les évaluations.

Résoudre les problèmes d'échec d'exécution

L'onglet Journaux contient des traces détaillées de l'exécution du système. Consultez cet onglet pour résoudre les erreurs de backend ou déterminer pourquoi un job d'enrichissement n'a pas pu s'exécuter jusqu'au bout.

Pour résoudre les problèmes liés à une exécution ayant échoué ou inspecter les détails de l'exécution :

  1. Sur la page Détails de l'exécution de l'enrichissement, cliquez sur l'onglet Journaux.
  2. Utilisez le menu déroulant Gravité ou la barre Filtre pour affiner les résultats du journal.
  3. Examinez les traces d'exécution et la journalisation du système.
    • Que rechercher ? Recherchez les entrées de gravité ERROR ou FATAL rouges qui indiquent des défaillances du backend, telles que l'épuisement des quotas ou l'expiration des délais d'API.

Vous pouvez également interroger les journaux de diagnostic directement à l'aide de Cloud Logging. Les journaux d'exécution détaillés de l'agent d'enrichissement sont automatiquement acheminés vers Cloud Logging. Les instructions système sensibles et les données brutes sont masquées.

Utilisez les requêtes suivantes dans l'explorateur de journaux pour filtrer les journaux :

  • Afficher tous les journaux des tâches d'enrichissement :

    resource.type="dataplex.googleapis.com/EnrichmentWorkflow"

  • Filtrer les journaux pour une tâche spécifique : text resource.labels.workflow_id="YOUR_TASK_NAME"

  • Filtrer les journaux pour une exécution spécifique : text labels.run_id="YOUR_RUN_ID"

  • Filtrer les avertissements et les erreurs : text severity>=WARNING

Vous pouvez également utiliser ces requêtes pour configurer des règles d'alerte Cloud Monitoring basées sur vos métriques Cloud Logging. Par exemple, vous pouvez acheminer de manière proactive une alerte vers Slack, PagerDuty ou une liste de diffusion par e-mail chaque fois qu'une exécution d'enrichissement échoue (severity>=ERROR).

Itérer sur une tâche d'enrichissement

Si une exécution d'enrichissement génère des propositions inexactes ou échoue aux vérifications d'ancrage (en signalant un niveau de confiance Low), n'approuvez pas l'exécution. Vous devez plutôt améliorer les informations fournies à l'agent et réexécuter la tâche.

  1. Dans l'onglet Vue d'ensemble, dans la section Propositions, cliquez sur Refuser.

  2. Si l'agent a mal interprété vos schémas de données, accédez aux définitions de la source dans Knowledge Catalog et améliorez les descriptions des schémas.

  3. Si l'agent ne disposait pas d'une logique métier suffisante ou s'il a utilisé les mauvaises tables pour répondre aux questions, accédez à l'ensemble de contexte associé à la tâche.

    • Ajouter des ressources : ajoutez de la documentation interne manquante, des exemples de requêtes valides ou des tables associées manquantes à l'ensemble de contexte pour fournir plus d'informations à l'agent.
    • Supprimer des ressources : supprimez les documents obsolètes ou les termes du glossaire en conflit s'ils ont induit l'agent en erreur.

  4. Accédez à la page Enrichissement et sélectionnez votre tâche.

  5. Cliquez sur Modifier pour vérifier qu'il pointe vers l'ensemble de contextes mis à jour, puis cliquez sur Exécuter pour générer un nouvel ensemble de propositions.

Étapes suivantes