Google utilise la technologie IA pour traduire le contenu dans votre langue préférée. Les traductions générées par IA peuvent contenir des erreurs.

Évaluation des agents

Ce document explique comment utiliser l'évaluation des agents pour mesurer et améliorer les performances, la sécurité et la qualité de vos agents.

Pour en savoir plus sur l'évaluation des modèles, consultez Présentation de Gen AI Evaluation Service.

Résumé de la procédure

Phase	Activité	Objectif
Conception	Définir des scénarios d'évaluation	Spécifiez les tâches de l'agent et les résultats attendus.
Exécution	Exécuter des inférences	Générez des traces de conversation réelles ou simulées.
Notation	Métriques Compute	Évaluez les traces à l'aide d'évaluateurs automatisés (réussite de la tâche, sécurité).
Affinement	Optimiser l'agent	Proposer et vérifier des améliorations pour les instructions ou les outils.

Processus d'évaluation

L'évaluation suit un workflow structuré et itératif :

Définir des cas d'évaluation : un cas d'évaluation est une spécification qui définit la tâche d'un agent. Un cas d'évaluation peut inclure une ou plusieurs étapes de conversation, le contexte de la conversation (l'état de l'agent) et une spécification pour simuler les réponses de l'utilisateur pendant l'inférence.
Exécuter des inférences : l'inférence est l'exécution d'un cas d'évaluation. Si un cas d'évaluation contient un plan de conversation, les réponses de l'utilisateur sont simulées lors de l'inférence.
Générer des traces : chaque exécution d'inférence capture le comportement de l'agent dans une trace. Une trace est un enregistrement factuel et immuable du comportement de l'agent, y compris les entrées du modèle, les réponses et les appels d'outils.
Métriques de calcul : les métriques sont des scores calculés pour chaque trace à l'aide d'évaluateurs prédéfinis ou personnalisés. Certaines métriques, comme Correspondance exacte, sont basées sur une référence et nécessitent un cas d'évaluation avec une réponse de référence. D'autres, comme l'utilité, sont sans référence et évaluent la trace seule. Cette évaluation automatisée vous permet de noter les traces capturées à partir du trafic de production ou des journaux externes, indépendamment d'un environnement de test géré.
Effectuer une analyse : analysez les métriques, les rubriques et les verdicts pour identifier les principaux problèmes de l'agent, associez-les aux scénarios de test et générez des insights pour les améliorer.
Optimiser l'agent : utilisez l'optimisation pour gérer l'intégralité du cycle d'évaluation. Ce processus automatisé analyse les résultats, propose des améliorations à l'agent et réexécute le processus de manière itérative pour vérifier les gains de performances.

Workflow d'évaluation

Vous pouvez intégrer l'évaluation à deux étapes principales de votre workflow :

Itération de développement local : évaluez un agent basé sur l'Agent Development Kit (ADK) localement pour itérer rapidement sur le prompt engineering et les configurations d'outils.
Évaluation des agents déployés : mesurez la qualité des agents déployés en analysant les traces historiques ou en exécutant des benchmarks synthétiques sur les points de terminaison des agents.

Fonctionnalités de base

L'évaluation des agents vous aide à créer une suite d'évaluation initiale, même sans données de test existantes. Les fonctionnalités suivantes permettent d'automatiser le processus de génération de scénarios de test et d'affiner vos systèmes agentiques :

Génération de scénarios et simulation d'utilisateurs : générez automatiquement divers scénarios de test synthétiques multi-tours en fonction des instructions et des définitions d'outils de votre agent. Cette automatisation vous permet de commencer les tests immédiatement en éliminant la nécessité de créer manuellement des scénarios de test initiaux.
Simulation d'environnement : interceptez des appels d'outils spécifiques pour injecter des comportements personnalisés, des données fictives ou des erreurs simulées (telles que des erreurs HTTP 503 ou des pics de latence). Cette simulation vous permet de valider la résilience de l'agent sans affecter les backends de production.
Évaluation multitour : évaluez automatiquement l'historique complet des conversations à l'aide d'évaluateurs automatiques multitours. Ces évaluateurs analysent l'extraction d'intentions, génèrent des rubriques de manière dynamique et fournissent des verdicts de validation objectifs pour s'assurer que les instructions sont respectées.
Optimisation des prompts : générez et validez par programmation des instructions système affinées à l'aide de l'optimisation des prompts. Le framework d'optimisation identifie les points de défaillance et propose de manière itérative des mises à jour ciblées.

Évaluer avec des assistants de codage IA

Si vous utilisez Gemini CLI ou un autre assistant de codage IA, vous pouvez installer des compétences d'agent qui enseignent à votre assistant la méthodologie d'évaluation des agents décrite sur cette page. Chaque compétence fournit le workflow d'évaluation, le schéma de l'ensemble de données, des conseils pour la sélection des métriques et les étapes d'analyse des échecs directement dans votre session de codage. Votre assistant peut ainsi créer, noter et améliorer les évaluations sans quitter votre éditeur.

Les instructions d'installation sont indiquées après chaque skill.

Compétence d'évaluation de la CLI Agents

Un workflow basé sur la CLI pour évaluer et optimiser les agents ADK à l'aide des commandes agents-cli eval. Cette compétence couvre les points suivants :

Préparer des ensembles de données d'évaluation et synthétiser des scénarios multitours avec la simulation utilisateur
Exécuter l'inférence, évaluer les traces et analyser les clusters d'échecs
Itérer sur les prompts et les outils avec la boucle d'évaluation et de correction

Pour l'installer, exécutez la commande suivante :

npx skills add https://github.com/google/agents-cli --skill google-agents-cli-eval

Compétence "Flywheel" de Gen AI Evaluation Service d'Agent Platform

Un playbook basé sur un SDK pour évaluer et améliorer les modèles et les agents via le service Gen AI Evaluation de la plate-forme d'agents Gemini Enterprise, à l'aide du SDK Gen AI Evaluation de la plate-forme d'agents (client.evals.evaluate()). Cette compétence couvre les points suivants :

Créer des ensembles de données d'évaluation à partir de traces de session, de DataFrames ou de génération synthétique
Sélectionner, configurer et écrire des métriques personnalisées avec l'évaluation LLM-as-judge
Analyser les verdicts des rubriques et les schémas de perte pour apporter des améliorations concrètes