Ce document explique comment utiliser l'évaluation des agents pour mesurer et améliorer leurs performances, leur sécurité et leur qualité.
Pour en savoir plus sur l'évaluation des modèles, consultez Présentation de Gen AI Evaluation Service.
Résumé de la procédure
| Phase | Activité | Objectif |
|---|---|---|
| Conception | Définir des scénarios d'évaluation | Spécifier les tâches de l'agent et les résultats attendus. |
| Exécution | Exécuter des inférences | Générer des traces de conversation réelles ou simulées. |
| Notation | Calculer des métriques | Noter les traces à l'aide d'évaluateurs automatisés (réussite de la tâche, sécurité). |
| Affinement | Optimiser l'agent | Proposer et vérifier des améliorations apportées aux instructions ou aux outils. |
Processus d'évaluation
L'évaluation suit un workflow structuré et itératif :
- Définir des scénarios d'évaluation : un scénario d'évaluation est une spécification qui définit la tâche d'un agent. Il peut inclure une ou plusieurs étapes de conversation, le contexte de la conversation (l'état de l'agent) et une spécification pour simuler les réponses de l'utilisateur lors de l'inférence.
- Exécuter des inférences : L'inférence est l'exécution d'un scénario d'évaluation. Si un scénario d'évaluation contient un plan de conversation, les réponses de l'utilisateur sont simulées lors de l'inférence.
- Générer des traces : chaque exécution d'inférence capture le comportement de l'agent dans une trace. Une trace est un enregistrement factuel et immuable du comportement de l'agent, y compris les entrées, les réponses et les appels d'outils du modèle.
- Calculer des métriques : les métriques sont des scores calculés pour chaque trace à l'aide d' évaluateurs prédéfinis ou personnalisés. Certaines métriques, comme Correspondance exacte, sont basées sur une référence et nécessitent un scénario d’évaluation avec une réponse de référence. D'autres, comme Utilité, sont sans référence et évaluent la trace par elle-même. Cette évaluation automatisée vous permet de noter les traces capturées à partir du trafic de production ou des journaux externes, indépendamment d'un environnement de test géré.
- Effectuer une analyse : analysez les métriques, les rubriques et les verdicts pour identifier les principaux problèmes de l'agent, les relier aux scénarios de test et générer des insights pour l'amélioration.
- Optimiser l'agent : utilisez l'optimisation pour gérer l'ensemble du cycle d'évaluation. Ce processus automatisé analyse les résultats, propose des améliorations à l'agent et réexécute le processus de manière itérative pour vérifier les gains de performances.
Workflow d'évaluation
Vous pouvez intégrer l'évaluation dans deux étapes principales de votre workflow :
- Itération de développement local : évaluez un agent basé sur Agent Development Kit (ADK) en local pour itérer rapidement sur le prompt engineering et les configurations d'outils.
- Évaluation de l'agent déployé : mesurez la qualité des agents déployés en analysant les traces historiques ou en exécutant des benchmarks synthétiques par rapport aux points de terminaison de l'agent.
Fonctionnalités de base
L'évaluation des agents vous aide à créer une suite d'évaluation initiale, même sans données de test existantes. Les fonctionnalités suivantes permettent d'automatiser le processus de génération de scénarios de test et d'affiner vos systèmes agentiques :
Génération de scénarios et simulation utilisateur : générez automatiquement des scénarios de test synthétiques diversifiés et multi-tours en fonction des instructions de votre agent et des définitions d’outils. Cette automatisation vous permet de commencer les tests immédiatement en éliminant la nécessité de créer manuellement des scénarios de test initiaux.
Simulation d'environnement : interceptez des appels d'outils spécifiques pour injecter des comportements personnalisés, des données simulées ou des erreurs simulées (telles que des erreurs HTTP 503 ou des pics de latence). Cette simulation vous permet de valider la résilience de l'agent sans impacter les backends de production.
Évaluation multi-tours : évaluez automatiquement l'intégralité des historiques de conversation à l'aide d'évaluateurs automatiques multi-tours. Ces évaluateurs analysent l'extraction d'intent, génèrent dynamiquement des rubriques et fournissent des verdicts de validation objectifs pour garantir le respect des instructions.
Optimisation des invites : générez et validez par programmation des instructions système affinées à l'aide de l'optimisation des invites. Le framework d'optimisation identifie les points de défaillance et propose de manière itérative des mises à jour ciblées.
Évaluer avec des assistants de codage basés sur l'IA
Si vous utilisez Gemini CLI ou un autre assistant de codage basé sur l'IA, vous pouvez installer des compétences d'agent qui enseignent à votre assistant la méthodologie d'évaluation des agents décrite sur cette page. Chaque compétence fournit le workflow d'évaluation, le schéma d'ensemble de données, des conseils sur la sélection des métriques et les étapes d'analyse des défaillances directement dans votre session de codage. Votre assistant peut ainsi créer, noter et améliorer les évaluations sans quitter votre éditeur.
Les instructions d'installation suivent chaque compétence.
Compétence d'évaluation Agents CLI
Workflow basé sur la CLI pour évaluer et optimiser les agents Agent Development Kit (ADK) à l'aide des commandes agents-cli eval. Cette compétence couvre les aspects suivants :
- Préparation des ensembles de données d'évaluation et synthèse de scénarios multi-tours avec simulation utilisateur
- Exécution d'inférences, notation des traces et analyse des clusters de défaillances
- Itération sur les prompts et les outils avec la boucle eval-fix
Pour installer, exécutez la commande suivante :
npx skills add https://github.com/google/agents-cli --skill google-agents-cli-eval
Compétence de flywheel GenAI Evaluation Service d'Agent Platform
Playbook basé sur le SDK pour évaluer et améliorer les modèles et les agents via Agent Platform GenAI Evaluation Service, à l'aide du SDK Agent Platform GenAI Evaluation (client.evals.evaluate()). Cette compétence couvre les aspects suivants :
- Création d'ensembles de données d'évaluation à partir de traces de session, de DataFrames ou de génération synthétique
- Sélection, configuration et écriture de métriques personnalisées avec la notation LLM-as-judge
- Analyse des verdicts de rubriques et des schémas de perte pour apporter des améliorations concrètes
Pour installer, exécutez la commande suivante :
npx skills add https://github.com/google/skills --skill agent-platform-eval-flywheel