Google utilise la technologie IA pour traduire le contenu dans votre langue préférée. Les traductions générées par IA peuvent contenir des erreurs.

Évaluation des agents

Ce document explique comment utiliser l'évaluation des agents pour mesurer et améliorer les performances, la sécurité et la qualité de vos agents.

Pour en savoir plus sur l'évaluation des modèles, consultez Présentation de Gen AI Evaluation Service.

Résumé de la procédure

Phase	Activité	Objectif
Conception	Définir des scénarios d'évaluation	Spécifiez les tâches de l'agent et les résultats attendus.
Exécution	Exécuter des inférences	Générez des traces de conversations réelles ou simulées.
Notation	Calculer des métriques	Évaluez les traces à l'aide d'évaluateurs automatiques (succès de la tâche, sécurité).
Affinement	Agent Optimize	Proposer et vérifier des améliorations apportées aux instructions ou aux outils

Processus d'évaluation

L'évaluation suit un workflow structuré et itératif :

Définir les cas d'évaluation : un cas d'évaluation est une spécification qui définit la tâche d'un agent. Un cas d'évaluation peut inclure une ou plusieurs étapes de conversation, le contexte de la conversation (l'état de l'agent) et une spécification pour simuler les réponses des utilisateurs lors de l'inférence.
Exécuter des inférences : l'inférence correspond à l'exécution d'un cas d'évaluation. Si un cas d'évaluation contient un plan de conversation, les réponses des utilisateurs sont simulées lors de l'inférence.
Générer des traces : chaque exécution d'inférence capture le comportement de l'agent dans une trace. Une trace est un enregistrement factuel et immuable du comportement de l'agent, y compris les entrées et les réponses du modèle, ainsi que les appels d'outils.
Métriques de calcul : les métriques sont des scores calculés pour chaque trace à l'aide d'évaluateurs prédéfinis ou personnalisés. Certaines métriques, comme la correspondance exacte, sont basées sur des références et nécessitent un cas d'évaluation avec une réponse de référence. D'autres, comme Utilité, sont sans référence et évaluent la trace seule. Cette évaluation automatisée vous permet de noter les traces capturées à partir du trafic de production ou des journaux externes, indépendamment d'un environnement de test géré.
Effectuer des analyses : analysez les métriques, les rubriques et les verdicts pour identifier les principaux problèmes liés à l'agent, relier ces problèmes aux cas de test et générer des insights pour l'amélioration.
Optimiser l'agent : utilisez l'optimisation pour gérer l'ensemble du cycle d'évaluation. Ce processus automatisé analyse les résultats, propose des améliorations à l'agent et réexécute le processus de manière itérative pour vérifier les gains de performances.

Workflow d'évaluation

Vous pouvez intégrer l'évaluation à deux étapes principales de votre workflow :

Itération de développement local : évaluez un agent basé sur l'Agent Development Kit (ADK) en local pour itérer rapidement sur l'ingénierie des prompts et les configurations d'outils.
Évaluation des agents déployés : mesurez la qualité des agents déployés en analysant les traces historiques ou en exécutant des benchmarks synthétiques par rapport aux points de terminaison des agents.

Fonctionnalités de base

L'évaluation des agents vous aide à créer une suite d'évaluation initiale, même sans données de test existantes. Les fonctionnalités suivantes vous aident à automatiser le processus de génération de scénarios de test et d'affinage de vos systèmes agentiques :

Génération de scénarios et simulation d'utilisateurs : générez automatiquement des scénarios de test synthétiques diversifiés et multi-tours en fonction des instructions et des définitions d'outils de votre agent. Cette automatisation vous permet de commencer immédiatement les tests en éliminant la nécessité de créer manuellement les cas de test initiaux.
Simulation d'environnement : interceptez des appels d'outils spécifiques pour injecter des comportements personnalisés, des données simulées ou des erreurs simulées (telles que des erreurs HTTP 503 ou des pics de latence). Cette simulation vous permet de valider la résilience de l'agent sans affecter les backends de production.
Évaluation multitour : évaluez automatiquement l'intégralité de l'historique des conversations à l'aide d'évaluateurs automatiques multitours. Ces évaluateurs analysent l'extraction d'intention, génèrent des rubriques de manière dynamique et fournissent des verdicts de validation objectifs pour s'assurer que les instructions sont respectées.
Optimisation des requêtes : générez et validez par programmation des instructions système affinées à l'aide de l'optimisation des requêtes. Le framework d'optimisation identifie les points de défaillance et propose de manière itérative des mises à jour ciblées.

Évaluer avec des assistants de codage IA

Si vous utilisez Gemini CLI ou un autre assistant de codage IA, vous pouvez installer des compétences d'agent qui enseignent à votre assistant la méthodologie d'évaluation des agents décrite sur cette page. Chaque compétence fournit le workflow d'évaluation, le schéma de l'ensemble de données, des conseils sur la sélection des métriques et les étapes d'analyse des échecs directement dans votre session de codage. Votre assistant peut ainsi créer, évaluer et améliorer les évaluations sans quitter votre éditeur.

Les instructions d'installation sont fournies pour chaque compétence.

Compétence d'évaluation Agents CLI

Workflow basé sur l'interface de ligne de commande pour évaluer et optimiser les agents Agent Development Kit (ADK) à l'aide des commandes agents-cli eval. Cette compétence couvre les points suivants :

Préparer des ensembles de données d'évaluation et synthétiser des scénarios multi-tours avec la simulation utilisateur
Exécuter l'inférence, évaluer les traces et analyser les clusters d'échecs
Itérer sur les prompts et les outils avec la boucle d'évaluation et de correction

Pour l'installer, exécutez la commande suivante :

npx skills add https://github.com/google/agents-cli --skill google-agents-cli-eval

Compétence du flywheel GenAI Evaluation Service d'Agent Platform

Playbook axé sur le SDK pour évaluer et améliorer les modèles et les agents à l'aide du service d'évaluation GenAI d'Agent Platform, en utilisant le SDK d'évaluation GenAI d'Agent Platform (client.evals.evaluate()). Cette compétence couvre les points suivants :

Créer des ensembles de données d'évaluation à partir de traces de session, de DataFrames ou de génération synthétique
Sélectionner, configurer et écrire des métriques personnalisées avec la notation LLM-as-judge
Analyser les verdicts et les schémas de perte des grilles d'évaluation pour apporter des améliorations concrètes