En este documento, se describe cómo usar la evaluación de agentes para medir y mejorar el rendimiento, la seguridad y la calidad de tus agentes.
Para obtener más información sobre la evaluación de modelos, consulta Descripción general del servicio de evaluación de IA generativa.
Resumen del procedimiento
| Fase | Actividad | Objetivo |
|---|---|---|
| Diseño | Define casos de evaluación | Especificar las tareas del agente y los resultados esperados |
| Ejecución | Ejecuta inferencias | Genera seguimientos de conversaciones reales o simuladas. |
| Puntuación | Métricas de procesamiento | Calificar los seguimientos con evaluadores automatizados (éxito de la tarea, seguridad) |
| Definición mejorada | Optimiza el agente | Proponer y verificar mejoras en las instrucciones o herramientas |
Proceso de evaluación
La evaluación sigue un flujo de trabajo estructurado e iterativo:
- Define casos de evaluación: Un caso de evaluación es una especificación que define la tarea de un agente. Un caso de evaluación puede incluir uno o varios pasos de conversación, el contexto de la conversación (el estado del agente) y una especificación para simular las respuestas del usuario durante la inferencia.
- Ejecuta inferencias: La inferencia es la ejecución de un caso de evaluación. Si un caso de evaluación contiene un plan de conversación, las respuestas del usuario se simulan durante la inferencia.
- Genera seguimientos: Cada ejecución de inferencia captura el comportamiento del agente en un seguimiento. Un seguimiento es un registro fáctico e inmutable del comportamiento del agente, incluidas las entradas del modelo, las respuestas y las llamadas a herramientas.
- Métricas de procesamiento: Las métricas son puntuaciones calculadas para cada seguimiento con evaluadores precompilados o personalizados. Algunas métricas, como Coincidencia exacta, se basan en referencias y requieren un caso de evaluación con una respuesta de referencia. Otras, como Utilidad, no tienen referencia y evalúan el seguimiento por sí solo. Esta evaluación automatizada te permite calificar los seguimientos capturados del tráfico de producción o de los registros externos, independientemente de un entorno de pruebas administrado.
- Realiza análisis: Analiza las métricas, las rúbricas y los veredictos para identificar los problemas clave del agente, vincularlos con los casos de prueba y generar estadísticas para mejorar.
- Optimiza el agente: Usa la optimización para administrar todo el ciclo de evaluación. Este proceso automatizado analiza los resultados, propone mejoras para el agente y vuelve a ejecutar el proceso de forma iterativa para verificar las mejoras de rendimiento.
Flujo de trabajo de evaluación
Puedes integrar la evaluación en dos etapas principales de tu flujo de trabajo:
- Iteración de desarrollo local: Evalúa un agente basado en el Kit de desarrollo de agentes (ADK) de forma local para iterar con rapidez en la ingeniería de instrucciones y las configuraciones de herramientas.
- Evaluación de agentes implementados: Mide la calidad de los agentes implementados analizando los seguimientos históricos o ejecutando comparativas sintéticas con los extremos de los agentes.
Capacidades principales
La evaluación de agentes te ayuda a crear un paquete de evaluación inicial, incluso sin datos de prueba existentes. Las siguientes funciones ayudan a automatizar el proceso de generación de casos de prueba y perfeccionamiento de tus sistemas de agentes:
Generación de situaciones y simulación de usuarios: Genera automáticamente situaciones de prueba sintéticas diversas y de varios turnos según las instrucciones y las definiciones de herramientas de tu agente. Esta automatización te permite comenzar a realizar pruebas de inmediato, ya que elimina la necesidad de crear manualmente los casos de prueba iniciales.
Simulación de entorno: Intercepta llamadas a herramientas específicas para insertar comportamientos personalizados, datos simulados o errores simulados (como errores HTTP 503 o picos de latencia). Esta simulación te permite validar la resiliencia del agente sin afectar los backends de producción.
Evaluación de varios turnos: Evalúa automáticamente historiales de conversaciones completos con evaluadores automáticos de varios turnos. Estos evaluadores analizan la extracción de intenciones, generan rúbricas de forma dinámica y proporcionan veredictos de validación objetivos para ayudar a garantizar el cumplimiento de las instrucciones.
Optimización de instrucciones: Genera y valida de forma programática instrucciones del sistema mejoradas con la optimización de instrucciones. El framework de optimización identifica los puntos de falla y propone de forma iterativa actualizaciones específicas.
Evalúa con asistentes de programación de IA
Si usas Gemini CLI o algún otro asistente de programación con IA, puedes instalar habilidades de agente que le enseñen a tu asistente la metodología de evaluación de agentes que se describe en esta página. Cada habilidad proporciona el flujo de trabajo de evaluación, el esquema del conjunto de datos, la guía de selección de métricas y los pasos de análisis de fallas directamente en tu sesión de programación, para que tu asistente pueda crear, calificar y mejorar las evaluaciones sin salir del editor.
Las instrucciones de instalación se encuentran después de cada habilidad.
Habilidad de evaluación de Agents CLI
Un flujo de trabajo controlado por la CLI para evaluar y optimizar agentes del ADK
con los comandos de agents-cli eval. Esta habilidad abarca lo siguiente:
- Prepara conjuntos de datos de evaluación y sintetiza situaciones de varios turnos con la simulación de usuarios
- Ejecutar inferencias, calificar seguimientos y analizar clústeres de fallas
- Itera en instrucciones y herramientas con el bucle de evaluación y corrección
Para instalarlo, ejecuta el siguiente comando:
npx skills add https://github.com/google/agents-cli --skill google-agents-cli-eval
Habilidad de volante de inercia de Gen AI Evaluation Service de Agent Platform
Una guía basada en el SDK para evaluar y mejorar modelos y agentes a través del
servicio de evaluación de IA generativa de Gemini Enterprise Agent Platform, con el SDK de evaluación de IA generativa de Agent Platform
(client.evals.evaluate()). Esta habilidad abarca lo siguiente:
- Compilar conjuntos de datos de evaluación a partir de seguimientos de sesiones, DataFrames o generación sintética
- Selecciona, configura y escribe métricas personalizadas con la puntuación de LLM como juez
- Analizar los veredictos de la rúbrica y los patrones de pérdida para impulsar mejoras concretas
Para instalarlo, ejecuta el siguiente comando:
npx skills add https://github.com/google/skills --skill agent-platform-eval-flywheel
¿Qué sigue?
- Simula el comportamiento del agente
- Ejecutar evaluación
- Administra las métricas de evaluación
- Visualiza los resultados de la evaluación