Evaluación de agentes

En este documento, se describe cómo usar la evaluación de agentes para medir y mejorar el rendimiento, la seguridad y la calidad de tus agentes.

Para obtener más información sobre la evaluación de modelos, consulta Descripción general del servicio de evaluación de IA generativa.

Resumen del procedimiento

Fase Actividad Objetivo
Diseño Define casos de evaluación Especifica las tareas del agente y los resultados esperados.
Ejecución Ejecuta inferencias Genera seguimientos de conversaciones reales o simuladas.
Puntuación Calcula métricas Califica los seguimientos con evaluadores automatizados (éxito de la tarea, seguridad).
Mejora Optimiza el agente Propón y verifica mejoras en las instrucciones o las herramientas.

Proceso de evaluación

La evaluación sigue un flujo de trabajo estructurado e iterativo:

  1. Define casos de evaluación: Un caso de evaluación es una especificación que define la tarea de un agente. Un caso de evaluación puede incluir uno o varios pasos de conversación, el contexto de la conversación (el estado del agente) y una especificación para simular las respuestas del usuario durante la inferencia.
  2. Ejecuta inferencias: La inferencia es la ejecución de un caso de evaluación. Si un caso de evaluación contiene un plan de conversación, las respuestas del usuario se simulan durante la inferencia.
  3. Genera seguimientos: Cada ejecución de inferencia captura el comportamiento del agente en un seguimiento. Un seguimiento es un registro inmutable y factual del comportamiento del agente, incluidas las entradas del modelo, las respuestas y las llamadas a herramientas.
  4. Calcula métricas: Las métricas son puntuaciones calculadas para cada seguimiento con evaluadores integrados o personalizados. Algunas métricas, como Exact Match, se basan en referencias y requieren un caso de evaluación con una respuesta de referencia. Otras, como Helpfulness, no tienen referencias y evalúan el seguimiento por sí solas. Esta evaluación automatizada te permite calificar los seguimientos capturados del tráfico de producción o los registros externos, independientemente de un entorno de prueba administrado.
  5. Realiza un análisis: Analiza las métricas, las rúbricas y los veredictos para identificar los problemas clave del agente, vincularlos a los casos de prueba y generar estadísticas para mejorar.
  6. Optimiza el agente: Usa la optimización para administrar todo el ciclo de evaluación. Este proceso automatizado analiza los resultados, propone mejoras para el agente y vuelve a ejecutar el proceso de forma iterativa para verificar las ganancias de rendimiento.

Flujo de trabajo de evaluación

Puedes integrar la evaluación en dos etapas principales de tu flujo de trabajo:

  • Iteración de desarrollo local: Evalúa un agente basado en el Kit de desarrollo de agentes (ADK) de forma local para iterar rápidamente en la ingeniería de instrucciones y las configuraciones de herramientas.
  • Evaluación de agentes implementados: Mide la calidad de los agentes implementados analizando los seguimientos históricos o ejecutando comparativas sintéticas en los extremos del agente.

Capacidades principales

La evaluación de agentes te ayuda a crear un conjunto de evaluación inicial, incluso sin datos de prueba existentes. Las siguientes funciones ayudan a automatizar el proceso de generación de casos de prueba y a mejorar tus sistemas de agentes:

  • Generación de situaciones y simulación de usuarios: Genera automáticamente situaciones de prueba sintéticas diversas y de varios turnos en función de las instrucciones y las definiciones de herramientas de tu agente. Esta automatización te permite comenzar a realizar pruebas de inmediato, ya que elimina la necesidad de crear casos de prueba iniciales de forma manual.

  • Simulación de entorno: Intercepta llamadas a herramientas específicas para insertar comportamientos personalizados, datos simulados o errores simulados (como errores HTTP 503 errores o picos de latencia). Esta simulación te permite validar la resiliencia del agente sin afectar los backends de producción.

  • Evaluación de varios turnos: Evalúa automáticamente historiales de conversaciones completos con evaluadores automáticos de varios turnos. Estos evaluadores analizan la extracción de intents, generan rúbricas de forma dinámica y proporcionan veredictos de validación objetivos para garantizar el cumplimiento de las instrucciones.

  • Optimización de instrucciones: Genera y valida de forma programática instrucciones del sistema mejoradas con la optimización de instrucciones. El framework de optimización identifica los puntos de falla y propone de forma iterativa actualizaciones segmentadas.

Evalúa con asistentes de programación de IA

Si usas Gemini CLI o cualquier otro asistente de programación de IA, puedes instalar habilidades de agente que le enseñen a tu asistente la metodología de evaluación de agentes que se describe en esta página. Cada habilidad proporciona el flujo de trabajo de evaluación, el esquema del conjunto de datos, la guía de selección de métricas y los pasos de análisis de fallas directamente en tu sesión de programación, de modo que tu asistente pueda crear, calificar y mejorar las evaluaciones sin salir del editor.

Las instrucciones de instalación siguen cada habilidad.

Habilidad de evaluación de Agents CLI

Un flujo de trabajo basado en la CLI para evaluar y optimizar agentes del Kit de desarrollo de agentes (ADK) con los comandos agents-cli eval. Esta habilidad abarca lo siguiente:

  • Preparar conjuntos de datos de evaluación y sintetizar situaciones de varios turnos con simulación de usuarios
  • Ejecutar inferencias, calificar seguimientos y analizar clústeres de fallas
  • Iterar en instrucciones y herramientas con el bucle eval-fix

Para instalar, ejecuta el siguiente comando:

npx skills add https://github.com/google/agents-cli --skill google-agents-cli-eval

Habilidad de flywheel de Agent Platform GenAI Evaluation Service

Un libro de jugadas basado en el SDK para evaluar y mejorar modelos y agentes a través de Agent Platform GenAI Evaluation Service, con el SDK de Agent Platform GenAI Evaluation (client.evals.evaluate()). Esta habilidad abarca lo siguiente:

  • Crear conjuntos de datos de evaluación a partir de seguimientos de sesiones, DataFrames o generación sintética
  • Seleccionar, configurar y escribir métricas personalizadas con la puntuación de LLM como juez
  • Analizar los veredictos de las rúbricas y los patrones de pérdida para impulsar mejoras concretas

Para instalar, ejecuta el siguiente comando:

npx skills add https://github.com/google/skills --skill agent-platform-eval-flywheel

¿Qué sigue?