Avaliação de agentes

Este documento descreve como usar a avaliação de agentes para medir e melhorar o desempenho, a segurança e a qualidade dos seus agentes.

Para saber mais sobre a avaliação de modelos, consulte Visão geral do serviço de avaliação de IA generativa.

Resumo do procedimento

Fase Atividade Meta
Design Definir casos de avaliação Especifique as tarefas do agente e os resultados esperados.
Execução Executar inferências Gerar rastros de conversas reais ou simuladas.
Pontuação Calcular métricas Classificar rastreamentos usando avaliadores automáticos (sucesso da tarefa, segurança).
Refinamento Agente de otimização Propor e verificar melhorias nas instruções ou ferramentas.

Processo de avaliação

A avaliação segue um fluxo de trabalho estruturado e iterativo:

  1. Definir casos de avaliação: um caso de avaliação é uma especificação que define a tarefa de um agente. Um caso de avaliação pode incluir uma ou várias etapas de conversa, o contexto da conversa (o estado do agente) e uma especificação para simular respostas do usuário durante a inferência.
  2. Executar inferências: inferência é a execução de um caso de avaliação. Se um caso de avaliação tiver um plano de conversa, as respostas do usuário serão simuladas durante a inferência.
  3. Gerar rastros: cada execução de inferência captura o comportamento do agente em um rastreamento. Um rastreamento é um registro factual e imutável do comportamento do agente, incluindo entradas do modelo, respostas e chamadas de ferramentas.
  4. Calcular métricas: métricas são pontuações calculadas para cada rastreamento usando avaliadores predefinidos ou personalizados. Algumas métricas, como Correspondência exata, são baseadas em referência e exigem um caso de avaliação com uma resposta de referência. Outras, como utilidade, são independentes de referência e avaliam o rastreamento por conta própria. Essa avaliação automatizada permite pontuar rastreamentos capturados do tráfego de produção ou de registros externos, independente de um ambiente de teste gerenciado.
  5. Faça uma análise: analise métricas, rubricas e veredictos para identificar os principais problemas do agente, vincular esses problemas aos casos de teste e gerar insights para melhoria.
  6. Otimize o agente: use a otimização para gerenciar todo o ciclo de avaliação. Esse processo automatizado analisa os resultados, propõe melhorias ao agente e repete o processo de forma iterativa para verificar os ganhos de performance.

Fluxo de trabalho de avaliação

É possível integrar a avaliação em duas etapas principais do fluxo de trabalho:

  • Iteração de desenvolvimento local: avalie um agente baseado no Kit de Desenvolvimento de Agente (ADK) localmente para iterar rapidamente na engenharia de comando e nas configurações de ferramentas.
  • Avaliação de agentes implantados: meça a qualidade dos agentes implantados analisando rastreamentos históricos ou executando comparativos sintéticos em relação aos endpoints do agente.

Recursos principais

A avaliação do agente ajuda a criar um pacote de avaliação inicial, mesmo sem dados de teste. Os recursos a seguir ajudam a automatizar o processo de geração de casos de teste e refinamento dos seus sistemas agênticos:

  • Geração de cenários e simulação de usuários: gere automaticamente cenários de teste sintéticos diversos e de várias rodadas com base nas instruções e definições de ferramentas do seu agente. Com essa automação, você pode começar a testar imediatamente, sem precisar criar manualmente os casos de teste iniciais.

  • Simulação de ambiente: intercepta chamadas de ferramentas específicas para injetar comportamentos personalizados, dados simulados ou erros simulados (como erros HTTP 503 ou picos de latência). Essa simulação permite validar a resiliência do agente sem afetar os back-ends de produção.

  • Avaliação em várias etapas: avalie automaticamente todo o histórico de conversas usando avaliadores automáticos em várias etapas. Esses avaliadores analisam a extração de intenção, geram rubricas dinamicamente e fornecem veredictos de validação objetivos para ajudar a garantir a adesão às instruções.

  • Otimização de comandos: gere e valide de forma programática instruções refinadas do sistema usando a otimização de comandos. A estrutura de otimização identifica pontos de falha e propõe atualizações direcionadas de forma iterativa.

Avaliar com assistentes de programação de IA

Se você usa a CLI do Gemini ou outro assistente de programação de IA, é possível instalar habilidades do agente que ensinam ao assistente a metodologia de avaliação de agentes descrita nesta página. Cada habilidade fornece o fluxo de trabalho de avaliação, o esquema do conjunto de dados, orientações para seleção de métricas e etapas de análise de falhas diretamente na sua sessão de programação. Assim, o assistente pode criar, classificar e melhorar as avaliações sem sair do editor.

As instruções de instalação seguem cada habilidade.

Habilidade de avaliação da CLI de agentes

Um fluxo de trabalho orientado por CLI para avaliar e otimizar agentes do Kit de Desenvolvimento de Agente (ADK) usando os comandos agents-cli eval. Este curso aborda:

  • Preparar conjuntos de dados de avaliação e sintetizar cenários multiturno com simulação de usuário
  • Executar inferência, classificar rastreamentos e analisar clusters de falhas
  • Iteração de comandos e ferramentas com o ciclo de avaliação e correção

Para instalá-lo, execute o seguinte comando:

npx skills add https://github.com/google/agents-cli --skill google-agents-cli-eval

Habilidade de flywheel do serviço de avaliação de IA generativa da Agent Platform

Um playbook orientado por SDK para avaliar e melhorar modelos e agentes usando o serviço de avaliação de IA generativa da Agent Platform com o SDK de avaliação de IA generativa da Agent Platform (client.evals.evaluate()). Esta habilidade aborda:

  • Como criar conjuntos de dados de avaliação com rastreamentos de sessão, DataFrames ou geração sintética
  • Selecionar, configurar e gravar métricas personalizadas com pontuação LLM como juiz
  • Analisar veredictos de rubricas e padrões de perda para impulsionar melhorias concretas

Para instalá-lo, execute o seguinte comando:

npx skills add https://github.com/google/skills --skill agent-platform-eval-flywheel

A seguir