O Google usa tecnologia de IA na tradução de conteúdos para seu idioma de preferência. As traduções com IA podem ter erros.

Avaliação de agentes

Neste documento, descrevemos como usar a avaliação de agentes para medir e melhorar o desempenho, a segurança e a qualidade dos seus agentes.

Para saber mais sobre a avaliação de modelos, consulte Visão geral do serviço de avaliação de IA generativa.

Resumo do procedimento

Fase	Atividade	Meta
Design	Definir casos de avaliação	Especifique as tarefas do agente e os resultados esperados.
Execução	Executar inferências	Gere traces de conversas reais ou simuladas.
Pontuação	Métricas de computação	Classificar traces usando avaliadores automatizados (sucesso da tarefa, segurança).
Refinamento	Otimizar agente	Propor e verificar melhorias nas instruções ou ferramentas.

Processo de avaliação

A avaliação segue um fluxo de trabalho estruturado e iterativo:

Definir casos de avaliação: um caso de avaliação é uma especificação que define a tarefa de um agente. Um caso de avaliação pode incluir uma ou várias etapas de conversa, o contexto da conversa (o estado do agente) e uma especificação para simular as respostas do usuário durante a inferência.
Executar inferências: a inferência é a execução de um caso de avaliação. Se um caso de avaliação tiver um plano de conversa, as respostas do usuário serão simuladas durante a inferência.
Gerar traces: cada execução de inferência captura o comportamento do agente em um trace. Um trace é um registro factual e imutável do comportamento do agente, incluindo entradas do modelo, respostas e chamadas de ferramentas.
Métricas de computação: as métricas são pontuações calculadas para cada trace usando avaliadores predefinidos ou personalizados. Algumas métricas, como Correspondência exata, são baseadas em referência e exigem um caso de avaliação com uma resposta de referência. Outras, como Utilidade, são sem referência e avaliam o rastro por conta própria. Essa avaliação automatizada permite pontuar traces capturados de tráfego de produção ou registros externos, independentemente de um ambiente de teste gerenciado.
Realizar análises: analise métricas, rubricas e vereditos para identificar os principais problemas do agente, vincular esses problemas aos casos de teste e gerar insights gerados para melhorias.
Otimizar o agente: use a otimização para gerenciar todo o ciclo de avaliação. Esse processo automatizado analisa os resultados, propõe melhorias ao agente e executa o processo de forma iterativa para verificar os ganhos de desempenho.

Fluxo de trabalho de avaliação

É possível integrar a avaliação em duas etapas principais do fluxo de trabalho:

Iteração de desenvolvimento local: avalie um agente baseado no Kit de Desenvolvimento de Agente (ADK) localmente para iterar rapidamente na engenharia de comandos e nas configurações de ferramentas.
Avaliação de agentes implantados: meça a qualidade dos agentes implantados analisando traces históricos ou executando comparativos de mercado sintéticos em endpoints de agentes.

Recursos principais

A avaliação de agentes ajuda a criar um pacote de avaliação inicial, mesmo sem dados de teste. Os recursos a seguir ajudam a automatizar o processo de geração de casos de teste e refinamento dos seus sistemas agênticos:

Geração de cenários e simulação de usuários: gere automaticamente cenários de teste sintéticos diversos e de vários turnos com base nas instruções e definições de ferramentas do agente. Essa automação permite que você comece a testar imediatamente, eliminando a necessidade de criar manualmente os casos de teste iniciais.
Simulação de ambiente: intercepte chamadas de ferramentas específicas para injetar comportamentos personalizados, dados simulados ou erros simulados (como erros HTTP 503 ou picos de latência). Essa simulação permite validar a resiliência do agente sem afetar os back-ends de produção.
Avaliação de várias interações: avalie automaticamente históricos de conversas inteiros usando avaliadores automáticos de várias interações. Esses avaliadores analisam a extração de intenção, geram instruções dinamicamente e fornecem vereditos de validação objetivos para garantir a adesão às instruções.
Otimização de comandos: gere e valide de forma programática instruções do sistema refinadas usando a otimização de comandos. O framework de otimização identifica pontos de falha e propõe atualizações direcionadas de forma iterativa.

Avaliar com assistentes de programação de IA

Se você usa a CLI do Gemini ou outro assistente de programação de IA, pode instalar habilidades de agente que ensinam ao assistente a metodologia de avaliação de agentes descrita nesta página. Cada habilidade fornece o fluxo de trabalho de avaliação, o esquema do conjunto de dados, as orientações para seleção de métricas e as etapas de análise de falhas diretamente na sessão de programação, para que o assistente possa criar, avaliar e melhorar as avaliações sem sair do editor.

As instruções de instalação estão disponíveis em cada habilidade.

Habilidade de avaliação da Agents CLI

Um fluxo de trabalho orientado por CLI para avaliar e otimizar agentes do Kit de Desenvolvimento de Agente (ADK) usando os comandos agents-cli eval. Esta habilidade abrange:

Preparar conjuntos de dados de avaliação e sintetizar cenários de vários turnos com simulação de usuário
Executar inferências, classificar traces e analisar clusters de falhas
Iteração em comandos e ferramentas com o ciclo de avaliação e correção

Para instalá-lo, execute o seguinte comando:

npx skills add https://github.com/google/agents-cli --skill google-agents-cli-eval

Habilidade de flywheel do Serviço de Avaliação de IA Generativa da Agent Platform

Um playbook baseado em SDK para avaliar e melhorar modelos e agentes usando o Serviço de Avaliação de IA Generativa da Gemini Enterprise Agent Platform, com o SDK de Avaliação de IA Generativa da Agent Platform (client.evals.evaluate()). Essa habilidade abrange:

Criar conjuntos de dados de avaliação com base em traces de sessão, DataFrames ou geração sintética
Selecionar, configurar e escrever métricas personalizadas com pontuação de LLM como avaliador
Analisar os vereditos da rubrica e os padrões de perda para promover melhorias concretas