Questo documento descrive come utilizzare la valutazione degli agenti per misurare e migliorare le prestazioni, la sicurezza e la qualità degli agenti.
Per scoprire di più sulla valutazione dei modelli, consulta la panoramica del servizio di valutazione dell'AI generativa.
Riepilogo della procedura
| Fase | Attività | Obiettivo |
|---|---|---|
| Progettazione | Definisci i casi di valutazione | Specifica le attività dell'agente e i risultati previsti. |
| Esecuzione | Esegui inferenze | Genera tracce di conversazioni reali o simulate. |
| Punteggio | Metriche di Compute | Valutare le tracce utilizzando valutatori automatici (Task Success, Safety). |
| Perfezionamento | Ottimizza l'agente | Proporre e verificare miglioramenti alle istruzioni o agli strumenti. |
Processo di valutazione
La valutazione segue un workflow strutturato e iterativo:
- Definisci i casi di valutazione: un caso di valutazione è una specifica che definisce l'attività di un agente. Un caso di valutazione può includere uno o più passaggi della conversazione, il contesto della conversazione (lo stato dell'agente) e una specifica per simulare le risposte dell'utente durante l'inferenza.
- Esegui inferenze: l'inferenza è l'esecuzione di un test case di valutazione. Se un caso di valutazione contiene un piano di conversazione, le risposte dell'utente vengono simulate durante l'inferenza.
- Genera tracce: ogni esecuzione dell'inferenza acquisisce il comportamento dell'agente in una traccia. Una traccia è un record oggettivo e immutabile del comportamento dell'agente, inclusi input del modello, risposte e chiamate agli strumenti.
- Calcola le metriche: le metriche sono punteggi calcolati per ogni traccia utilizzando valutatori predefiniti o personalizzati. Alcune metriche, come Corrispondenza esatta, sono basate su riferimenti e richiedono un test case con una risposta di riferimento. Altre, come Utilità, sono senza riferimento e valutano la traccia da sola. Questa valutazione automatizzata ti consente di assegnare un punteggio alle tracce acquisite dal traffico di produzione o dai log esterni, indipendentemente da un ambiente di test gestito.
- Esegui l'analisi: analizza metriche, rubriche e verdetti per identificare i problemi principali dell'agente, collegarli agli scenari di test e generare insight per il miglioramento.
- Ottimizza l'agente: utilizza l'ottimizzazione per gestire l'intero ciclo di valutazione. Questo processo automatizzato analizza i risultati, propone miglioramenti all'agente ed esegue nuovamente il processo in modo iterativo per verificare i miglioramenti delle prestazioni.
Flusso di lavoro di valutazione
Puoi integrare la valutazione in due fasi principali del tuo workflow:
- Iterazione dello sviluppo locale: valuta un agente basato su Agent Development Kit (ADK) localmente per eseguire rapidamente l'iterazione del prompt engineering e delle configurazioni degli strumenti.
- Valutazione degli agenti di cui è stato eseguito il deployment: misura la qualità degli agenti di cui è stato eseguito il deployment analizzando le tracce storiche o eseguendo benchmark sintetici sugli endpoint degli agenti.
Funzionalità principali
La valutazione degli agenti ti aiuta a creare una suite di valutazione iniziale, anche senza dati di test esistenti. Le seguenti funzionalità aiutano ad automatizzare il processo di generazione di scenari di test e perfezionamento dei sistemi agentici:
Generazione di scenari e simulazione degli utenti: genera automaticamente scenari di test sintetici diversi e a più turni in base alle istruzioni e alle definizioni degli strumenti dell'agente. Questa automazione ti consente di iniziare subito i test, eliminando la necessità di creare manualmente gli scenari di test iniziali.
Simulazione dell'ambiente: intercetta chiamate di strumenti specifiche per inserire comportamenti personalizzati, dati fittizi o errori simulati (come errori HTTP 503 o picchi di latenza). Questa simulazione ti consente di convalidare la resilienza dell'agente senza influire sui backend di produzione.
Valutazione multi-turno: valuta automaticamente intere cronologie delle conversazioni utilizzando i valutatori automatici multi-turno. Questi valutatori analizzano l'estrazione dell'intent, generano dinamicamente griglie di valutazione e forniscono verdetti di convalida oggettivi per garantire l'aderenza alle istruzioni.
Ottimizzazione dei prompt: genera e convalida in modo programmatico istruzioni di sistema perfezionate utilizzando l'ottimizzazione dei prompt. Il framework di ottimizzazione identifica i punti di errore e propone in modo iterativo aggiornamenti mirati.
Valuta con gli assistenti di assistenza al coding AI
Se utilizzi Gemini CLI o un altro assistente al coding AI, puoi installare le skill dell'agente che insegnano al tuo assistente la metodologia di valutazione dell'agente descritta in questa pagina. Ogni skill fornisce il workflow di valutazione, lo schema del set di dati, le indicazioni per la selezione delle metriche e i passaggi per l'analisi degli errori direttamente nella sessione di programmazione, in modo che l'assistente possa creare, valutare e migliorare le valutazioni senza uscire dall'editor.
Le istruzioni per l'installazione seguono ogni skill.
Skill di valutazione di Agents CLI
Un flusso di lavoro basato su interfaccia a riga di comando per valutare e ottimizzare gli agenti Agent Development Kit (ADK) utilizzando i comandi agents-cli eval. Questa skill riguarda:
- Preparazione dei set di dati di valutazione e sintesi di scenari multi-turno con la simulazione degli utenti
- Esecuzione dell'inferenza, valutazione delle tracce e analisi dei cluster di errori
- Iterazione di prompt e strumenti con il ciclo di valutazione e correzione
Per l'installazione, esegui questo comando:
npx skills add https://github.com/google/agents-cli --skill google-agents-cli-eval
Competenza flywheel del servizio di valutazione dell'AI generativa di Agent Platform
Un playbook basato su SDK per valutare e migliorare modelli e agenti tramite il servizio di valutazione GenAI di Gemini Enterprise Agent Platform, utilizzando l'SDK di valutazione GenAI di Agent Platform (client.evals.evaluate()). Questa competenza copre:
- Creazione di set di dati di valutazione da tracce di sessione, DataFrame o generazione sintetica
- Selezione, configurazione e scrittura di metriche personalizzate con punteggio LLM-as-a-judge
- Analisi dei verdetti della griglia e dei pattern di perdita per apportare miglioramenti concreti
Per l'installazione, esegui questo comando:
npx skills add https://github.com/google/skills --skill agent-platform-eval-flywheel
Passaggi successivi
- Simula il comportamento dell'agente
- Esegui valutazione
- Gestisci le metriche di valutazione
- Visualizza i risultati della valutazione