L'ottimizzazione è la fase finale del ciclo virtuoso della qualità. Una volta identificati i problemi sistemici tramite la valutazione e il raggruppamento degli errori, puoi utilizzare il servizio Optimizer per perfezionare a livello di programmazione le istruzioni di sistema o le descrizioni degli strumenti dell'agente. Questo processo automatizzato identifica i punti esatti di errore e propone in modo iterativo aggiornamenti mirati finché non trova il prompt ottimale per il set di dati di valutazione.
Il volano dell'ottimizzazione
Il perfezionamento di un agente in genere segue un ciclo di tre passaggi:
- Analizza gli errori:identifica lacune comportamentali specifiche, ad esempio un "cluster di perdita" in cui l'agente non riesce a verificare l'identità dell'utente.
- Proponi miglioramenti:l'ottimizzatore genera una "patch" per l'istruzione di sistema (ad es. "Chiedi sempre il numero di viaggiatore frequente prima di confermare una prenotazione").
- Verifica dei miglioramenti: il sistema esegue automaticamente un confronto fianco a fianco per verificare che la nuova istruzione migliori i punteggi senza causare regressioni.
Ottimizzare in modo programmatico con l'SDK
Puoi attivare un job di ottimizzazione direttamente utilizzando l'SDK Agent Platform. Optimizer utilizza metodi avanzati come GEPA o MIPRO per derivare nuove regole dai tuoi scenari di test.
# Automatically refine the system prompt to fix identified issues
optimize_result = client.optimizer.optimize(
targets=["system_prompt"], # Specify which resource to optimize
benchmark=eval_result, # Use results from a previous evaluation run
tests=eval_dataset, # The test cases the agent should pass
optimization_params={
"method": "gepa", # Use the GEPA optimization method
"num_steps": 5 # Number of iterations to perform
}
)
# Preview the optimized instruction
print("Optimized Instruction:", optimize_result.instruction)
Ottimizzare utilizzando la CLI
Per lo sviluppo locale, puoi utilizzare il comando adk optimize per aggiornare il codice dell'agente direttamente dal terminale.
- Esegui il comando di ottimizzazione, scegliendo come target il modulo dell'agente locale:
sh adk optimize . --target instruction --eval_set my_test_suite - Rivedi le modifiche proposte nel terminale.
- Inserisci y per applicare le istruzioni ottimizzate al file
agent.py.
Ottimizzazione visiva nella console
Nella console Google Cloud , puoi utilizzare gli approfondimenti visivi per attivare l'ottimizzazione:
Nella console Google Cloud , vai alla pagina Agent Platform > Agenti > Valutazione.
Seleziona un'esecuzione della valutazione non riuscita.
Seleziona un cluster di perdita specifico (ad es. "Formato parametro strumento non valido").
Fai clic sul pulsante Correggi con Optimizer.
Esamina la differenza Prima/Dopo dell'istruzione di sistema e fai clic su Accetta per aggiornare l'agente.