최적화는 품질 플라이휠의 마지막 단계입니다. 평가 및 실패 클러스터링을 통해 시스템 문제를 식별한 후 최적화 도구 서비스를 사용하여 에이전트의 시스템 지침이나 도구 설명을 프로그래매틱 방식으로 개선할 수 있습니다. 이 자동화된 프로세스는 정확한 실패 지점을 식별하고 평가 데이터 세트에 최적의 프롬프트를 찾을 때까지 타겟팅된 업데이트를 반복적으로 제안합니다.
최적화 플라이휠
에이전트 개선은 일반적으로 3단계 루프를 따릅니다.
- 실패 분석: 에이전트가 사용자 신원을 확인하지 못하는 '손실 클러스터'와 같은 구체적인 행동 격차를 파악합니다.
- 개선 제안: 최적화 도구는 시스템 지침('예약을 확인하기 전에 항상 상용 고객 번호를 요청하세요')의 '패치'를 생성합니다.
- 이득 확인: 시스템에서 나란히 비교 평가를 자동으로 실행하여 새 명령어가 회귀를 일으키지 않고 점수를 개선하는지 확인합니다.
SDK를 사용하여 프로그래매틱 방식으로 최적화
Agent Platform SDK를 사용하여 최적화 작업을 직접 트리거할 수 있습니다. 최적화 도구는 GEPA 또는 MIPRO와 같은 고급 방법을 사용하여 테스트 사례에서 새 규칙을 도출합니다.
# Automatically refine the system prompt to fix identified issues
optimize_result = client.optimizer.optimize(
targets=["system_prompt"], # Specify which resource to optimize
benchmark=eval_result, # Use results from a previous evaluation run
tests=eval_dataset, # The test cases the agent should pass
optimization_params={
"method": "gepa", # Use the GEPA optimization method
"num_steps": 5 # Number of iterations to perform
}
)
# Preview the optimized instruction
print("Optimized Instruction:", optimize_result.instruction)
CLI를 사용하여 최적화
로컬 개발의 경우 adk optimize 명령어를 사용하여 터미널에서 직접 에이전트 코드를 업데이트할 수 있습니다.
- 로컬 에이전트 모듈을 타겟팅하여 최적화 명령어를 실행합니다.
sh adk optimize . --target instruction --eval_set my_test_suite - 터미널에서 제안된 변경사항을 검토합니다.
agent.py파일에 최적화된 안내를 적용하려면 y를 입력합니다.
콘솔의 시각적 최적화
Google Cloud 콘솔에서 시각적 통계를 사용하여 최적화를 트리거할 수 있습니다.
Google Cloud 콘솔에서 Agent Platform > 에이전트 > 평가 페이지로 이동합니다.
실패한 평가 실행을 선택합니다.
특정 손실 클러스터 (예: '잘못된 도구 매개변수 형식')를 선택합니다.
Optimizer로 수정 버튼을 클릭합니다.
시스템 안내의 Before/After 차이를 검토하고 Accept를 클릭하여 에이전트를 업데이트합니다.