최적화는 품질 플라이휠 의 마지막 단계입니다. 품질 플라이휠 은 평가, 분석, 최적화의 지속적인 주기입니다. 에이전트의 성능을 평가하고 결과를 분석하여 오류 클러스터를 식별한 후 프롬프트 또는 구성을 최적화하여 이러한 특정 문제를 해결합니다. 이 주기의 각 반복은 에이전트의 품질과 안정성을 점진적으로 개선합니다.
평가 및 오류 클러스터링을 통해 시스템 문제를 식별한 후 옵티마이저 서비스를 사용하여 에이전트의 시스템 안내 또는 도구 설명을 프로그래매틱 방식으로 세부 조정할 수 있습니다. 이 자동화된 프로세스는 정확한 오류 지점을 식별하고 평가 데이터 세트에 가장 적합한 프롬프트를 찾을 때까지 타겟 업데이트를 반복적으로 제안합니다.
최적화 플라이휠
에이전트 세부 조정은 일반적으로 3단계 루프를 따릅니다.
- 오류 분석: 에이전트가 사용자 인증에 실패하는 오류 클러스터와 같은 특정 동작 격차를 식별합니다.
- 개선사항 제안: 옵티마이저는 시스템 안내에 대한 '패치'(예: '예약을 확인하기 전에 항상 상용 고객 번호를 요청하세요')를 생성합니다.
- 이점 확인: 시스템은 새로운 안내가 회귀를 일으키지 않고 점수를 개선하는지 확인하기 위해 나란히 비교 평가를 자동으로 실행합니다.
SDK로 프로그래매틱 방식으로 최적화
에이전트 플랫폼 SDK 를 사용하여 최적화 작업을 직접 트리거할 수 있습니다. 옵티마이저는 GEPA 또는 MIPRO 와 같은 고급 메서드를 사용하여 테스트 사례에서 새로운 규칙을 도출합니다.
# Automatically refine the system prompt to fix identified issues
optimize_result = client.optimizer.optimize(
targets=["system_prompt"], # Specify which resource to optimize
benchmark=eval_result, # Use results from a previous evaluation run
tests=eval_dataset, # The test cases the agent should pass
optimization_params={
"method": "gepa", # Use the GEPA optimization method
"num_steps": 5 # Number of iterations to perform
}
)
# Preview the optimized instruction
print("Optimized Instruction:", optimize_result.instruction)
CLI를 사용하여 최적화
로컬 개발의 경우 adk optimize 명령어를 사용하여 터미널에서 직접 에이전트 코드를 업데이트할 수 있습니다.
- 로컬 에이전트 모듈을 타겟팅하여 최적화 명령어를 실행합니다.
sh adk optimize . --target instruction --eval_set my_test_suite - 터미널에서 제안된 변경사항을 검토합니다.
- y 를 입력하여 최적화된 안내를
agent.py파일에 적용합니다.
일반적인 정보는 에이전트 최적화를 에이전트 개발 키트 문서에서 참고하세요.