AlphaEvolve 평가 하니스의 평가 측정항목을 설계할 때는 다음과 같은 세 가지 고유한 테스트 등급을 설정합니다.
1등급: 솔루션 검증 테스트
이러한 테스트는 전체 실행 전에 기본 코드 실행 안전 및 정책 준수를 확인합니다.
실행 안전: 코드가 실행되는지 확인합니다. 여기에는 구문 검토, 컴파일 시간 확인, 정적 분석 실행, 인프라 호환성 확인이 포함됩니다.
실행 정책: 코드가 작동하더라도 실행해야 하는지 확인합니다. 여기에는 린팅, 일반 코드 품질 검사, 정보 보안 검토, 위험 및 규정 준수 검증, API 공급망 검사가 포함됩니다.
고려사항
검증이 실패하면
-10000또는-100000과 같은 높은 음수 점수를 반환합니다. AlphaEvolve는 이러한 프로그램을 무시합니다.디버깅을 위해 실패 유형과 로그를 포함합니다. AlphaEvolve는 이 메타데이터를 검색 신호로 사용하지 않지만 실패 모드의 사후 분석에 유용합니다.
2등급: 솔루션 확인 테스트
이러한 테스트는 단위 테스트 및 기능 테스트를 사용하여 알고리즘 정확성과 제약조건 준수를 확인합니다.
기능 정확성: 단위 테스트 및 기능 테스트를 사용하여 코드가 올바르게 동작하는지 확인합니다.
제약조건 준수: 솔루션 실현 가능성 또는 제약조건 충족을 확인합니다.
보상 해킹 완화: 보상 해킹을 방지하기 위해 확인 점수를 적합성 함수에 음수 페널티로 적용합니다. 점수를 어설션하는 것은 효과적인 페널티입니다.
-10000-100000
고려사항
통과한 테스트의 수 또는 비율을 반환합니다. 이 접근 방식은 그라데이션 신호를 제공합니다. 5개 테스트 중 4개를 통과한 프로그램은 5개 테스트 중 0개를 통과한 프로그램보다 올바른 프로그램에 더 가깝다고 인식됩니다.
확인을 소프트 제약조건 충족으로 취급합니다. 하드 시스템 제약조건의 경우에도 실현 가능한 공간에 근접성을 기반으로 소프트 페널티로 표현하면 AlphaEvolve에 바이너리 통과 또는 실패보다 더 실행 가능한 검색 신호를 제공합니다.
3등급: 솔루션 평가 테스트 (성능 테스트)
이러한 테스트는 최적화 대상 유형에 따라 객관적인 성능 측정항목을 측정합니다.
직접 측정: 계측이 허용되는 경우 목표를 직접 추적합니다.
결정적 추정: 기존 운영 연구 스타일에 맞게 목표를 분석적으로 계산합니다.
샘플 외 검증: 머신러닝 파이프라인 최적화 또는 에이전트 하니스 조정과 관련된 사용 사례에 대해 검증 데이터 세트를 테스트합니다.
시뮬레이션 기반 추정: 마르코프 체인 몬테카를로 (MCMC) 시뮬레이션, 베이지안 최적화 유형 프록시 함수 또는 기타 모델 기반 접근 방식을 사용합니다.
고려사항
세분화된 점수와 집계 점수를 모두 반환합니다.
점수 계산을 LLM으로 오프로드하지 말고 평가자 하니스 내에서 결정적으로 계산합니다. AlphaEvolve는 미리 계산된 이러한 집계 성능 점수에 대해 언덕 오르기를 수행합니다.
부분 점수는 검색 수렴을 가속화하는 그라데이션 신호를 제공합니다. 예를 들어 5개 테스트 중 4개를 통과한 프로그램은
None이 아닌0.8점수를 받아야 합니다.None을 반환하면 AlphaEvolve가 프로그램을 완전히 무시하여 유용한 의견을 삭제합니다.0.8점수는 후보가 올바른 프로그램에 가깝고 최적화할 수 있는 잠재력이 있음을 나타냅니다.