AlphaEvolve 평가 하네스는 결정적 실행 파이프라인을 통해 후보 코드 업데이트를 체계적으로 처리해야 합니다. 하네스는 솔루션을 한 번에 실행하고 평가하는 대신 파이프라인을 다음과 같은 세 가지 점진적 테스트 게이트로 나눕니다.
평가 게이트
다음 다이어그램은 후보 프로그램이 AlphaEvolve에 구조화된 메타데이터를 반환하기 전에 세 가지 개별 테스트 등급을 통과하는 방법을 보여줍니다.
솔루션 검증
평가 루프는 코드의 핵심 로직을 실행하지 않고 엄격한 구조적 제약 조건을 적용하여 시작됩니다. 하네스는 후보 솔루션의 기본 컴파일 시간 구문 정확성, 파싱 버그, 구조적 보안 위반을 확인합니다.
성공 경로: 프로그램이 모든 검증 검사를 통과하면 코드가 솔루션 검증 런타임 루프로 안전하게 진행됩니다.
실패 경로 (단락): 검증 테스트가 실패하면 하니스가 즉시 실행을 중단합니다. 리소스가 많이 필요한 검증 및 성능 테스트 계층을 완전히 우회하여 시스템 인프라를 보호합니다. 루프는 바로 의견 생성으로 전환되어 0 값의 성능 점수와 함께 대규모 평면 검색 페널티 (예:
-1e12)를 어설션합니다.
솔루션 확인
후보 프로그램의 구문이 올바르고 실행해도 안전한 것으로 검증되면 하네스는 격리된 환경 내에서 프로그램을 실행하여 소프트 기능 제약 조건을 적용합니다. 이 단계에서는 표준 단위 및 기능 정확성 검사를 실행합니다.
하네스는 통과 또는 실패 이진 신호를 출력하는 대신 통과한 기능 테스트의 정확한 수 또는 비율을 기반으로 프로그램을 평가합니다. 이는 전체 페널티 점수에 반영되어 AlphaEvolve에 밀도 높은 숫자 검색 그라데이션을 제공하여 연속된 세대에 걸쳐 깨진 논리 구조를 점진적으로 수정합니다.
솔루션 평가
후보 프로그램이 구문상 안전하고 알고리즘적으로 올바른 것으로 입증되면 성능 벤치마킹 레이어에 도달합니다.
하네스는 경험적 테스트, 직접 제품 로직 계산 또는 분석 시뮬레이션을 실행하여 타겟 비즈니스 최적화 측정항목(예: 알고리즘 실행 속도, 클라우드 인프라 메모리 사용 공간 또는 출력 보정 범위)을 정량화합니다.
종합 평가 의견
실행 파이프라인이 끝나면 하네스가 완료된 모든 단계의 데이터를 구조화된 의견 페이로드로 집계합니다. 이 페이로드는 후속 변이의 부모 선택을 안내하기 위해 AlphaEvolve에 직접 반환됩니다.
표준화된 피드백 출력은 다음 세 가지 기본 구성요소로 구성됩니다.
전체 언덕 오르기 점수: AlphaEvolve가 최적화 중에 직접 최대화하는 하네스에 의해 결정적으로 계산되는 단일 결합 스칼라 값입니다.
세부적인 최적화 점수 및 페널티: 개별 하위 측정항목, 실행 시간, 소프트 제약 조건 페널티 분석 이 명시적 데이터 분포를 통해 엔진은 기본 엔지니어링 트레이드오프에 대해 명확하게 추론할 수 있습니다.
텍스트 인사이트: 원시 구조 로그와 실패 모드 세부정보가 향후 프롬프트 컨텍스트로 다시 전달되어 LLM이 생성 오류로부터 명시적으로 학습할 수 있습니다.