AlphaEvolve 評価ハーネスは、決定論的な実行パイプラインを通じて候補コードの更新を体系的に処理する必要があります。ハーネスは、ソリューションを一度に実行して採点するのではなく、パイプラインを 3 つの段階的なテストゲートに分割します。
評価ゲート
次の図は、候補プログラムが 3 つの異なるテスト階層を通過して、構造化メタデータを AlphaEvolve に返す方法を示しています。
ソリューション バリデーション
評価ループは、コードのコアロジックを実行せずに、厳格な構造上の制約を適用することから始まります。ハーネスは、候補ソリューションのコンパイル時の基本的な構文の正しさ、解析バグ、構造上のセキュリティ違反をチェックします。
成功パス: プログラムがすべての検証チェックに合格すると、コードはソリューション検証ランタイム ループに安全に進みます。
失敗パス（ショートサーキット）: 検証テストが失敗すると、ハーネスは直ちに実行を中断します。リソースを大量に消費する検証とパフォーマンス テストの階層を完全にバイパスして、システム インフラストラクチャを保護します。 ループはフィードバック生成に直接移行し、ゼロ値のパフォーマンス スコアとともに、大規模なフラット検索ペナルティ（
-1e12など）をアサートします。
ソリューション検証
候補プログラムが構文的に正しく、安全に実行できることが検証されると、ハーネスは隔離された環境内で起動して、ソフトな機能制約を適用します。このフェーズでは、標準の単体テストと機能の正しさのチェックが実行されます。
ハーネスは、合格または不合格のバイナリ信号を出力するのではなく、合格した機能テストの正確な数または割合に基づいてプログラムを評価します。 これは全体的なペナルティ スコアにカウントされ、AlphaEvolve に密な数値検索グラデーションを提供して、世代を超えて破損したロジック構造を段階的に修正します。
ソリューション評価
候補プログラムが構文的に安全で、アルゴリズム的に正しいことが証明されると、パフォーマンス ベンチマーク レイヤに到達します。
ハーネスは、経験的なテスト、直接的なプロダクト ロジックの計算、分析シミュレーションを実行して、ターゲット ビジネス最適化指標（アルゴリズムの実行速度、クラウド インフラストラクチャのメモリ使用量、出力キャリブレーションの範囲など）を定量化します。
包括的な評価フィードバック
実行パイプラインの最後に、ハーネスは完了したすべてのフェーズのデータを集約して、構造化されたフィードバック ペイロードを作成します。このペイロードは AlphaEvolve に直接返され、後続のミューテーションの親の選択をガイドします。
標準化されたフィードバック出力は、次の 3 つの主要なコンポーネントで構成されています。
全体的な山登りスコア: AlphaEvolve が最適化中に直接最大化する、ハーネスによって決定論的に計算される単一の結合スカラー値。
詳細な最適化スコアとペナルティ: 個々のサブ指標、実行時間、ソフト制約ペナルティの内訳。この明示的なデータ分布により、エンジンは基盤となるエンジニアリングのトレードオフについて明確に推論できます。
テキストによる分析情報: 未加工の構造ログと失敗モードの詳細が今後のプロンプト コンテキストに渡され、LLM が生成エラーから明示的に学習できるようになります。