AlphaEvolve 评估工具必须通过确定性执行流水线系统地处理候选代码更新。该工具不会一次性执行并对解决方案进行评分,而是将流水线划分为三个渐进式测试关卡:
评估关卡
下图展示了候选程序如何通过三个不同的测试层级,然后将结构化元数据返回给 AlphaEvolve。

解决方案验证
评估循环首先会强制执行硬性结构约束,而不会运行代码的核心逻辑。该工具会检查候选解决方案是否存在基本的编译时语法正确性、解析 bug 和结构性安全违规行为。
成功路径:如果程序通过所有验证检查,代码会安全地进入解决方案验证运行时循环。
失败路径(短路):如果任何验证测试失败,该工具会立即中断执行。它会完全绕过资源密集型验证和性能测试层级,以保护系统基础架构。 该循环会直接进入反馈生成阶段,断言存在大量平坦搜索惩罚(例如
-1e12),同时性能得分也为零。
解决方案验证
候选程序通过验证,证明其在语法上合理且可以安全执行后,该工具会在隔离的环境中启动该程序,以强制执行软功能约束。此阶段会运行标准单元测试和功能正确性检查。
该工具不会输出通过或失败的二进制信号,而是根据通过的功能测试的确切数量或百分比来评估程序。 这会纳入总体惩罚得分,为 AlphaEvolve 提供密集的数值搜索梯度,以便在后续几代中逐步纠正损坏的逻辑结构。
解决方案评估
当候选程序证明在语法上安全且在算法上正确时,它会达到性能基准测试层。
该工具会运行实证测试、直接产品逻辑计算或分析模拟,以量化目标业务优化指标(例如算法执行速度、云基础架构内存占用空间或输出校准范围)。
全面评估反馈
在执行流水线结束时,该工具会将所有已完成阶段的数据汇总到结构化反馈载荷中。此载荷会直接返回给 AlphaEvolve,以指导后续突变的父项选择。
标准化反馈输出包含以下三个主要组件:
总体爬山得分:一个由该工具确定性计算的单一组合标量值,AlphaEvolve 在优化期间直接将其最大化。
精细的优化得分和惩罚:各个子指标、执行时间和软约束惩罚细分。这种明确的数据分布让引擎能够清楚地了解底层工程权衡。
文本洞见:原始结构日志和故障模式详细信息会传递回未来的提示上下文,让 LLM 能够从其生成错误中明确学习。