并发和并行

concurrency 参数控制同时生成和评估的程序数量。此参数是最具影响力的运行时超参数。

  • n = 1(顺序链):生成一个程序,等待评估,然后生成下一个程序。每一代都会看到前一代的结果,从而形成一系列增量改进,最终聚焦于局部最优解。这种方法的吞吐量最慢,但利用率最高。使用此模式可有意收敛到特定区域。

  • n = 3-12(最佳范围):这是实际应用中最广泛使用的范围,可平衡探索和利用。多个程序同时运行,因此某些世代看不到最新结果,从而引入了自然多样性。进化数据库保持足够的吞吐量,以实现健康的种群动态。

  • n = 13-30(高探索):许多程序并行运行。大多数世代都看不到彼此的结果。此模式适用于具有许多局部最优解的高度非凸问题,其中广泛探索比深度利用更重要。

  • n = 23-30(受限;避免):超过 30 个并行生成器会限制 LLM 后端。请求会排队,从而增加每次生成的延迟时间。除非您有专用配额,否则请保持在 30 以下。

建议

以下建议可作为为 AlphaEvolve 配置并发和并行性的起点。

问题类型 并发 理由
易于理解,调整已知方法 3-5 集中利用
常规优化,未知场景 8-12 平衡探索/利用
高度非凸,存在许多局部最优值 15–25 广泛探索
有意放大局部最优解 1 顺序链

从 concurrency=10 开始,并根据以下指标进行调整:

  • 得分停滞:提高并发数以摆脱局部最优。

  • 许多评估失败:降低并发数以减少计算资源浪费。

  • 评估速度缓慢(超过 5 分钟):较高的并发性可使评估流水线保持忙碌状态。

  • 快速评估(少于 10 秒):较低的并发性可让后续生成直接基于彼此的结果进行。

并发实验数量上限与有效实验数量上限

请务必区分计划级并发限制和项目级实验限制:

  • 程序并发 (concurrency):在 runSettings 中配置(介于 1 和 30 之间),用于控制在单个实验中同时生成和评估的候选程序数量。
  • 有效实验数量限制:一个项目在每个位置最多可同时运行 30 个有效(STARTED 或 RUNNING)实验。尝试启动或恢复超出此上限的实验会返回 RESOURCE_EXHAUSTED 错误。如需解决此问题,请先停止或完成现有正在运行的实验,然后再开始新实验(在实验中修改 concurrency 不会改变有效实验的数量)。