最佳化目標代表 AlphaEvolve 在每個世代中盡可能提高的單一數字。在編寫任何評估工具程式碼之前，請先回答下列三個問題：
這個數字代表什麼價值？
系統如何計算這項指標？
運算作業會在何處執行？
AlphaEvolve 嚴格要求為每個候選解決方案自動計算目標，且不得有人為介入。這項自動化功能讓 AlphaEvolve 適合解決這個問題。如果必須由專人判斷解決方案的品質，AlphaEvolve 就無法搜尋。
預估所產生候選解決方案在不同最佳化目標和驗證限制下的成效時，請考慮下列事項：
- 是否可直接使用業務或產品邏輯計算最佳化目標，而不需進行實證評估？
- 是否可對產生的解決方案程式碼執行效能和負載測試，直接評估最佳化目標？
- 是否能使用已建立的確定性替代函數和可靠的模擬方法，估算最佳化目標？
- 是否可以設計自訂替代函式 (例如預測模型或其他非決定性估算器)，根據實證觀察結果進行調整，並根據樣本外資料進行驗證，藉此估算最佳化目標？
量化目標的核心步驟
請採用結構化做法，確保 AlphaEvolve 具有可靠的自動意見回饋循環，引導搜尋。請完成下列步驟，建立指標、定義指標的評估方式，並決定執行評估的位置。
1. 以單一分數表示目標，分數會隨著解決方案的改善而提高
設定核心最佳化指標，讓搜尋路徑具有明確的方向梯度，並隨著實際成效增幅線性或單調遞增。
純量值最大化：AlphaEvolve 一律會將一個純量值最大化。將您重視的任何項目轉換為單一數字，數字越高越好。如要盡量減少延遲、費用或錯誤，請否定這項指標：
score = -latency_ms單調性：分數必須是單調的，也就是說，只要解決方案確實有所改善，分數就必須上升。如果分數起伏不定，搜尋引擎就無法判斷該如何提升排名。
確定性執行：評估工具會計算分數，LLM 和人員都不會計算。以決定性方式計算，確保同一候選人一律獲得相同分數。
針對主觀目標進行聯合分析：如果您無法編寫評分公式，但可以目測比較兩種解決方案，請使用聯合分析建立公式。產生候選輸出內容配對，請領域專家從每對內容中選出較佳者，然後根據這些選擇進行邏輯迴歸，並將擬合模型做為指標。這會將主觀判斷轉化為可微分的確定性分數。請勿使用原始 LLM 評分標準做為即時分數，因為這類標準速度緩慢、雜訊多，且容易遭到獎勵濫用；請先將其提煉成固定函式。
2. 選擇分數的計算方式
產生這項數字的方式取決於您要評估的項目。從表格中選擇符合目標的方法。幾乎所有實際部署作業都會使用這四種方法之一，許多作業會結合兩種方法，一種是成本較低的方法，用於進行搜尋，另一種是成本較高的方法，用於確認勝出者。
| 評估方法 | 適用情況： | 分數的產生方式 | 執行條件 |
|---|---|---|---|
| 直接計算 | 您可以使用業務或產品邏輯，從候選人的輸出內容中，以封閉形式計算的數量 | 評估工具會執行候選項目並套用公式 (總和、比率、計數、費用) | 控制器的自有程序 - 無需額外基礎架構 |
| 效能或負載測試 | 候選程式碼本身的執行階段、輸送量或記憶體 | 在具代表性的硬體上執行候選版本並進行測量；首先要確保正確性 | 目標硬體 (GPU、TPU 或 CPU)；預熱和 N 中最佳，可減少時間雜訊 |
| 確定性替代 / 模擬 | 直接測量成本高昂或容易受到干擾，但有可靠的替代指標或實際情況的重播記錄 | 計算決定性 Proxy，或重播固定播種的作業情境 | 任何環境；使用固定種子完全可重現 |
| 樣本外驗證 | 候選人產生的模型或資料管道品質 | 訓練/調整候選模型，然後根據保留或新產生的資料評估模型 | 訓練/評估堆疊；嚴格的訓練與驗證分割；在保留集上重新驗證獲勝者 |
詳情請參閱網誌上的 AlphaEvolve 公告 Google Cloud 。
如果上述任一方式都無法自動產生號碼，表示問題尚未準備好進行 AlphaEvolve。因此，核心工作是建構可行的替代或模擬模型。
3. 處理多個目標和限制
實際目標通常會混合多種考量因素。您可以採取下列其中一種做法：
純量混合 (最簡單，建議從這個方法開始)：將各項指標重新調整為可比較的範圍，然後將要縮減的指標取反，最後加總：score = w1*A - w2*L - w3*M。
相較於 A/(L⋅M) 等比率，建議使用加總，因為比率在數值上不穩定。
傳回具名分數的字典：讓 AlphaEvolve 共同最佳化這些分數。評估人員可以傳回多個具名指標，而非單一數字：
```JSON
{
"scores": [
{"metric": "accuracy", "score": 0.95},
{"metric": "latency_ms", "score": -120.0}
]
}
```
這兩項指標的值越高越好，因此請將要盡量減少的項目設為負值。這會觸發真正的多目標搜尋，而不只是產生報表：人口資料庫會保留每個指標的最佳程式 (MAP-Elites)，在各項指標中維持帕累托前沿，並在不同指標中多樣化地取樣父項。如果啟用取樣功能，也可以直接從 Pareto 前沿繪製父項。單一廣告標題分數仍會影響回報的爬山圖，但每個傳回的指標都會影響搜尋結果。
維持 3 到 5 個指標：如果指標過多，帕累托優勢會退化，幾乎每個程式在某方面都不會受到支配，搜尋也會漫無目的。匯總或捨棄超過該門檻的指標。
區分正確性和可行性：將正確性視為嚴格的門檻，而非獎勵函式的一部分。如果候選項目錯誤或不可行，無論多麼快速或便宜，都會獲得失敗分數。這是防止代理程式操縱指標的主要防禦措施。
限制條件最佳化：將一個目標設為限制條件，並最佳化其他目標，違反限制條件時則套用處罰。在多個限制層級執行這項工作流程，即可追蹤帕累托前沿。
4. 決定評估人員的執行位置
AlphaEvolve 絕不會直接執行評估工具。這項服務會提議候選程式並接收分數；您則負責代管及執行計算分數的程式碼。環境完全由您選擇，無法在Google Cloud 上執行的候選版本並非阻礙。您可以在可評估目標的任何位置執行評估工具，然後回報分數。
為確保部署作業有效率且安全，您必須配合特定評估策略調整運算基礎架構，同時遵守通用執行限制。請按照下列規範選取執行環境，並瞭解適用於所有設定的核心作業界線。
根據執行環境選擇合適的評估方法
直接計算或替代：控制器的自有程序，或單一 Cloud Run 容器。
效能或負載測試：目標硬體，例如 GKE 上的 GPU 或 TPU 節點、您自己的內部部署或自訂硬體，或是第三方或 ISV 工具 (例如 EDA 或 Verilog 模擬器)。
樣本外驗證或大量工作：訓練堆疊已分散到 Cloud Run 或 GKE，或使用 Cluster Toolkit 卸載至Google Cloud batch，以處理大型 HPC 或加速器工作負載。
無論環境為何，都適用以下兩項限制
請盡量將每次評估時間控制在 10 分鐘左右，讓演化迴圈持續運作。如果是成本較高的目標，請使用評估連鎖程序，檢查每位候選人，只對有希望的候選人進行完整評估。
您擁有評估人員的網路、安全性和存取權控管機制。AlphaEvolve 不會部署或管理評估人員，無論是在 Google Cloud 或其他任何地方。
決定指標、計算方式和執行位置後，請參閱評估工具實作模式，瞭解如何建構評估工具。