最適化の目標を定量化する

最適化の目標は、各世代で AlphaEvolve が最大化する単一の数値を表します。評価ツールのコードを記述する前に、次の 3 つの質問に答えてください。

  1. この数値は何を表していますか？

  2. システムはどのように計算しますか？

  3. 計算はどこで実行されますか？

AlphaEvolve では、人間による介入なしで、候補となるすべてのソリューションに対して自動化されたプログラムによる目標計算が厳密に必要となります。この自動化により、AlphaEvolve に適した問題になります。ソリューションの品質を人が手動で判断する必要がある場合、AlphaEvolve はそのソリューションを検索できません。

生成された候補ソリューションのパフォーマンスを、さまざまな最適化目標と検証制約に基づいて見積もるには、次の点を考慮してください。

  • 最適化目標は、経験的な測定を必要とせずに、ビジネス ロジックまたはプロダクト ロジックを使用して直接計算できますか？
  • 生成されたソリューションのコードでパフォーマンス テストと負荷テストを実行して、最適化目標を直接測定できますか？
  • 確立された決定論的な代替関数と信頼性の高いシミュレーション方法を使用して、最適化目標を見積もることができますか？
  • 経験的な観測に基づいて調整し、サンプル外データで検証する必要があるカスタム代替関数（予測モデルやその他の非決定論的推定量など）を設計して、最適化目標を見積もることができますか？

目標を定量化するための基本的な手順

AlphaEvolve が検索をガイドする信頼性の高い自動フィードバック ループを備えていることを確認するには、体系的なアプローチに従います。指標を確立し、その測定方法を定義し、実行場所を決定するには、次の手順を完了します。

1. ソリューションの改善に応じて増加する単一のスコアとして目標を表す

検索パスに明確な方向勾配を持たせるため、コア最適化指標を構成して、実際のパフォーマンスの向上に合わせて線形または単調にスケーリングします。

  • スカラーの最大化: AlphaEvolve は常に 1 つのスカラー値を最大化します。重視するものを、値が大きいほど良い単一の数値に変換します。レイテンシ、費用、エラーを最小限に抑えるには、否定します。 score = -latency_ms

  • 単調性: スコアは単調でなければなりません。ソリューションが実際に改善されるたびに上昇する必要があります。スコアが不規則に変動すると、検索の方向性が失われます。

  • 決定論的な実行: スコアは評価ツールで計算され、LLM や人が計算することはありません。同じ候補が常に同じスコアを取得するように、決定論的に計算します。

  • 主観的な目標の結合分析: スコアリング式を作成できないが、2 つのソリューションを目で比較できる場合は、結合分析を使用して作成します。候補となる出力のペアを生成し、ドメイン エキスパートに各ペアで優れた方を選択してもらいます。これらの選択肢にロジスティック回帰を当てはめ、当てはめたモデルを指標として使用します。これにより、主観的な判断が決定論的で微分可能なスコアに変わります。生の LLM ルーブリックは、遅く、ノイズが多く、報酬ハッキングが容易なため、ライブスコアとして使用しないでください。まず固定関数に抽出します。

2. スコアの計算方法を選択する

数値の生成方法は、測定対象によって異なります。目標に一致する表から方法を選択します。実際のデプロイのほとんどは、これら 4 つのいずれかを使用します。また、検索を促進する安価な方法と、勝者を確定する高価な方法を組み合わせることも多くあります。

測定方法 目標が次の場合は使用します。 スコアの生成方法 実行に必要なもの
直接計算 ビジネス ロジックまたはプロダクト ロジックを使用して、候補の出力から閉形式で計算できる量 評価ツールは候補を実行し、式（合計、比率、カウント、費用）を適用します コントローラの独自のプロセス - 追加のインフラストラクチャは不要
パフォーマンス テストまたは負荷テスト 候補コード自体のランタイム、スループット、メモリ 代表的なハードウェアで候補を実行して測定します。まず正確性を確認します ターゲット ハードウェア（GPU、TPU、CPU）。タイミング ノイズを削減するためのウォームアップとベストオブ N
決定論的な代替 / シミュレーション 直接測定するには費用がかかるかノイズが多いが、信頼できるプロキシまたは実際の条件の再生が存在する 決定論的なプロキシを計算するか、固定シードのオペレーティング シナリオを再生します 任意の環境。固定シードで完全に再現可能
サンプル外検証 候補が生成するモデルまたはデータパイプラインの品質 候補をトレーニング/当てはめ、保留データまたは新しく生成されたデータでスコアを付けます トレーニング/評価スタック。厳密なトレーニングと検証の分割。保留セットで勝者を再検証

詳細については、ブログの AlphaEvolve のお知らせをご覧ください Google Cloud 。

これらのいずれも数値を自動的に生成できない場合、問題は AlphaEvolve の準備ができていません。その場合、コアタスクは、生成できる代替またはシミュレーションを構築することです。

3. 複数の目標と制約を処理する

実際の目標には通常、いくつかの懸念事項が混在しています。これらを処理するには、次の 2 つの方法のいずれかを使用します。

  1. 評価ツールの実装パターン

  2. 多目的最適化

スカラーのブレンド（最も簡単 - まずはこちらから始めることをおすすめします）: 各指標を比較可能な範囲に再スケーリングし、最小化するものを否定して、加算します。score = w1*A - w2*L - w3*M

数値的に不安定な A/(L⋅M) などの比率よりも、加算和を優先します。

名前付きスコアのディクショナリを返します。AlphaEvolve でそれらを共同で最適化できます。評価ツールは、1 つの数値ではなく、複数の名前付き指標を返すことができます。

```JSON
{
  "scores": [
    {"metric": "accuracy", "score": 0.95},
    {"metric": "latency_ms", "score": -120.0}
  ]
}
```

それぞれ値が大きいほど良いので、最小化するものは否定します。これにより、単なるレポートではなく、真の多目的検索がトリガーされます。母集団データベースは、指標ごとに最適なプログラム（MAP-Elites）を保持し、指標間でパレート フロントを維持し、さまざまな指標で多様な親をサンプリングします。このサンプリングが有効になっている場合は、パレート フロントから親を直接抽出することもできます。単一の見出しスコアは、報告されたヒルクライムを推進しますが、返されたすべての指標が検索を形成します。

  1. 3 ～ 5 個の指標に抑えます。指標が多すぎると、パレート優位性が低下し、ほぼすべてのプログラムが何らかの点で非優位になり、検索が迷走します。そのしきい値を超える指標は集計または削除します。

  2. 正確性と実現可能性を分離します。正確性は報酬関数の一部ではなく、ハードゲートとして保持します。間違っているか実現不可能な候補は、速度や費用に関係なく失敗スコアを取得します。これは、エージェントが指標を操作するのを防ぐための主要な防御策です。

  3. 制約の最適化: 1 つの目標を制約として保持し、もう 1 つの目標を最適化します。制約に違反した場合はペナルティを適用します。このワークフローを複数の制約レベルで実行すると、パレート フロントがトレースされます。

4. 評価ツールの実行場所を決定する

AlphaEvolve は評価ツールを直接実行しません。候補となるプログラムを提案し、スコアを受け取ります。スコアを計算するコードをホストして実行します。環境は完全に任意であり、 で実行できない候補はブロックされません。Google Cloud 目標を測定できる場所で評価ツールを実行し、スコアを送信します。

効率的で安全なデプロイを実現するには、コンピューティング インフラストラクチャを特定の測定戦略に合わせる必要があります。また、汎用的な実行上限を遵守する必要があります。実行環境を選択し、すべての設定に適用されるコア オペレーションの境界を理解するには、次のガイドラインを使用します。

実行環境を測定方法に合わせる

直接計算または代替: コントローラの独自のプロセス、または単一の Cloud Run コンテナ。

パフォーマンス テストまたは負荷テスト: GKE の GPU または TPU ノードなどのターゲット ハードウェア、独自のオンプレミスまたはカスタム ハードウェア、サードパーティまたは ISV ツール（EDA や Verilog シミュレータなど）。

サンプル外検証または負荷の高いジョブ: Cloud Run または GKE に分散されたトレーニング スタック、または大規模な HPC またはアクセラレータ ワークロード用の Cluster Toolkit を使用して バッチにオフロード。Google Cloud

環境に関係なく 2 つの上限が適用される

進化ループが継続するように、各評価を 10 分以内に抑えるようにしてください。費用のかかる目標の場合は、評価カスケードを使用します。すべての候補をチェックし、有望な候補に対してのみ完全な評価を実行します。

評価ツールのネットワーク、セキュリティ、アクセス制御はユーザーが所有します。 AlphaEvolve は、 またはその他の場所で評価ツールをデプロイまたは管理しません。 Google Cloud

指標、計算方法、実行場所が決まったら、 評価ツールの実装パターンで評価ツールの構造化方法をご覧ください。