このドキュメントでは、エージェント評価を使用してエージェントのパフォーマンス、安全性、品質を測定し、改善する方法について説明します。
モデル評価の詳細については、Gen AI Evaluation Service の概要をご覧ください。
手順の概要
| フェーズ | アクティビティ | 目標 |
|---|---|---|
| デザイン | 評価ケースを定義する | エージェントのタスクと期待される成果を指定します。 |
| 実行 | 推論を実行する | 実際の会話トレースまたはシミュレートされた会話トレースを生成します。 |
| スコア付け | コンピューティング指標 | 自動評価者（タスクの成功、安全性）を使用してトレースを評価します。 |
| 絞り込み | エージェントを最適化する | 指示やツールの改善を提案し、検証する。 |
評価プロセス
評価は、構造化された反復的なワークフローに沿って行われます。
- 評価ケースを定義する: 評価ケースは、エージェントのタスクを定義する仕様です。評価ケースには、1 つまたは複数の会話ステップ、会話コンテキスト（エージェントの状態）、推論中にユーザーのレスポンスをシミュレートするための仕様を含めることができます。
- 推論を実行する: 推論とは、評価ケースの実行です。評価ケースに会話プランが含まれている場合、推論中にユーザーの回答がシミュレートされます。
- トレースを生成する: 各推論実行では、エージェントの動作がトレースにキャプチャされます。トレースは、モデルの入力、レスポンス、ツール呼び出しなど、エージェントの動作に関する事実に基づく不変のレコードです。
- コンピューティング指標: 指標は、事前構築済みまたはカスタムの評価者を使用してトレースごとに計算されるスコアです。完全一致などの一部の指標は参照ベースであり、参照回答を含む評価ケースが必要です。有用性などの他の指標は参照なしで、トレースを独自に評価します。この自動評価により、マネージド テスト環境とは無関係に、本番環境のトラフィックまたは外部ログからキャプチャされたトレースをスコアリングできます。
- 分析を実施する: 指標、ルーブリック、判定を分析して、エージェントの主な問題を特定し、エージェントの問題をテストケースに関連付けて、改善のための生成インサイトを生成します。
- エージェントを最適化する: 最適化を使用して、評価サイクル全体を管理します。この自動化されたプロセスは、結果を分析し、エージェントの改善を提案して、プロセスを繰り返し再実行してパフォーマンスの向上を検証します。
評価ワークフロー
評価は、ワークフローの次の 2 つの主要なステージに統合できます。
- ローカル開発イテレーション: Agent Development Kit（ADK）ベースのエージェントをローカルで評価し、プロンプト エンジニアリングとツール構成を迅速にイテレーションします。
- デプロイされたエージェントの評価: 過去のトレースを分析するか、エージェント エンドポイントに対して合成ベンチマークを実行して、デプロイされたエージェントの品質を測定します。
中核となる機能
エージェント評価を使用すると、既存のテストデータがなくても、初期評価スイートを構築できます。次の機能は、テストケースの生成とエージェント システムの改良のプロセスを自動化するのに役立ちます。
シナリオ生成とユーザー シミュレーション: エージェントの手順とツール定義に基づいて、多様なマルチターン合成テストシナリオを自動的に生成します。この自動化により、最初のテストケースを手動で作成する必要がなくなり、すぐにテストを開始できます。
環境シミュレーション: 特定のツール呼び出しをインターセプトして、カスタム動作、モックデータ、シミュレートされたエラー（HTTP 503 エラーやレイテンシの急増など）を挿入します。このシミュレーションにより、本番環境のバックエンドに影響を与えることなく、エージェントの復元力を検証できます。
マルチターン評価: マルチターン自動評価ツールを使用して、会話履歴全体を自動的に評価します。これらの評価者は、インテント抽出を分析し、ルーブリックを動的に生成して、客観的な検証判定を提供し、指示の遵守を保証します。
プロンプトの最適化: プロンプトの最適化を使用して、洗練されたシステム指示をプログラムで生成して検証します。最適化フレームワークは、障害点を特定し、ターゲットを絞った更新を繰り返し提案します。
AI コーディング支援で評価する
Gemini CLI または別の AI コーディング アシスタントを使用している場合は、このページで説明されているエージェント評価方法をアシスタントに教えるエージェントスキルをインストールできます。各スキルは、評価ワークフロー、データセット スキーマ、指標選択ガイダンス、障害分析ステップをコーディング セッションで直接提供するため、アシスタントはエディタを離れることなく評価の構築、採点、改善を行うことができます。
インストール手順はスキルごとに異なります。
Agents CLI eval スキル
agents-cli eval コマンドを使用して ADK エージェントを評価および最適化する CLI 駆動型のワークフロー。このスキルでは、次の内容を学習します。
- 評価データセットの準備と、ユーザー シミュレーションによるマルチターン シナリオの合成
- 推論の実行、トレースの評価、失敗クラスタの分析
- 評価と修正のループでプロンプトとツールを反復処理する
インストールするには、次のコマンドを実行します。
npx skills add https://github.com/google/agents-cli --skill google-agents-cli-eval
Agent Platform Gen AI Evaluation Service のフライホイール スキル
Agent Platform GenAI Evaluation SDK（client.evals.evaluate()）を使用して、Gemini Enterprise Agent Platform Gen AI Evaluation Service を介してモデルとエージェントを評価、改善するための SDK 駆動型ハンドブック。このスキルでは、次の内容を扱います。
- セッション トレース、DataFrames、合成生成から評価データセットを構築する
- LLM-as-a-Judge スコアリングを使用したカスタム指標の選択、構成、作成
- ルーブリックの判定と損失パターンを分析して、具体的な改善を推進する
インストールするには、次のコマンドを実行します。
npx skills add https://github.com/google/skills --skill agent-platform-eval-flywheel