ツール: get_evaluation_run
指定された評価実行の詳細を取得します。
次のコードサンプルは、curl を使用して get_evaluation_run MCP ツールを呼び出す方法を示しています。
| Curl リクエスト |
|---|
curl --location 'https://ces.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "get_evaluation_run", "arguments": { // Provide these details according to the MCP tool specification. } }, "jsonrpc": "2.0", "id": 1 }' |
入力スキーマ
EvaluationService.GetEvaluationRun のリクエスト メッセージです。
GetEvaluationRunRequest
| JSON 表現 |
|---|
{ "name": string } |
| フィールド | |
|---|---|
name |
必須。取得する評価実行のリソース名。 |
出力スキーマ
評価実行は、評価実行のすべての評価結果を表します。
EvaluationRun
| JSON 表現 |
|---|
{ "name": string, "displayName": string, "evaluationResults": [ string ], "createTime": string, "initiatedBy": string, "appVersion": string, "appVersionDisplayName": string, "changelog": string, "changelogCreateTime": string, "evaluations": [ string ], "evaluationDataset": string, "evaluationType": enum ( |
| フィールド | |
|---|---|
name |
ID。評価実行の固有識別子。形式: |
displayName |
省略可。評価実行のユーザー定義の表示名。デフォルト: 「 |
evaluationResults[] |
出力専用。この実行の一部である評価結果。形式: |
createTime |
出力専用。評価の実行が作成されたときのタイムスタンプ。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: |
initiatedBy |
出力専用。評価実行を開始したユーザー。 |
appVersion |
出力専用。評価するアプリのバージョン。形式: |
appVersionDisplayName |
出力専用。評価が実行された |
changelog |
出力専用。評価が実行されたアプリ バージョンの変更ログ。これは、ユーザーが最新版/下書き版で評価を実行した場合に設定されます。 |
changelogCreateTime |
出力専用。評価が実行されたアプリ バージョンの変更ログの作成時間。これは、ユーザーが最新版/下書き版で評価を実行した場合に設定されます。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: |
evaluations[] |
出力専用。この実行に含まれる評価。リストには、どちらのタイプの評価も含まれる場合があります。このフィールドは |
evaluationDataset |
出力専用。この実行に関連付けられている評価データセット。このフィールドは |
evaluationType |
出力専用。この実行の評価のタイプ。 |
state |
出力専用。評価実行の状態。 |
progress |
出力専用。評価実行の進行状況。 |
config |
出力専用。実行で使用される構成。 |
error |
出力専用。非推奨: 代わりに error_info を使用してください。実行中に発生したエラー。 |
errorInfo |
出力専用。評価実行のエラー情報。 |
evaluationRunSummaries |
出力専用。評価名と EvaluationRunSummary のマッピング。
|
latencyReport |
出力専用。評価実行のレイテンシ レポート。 |
runCount |
出力専用。実行内の評価が実行された回数。 |
personaRunConfigs[] |
出力専用。ペルソナごとに実行に使用する構成。 |
optimizationConfig |
省略可。評価実行後に最適化ステップを実行するための構成。設定されていない場合、最適化ステップは実行されません。 |
scheduledEvaluationRun |
出力専用。この評価実行を作成したスケジュールされた評価実行のリソース名。このフィールドは、評価実行がスケジュールされた評価実行によって作成された場合にのみ設定されます。形式: |
goldenRunMethod |
出力専用。評価の実行に使用されるメソッド。 |
operation |
出力専用。この評価実行を作成したオペレーション。形式: |
タイムスタンプ
| JSON 表現 |
|---|
{ "seconds": string, "nanos": integer } |
| フィールド | |
|---|---|
seconds |
UNIX エポック 1970-01-01T00:00:00Z からの UTC 時刻の秒数を表します。-62135596800~253402300799 の範囲(両端を含む)にする必要があります(これは 0001-01-01T00:00:00Z~9999-12-31T23:59:59Z に対応します)。 |
nanos |
ナノ秒分解能による、秒の負ではない小数以下部分。このフィールドは、秒の代替ではなく、期間のナノ秒部分です。小数以下を含む負の秒の値は、時間を前方にカウントする負ではない nanos 値を持つ必要があります。0~999,999,999 にする必要があります(両端を含む)。 |
進行状況
| JSON 表現 |
|---|
{ "totalCount": integer, "failedCount": integer, "errorCount": integer, "completedCount": integer, "passedCount": integer, "cancelledCount": integer } |
| フィールド | |
|---|---|
totalCount |
出力専用。この実行の評価結果の合計数。 |
failedCount |
出力専用。結果が FAIL の評価結果の完了数。(EvaluationResult.execution_state が COMPLETED で、EvaluationResult.evaluation_status が FAIL)。 |
errorCount |
出力専用。実行に失敗した評価結果の数。(EvaluationResult.execution_state が ERROR)。 |
completedCount |
出力専用。正常に終了した評価結果の数。(EvaluationResult.execution_state が COMPLETED)。 |
passedCount |
出力専用。結果が PASS の完了した評価結果の数。(EvaluationResult.execution_state が COMPLETED で、EvaluationResult.evaluation_status が PASS)。 |
cancelledCount |
出力専用。キャンセルされた評価結果の数。(EvaluationResult.execution_state が CANCELLED)。 |
EvaluationConfig
| JSON 表現 |
|---|
{ "inputAudioConfig": { object ( |
| フィールド | |
|---|---|
inputAudioConfig |
省略可。入力音声の処理の構成。 |
outputAudioConfig |
省略可。出力音声の生成に関する構成。 |
evaluationChannel |
省略可。評価するチャネル。 |
toolCallBehaviour |
省略可。評価で実際のツール呼び出しを使用するか、偽のツールを使用するかを指定します。 |
InputAudioConfig
| JSON 表現 |
|---|
{
"audioEncoding": enum ( |
| フィールド | |
|---|---|
audioEncoding |
必須。入力音声データのエンコード。 |
sampleRateHertz |
必須。入力音声データのサンプルレート(ヘルツ単位)。 |
noiseSuppressionLevel |
省略可。入力音声のノイズ サプレッションを有効にするかどうか。使用可能な値は「low」、「moderate」、「high」、「very_high」です。 |
OutputAudioConfig
| JSON 表現 |
|---|
{
"audioEncoding": enum ( |
| フィールド | |
|---|---|
audioEncoding |
必須。出力音声データのエンコード。 |
sampleRateHertz |
必須。出力音声データのサンプルレート(ヘルツ単位)。 |
ステータス
| JSON 表現 |
|---|
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] } |
| フィールド | |
|---|---|
code |
ステータス コード。 |
message |
デベロッパー向けのエラー メッセージ。英語で記述します。ユーザー向けのエラー メッセージは、ローカライズして |
details[] |
エラーの詳細を保持するメッセージのリスト。API が使用する共通のメッセージ タイプのセットがあります。 任意のデータ型のフィールドを含むオブジェクトであり、型を識別する URI を含むフィールド |
すべて
| JSON 表現 |
|---|
{ "typeUrl": string, "value": string } |
| フィールド | |
|---|---|
typeUrl |
スラッシュで終わる接頭辞と完全修飾型名で構成される URI 参照を使用して、シリアル化された Protobuf メッセージの型を識別します。 例: type.googleapis.com/google.protobuf.StringValue この文字列には 接頭辞は任意であり、Protobuf 実装では、最後の すべての型 URL 文字列は、有効な URI 参照である必要があります。また、テキスト形式の場合、参照の内容は英数字、パーセント エンコードされたエスケープ、および次のセットの文字(外側のバッククォートを除く)のみで構成されている必要があります。
|
value |
type_url で記述された型の Protobuf シリアル化を保持します。 Base64 でエンコードされた文字列。 |
EvaluationErrorInfo
| JSON 表現 |
|---|
{
"errorType": enum ( |
| フィールド | |
|---|---|
errorType |
出力専用。エラーの種類。 |
errorMessage |
出力専用。エラー メッセージ。 |
sessionId |
出力専用。エラーの原因となった会話のセッション ID。 |
userFacingErrorMessage |
出力専用。ユーザーに表示されるエラー メッセージ。 |
EvaluationRunSummariesEntry
| JSON 表現 |
|---|
{
"key": string,
"value": {
object ( |
| フィールド | |
|---|---|
key |
|
value |
|
EvaluationRunSummary
| JSON 表現 |
|---|
{ "passedCount": integer, "failedCount": integer, "errorCount": integer } |
| フィールド | |
|---|---|
passedCount |
出力専用。この実行で関連付けられた評価の合格結果の数。 |
failedCount |
出力専用。この実行で関連付けられた評価の失敗した結果の数。 |
errorCount |
出力専用。この実行に関連付けられた評価のエラー結果の数。 |
LatencyReport
| JSON 表現 |
|---|
{ "toolLatencies": [ { object ( |
| フィールド | |
|---|---|
toolLatencies[] |
出力専用。順序なしリスト。各ツールのレイテンシ指標。 |
callbackLatencies[] |
出力専用。順序なしリスト。各コールバックのレイテンシ指標。 |
guardrailLatencies[] |
出力専用。順序なしリスト。各ガードレールのレイテンシ指標。 |
llmCallLatencies[] |
出力専用。順序なしリスト。LLM 呼び出しごとのレイテンシ指標。 |
sessionCount |
出力専用。レイテンシ レポートで考慮されたセッションの合計数。 |
ToolLatency
| JSON 表現 |
|---|
{ "toolDisplayName": string, "latencyMetrics": { object ( |
| フィールド | |
|---|---|
toolDisplayName |
出力専用。ツールの表示名。 |
latencyMetrics |
出力専用。ツールのレイテンシ指標。 |
共用体フィールド tool_identifier。ツールの識別子。tool_identifier は次のいずれかになります。 |
|
tool |
出力専用。形式: |
toolsetTool |
出力専用。ツールセット ツールの ID。 |
ToolsetTool
| JSON 表現 |
|---|
{ "toolset": string, "toolId": string } |
| フィールド | |
|---|---|
toolset |
必須。このツールが派生した Toolset のリソース名。形式: |
toolId |
省略可。スキーマを取得するツールをフィルタするツール ID。 |
LatencyMetrics
| JSON 表現 |
|---|
{ "p50Latency": string, "p90Latency": string, "p99Latency": string, "callCount": integer } |
| フィールド | |
|---|---|
p50Latency |
出力専用。50 パーセンタイル レイテンシ。
|
p90Latency |
出力専用。90 パーセンタイル レイテンシ。
|
p99Latency |
出力専用。99 パーセンタイル レイテンシ。
|
callCount |
出力専用。リソースが呼び出された回数。 |
所要時間
| JSON 表現 |
|---|
{ "seconds": string, "nanos": integer } |
| フィールド | |
|---|---|
seconds |
期間の符号付き秒数。-315,576,000,000 ~+315,576,000,000 の範囲(両端を含む)にする必要があります。注: これらの上限は、60 秒/分 * 60 分/時間 * 24 時間/日 * 365.25 日/年 * 10,000 年から計算されます。 |
nanos |
時間のスパンのナノ秒分解能による、秒の符号付き小数以下部分。1 秒未満の期間は、0 の |
CallbackLatency
| JSON 表現 |
|---|
{
"stage": string,
"latencyMetrics": {
object ( |
| フィールド | |
|---|---|
stage |
出力専用。コールバックのステージ。 |
latencyMetrics |
出力専用。コールバックのレイテンシ指標。 |
GuardrailLatency
| JSON 表現 |
|---|
{
"guardrail": string,
"guardrailDisplayName": string,
"latencyMetrics": {
object ( |
| フィールド | |
|---|---|
guardrail |
出力専用。ガードレールの名前。形式: |
guardrailDisplayName |
出力専用。ガードレールの表示名。 |
latencyMetrics |
出力専用。ガードレールのレイテンシ指標。 |
LlmCallLatency
| JSON 表現 |
|---|
{
"model": string,
"latencyMetrics": {
object ( |
| フィールド | |
|---|---|
model |
出力専用。モデルの名前。 |
latencyMetrics |
出力専用。LLM 呼び出しのレイテンシ指標。 |
PersonaRunConfig
| JSON 表現 |
|---|
{ "persona": string, "taskCount": integer } |
| フィールド | |
|---|---|
persona |
省略可。評価に使用するペルソナ。形式: |
taskCount |
省略可。ペルソナで実行するタスクの数。 |
OptimizationConfig
| JSON 表現 |
|---|
{
"generateLossReport": boolean,
"assistantSession": string,
"reportSummary": string,
"shouldSuggestFix": boolean,
"status": enum ( |
| フィールド | |
|---|---|
generateLossReport |
省略可。損失レポートを生成するかどうか。 |
assistantSession |
出力専用。この評価実行に基づく最適化に使用するアシスタント セッション。形式: |
reportSummary |
出力専用。損失レポートの概要。 |
shouldSuggestFix |
出力専用。損失の修正を提案するかどうか。 |
status |
出力専用。最適化実行のステータス。 |
errorMessage |
出力専用。最適化の実行が失敗した場合のエラー メッセージ。 |
lossReport |
出力専用。生成された損失レポート。 |
構造体
| JSON 表現 |
|---|
{ "fields": { string: value, ... } } |
| フィールド | |
|---|---|
fields |
動的に型指定される値の順序なしのマップ。
|
FieldsEntry
| JSON 表現 |
|---|
{ "key": string, "value": value } |
| フィールド | |
|---|---|
key |
|
value |
|
値
| JSON 表現 |
|---|
{ // Union field |
| フィールド | |
|---|---|
共用体フィールド kind。値の種類。kind は次のいずれかになります。 |
|
nullValue |
JSON |
numberValue |
JSON 数値を表します。 |
stringValue |
JSON 文字列を表します。 |
boolValue |
JSON ブール値(JSON の |
structValue |
JSON オブジェクトを表します。 |
listValue |
JSON 配列を表します。 |
ListValue
| JSON 表現 |
|---|
{ "values": [ value ] } |
| フィールド | |
|---|---|
values[] |
動的に型指定される値の繰り返しフィールド。 |
EvaluationType
この実行の評価のタイプ。今後、値が追加される可能性があります。
| 列挙型 | |
|---|---|
EVALUATION_TYPE_UNSPECIFIED |
評価タイプが指定されていません。 |
GOLDEN |
ゴールデン評価。 |
SCENARIO |
シナリオの評価。 |
MIXED |
実行にゴールデン評価とシナリオ評価の両方が含まれていることを示します。 |
EvaluationRunState
評価実行の状態。
| 列挙型 | |
|---|---|
EVALUATION_RUN_STATE_UNSPECIFIED |
評価実行の状態が指定されていません。 |
QUEUED |
評価の実行がキューに登録されていることを示します。 |
RUNNING |
評価実行が実行中です。 |
COMPLETED |
評価の実行が完了しました。 |
ERROR |
評価の実行にエラーがあります。 |
CANCELLED |
評価の実行がキャンセルされました。 |
AudioEncoding
AudioEncoding は、音声データのエンコード形式を指定します。
| 列挙型 | |
|---|---|
AUDIO_ENCODING_UNSPECIFIED |
音声エンコードが指定されていません。 |
LINEAR16 |
16 ビット リニア PCM 音声エンコード。 |
MULAW |
G.711 PCMU/mu-law を使用して 14 ビットの音声サンプルの圧縮と伸張を行う 8 ビットのサンプル。 |
ALAW |
G.711 PCMU/A-law を使用して 14 ビットの音声サンプルをコンパンディングする 8 ビットのサンプル。 |
EvaluationChannel
評価するチャネル。
| 列挙型 | |
|---|---|
EVALUATION_CHANNEL_UNSPECIFIED |
評価チャンネルが指定されていません。 |
TEXT |
テキストのみの評価チャネル。 |
AUDIO |
音声評価チャンネル。 |
EvaluationToolCallBehaviour
評価実行のツール呼び出しの動作を構成します。
| 列挙型 | |
|---|---|
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED |
ツール呼び出しの動作が指定されていません。デフォルトでは実際のツール呼び出しになります。 |
REAL |
実際のツール呼び出しを使用します。 |
FAKE |
偽のツール呼び出しを使用します。 |
ErrorType
エラーの種類
| 列挙型 | |
|---|---|
ERROR_TYPE_UNSPECIFIED |
エラータイプが指定されていません。 |
RUNTIME_FAILURE |
ランタイム実行中のエラー。 |
CONVERSATION_RETRIEVAL_FAILURE |
CES ランタイムから会話を取得できませんでした。 |
METRIC_CALCULATION_FAILURE |
指標 / 結果を計算できない。 |
EVALUATION_UPDATE_FAILURE |
評価を更新できませんでした。 |
QUOTA_EXHAUSTED |
割り当てを使い切りました。 |
USER_SIMULATION_FAILURE |
ユーザー シミュレーション中にエラーが発生しました。 |
OptimizationStatus
最適化実行のステータス。
| 列挙型 | |
|---|---|
OPTIMIZATION_STATUS_UNSPECIFIED |
最適化ステータスが指定されていません。 |
RUNNING |
最適化が実行中です。 |
COMPLETED |
最適化が完了しました。 |
ERROR |
内部エラーのため、最適化に失敗しました。 |
NullValue
JSON null を表します。
NullValue はセンチネルです。1 つの値のみを持つ列挙型を使用して、Value 型共用体の null 値を表します。
0 以外の値を持つ NullValue 型のフィールドは無効と見なされます。ほとんどの ProtoJSON シリアライザーは、整数値に関係なく、null_value を JSON null として設定した Value を出力するため、0 値に往復します。
| 列挙型 | |
|---|---|
NULL_VALUE |
Null 値。 |
GoldenRunMethod
評価の実行に使用されるメソッド。
| 列挙型 | |
|---|---|
GOLDEN_RUN_METHOD_UNSPECIFIED |
実行メソッドが指定されていません。 |
STABLE |
評価を安定した再生として実行します。各ターンは一意のセッションであり、前の予想されるターンがコンテキストとして挿入されます。 |
NAIVE |
評価をナイーブな再生として実行します。この実行は、コンテキストが挿入されていない単一のセッションです。 |
ツールのアノテーション
ツールのアノテーションは、特定のツールの基本的なリスクを説明するために MCP クライアントに送信されます。ほとんどのクライアントはこれらのヒントを信頼できないものとして扱いますが、確認プロンプトをユーザーに送信するタイミングを決定するために使用できます。
タイトル文字列とともに、次のブール値のヒントが次のように定義されます。
readOnlyHint: true の場合、ツールは環境を変更しません。デフォルトは false です。destructiveHint: true の場合、ツールは破壊的なアクションを実行できます。false の場合、ツールは追加アクションのみを実行できます。デフォルト値は true です。idempotentHint: true の場合、同じ引数でツールを繰り返し呼び出しても、環境に影響はありません。デフォルトは false です。openWorldHint: true の場合、ツールは外部エンティティの「オープンワールド」とやり取りできます。false の場合、ツールは内部エンティティとのみやり取りできます。たとえば、ウェブ検索ツールはオープン ワールドですが、メモリツールはオープン ワールドではありません。
破壊的ヒント: ❌ | べき等ヒント: ✅ | 読み取り専用ヒント: ✅ | オープン ワールド ヒント: ❌