Google は AI 技術を使用して、コンテンツをご希望の言語に翻訳しています。AI 翻訳には誤りが含まれる場合があります。

MCP Tools Reference: ces.googleapis.com

ツール: `get_evaluation`

指定された評価の詳細を取得します。

次のコードサンプルは、curl を使用して get_evaluation MCP ツールを呼び出す方法を示しています。

Curl リクエスト
curl --location 'https://ces.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "get_evaluation", "arguments": { // provide these details according to the tool's MCP specification } }, "jsonrpc": "2.0", "id": 1 }'

Curl リクエスト

curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "get_evaluation",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

入力スキーマ

EvaluationService.GetEvaluation のリクエストメッセージです。

GetEvaluationRequest

JSON 表現
{ "name": string }

フィールド

フィールド
`name`	`string` 必須。取得する評価のリソース名。

name

string

必須。取得する評価のリソース名。

出力スキーマ

評価は、エージェントのシミュレーションと評価に必要なすべての情報を表します。

評価

JSON 表現

JSON 表現
{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object (`AggregatedMetrics`) }, "lastCompletedResult": { object (`EvaluationResult`) }, "invalid": boolean, "lastTenResults": [ { object (`EvaluationResult`) } ], "evaluationMetricsThresholdOverride": { object (`EvaluationMetricsThresholds`) }, "evaluationMetricsConfigOverride": { object (`EvaluationMetricsConfig`) }, // Union field `inputs` can be only one of the following: "golden": { object (`Golden`) }, "scenario": { object (`Scenario`) } // End of list of possible types for union field `inputs`. }

{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}

フィールド
`name`	`string` ID。この評価の固有識別子。形式: `projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}`
`displayName`	`string` 必須。ユーザー定義の評価の表示名。アプリ内で一意。
`description`	`string` 省略可。ユーザー定義の評価の説明。
`tags[]`	`string` 省略可。評価を分類するためのユーザー定義のタグ。
`evaluationDatasets[]`	`string` 出力専用。評価が属する評価データセットのリスト。形式: `projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}`
`createTime`	`string (Timestamp format)` 出力専用。評価が作成されたときのタイムスタンプ。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: `"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"`、`"2014-10-02T15:01:23+05:30"`。
`createdBy`	`string` 出力専用。評価を作成したユーザー。
`updateTime`	`string (Timestamp format)` 出力専用。評価が最後に更新されたときのタイムスタンプ。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: `"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"`、`"2014-10-02T15:01:23+05:30"`。
`lastUpdatedBy`	`string` 出力専用。評価を最後に更新したユーザー。
`evaluationRuns[]`	`string` 出力専用。この評価に関連付けられている EvaluationRun。
`etag`	`string` 出力専用。読み取り、変更、書き込みオペレーション中にオブジェクトが変更されていないことを確認するために使用される ETag。etag が空の場合、更新によって同時変更が上書きされます。
`aggregatedMetrics`	`object (AggregatedMetrics)` 出力専用。すべての実行にわたるこの評価の集計指標。
`lastCompletedResult`	`object (EvaluationResult)` 出力専用。この評価の最新の評価結果。
`invalid`	`boolean` 出力専用。評価が無効かどうか。これは、評価が、削除されたツール、ツールセット、エージェントを参照している場合に発生する可能性があります。
`lastTenResults[]`	`object (EvaluationResult)` 出力専用。この評価の過去 10 回の評価結果。これは、ListEvaluationsRequest または GetEvaluationRequest で include_last_ten_results が true に設定されている場合にのみ入力されます。
`evaluationMetricsThresholdOverride`	`object (EvaluationMetricsThresholds)` 省略可。この特定の評価の指標しきい値をオーバーライドします。
`evaluationMetricsConfigOverride`	`object (EvaluationMetricsConfig)` 省略可。この特定の評価の指標構成をオーバーライドします。
共用体フィールド `inputs`。評価 `inputs` の入力は、次のいずれか 1 つのみです。
`golden`	`object (Golden)` 省略可。評価するゴールデンステップ。
`scenario`	`object (Scenario)` 省略可。シナリオの構成。

Golden

JSON 表現
{ "turns": [ { object (`GoldenTurn`) } ], "evaluationExpectations": [ string ] }

フィールド

フィールド
`turns[]`	`object (GoldenTurn)` 必須。ゴールデン会話を再生するために必要なゴールデンターン。許可される最大ターン数は 100 です。
`evaluationExpectations[]`	`string` 省略可。再生された会話を評価するための評価の期待値。形式: `projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}`

turns[]

object (GoldenTurn)

必須。ゴールデン会話を再生するために必要なゴールデンターン。許可される最大ターン数は 100 です。

evaluationExpectations[]

string

省略可。再生された会話を評価するための評価の期待値。形式: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

JSON 表現

JSON 表現
{ "steps": [ { object (`Step`) } ], "rootSpan": { object (`Span`) }, "turnLevelMetricsThresholdsOverride": { object (`TurnLevelMetricsThresholds`) }, "hallucinationMetricBehaviorOverride": enum (`HallucinationMetricBehavior`) }

{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior)
}

フィールド
`steps[]`	`object (Step)` 必須。ゴールデン会話を再生するために必要な手順。
`rootSpan`	`object (Span)` 省略可。音声情報の処理と維持のためのゴールデンターンのルートスパン。音声の URI には、16 kHz のサンプルレートで保存された音声が含まれている必要があります。
`turnLevelMetricsThresholdsOverride`	`object (TurnLevelMetricsThresholds)` 省略可。ターンレベルの指標のしきい値のオーバーライド。
`hallucinationMetricBehaviorOverride`	`enum (HallucinationMetricBehavior)` 省略可。ターンレベルのハルシネーション指標の動作をオーバーライドします。

ステップ

JSON 表現

JSON 表現
{ // Union field `step` can be only one of the following: "userInput": { object (`SessionInput`) }, "agentTransfer": { object (`AgentTransfer`) }, "expectation": { object (`GoldenExpectation`) } // End of list of possible types for union field `step`. }

{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}

フィールド
共用体フィールド `step`。実行するステップ。`step` は次のいずれかになります。
`userInput`	`object (SessionInput)` 省略可。会話のユーザー入力。
`agentTransfer`	`object (AgentTransfer)` 省略可。会話を別のエージェントに転送します。
`expectation`	`object (GoldenExpectation)` 省略可。現在のターンで期待値を実行します。

SessionInput

JSON 表現

JSON 表現
{ "willContinue": boolean, // Union field `input_type` can be only one of the following: "text": string, "dtmf": string, "audio": string, "toolResponses": { object (`ToolResponses`) }, "image": { object (`Image`) }, "blob": { object (`Blob`) }, "variables": { object }, "event": { object (`Event`) } // End of list of possible types for union field `input_type`. }

{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}

フィールド
`willContinue`	`boolean` 省略可。現在のメッセージが双方向ストリーミングセッションの大きな入力のフラグメントであるかどうかを示すフラグ。 `true` に設定すると、エージェントは `will_continue` が `false` の後続のメッセージを受信するまで、またはシステムが音声入力でエンドポイントを検出するまで、処理を延期します。注: このフィールドは音声入力と DTMF 入力には適用されません。これらは常にエンドポイント信号に基づいて自動的に処理されるためです。
共用体フィールド `input_type`。入力のタイプ。`input_type` は次のいずれかになります。
`text`	`string` 省略可。エンドユーザーからのテキストデータ。
`dtmf`	`string` 省略可。エンドユーザーからの DTMF 数字。
`audio`	`string (bytes format)` 省略可。エンドユーザーからの音声データ。 Base64 でエンコードされた文字列。
`toolResponses`	`object (ToolResponses)` 省略可。クライアントからのツール呼び出しの実行結果。
`image`	`object (Image)` 省略可。エンドユーザーからの画像データ。
`blob`	`object (Blob)` 省略可。エンドユーザーからの BLOB データ。
`variables`	`object (Struct format)` 省略可。セッションのコンテキスト変数。名前でキー設定されます。アプリで宣言された変数のみが CES エージェントで使用されます。認識されない変数は、追加のセッションパラメータとして [Dialogflow エージェント][Agent.RemoteDialogflowAgent] に送信されます。
`event`	`object (Event)` 省略可。イベント入力。

ToolResponses

JSON 表現
{ "toolResponses": [ { object (`ToolResponse`) } ] }

フィールド

フィールド
`toolResponses[]`	`object (ToolResponse)` 省略可。ツール実行結果のリスト。

toolResponses[]

object (ToolResponse)

省略可。ツール実行結果のリスト。

ToolResponse

JSON 表現

JSON 表現
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, // Union field `tool_identifier` can be only one of the following: "tool": string, "toolsetTool": { object (`ToolsetTool`) } // End of list of possible types for union field `tool_identifier`. }

{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}

フィールド
`id`	`string` 省略可。レスポンスの対象となる `tool call` の照合用のウェブ商品アイテム ID。
`displayName`	`string` 出力専用。ツールの表示名。
`response`	`object (Struct format)` 必須。JSON オブジェクト形式のツール実行結果。「output」キーを使用してツールのレスポンスを指定し、「error」キーを使用してエラーの詳細を指定します（存在する場合）。「output」キーと「error」キーが指定されていない場合、「response」全体がツール実行結果として扱われます。
`parentToolCallId`	`string` 出力専用。親呼び出しの代わりに動作するサブエージェントによって発行された場合、この呼び出しの原因となったツール呼び出しの ID。最上位の呼び出しの場合は空です。クライアントが、すべてのステップを兄弟としてレンダリングするのではなく、サブエージェントの作業を開始した呼び出しの下にグループ化できるようにします。
`agentName`	`string` 出力専用。この呼び出しを発行したエージェントの人間が読める形式の名前（「契約アーキテクト」など）。ルートエージェントが発行した場合は空。
共用体フィールド `tool_identifier`。実行されたツールの ID。永続化されたツールまたはツールセットのツールです。`tool_identifier` は次のいずれかになります。
`tool`	`string` 省略可。実行するツールの名前。形式: `projects/{project}/locations/{location}/apps/{app}/tools/{tool}`
`toolsetTool`	`object (ToolsetTool)` 省略可。実行されたツールセットツール。

ToolsetTool

JSON 表現
{ "toolset": string, "toolId": string }

フィールド

フィールド
`toolset`	`string` 必須。このツールが派生した Toolset のリソース名。形式: `projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}`
`toolId`	`string` 省略可。スキーマを取得するツールをフィルタするツール ID。

toolset

string

必須。このツールが派生した Toolset のリソース名。形式: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}

toolId

string

省略可。スキーマを取得するツールをフィルタするツール ID。

構造体

JSON 表現
{ "fields": { string: value, ... } }

フィールド

フィールド
`fields`	`map (key: string, value: value (Value format))` 動的に型指定される値の順序なしのマップ。 `"key": value` ペアのリストを含むオブジェクト。例: `{ "name": "wrench", "mass": "1.3kg", "count": "3" }`

fields

map (key: string, value: value (Value format))

動的に型指定される値の順序なしのマップ。

"key": value ペアのリストを含むオブジェクト。例: { "name": "wrench", "mass": "1.3kg", "count": "3" }

FieldsEntry

JSON 表現
{ "key": string, "value": value }

フィールド
`key`	`string`
`value`	`value (Value format)`

値

JSON 表現

JSON 表現
{ // Union field `kind` can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field `kind`. }

{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}

フィールド
共用体フィールド `kind`。値の種類。`kind` は次のいずれかになります。
`nullValue`	`null` JSON `null` を表します。
`numberValue`	`number` JSON 数値を表します。`NaN`、`Infinity`、`-Infinity` は JSON でサポートされていないため、使用できません。また、JSON 形式では通常、数値型で大きな Int64 値がサポートされていないため、大きな Int64 値も表現できません。
`stringValue`	`string` JSON 文字列を表します。
`boolValue`	`boolean` JSON ブール値（JSON の `true` または `false` リテラル）を表します。
`structValue`	`object (Struct format)` JSON オブジェクトを表します。
`listValue`	`array (ListValue format)` JSON 配列を表します。

ListValue

JSON 表現
{ "values": [ value ] }

フィールド

フィールド
`values[]`	`value (Value format)` 動的に型指定される値の繰り返しフィールド。

values[]

value (Value format)

動的に型指定される値の繰り返しフィールド。

画像

JSON 表現
{ "mimeType": string, "data": string }

フィールド

フィールド
`mimeType`	`string` 必須。ソースデータの IANA 標準 MIME タイプ。サポートされている画像タイプは次のとおりです。* image/png * image/jpeg * image/webp
`data`	`string (bytes format)` 必須。画像の未加工のバイト数。 Base64 でエンコードされた文字列。

mimeType

string

必須。ソースデータの IANA 標準 MIME タイプ。サポートされている画像タイプは次のとおりです。* image/png * image/jpeg * image/webp

data

string (bytes format)

必須。画像の未加工のバイト数。

Base64 でエンコードされた文字列。

Blob

JSON 表現
{ "mimeType": string, "data": string }

フィールド

フィールド
`mimeType`	`string` 必須。ソースデータの IANA 標準 MIME タイプ。
`data`	`string (bytes format)` 必須。blob の未加工のバイト数。 Base64 でエンコードされた文字列。

mimeType

string

必須。ソースデータの IANA 標準 MIME タイプ。

data

string (bytes format)

必須。blob の未加工のバイト数。

Base64 でエンコードされた文字列。

イベント

JSON 表現
{ "event": string }

フィールド

フィールド
`event`	`string` 必須。イベントの名前。

event

string

必須。イベントの名前。

AgentTransfer

JSON 表現
{ "targetAgent": string, "displayName": string }

フィールド

フィールド
`targetAgent`	`string` 必須。会話の転送先のエージェント。この時点からエージェントが会話を処理します。形式: `projects/{project}/locations/{location}/apps/{app}/agents/{agent}`
`displayName`	`string` 出力専用。エージェントの表示名。

targetAgent

string

必須。会話の転送先のエージェント。この時点からエージェントが会話を処理します。形式: projects/{project}/locations/{location}/apps/{app}/agents/{agent}

displayName

string

出力専用。エージェントの表示名。

GoldenExpectation

JSON 表現

JSON 表現
{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object (`ExpectationLevelMetricsThresholds`) }, "agentResponseSemanticSimilarityMetricsConfigOverride": { object (`SemanticSimilarityMetricsConfig`) }, "agentResponseHallucinationMetricsConfigOverride": { object (`HallucinationMetricsConfig`) }, "comparisonType": enum (`ComparisonType`), // Union field `condition` can be only one of the following: "toolCall": { object (`ToolCall`) }, "toolResponse": { object (`ToolResponse`) }, "agentResponse": { object (`Message`) }, "agentTransfer": { object (`AgentTransfer`) }, "updatedVariables": { object }, "mockToolResponse": { object (`ToolResponse`) }, "noToolCalls": boolean // End of list of possible types for union field `condition`. }

{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}

フィールド
`note`	`string` 省略可。この要件に関するメモ。特定のチェックが失敗した場合のレポートに役立ちます。例: "Check_Payment_Tool_Called".
`skipEvaluation`	`boolean` 省略可。true に設定すると、この特定の期待値は評価されません。
`expectationLevelMetricsThresholdsOverride`	`object (ExpectationLevelMetricsThresholds)` 省略可。ステップレベルで指標をオーバーライドします。
`agentResponseSemanticSimilarityMetricsConfigOverride`	`object (SemanticSimilarityMetricsConfig)` 省略可。agent_response の意味的類似性指標のオーバーライド。
`agentResponseHallucinationMetricsConfigOverride`	`object (HallucinationMetricsConfig)` 省略可。agent_response ハルシネーション指標のオーバーライド。
`comparisonType`	`enum (ComparisonType)` 省略可。期待値チェックに使用する比較タイプ。
共用体フィールド `condition`。実行する実際のチェック。`condition` は次のいずれかになります。
`toolCall`	`object (ToolCall)` 省略可。特定のツールがパラメータとともに呼び出されたことを確認します。
`toolResponse`	`object (ToolResponse)` 省略可。特定のツールが想定どおりのレスポンスを返したことを確認します。
`agentResponse`	`object (Message)` 省略可。エージェントが正しい回答を返したことを確認します。ロール「エージェント」は暗黙的に指定されます。
`agentTransfer`	`object (AgentTransfer)` 省略可。エージェントが会話を別のエージェントに転送したことを確認します。
`updatedVariables`	`object (Struct format)` 省略可。エージェントがセッション変数を想定どおりの値に更新したことを確認します。ゴールデン評価用のエージェント変数の更新もキャプチャするために使用されます。
`mockToolResponse`	`object (ToolResponse)` 省略可。モックするツールのレスポンス。対象のパラメータを指定します。指定されていないパラメータは LLM によってハルシネーションされます。
`noToolCalls`	`boolean` 省略可。このターンでツールが呼び出されなかったことを確認します。

ToolCall

JSON 表現

JSON 表現
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, // Union field `tool_identifier` can be only one of the following: "tool": string, "toolsetTool": { object (`ToolsetTool`) } // End of list of possible types for union field `tool_identifier`. }

{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}

フィールド
`id`	`string` 省略可。ツール呼び出しの一意の識別子。入力されている場合、クライアントは `ToolResponse` で照合用のウェブ商品アイテム ID を含む実行結果を返す必要があります。
`displayName`	`string` 出力専用。ツールの表示名。
`args`	`object (Struct format)` 省略可。JSON オブジェクト形式のツールの入力パラメータと値。
`parentToolCallId`	`string` 出力専用。親呼び出しの代わりに動作するサブエージェントによって発行された場合、この呼び出しの原因となったツール呼び出しの ID。最上位の呼び出しの場合は空です。クライアントが、すべてのステップを兄弟としてレンダリングするのではなく、サブエージェントの作業を開始した呼び出しの下にグループ化できるようにします。
`agentName`	`string` 出力専用。この呼び出しを発行したエージェントの人間が読める形式の名前（「契約アーキテクト」など）。ルートエージェントが発行した場合は空。
共用体フィールド `tool_identifier`。実行するツールの識別子。永続化されたツールまたはツールセットのツールです。`tool_identifier` は次のいずれかになります。
`tool`	`string` 省略可。実行するツールの名前。形式: `projects/{project}/locations/{location}/apps/{app}/tools/{tool}`
`toolsetTool`	`object (ToolsetTool)` 省略可。実行するツールセットツール。

メッセージ

JSON 表現
{ "role": string, "chunks": [ { object (`Chunk`) } ], "eventTime": string }

フィールド

フィールド
`role`	`string` 省略可。会話内のロール（ユーザー、エージェントなど）。
`chunks[]`	`object (Chunk)` 省略可。メッセージのコンテンツをチャンクのシーケンスとして表します。
`eventTime`	`string (Timestamp format)` 省略可。メッセージの送信または受信時のタイムスタンプ。メッセージが `example` の一部である場合は使用しないでください。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: `"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"`、`"2014-10-02T15:01:23+05:30"`。

role

string

省略可。会話内のロール（ユーザー、エージェントなど）。

chunks[]

object (Chunk)

省略可。メッセージのコンテンツをチャンクのシーケンスとして表します。

eventTime

string (Timestamp format)

省略可。メッセージの送信または受信時のタイムスタンプ。メッセージが example の一部である場合は使用しないでください。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。

チャンク

JSON 表現

JSON 表現
{ // Union field `data` can be only one of the following: "text": string, "transcript": string, "blob": { object (`Blob`) }, "payload": { object }, "image": { object (`Image`) }, "toolCall": { object (`ToolCall`) }, "toolResponse": { object (`ToolResponse`) }, "agentTransfer": { object (`AgentTransfer`) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field `data`. }

{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}

フィールド
共用体フィールド `data`。チャンクデータ。`data` は次のいずれかになります。
`text`	`string` 省略可。テキストデータ。
`transcript`	`string` 省略可。音声に関連付けられた文字起こし。
`blob`	`object (Blob)` 省略可。Blob データ。
`payload`	`object (Struct format)` 省略可。カスタムペイロードデータ。
`image`	`object (Image)` 省略可。画像データ。
`toolCall`	`object (ToolCall)` 省略可。ツールの実行リクエスト。
`toolResponse`	`object (ToolResponse)` 省略可。ツール実行のレスポンス。
`agentTransfer`	`object (AgentTransfer)` 省略可。エージェントの転送イベント。
`updatedVariables`	`object (Struct format)` 構造体は、会話で更新された変数を表します。変数は変数名でキー設定されます。
`defaultVariables`	`object (Struct format)` 構造体は、会話の開始時のデフォルト変数を表します。変数の名前がキーになります。

タイムスタンプ

JSON 表現
{ "seconds": string, "nanos": integer }

フィールド

フィールド
`seconds`	`string (int64 format)` UNIX エポック 1970-01-01T00:00:00Z からの UTC 時刻の秒数を表します。-62135596800～253402300799 の範囲（両端を含む）にする必要があります（これは 0001-01-01T00:00:00Z～9999-12-31T23:59:59Z に対応します）。
`nanos`	`integer` ナノ秒分解能による、秒の負ではない小数以下部分。このフィールドは、秒の代替ではなく、期間のナノ秒部分です。小数以下を含む負の秒の値は、時間を前方にカウントする負ではない nanos 値を持つ必要があります。0～999,999,999 にする必要があります（両端を含む）。

seconds

string (int64 format)

UNIX エポック 1970-01-01T00:00:00Z からの UTC 時刻の秒数を表します。-62135596800～253402300799 の範囲（両端を含む）にする必要があります（これは 0001-01-01T00:00:00Z～9999-12-31T23:59:59Z に対応します）。

nanos

integer

ナノ秒分解能による、秒の負ではない小数以下部分。このフィールドは、秒の代替ではなく、期間のナノ秒部分です。小数以下を含む負の秒の値は、時間を前方にカウントする負ではない nanos 値を持つ必要があります。0～999,999,999 にする必要があります（両端を含む）。

ExpectationLevelMetricsThresholds

JSON 表現

JSON 表現
{ // Union field `_tool_invocation_parameter_correctness_threshold` can be only one // of the following: "toolInvocationParameterCorrectnessThreshold": number // End of list of possible types for union field // `_tool_invocation_parameter_correctness_threshold`. }

{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}

フィールド

フィールド
共用体フィールド `_tool_invocation_parameter_correctness_threshold`。 `_tool_invocation_parameter_correctness_threshold` は次のいずれかになります。
`toolInvocationParameterCorrectnessThreshold`	`number` 省略可。個々のツール呼び出しパラメータの正しさの成功しきい値。0 ～ 1 の浮動小数点数にする必要があります。デフォルトは 1.0 です。

共用体フィールド _tool_invocation_parameter_correctness_threshold。

_tool_invocation_parameter_correctness_threshold は次のいずれかになります。

toolInvocationParameterCorrectnessThreshold

number

省略可。個々のツール呼び出しパラメータの正しさの成功しきい値。0 ～ 1 の浮動小数点数にする必要があります。デフォルトは 1.0 です。

SemanticSimilarityMetricsConfig

JSON 表現
{ "enableSemanticSimilarityMetrics": boolean }

フィールド

フィールド
`enableSemanticSimilarityMetrics`	`boolean` 省略可。評価のセマンティック類似性指標を計算するかどうか。

enableSemanticSimilarityMetrics

boolean

省略可。評価のセマンティック類似性指標を計算するかどうか。

HallucinationMetricsConfig

JSON 表現
{ "enableHallucinationMetrics": boolean }

フィールド

enableHallucinationMetrics

boolean

省略可。評価のハルシネーション指標を計算するかどうか。

スパン

JSON 表現
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (`Span`) } ] }

フィールド
`name`	`string` 出力専用。スパンの名前。
`startTime`	`string (Timestamp format)` 出力専用。スパンの開始時間。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: `"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"`、`"2014-10-02T15:01:23+05:30"`。
`endTime`	`string (Timestamp format)` 出力専用。スパンの終了時間。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: `"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"`、`"2014-10-02T15:01:23+05:30"`。
`duration`	`string (Duration format)` 出力専用。スパンの期間。 `s` で終わる小数 9 桁までの秒単位の期間。例: `"3.5s"`。
`attributes`	`object (Struct format)` 出力専用。スパンに関連付けられた Key-Value 属性。
`childSpans[]`	`object (Span)` 出力専用。このスパンの下にネストされている子スパン。

所要時間

JSON 表現
{ "seconds": string, "nanos": integer }

フィールド

seconds

string (int64 format)

期間の符号付き秒数。-315,576,000,000 ～+315,576,000,000 の範囲（両端を含む）にする必要があります。注: これらの境界は、60 秒/分 * 60 分/時間 * 24 時間/日 * 365.25 日/年 * 10,000 年から計算されます。

nanos

integer

期間のナノ秒分解能による、秒の符号付き小数以下部分。1 秒未満の期間は、0 の seconds フィールドと正または負の nanos フィールドで表されます。1 秒以上の期間の場合、nanos フィールドのゼロ以外の値は、seconds フィールドと同じ符号にする必要があります。-999,999,999～+999,999,999 の範囲内（境界含む）である必要があります。

TurnLevelMetricsThresholds

JSON 表現

{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}

フィールド

semanticSimilarityChannel

enum (SemanticSimilarityChannel)

省略可。評価に使用する意味的類似性チャネル。

共用体フィールド _semantic_similarity_success_threshold。

_semantic_similarity_success_threshold は次のいずれかになります。

semanticSimilaritySuccessThreshold

integer

省略可。意味的類似度の成功しきい値。0 ～ 4 の整数を指定してください。デフォルトは 3 以上です。

共用体フィールド _overall_tool_invocation_correctness_threshold。

_overall_tool_invocation_correctness_threshold は次のいずれかになります。

overallToolInvocationCorrectnessThreshold

number

省略可。ツール呼び出しの全体的な正しさの成功しきい値。0 ～ 1 の浮動小数点数にする必要があります。デフォルトは 1.0 です。

シナリオ

JSON 表現

{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (ScenarioExecutionMode)
}

フィールド
`task`	`string` 必須。シナリオのターゲットとなるタスク。
`userFacts[]`	`object (UserFact)` 省略可。シナリオで使用されるユーザーの事実。
`maxTurns`	`integer` 省略可。シミュレートするターンの最大数。最大値は 100 です。デフォルト値は 100 です。
`rubrics[]`	`string` 必須。シナリオを評価するためのルーブリック。
`scenarioExpectations[]`	`object (ScenarioExpectation)` 必須。ユーザーシミュレーションによって生成された会話を評価する ScenarioExpectations。
`variableOverrides`	`object (Struct format)` 省略可。セッションのコンテキストとしての変数 / セッションパラメータ。変数名でキー設定されます。この構造体のメンバーは、システムによって設定されたデフォルト値をオーバーライドします。なお、これらはユーザーが知っている事実であるユーザーの事実とは異なります。変数はエージェントが認識しているパラメータです。たとえば、テレフォニーシステムから渡された MDN（電話番号）などです。
`taskCompletionBehavior (deprecated)`	`enum (TaskCompletionBehavior)` この項目は非推奨です。省略可。非推奨。代わりに user_goal_behavior を使用してください。
`userGoalBehavior`	`enum (UserGoalBehavior)` 省略可。ユーザー目標の想定される動作。
`evaluationExpectations[]`	`string` 省略可。シミュレーションによって生成された会話を評価するための評価の期待値。形式: `projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}`
`scenarioExecutionMode`	`enum (ScenarioExecutionMode)` 省略可。シナリオ評価の実行モード。

UserFact

JSON 表現
{ "name": string, "value": string }

フィールド

name

string

必須。ユーザーファクトの名前。

value

string

必須。ユーザーファクトの値。

ScenarioExpectation

JSON 表現

{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}

フィールド

共用体フィールド expectation。シミュレーションによって生成された会話を評価するための期待値。expectation は次のいずれかになります。

toolExpectation

object (ToolExpectation)

省略可。評価するツール呼び出しとレスポンスのペア。

agentResponse

object (Message)

省略可。評価するエージェントのレスポンス。

ToolExpectation

JSON 表現
{ "expectedToolCall": { object (`ToolCall`) }, "mockToolResponse": { object (`ToolResponse`) } }

フィールド

expectedToolCall

object (ToolCall)

必須。対象のパラメータが指定された、想定されるツール呼び出し。指定されていないパラメータは LLM によってハルシネーションされます。

mockToolResponse

object (ToolResponse)

必須。モックするツールのレスポンス。対象のパラメータを指定します。指定されていないパラメータは LLM によってハルシネーションされます。

AggregatedMetrics

JSON 表現
{ "metricsByAppVersion": [ { object (`MetricsByAppVersion`) } ] }

フィールド

metricsByAppVersion[]

object (MetricsByAppVersion)

出力専用。アプリのバージョン ID でグループ化された集計指標。

MetricsByAppVersion

JSON 表現

{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}

フィールド
`appVersionId`	`string` 出力専用。アプリのバージョン ID。
`toolMetrics[]`	`object (ToolMetrics)` 出力専用。このアプリバージョン内の各ツールの指標。
`semanticSimilarityMetrics[]`	`object (SemanticSimilarityMetrics)` 出力専用。このアプリバージョン内のセマンティック類似性の指標。
`hallucinationMetrics[]`	`object (HallucinationMetrics)` 出力専用。このアプリバージョン内のハルシネーションの指標。
`toolCallLatencyMetrics[]`	`object (ToolCallLatencyMetrics)` 出力専用。このアプリバージョン内のツール呼び出しレイテンシの指標。
`turnLatencyMetrics[]`	`object (TurnLatencyMetrics)` 出力専用。このアプリバージョン内のターンレイテンシの指標。
`passCount`	`integer` 出力専用。評価に合格した回数。
`failCount`	`integer` 出力専用。評価が失敗した回数。
`metricsByTurn[]`	`object (MetricsByTurn)` 出力専用。このアプリバージョン内のターンごとに集計された指標。

ToolMetrics

JSON 表現
{ "tool": string, "passCount": integer, "failCount": integer }

フィールド

tool

string

出力専用。ツールの名前。

passCount

integer

出力専用。ツールが合格した回数。

failCount

integer

出力専用。ツールが失敗した回数。

SemanticSimilarityMetrics

JSON 表現
{ "score": number }

フィールド

score

number

出力専用。平均意味的類似性スコア（0 ～ 4）。

HallucinationMetrics

JSON 表現
{ "score": number }

フィールド

score

number

出力専用。平均ハルシネーションスコア（0 ～ 1）。

ToolCallLatencyMetrics

JSON 表現
{ "tool": string, "averageLatency": string }

フィールド

tool

string

出力専用。ツールの名前。

averageLatency

string (Duration format)

出力専用。ツール呼び出しの平均レイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。

TurnLatencyMetrics

JSON 表現
{ "averageLatency": string }

フィールド

averageLatency

string (Duration format)

出力専用。ターンの平均レイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。

MetricsByTurn

JSON 表現

{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}

フィールド
`turnIndex`	`integer` 出力専用。ターンインデックス（0 から始まる）。
`toolMetrics[]`	`object (ToolMetrics)` 出力専用。このターンの各ツールの指標。
`semanticSimilarityMetrics[]`	`object (SemanticSimilarityMetrics)` 出力専用。このターンの意味的類似性の指標。
`hallucinationMetrics[]`	`object (HallucinationMetrics)` 出力専用。このターンのハルシネーションの指標。
`toolCallLatencyMetrics[]`	`object (ToolCallLatencyMetrics)` 出力専用。このターンのツール呼び出しレイテンシの指標。
`turnLatencyMetrics[]`	`object (TurnLatencyMetrics)` 出力専用。このターンのターンレイテンシの指標。

EvaluationResult

JSON 表現

{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}

フィールド
`name`	`string` ID。評価結果の固有識別子。形式: `projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}`
`displayName`	`string` 必須。評価結果の表示名。評価内で一意。デフォルトでは、「結果 - 」という形式になります。
`createTime`	`string (Timestamp format)` 出力専用。評価結果が作成されたときのタイムスタンプ。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: `"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"`、`"2014-10-02T15:01:23+05:30"`。
`evaluationStatus`	`enum (Outcome)` 出力専用。評価の結果。execution_state が COMPLETE の場合にのみ入力されます。
`evaluationRun`	`string` 出力専用。この結果を生成した評価実行。形式: `projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}`
`persona`	`object (EvaluationPersona)` 出力専用。評価結果の会話の生成に使用されたペルソナ。
`errorInfo`	`object (EvaluationErrorInfo)` 出力専用。評価結果のエラー情報。
`error (deprecated)`	`object (Status)` この項目は非推奨です。出力専用。非推奨: 代わりに、`error_info` を使用してください。実行中に発生したエラー。
`initiatedBy`	`string` 出力専用。この結果を生成した評価実行を開始したユーザー。
`appVersion`	`string` 出力専用。この結果につながった会話の生成に使用されたアプリのバージョン。形式: `projects/{project}/locations/{location}/apps/{app}/versions/{version}`
`appVersionDisplayName`	`string` 出力専用。評価の実行対象となった `app_version` の表示名。
`changelog`	`string` 出力専用。評価が実行されたアプリバージョンの変更ログ。これは、ユーザーが最新版/下書きで評価を実行した場合に設定されます。
`changelogCreateTime`	`string (Timestamp format)` 出力専用。評価の対象となったアプリバージョンの変更ログの作成時間。これは、ユーザーが最新版/下書きで評価を実行した場合に設定されます。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: `"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"`、`"2014-10-02T15:01:23+05:30"`。
`executionState`	`enum (ExecutionState)` 出力専用。評価結果の実行状態。
`evaluationMetricsThresholds`	`object (EvaluationMetricsThresholds)` 出力専用。結果の評価しきい値。
`config`	`object (EvaluationConfig)` 出力専用。この結果が得られた評価実行で使用された構成。
`goldenRunMethod`	`enum (GoldenRunMethod)` 出力専用。ゴールデン評価の実行に使用される方法。
`rootSpan`	`object (Span)` 出力専用。評価実行のルートスパン。評価の各ステップに関する情報が含まれます。
`outcomeMetadata`	`enum (OutcomeMetadata)` 出力専用。評価の結果メタデータ。execution_state が COMPLETE の場合にのみ入力されます。
共用体フィールド `result`。評価の結果。execution_state が COMPLETED の場合にのみ入力されます。`result` は次のいずれかになります。
`goldenResult`	`object (GoldenResult)` 出力専用。ゴールデン評価の結果。
`scenarioResult`	`object (ScenarioResult)` 出力専用。シナリオ評価の結果。

GoldenResult

JSON 表現
{ "turnReplayResults": [ { object (`TurnReplayResult`) } ], "evaluationExpectationResults": [ { object (`EvaluationExpectationResult`) } ] }

フィールド

turnReplayResults[]

object (TurnReplayResult)

出力専用。ゴールデン会話の各ターンを実行した結果。

evaluationExpectationResults[]

object (EvaluationExpectationResult)

出力専用。評価の期待値の結果。

TurnReplayResult

JSON 表現

{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}

フィールド
`conversation`	`string` 出力専用。このターンで生成された会話。
`expectationOutcome[]`	`object (GoldenExpectationOutcome)` 出力専用。各期待値の結果。
`hallucinationResult`	`object (HallucinationResult)` 出力専用。ハルシネーションチェックの結果。
`toolInvocationScore (deprecated)`	`number` この項目は非推奨です。出力専用。非推奨。代わりに OverallToolInvocationResult を使用してください。
`turnLatency`	`string (Duration format)` 出力専用。ターンの期間。 `s` で終わる小数 9 桁までの秒単位の期間。例: `"3.5s"`。
`toolCallLatencies[]`	`object (ToolCallLatency)` 出力専用。ターンの各ツール呼び出しのレイテンシ。
`semanticSimilarityResult`	`object (SemanticSimilarityResult)` 出力専用。意味的類似性チェックの結果。
`overallToolInvocationResult`	`object (OverallToolInvocationResult)` 出力専用。ツール呼び出しの全体的なチェックの結果。
`errorInfo`	`object (EvaluationErrorInfo)` 出力専用。このターン中に発生したエラーに関する情報。
`spanLatencies[]`	`object (SpanLatency)` 出力専用。ターンのスパンのレイテンシ。
共用体フィールド `_tool_ordered_invocation_score`。 `_tool_ordered_invocation_score` は次のいずれかになります。
`toolOrderedInvocationScore`	`number` 出力専用。このターンのツール呼び出しの全体的な順序スコア。これは、期待されるターンで実際に呼び出されたツールの割合を示します。

GoldenExpectationOutcome

JSON 表現

{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}

フィールド
`expectation`	`object (GoldenExpectation)` 出力専用。評価された期待値。
`outcome`	`enum (Outcome)` 出力専用。期待の結果。
`semanticSimilarityResult (deprecated)`	`object (SemanticSimilarityResult)` この項目は非推奨です。出力専用。意味的類似性チェックの結果。
`toolInvocationResult`	`object (ToolInvocationResult)` 出力専用。ツール呼び出しチェックの結果。
共用体フィールド `result`。期待の結果。`result` は次のいずれかになります。
`observedToolCall`	`object (ToolCall)` 出力専用。ツール呼び出しの期待値の結果。
`observedToolResponse`	`object (ToolResponse)` 出力専用。ツールレスポンスの期待値の結果。
`observedAgentResponse`	`object (Message)` 出力専用。エージェントの回答の期待値の結果。
`observedAgentTransfer`	`object (AgentTransfer)` 出力専用。エージェント転送の期待値の結果。
`observedPayload`	`object (Struct format)` 出力専用。観測されたカスタムペイロード。カスタムペイロードに対する期待値はありません。これは指標の計算にのみ使用されます。結果は常に SKIPPED になります。

SemanticSimilarityResult

JSON 表現

{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}

フィールド
`label`	`string` 出力専用。各スコアに関連付けられているラベル。スコア 4: 完全に一貫しているスコア 3: ほぼ一貫しているスコア 2: 部分的に一貫している（軽微な欠落がある）スコア 1: ほぼ一貫していない（重大な欠落がある）スコア 0: 完全に一貫していない / 矛盾している
`explanation`	`string` 出力専用。意味的類似性スコアの説明。
`outcome`	`enum (Outcome)` 出力専用。意味的類似性チェックの結果。これは、スコアと semantic_similarity_success_threshold を比較して決定されます。スコアがしきい値以上の場合、結果は合格になります。それ以外の場合、結果は FAIL になります。
共用体フィールド `_score`。 `_score` は次のいずれかになります。
`score`	`integer` 出力専用。意味的類似性スコア。0、1、2、3、4 のいずれかになります。

ToolInvocationResult

JSON 表現

{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}

フィールド
`outcome`	`enum (Outcome)` 出力専用。ツール呼び出しチェックの結果。これは、parameter_correctness_score をしきい値と比較することで判断されます。スコアがしきい値以上の場合、結果は合格になります。それ以外の場合、結果は FAIL になります。
`explanation`	`string` 出力専用。ツール呼び出しの結果に関する自由形式のテキストによる説明。
共用体フィールド `_parameter_correctness_score`。 `_parameter_correctness_score` は次のいずれかになります。
`parameterCorrectnessScore`	`number` 出力専用。ツール呼び出しパラメータの正しさのスコア。これは、実際のツール呼び出しにも含まれていた、期待されるツール呼び出しのパラメータの割合を示します。

HallucinationResult

JSON 表現
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

フィールド
`label`	`string` 出力専用。各スコアに関連付けられているラベル。スコア 1: 正当な申し立てスコア 0: 正当でない申し立てスコア -1: 評価する申し立てなし
`explanation`	`string` 出力専用。ハルシネーションスコアの説明。
共用体フィールド `_score`。 `_score` は次のいずれかになります。
`score`	`integer` 出力専用。ハルシネーションスコア。-1、0、1 のいずれかになります。

ToolCallLatency

JSON 表現
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

フィールド
`tool`	`string` 出力専用。実行されたツールの名前。形式: `projects/{project}/locations/{location}/apps/{app}/tools/{tool}`。
`displayName`	`string` 出力専用。ツールの表示名。
`startTime`	`string (Timestamp format)` 出力専用。ツール呼び出しの実行の開始時間。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: `"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"`、`"2014-10-02T15:01:23+05:30"`。
`endTime`	`string (Timestamp format)` 出力専用。ツール呼び出しの実行の終了時間。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: `"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"`、`"2014-10-02T15:01:23+05:30"`。
`executionLatency`	`string (Duration format)` 出力専用。ツール呼び出しの実行レイテンシ。 `s` で終わる小数 9 桁までの秒単位の期間。例: `"3.5s"`。

OverallToolInvocationResult

JSON 表現

{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}

フィールド

outcome

enum (Outcome)

出力専用。ツール呼び出しチェックの結果。これは、tool_invocation_score と overall_tool_invocation_correctness_threshold を比較して決定されます。スコアがしきい値以上の場合、結果は合格になります。それ以外の場合、結果は FAIL になります。

共用体フィールド _tool_invocation_score。

_tool_invocation_score は次のいずれかになります。

toolInvocationScore

number

このターンのツール呼び出しの全体的なスコア。これは、予測されたターンから実際に呼び出されたツールの全体的な割合を示します。

EvaluationErrorInfo

JSON 表現
{ "errorType": enum (`ErrorType`), "errorMessage": string, "sessionId": string, "userFacingErrorMessage": string }

フィールド
`errorType`	`enum (ErrorType)` 出力専用。エラーの種類。
`errorMessage`	`string` 出力専用。エラーメッセージ。
`sessionId`	`string` 出力専用。エラーの原因となった会話のセッション ID。
`userFacingErrorMessage`	`string` 出力専用。ユーザーに表示されるエラーメッセージ。

SpanLatency

JSON 表現

{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}

フィールド
`type`	`enum (Type)` 出力専用。スパンのタイプ。
`displayName`	`string` 出力専用。スパンの表示名。ツールとガードレールのスパンに適用されます。
`startTime`	`string (Timestamp format)` 出力専用。スパンの開始時間。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: `"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"`、`"2014-10-02T15:01:23+05:30"`。
`endTime`	`string (Timestamp format)` 出力専用。スパンの終了時間。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: `"2014-10-02T15:01:23Z"`、`"2014-10-02T15:01:23.045123456Z"`、`"2014-10-02T15:01:23+05:30"`。
`executionLatency`	`string (Duration format)` 出力専用。スパンのレイテンシ。 `s` で終わる小数 9 桁までの秒単位の期間。例: `"3.5s"`。
共用体フィールド `identifier`。タイプに基づく特定のアイテムの識別子。`identifier` は次のいずれかになります。
`resource`	`string` 出力専用。ガードレールまたはツールのスパンのリソース名。
`toolset`	`object (ToolsetTool)` 出力専用。ツールセットツールの識別子。
`model`	`string` 出力専用。LLM スパンの名前。
`callback`	`string` 出力専用。ユーザーコールバックスパンの名前。

EvaluationExpectationResult

JSON 表現
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (`Outcome`), "explanation": string }

フィールド
`evaluationExpectation`	`string` 出力専用。評価の期待値。形式: `projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}`
`prompt`	`string` 出力専用。評価に使用されたプロンプト。
`outcome`	`enum (Outcome)` 出力専用。評価の期待値の結果。
`explanation`	`string` 出力専用。結果の説明。

ScenarioResult

JSON 表現

{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}

フィールド

conversation

string

出力専用。シナリオで生成された会話。

task

string

出力専用。この結果のシナリオを実行したときに使用されたタスク。

userFacts[]

object (UserFact)

出力専用。この結果のシナリオで使用されたユーザーファクト。

expectationOutcomes[]

object (ScenarioExpectationOutcome)

出力専用。各期待値の結果。

rubricOutcomes[]

object (ScenarioRubricOutcome)

出力専用。ルーブリックの結果。

hallucinationResult[]

object (HallucinationResult)

出力専用。ハルシネーションチェックの結果。会話のターンごとに 1 つのハルシネーション結果が返されます。

taskCompletionResult
(deprecated)

object (TaskCompletionResult)

出力専用。タスク完了チェックの結果。

toolCallLatencies[]

object (ToolCallLatency)

出力専用。会話内の各ツール呼び出しの実行のレイテンシ。

userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

出力専用。ユーザー目標の達成度チェックの結果。

spanLatencies[]

object (SpanLatency)

出力専用。会話内のスパンのレイテンシ。

evaluationExpectationResults[]

object (EvaluationExpectationResult)

出力専用。評価の期待値の結果。

共用体フィールド _all_expectations_satisfied。

_all_expectations_satisfied は次のいずれかになります。

allExpectationsSatisfied

boolean

出力専用。このターンですべての期待値が満たされたかどうか。

共用体フィールド _task_completed。

_task_completed は次のいずれかになります。

taskCompleted

boolean

出力専用。このターンでタスクが完了したかどうか。これは、満たされたすべての期待、ハルシネーションの発生なし、ユーザーの目標達成度の複合スコアです。

ScenarioExpectationOutcome

JSON 表現

{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}

フィールド
`expectation`	`object (ScenarioExpectation)` 出力専用。評価された期待値。
`outcome`	`enum (Outcome)` 出力専用。ScenarioExpectation の結果。
共用体フィールド `result`。期待の結果。`result` は次のいずれかになります。
`observedToolCall`	`object (ObservedToolCall)` 出力専用。観測されたツール呼び出し。
`observedAgentResponse`	`object (Message)` 出力専用。観測されたエージェントレスポンス。

ObservedToolCall

JSON 表現
{ "toolCall": { object (`ToolCall`) }, "toolResponse": { object (`ToolResponse`) } }

フィールド

toolCall

object (ToolCall)

出力専用。観測されたツール呼び出し。

toolResponse

object (ToolResponse)

出力専用。観測されたツールのレスポンス。

ScenarioRubricOutcome

JSON 表現
{ "rubric": string, "scoreExplanation": string, // Union field `_score` can be only one of the following: "score": number // End of list of possible types for union field `_score`. }

フィールド
`rubric`	`string` 出力専用。会話の評価に使用されたルーブリック。
`scoreExplanation`	`string` 出力専用。ルーブリックに対する評価者の回答。
共用体フィールド `_score`。 `_score` は次のいずれかになります。
`score`	`number` 出力専用。ルーブリックに照らした会話のスコア。

TaskCompletionResult

JSON 表現
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

フィールド
`label`	`string` 出力専用。各スコアに関連付けられているラベル。スコア 1: タスク完了スコア 0: タスク未完了スコア -1: ユーザーの目標が未定義
`explanation`	`string` 出力専用。タスク完了スコアの説明。
共用体フィールド `_score`。 `_score` は次のいずれかになります。
`score`	`integer` 出力専用。タスク完了のスコア。-1、0、1 のいずれか

UserGoalSatisfactionResult

JSON 表現
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

フィールド
`label`	`string` 出力専用。各スコアに関連付けられているラベル。スコア 2: Graceful Handoff スコア 1: User Task Satisfied スコア 0: User Task Not Satisfied スコア -1: User Task Unspecified
`explanation`	`string` 出力専用。ユーザータスクの満足度スコアの説明。
共用体フィールド `_score`。 `_score` は次のいずれかになります。
`score`	`integer` 出力専用。ユーザータスクの満足度スコア。-1、0、1、2 のいずれかになります。

EvaluationPersona

JSON 表現
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (`SpeechConfig`) } }

フィールド
`name`	`string` 必須。ペルソナの一意の識別子。形式: `projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}`
`description`	`string` 省略可。ペルソナの説明。
`displayName`	`string` 必須。ペルソナの表示名。アプリ内で一意。
`personality`	`string` 必須。評価でどのように動作すべきかについてのエージェントへの指示。
`speechConfig`	`object (SpeechConfig)` 省略可。ペルソナの音声（TTS 設定）の構成。

SpeechConfig

JSON 表現
{ "speakingRate": number, "environment": enum (`BackgroundEnvironment`), "voiceId": string }

フィールド

speakingRate

number

省略可。発話速度。1.0 が標準です。値が小さいほど遅く（0.8 など）、値が大きいほど速くなります（1.5 など）。エージェントが早口の話し手をどのように処理するかをテストするのに便利です。

environment

enum (BackgroundEnvironment)

省略可。シミュレートされたオーディオ環境。

voiceId

string

省略可。使用する特定の音声 ID/アクセント。例: 「en-US-Wavenet-D」、「en-GB-Standard-A」

ステータス

JSON 表現
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

フィールド

code

integer

ステータスコード。google.rpc.Code の列挙値である必要があります。

message

string

デベロッパー向けのエラーメッセージ。英語で記述します。ユーザー向けのエラーメッセージは、ローカライズして google.rpc.Status.details フィールドで送信するか、クライアントでローカライズする必要があります。

details[]

object

エラーの詳細を保持するメッセージのリスト。API が使用する共通のメッセージタイプのセットがあります。

任意のデータ型のフィールドを含むオブジェクトであり、型を識別する URI を含むフィールド "@type" を追加できます。例: { "id": 1234, "@type": "types.example.com/standard/id" }

すべて

JSON 表現
{ "typeUrl": string, "value": string }

フィールド

typeUrl

string

シリアル化された Protobuf メッセージの型を識別します。URI 参照は、スラッシュで終わる接頭辞と完全修飾型名で構成されます。

例: type.googleapis.com/google.protobuf.StringValue

この文字列には / 文字を 1 つ以上含める必要があり、最後の / の後のコンテンツは、先頭のドットのない正規形式の型の完全修飾名である必要があります。クライアントが連絡を試みないように、これらの URI 参照にスキームを記述しないでください。

接頭辞は任意であり、Protobuf 実装では、最後の / までを削除して型を識別することが想定されています。type.googleapis.com/ は、一部のレガシー実装で必要な一般的なデフォルトの接頭辞です。この接頭辞は型のオリジンを示すものではなく、これを含む URI はリクエストに応答しないことが想定されています。

すべての型 URL 文字列は、有効な URI 参照である必要があります。また、テキスト形式の場合、参照の内容は英数字、パーセントエンコードされたエスケープ、および次のセットの文字（外側のバッククォートを除く）のみで構成されている必要があります。/-.~_!$&()*+,;=。パーセントエンコーディングは許可されていますが、既存のパーサーとの混同を避けるため、実装ではエスケープ解除しないでください。たとえば、type.googleapis.com%2FFoo は拒否される必要があります。

Any の元の設計では、これらの型 URL で型解決サービスを起動する可能性が検討されていましたが、Protobuf は実装していません。また、これらの URL へのアクセスは問題があり、セキュリティ上の問題を引き起こす可能性があると考えています。連絡先タイプの URL にアクセスしないでください。

value

string (bytes format)

type_url で記述された型の Protobuf シリアル化を保持します。

Base64 でエンコードされた文字列。

EvaluationMetricsThresholds

JSON 表現

{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}

フィールド
`goldenEvaluationMetricsThresholds`	`object (GoldenEvaluationMetricsThresholds)` 省略可。ゴールデン評価指標のしきい値。
`hallucinationMetricBehavior (deprecated)`	`enum (HallucinationMetricBehavior)` この項目は非推奨です。省略可。非推奨: 代わりに、`golden_hallucination_metric_behavior` を使用してください。現在、ハルシネーション指標の動作はゴールデン評価に使用されています。
`goldenHallucinationMetricBehavior`	`enum (HallucinationMetricBehavior)` 省略可。ゴールデン評価のハルシネーション指標の動作。
`scenarioHallucinationMetricBehavior`	`enum (HallucinationMetricBehavior)` 省略可。シナリオ評価のハルシネーション指標の動作。

GoldenEvaluationMetricsThresholds

JSON 表現

{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}

フィールド

turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

省略可。ターンレベルの指標のしきい値。

expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

省略可。期待レベルの指標のしきい値。

toolMatchingSettings

object (ToolMatchingSettings)

省略可。ツールマッチングの設定。余分なツール呼び出しとは、実行には存在するが、ゴールデンエクスペクテーションのどのツール呼び出しとも一致しないツール呼び出しのことです。

ToolMatchingSettings

JSON 表現
{ "extraToolCallBehavior": enum (`ExtraToolCallBehavior`) }

フィールド

extraToolCallBehavior

enum (ExtraToolCallBehavior)

省略可。追加のツール呼び出しの動作。デフォルトは FAIL です。

EvaluationConfig

JSON 表現

{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}

フィールド
`inputAudioConfig`	`object (InputAudioConfig)` 省略可。入力音声の処理の構成。
`outputAudioConfig`	`object (OutputAudioConfig)` 省略可。出力音声の生成に関する構成。
`evaluationChannel`	`enum (EvaluationChannel)` 省略可。評価するチャネル。
`toolCallBehaviour`	`enum (EvaluationToolCallBehaviour)` 省略可。評価で実際のツール呼び出しを使用するか、偽のツールを使用するかを指定します。

InputAudioConfig

JSON 表現
{ "audioEncoding": enum (`AudioEncoding`), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

フィールド

audioEncoding

enum (AudioEncoding)

必須。入力音声データのエンコード。

sampleRateHertz

integer

必須。入力音声データのサンプルレート（ヘルツ単位）。

noiseSuppressionLevel

string

省略可。入力音声のノイズサプレッションを有効にするかどうか。使用可能な値は、「low」、「moderate」、「high」、「very_high」です。

OutputAudioConfig

JSON 表現
{ "audioEncoding": enum (`AudioEncoding`), "sampleRateHertz": integer }

フィールド

audioEncoding

enum (AudioEncoding)

必須。出力音声データのエンコード。

sampleRateHertz

integer

必須。出力音声データのサンプリングレート（ヘルツ単位）。

EvaluationMetricsConfig

JSON 表現
{ "goldenMetricsConfig": { object (`GoldenMetricsConfig`) }, "scenarioMetricsConfig": { object (`ScenarioMetricsConfig`) } }

フィールド

goldenMetricsConfig

object (GoldenMetricsConfig)

省略可。評価のゴールデン指標の構成。

scenarioMetricsConfig

object (ScenarioMetricsConfig)

省略可。評価のシナリオ指標の構成。

GoldenMetricsConfig

JSON 表現

{
  "semanticSimilarityMetricsConfig": {
    object (SemanticSimilarityMetricsConfig)
  },
  "toolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  },
  "stepToolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  }
}

フィールド

semanticSimilarityMetricsConfig

object (SemanticSimilarityMetricsConfig)

省略可。意味的類似性指標のグローバル構成。

toolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

省略可。ターンレベルのツールの正確性指標の構成。

stepToolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

省略可。ステップレベルのツールの正確性指標の構成。

ToolCorrectnessMetricsConfig

JSON 表現
{ "enableToolCorrectnessMetrics": boolean }

フィールド

enableToolCorrectnessMetrics

boolean

省略可。評価のツール正しさ指標を計算するかどうか。

ScenarioMetricsConfig

JSON 表現
{ "userGoalMetMetricsConfig": { object (`UserGoalMetMetricsConfig`) }, "expectationsMetMetricsConfig": { object (`ExpectationsMetMetricsConfig`) } }

フィールド

userGoalMetMetricsConfig

object (UserGoalMetMetricsConfig)

省略可。ユーザー目標達成指標の構成。

expectationsMetMetricsConfig

object (ExpectationsMetMetricsConfig)

省略可。期待値レベルの指標の構成。

UserGoalMetMetricsConfig

JSON 表現
{ "enableUserGoalMetMetrics": boolean }

フィールド

enableUserGoalMetMetrics

boolean

省略可。評価でユーザー目標達成指標を計算するかどうか。

ExpectationsMetMetricsConfig

JSON 表現
{ "enableExpectationsMetMetrics": boolean }

フィールド

enableExpectationsMetMetrics

boolean

省略可。評価の期待値レベルの指標を計算するかどうか。

NullValue

JSON null を表します。

NullValue はセンチネルです。値が 1 つしかない列挙型を使用して、Value 型共用体の null 値を表します。

0 以外の値を持つ NullValue 型のフィールドは無効と見なされます。ほとんどの ProtoJSON シリアライザーは、整数値に関係なく、null_value を JSON null として設定した Value を出力するため、0 値に往復します。

列挙型
`NULL_VALUE`	Null 値。

ComparisonType

エージェントのレスポンスを確認するためにサポートされている比較タイプ。

列挙型
`COMPARISON_TYPE_UNSPECIFIED`	比較タイプが指定されていません。エージェントの回答とツール呼び出しの動作は、デフォルトで SEMANTIC_SIMILARITY に設定されています。
`EQUALS`	文字列の完全一致。
`CONTAINS`	部分文字列の一致（実際のレスポンスに期待される文字列が含まれているかどうかを確認します）。
`SEMANTIC_SIMILARITY`	意味的類似性の一致（LLM を使用して意味的類似性を評価します）。

SemanticSimilarityChannel

使用する意味的類似度チャネル。

列挙型
`SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED`	指標が指定されていません。デフォルトは TEXT です。
`TEXT`	テキストのセマンティック類似度を使用します。
`AUDIO`	音声の意味的類似性を使用します。

HallucinationMetricBehavior

ハルシネーション指標の動作。動作に関係なく、指標は常に計算されます。無効にすると、指標が総合評価スコアの計算に使用されなくなる点が異なります。

列挙型
`HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED`	ハルシネーション指標の動作が指定されていません。
`DISABLED`	ハルシネーション指標を無効にします。
`ENABLED`	ハルシネーション指標を有効にします。

TaskCompletionBehavior

ユーザータスクの想定される動作。これは、シナリオが成功したかどうかを判断するために使用されます。

列挙型
`TASK_COMPLETION_BEHAVIOR_UNSPECIFIED`	動作は指定されていません。デフォルトは TASK_SATISFIED になります。
`TASK_SATISFIED`	ユーザータスクが正常に完了します。
`TASK_REJECTED`	ユーザータスクは拒否する必要があります。

UserGoalBehavior

ユーザー目標の想定される動作。これは、シナリオが成功したかどうかを判断するために使用されます。

列挙型
`USER_GOAL_BEHAVIOR_UNSPECIFIED`	動作は指定されていません。デフォルトは USER_GOAL_SATISFIED になります。
`USER_GOAL_SATISFIED`	ユーザー目標は正常に完了する必要があります。
`USER_GOAL_REJECTED`	ユーザー目標は拒否されます。
`USER_GOAL_IGNORED`	ユーザーの目標ステータスを無視します。

ScenarioExecutionMode

シナリオ評価の実行モード。

列挙型
`SCENARIO_EXECUTION_MODE_UNSPECIFIED`	実行モードが指定されていません。デフォルトは QUALITY_OPTIMIZED です。
`QUALITY_OPTIMIZED`	品質最適化モード。
`SPEED_OPTIMIZED`	速度最適化モード。

結果

評価または期待の結果。

列挙型
`OUTCOME_UNSPECIFIED`	評価結果が指定されていません。
`PASS`	評価/期待値に合格しました。評価の場合、これはすべての期待値が満たされたことを意味します。
`FAIL`	評価/期待値に失敗しました。評価の場合、これは少なくとも 1 つの期待値が満たされなかったことを意味します。
`SKIPPED`	評価/期待値がスキップされました。

ErrorType

エラーの種類

列挙型
`ERROR_TYPE_UNSPECIFIED`	不明な種類のエラーです。
`RUNTIME_FAILURE`	ランタイム実行中のエラー。
`CONVERSATION_RETRIEVAL_FAILURE`	CES ランタイムから会話を取得できませんでした。
`METRIC_CALCULATION_FAILURE`	指標 / 結果を計算できない。
`EVALUATION_UPDATE_FAILURE`	評価を更新できませんでした。
`QUOTA_EXHAUSTED`	割り当てが不足しました。
`USER_SIMULATION_FAILURE`	ユーザーシミュレーション中にエラーが発生しました。

タイプ

スパンのタイプ。今後、値が追加される可能性があります。

列挙型
`TYPE_UNSPECIFIED`	デフォルト値。この値は使用されません。
`TOOL`	ツール呼び出しスパン。
`USER_CALLBACK`	ユーザーコールバックスパン。
`GUARDRAIL`	ガードレールのスパン。
`LLM`	LLM スパン。

BackgroundEnvironment

シミュレートされたオーディオ環境。

列挙型
`BACKGROUND_ENVIRONMENT_UNSPECIFIED`	バックグラウンド環境が指定されていません。
`CALL_CENTER`	コールセンター環境。
`TRAFFIC`	交通騒音環境。
`KIDS_NOISE`	子供の騒音環境。
`CAFE`	カフェ環境。

ExecutionState

評価結果の実行状態。

列挙型
`EXECUTION_STATE_UNSPECIFIED`	評価結果の実行状態が指定されていません。
`QUEUED`	評価結果の実行がキューに登録されます。
`RUNNING`	評価結果の実行中です。
`COMPLETED`	評価結果の実行が完了しました。
`ERROR`	内部エラーのため、評価結果の実行に失敗しました。
`CANCELLED`	評価結果の実行がキャンセルされました。

ExtraToolCallBehavior

追加のツール呼び出しが発生した場合の動作を定義します。余分なツール呼び出しとは、実行には存在するが、ゴールデンエクスペクテーションのどのツール呼び出しとも一致しないツール呼び出しのことです。

列挙型
`EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED`	動作は指定されていません。デフォルトは FAIL です。
`FAIL`	余分なツール呼び出しが発生した場合は、評価を不合格にします。
`ALLOW`	追加のツール呼び出しを許可します。

AudioEncoding

AudioEncoding は、音声データのエンコード形式を指定します。

列挙型
`AUDIO_ENCODING_UNSPECIFIED`	音声エンコードが指定されていません。
`LINEAR16`	16 ビットリニア PCM オーディオエンコード。
`MULAW`	G.711 PCMU/mu-law を使用して 14 ビットの音声サンプルの圧縮と伸張を行う 8 ビットのサンプル。
`ALAW`	G.711 PCMU/A-law を使用して 14 ビットの音声サンプルの圧縮と伸張を行う 8 ビットのサンプル。

EvaluationChannel

評価するチャネル。

列挙型
`EVALUATION_CHANNEL_UNSPECIFIED`	評価チャンネルが指定されていません。
`TEXT`	テキストのみの評価チャネル。
`AUDIO`	音声評価チャンネル。

EvaluationToolCallBehaviour

評価実行のツール呼び出しの動作を構成します。

列挙型
`EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED`	ツール呼び出しの動作が指定されていません。デフォルトでは実際のツール呼び出しになります。
`REAL`	実際のツール呼び出しを使用します。
`FAKE`	偽のツール呼び出しを使用します。

GoldenRunMethod

評価の実行に使用されるメソッド。

列挙型
`GOLDEN_RUN_METHOD_UNSPECIFIED`	実行メソッドが指定されていません。
`STABLE`	評価を安定した再生として実行します。各ターンは一意のセッションであり、前の予想されるターンがコンテキストとして挿入されます。
`NAIVE`	評価をナイーブな再生として実行します。この実行は、コンテキストが挿入されていない単一のセッションです。

OutcomeMetadata

評価の結果に関するメタデータ。

列挙型
`OUTCOME_METADATA_UNSPECIFIED`	未指定の結果メタデータ。
`GRACEFUL_HANDOFF`	評価の結果、人間の担当者にスムーズにハンドオフされました。

ツールのアノテーション

ツールのアノテーションは、特定のツールの基本的なリスクを説明するために MCP クライアントに送信されます。ほとんどのクライアントはこれらのヒントを信頼できないものとして扱いますが、確認プロンプトをユーザーに送信するタイミングを決定するために使用できます。

タイトル文字列とともに、次のブール値のヒントが次のように定義されています。

readOnlyHint: true の場合、ツールは環境を変更しません。デフォルトは false です。
destructiveHint: true の場合、ツールは破壊的なアクションを実行できます。false の場合、ツールは追加アクションのみを実行できます。デフォルト値は true です。
idempotentHint: true の場合、同じ引数でツールを繰り返し呼び出しても、環境に影響はありません。デフォルトは false です。
openWorldHint: true の場合、ツールは外部エンティティの「オープンワールド」とやり取りできます。false の場合、ツールは内部エンティティとのみやり取りできます。たとえば、ウェブ検索ツールはオープンワールドですが、メモリツールはオープンワールドではありません。

破壊的ヒント: ❌ | べき等ヒント: ✅ | 読み取り専用ヒント: ✅ | オープンワールドヒント: ❌

MCP Tools Reference: ces.googleapis.com コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

ツール: get_evaluation

入力スキーマ

GetEvaluationRequest

出力スキーマ

評価

Golden

GoldenTurn

ステップ

SessionInput

ToolResponses

ToolResponse

ToolsetTool

構造体

FieldsEntry

値

ListValue

画像

Blob

イベント

AgentTransfer

GoldenExpectation

ToolCall

メッセージ

チャンク

タイムスタンプ

ExpectationLevelMetricsThresholds

SemanticSimilarityMetricsConfig

HallucinationMetricsConfig

スパン

所要時間

TurnLevelMetricsThresholds

シナリオ

UserFact

ScenarioExpectation

ToolExpectation

AggregatedMetrics

MetricsByAppVersion

ToolMetrics

SemanticSimilarityMetrics

HallucinationMetrics

ToolCallLatencyMetrics

TurnLatencyMetrics

MetricsByTurn

EvaluationResult

GoldenResult

TurnReplayResult

GoldenExpectationOutcome

SemanticSimilarityResult

ToolInvocationResult

HallucinationResult

ToolCallLatency

OverallToolInvocationResult

EvaluationErrorInfo

SpanLatency

EvaluationExpectationResult

ScenarioResult

ScenarioExpectationOutcome

ObservedToolCall

ScenarioRubricOutcome

TaskCompletionResult

UserGoalSatisfactionResult

EvaluationPersona

SpeechConfig

ステータス

すべて

EvaluationMetricsThresholds

GoldenEvaluationMetricsThresholds

ToolMatchingSettings

EvaluationConfig

InputAudioConfig

OutputAudioConfig

EvaluationMetricsConfig

GoldenMetricsConfig

ToolCorrectnessMetricsConfig

ScenarioMetricsConfig

UserGoalMetMetricsConfig

ExpectationsMetMetricsConfig

NullValue

ComparisonType

MCP Tools Reference: ces.googleapis.com

ツール: `get_evaluation`