MCP Tools Reference: ces.googleapis.com

ツール: get_evaluation_result

指定された評価結果の詳細を取得します。

次のコードサンプルは、curl を使用して get_evaluation_result MCP ツールを呼び出す方法を示しています。

Curl リクエスト 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "get_evaluation_result",
    "arguments": {
      // Provide these details according to the MCP tool specification.
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

入力スキーマ

EvaluationService.GetEvaluationResult のリクエスト メッセージです。

GetEvaluationResultRequest

JSON 表現 
{
  "name": string
}
フィールド
name

string

必須。取得する評価結果のリソース名。

出力スキーマ

評価結果は、評価の実行結果を表します。

EvaluationResult

JSON 表現 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
フィールド
name

string

ID。評価結果の固有識別子。形式: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

必須。評価結果の表示名。評価内で一意。デフォルトでは、「 結果 - 」という形式になります。
createTime

string (Timestamp format)

出力専用。評価結果が作成されたときのタイムスタンプ。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
evaluationStatus

enum (Outcome)

出力専用。評価の結果。execution_state が COMPLETE の場合にのみ入力されます。
evaluationRun

string

出力専用。この結果を生成した評価実行。形式: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

出力専用。評価結果の会話の生成に使用されたペルソナ。
errorInfo

object (EvaluationErrorInfo)

出力専用。評価結果のエラー情報。
error
(deprecated)

object (Status)

出力専用。非推奨: 代わりに、error_info を使用してください。実行中に発生したエラー。
initiatedBy

string

出力専用。この結果をもたらした評価実行を開始したユーザー。
appVersion

string

出力専用。この結果につながった会話の生成に使用されたアプリのバージョン。形式: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

出力専用。評価が実行された app_version の表示名。
changelog

string

出力専用。評価が実行されたアプリ バージョンの変更ログ。これは、ユーザーが最新版/下書き版で評価を実行した場合に設定されます。
changelogCreateTime

string (Timestamp format)

出力専用。評価が実行されたアプリ バージョンの変更ログの作成時間。これは、ユーザーが最新版/下書き版で評価を実行した場合に設定されます。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
executionState

enum (ExecutionState)

出力専用。評価結果の実行状態。
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

出力専用。結果の評価しきい値。
config

object (EvaluationConfig)

出力専用。この結果をもたらした評価実行で使用された構成。
goldenRunMethod

enum (GoldenRunMethod)

出力専用。ゴールデン評価の実行に使用されるメソッド。
rootSpan

object (Span)

出力専用。評価実行のルートスパン。評価の各ステップに関する情報が含まれます。
outcomeMetadata

enum (OutcomeMetadata)

出力専用。評価の結果メタデータ。execution_state が COMPLETE の場合にのみ入力されます。
共用体フィールド result。評価の結果。execution_state が COMPLETED の場合にのみ入力されます。result は次のいずれかになります。
goldenResult

object (GoldenResult)

出力専用。ゴールデン評価の結果。
scenarioResult

object (ScenarioResult)

出力専用。シナリオ評価の結果。

GoldenResult

JSON 表現 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
フィールド
turnReplayResults[]

object (TurnReplayResult)

出力専用。ゴールデン会話の各ターンの実行結果。
evaluationExpectationResults[]

object (EvaluationExpectationResult)

出力専用。評価の期待値の結果。

TurnReplayResult

JSON 表現 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
フィールド
conversation

string

出力専用。このターンで生成された会話。
expectationOutcome[]

object (GoldenExpectationOutcome)

出力専用。各期待値の結果。
hallucinationResult

object (HallucinationResult)

出力専用。ハルシネーション チェックの結果。
toolInvocationScore
(deprecated)

number

出力専用。非推奨。代わりに OverallToolInvocationResult を使用してください。
turnLatency

string (Duration format)

出力専用。ターンの期間。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。
toolCallLatencies[]

object (ToolCallLatency)

出力専用。ターンの各ツール呼び出しのレイテンシ。
semanticSimilarityResult

object (SemanticSimilarityResult)

出力専用。意味的類似性チェックの結果。
overallToolInvocationResult

object (OverallToolInvocationResult)

出力専用。ツール呼び出しの全体的なチェックの結果。
errorInfo

object (EvaluationErrorInfo)

出力専用。このターン中に発生したエラーに関する情報。
spanLatencies[]

object (SpanLatency)

出力専用。ターンのスパンのレイテンシ。

共用体フィールド _tool_ordered_invocation_score。

_tool_ordered_invocation_score は次のいずれかになります。
toolOrderedInvocationScore

number

出力専用。このターンのツール注文呼び出しの総合スコア。これは、期待されるターンのツールが、期待される順序で実際に呼び出された割合を示します。

GoldenExpectationOutcome

JSON 表現 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}
フィールド
expectation

object (GoldenExpectation)

出力専用。評価された期待値。
outcome

enum (Outcome)

出力専用。期待の結果。
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

出力専用。意味的類似性チェックの結果。
toolInvocationResult

object (ToolInvocationResult)

出力専用。ツール呼び出しチェックの結果。
共用体フィールド result。期待の結果。result は次のいずれかになります。
observedToolCall

object (ToolCall)

出力専用。ツール呼び出しの期待値の結果。
observedToolResponse

object (ToolResponse)

出力専用。ツール レスポンスの期待値の結果。
observedAgentResponse

object (Message)

出力専用。エージェントの回答の期待値の結果。
observedAgentTransfer

object (AgentTransfer)

出力専用。エージェント転送の期待値の結果。
observedPayload

object (Struct format)

出力専用。観測されたカスタム ペイロード。カスタム ペイロードに関する期待値はありません。これは指標の計算にのみ使用されます。結果は常に SKIPPED になります。

ToolCall

JSON 表現 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
フィールド
id

string

省略可。ツール呼び出しの固有識別子。入力されている場合、クライアントは ToolResponse の照合用のウェブ商品アイテム ID を含む実行結果を返す必要があります。
displayName

string

出力専用。ツールの表示名。
args

object (Struct format)

省略可。JSON オブジェクト形式のツールの入力パラメータと値。
parentToolCallId

string

出力専用。親通話の代わりに作業しているサブエージェントによって発行された場合、このツール呼び出しの原因となったツール呼び出しの ID。トップレベルの呼び出しの場合は空。クライアントが、サブエージェントの作業を、すべてのステップを兄弟としてレンダリングするのではなく、その作業を開始した呼び出しの下にグループ化できるようにします。
agentName

string

出力専用。この呼び出しを発行したエージェントの人が読める形式の名前（「契約アーキテクト」など）。ルート エージェントが発行した場合は空。
共用体フィールド tool_identifier。実行するツールの識別子。永続化されたツールまたはツールセットのツールです。tool_identifier は次のいずれかになります。
tool

string

省略可。実行するツールの名前。形式: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

省略可。実行するツールセット ツール。

ToolsetTool

JSON 表現 
{
  "toolset": string,
  "toolId": string
}
フィールド
toolset

string

必須。このツールが派生した Toolset のリソース名。形式: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

省略可。スキーマを取得するツールをフィルタするツール ID。

構造体

JSON 表現 
{
  "fields": {
    string: value,
    ...
  }
}
フィールド
fields

map (key: string, value: value (Value format))

動的に型指定される値の順序なしのマップ。

"key": value ペアのリストを含むオブジェクト。例: { "name": "wrench", "mass": "1.3kg", "count": "3" }

FieldsEntry

JSON 表現 
{
  "key": string,
  "value": value
}
フィールド
key

string
value

value (Value format)

値

JSON 表現 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
フィールド
共用体フィールド kind。値の種類。kind は次のいずれかになります。
nullValue

null

JSON null を表します。
numberValue

number

JSON 数値を表します。NaN、Infinity、-Infinity は JSON でサポートされていないため、使用できません。また、JSON 形式では通常、数値型で大きな Int64 値がサポートされていないため、大きな Int64 値も表現できません。
stringValue

string

JSON 文字列を表します。
boolValue

boolean

JSON ブール値（JSON の true または false リテラル）を表します。
structValue

object (Struct format)

JSON オブジェクトを表します。
listValue

array (ListValue format)

JSON 配列を表します。

ListValue

JSON 表現 
{
  "values": [
    value
  ]
}
フィールド
values[]

value (Value format)

動的に型指定される値の繰り返しフィールド。

ToolResponse

JSON 表現 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
フィールド
id

string

省略可。レスポンスの対象となる tool call の照合用のウェブ商品アイテム ID。
displayName

string

出力専用。ツールの表示名。
response

object (Struct format)

必須。JSON オブジェクト形式のツール実行結果。「output」キーを使用してツールのレスポンスを指定し、「error」キーを使用してエラーの詳細を指定します（ある場合）。「output」キーと「error」キーが指定されていない場合、レスポンス全体がツール実行結果として扱われます。
parentToolCallId

string

出力専用。親通話の代わりに作業しているサブエージェントによって発行された場合、このツール呼び出しの原因となったツール呼び出しの ID。トップレベルの呼び出しの場合は空。クライアントが、サブエージェントの作業を、すべてのステップを兄弟としてレンダリングするのではなく、その作業を開始した呼び出しの下にグループ化できるようにします。
agentName

string

出力専用。この呼び出しを発行したエージェントの人が読める形式の名前（「契約アーキテクト」など）。ルート エージェントが発行した場合は空。
共用体フィールド tool_identifier。実行されたツールの ID。永続化されたツールまたはツールセットのツールです。tool_identifier は次のいずれかになります。
tool

string

省略可。実行するツールの名前。形式: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

省略可。実行されたツールセット ツール。

メッセージ

JSON 表現 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
フィールド
role

string

省略可。会話内のロール（ユーザー、エージェントなど）。
chunks[]

object (Chunk)

省略可。メッセージのコンテンツをチャンクのシーケンスとして表します。
eventTime

string (Timestamp format)

省略可。メッセージが送信または受信されたときのタイムスタンプ。メッセージが example の一部である場合は使用しないでください。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。

チャンク

JSON 表現 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
フィールド
共用体フィールド data。チャンクデータ。data は次のいずれかになります。
text

string

省略可。テキストデータ。
transcript

string

省略可。音声に関連付けられた文字起こし。
blob

object (Blob)

省略可。Blob データ。
payload

object (Struct format)

省略可。カスタム ペイロード データ。
image

object (Image)

省略可。画像データ。
toolCall

object (ToolCall)

省略可。ツールの実行リクエスト。
toolResponse

object (ToolResponse)

省略可。ツール実行のレスポンス。
agentTransfer

object (AgentTransfer)

省略可。エージェントの転送イベント。
updatedVariables

object (Struct format)

構造体は、会話で更新された変数を変数名でキー設定して表します。
defaultVariables

object (Struct format)

構造体は、会話の開始時のデフォルト変数を表します。変数名でキー設定されます。

Blob

JSON 表現 
{
  "mimeType": string,
  "data": string
}
フィールド
mimeType

string

必須。ソースデータの IANA 標準 MIME タイプ。
data

string (bytes format)

必須。blob の元のバイト。

Base64 でエンコードされた文字列。

画像

JSON 表現 
{
  "mimeType": string,
  "data": string,
  "altText": string
}
フィールド
mimeType

string

必須。ソースデータの IANA 標準 MIME タイプ。サポートされている画像タイプは次のとおりです。* image/png * image/jpeg * image/webp
data

string (bytes format)

必須。画像の未加工のバイト数。

Base64 でエンコードされた文字列。
altText

string

省略可。画像の代替テキスト。

AgentTransfer

JSON 表現 
{
  "targetAgent": string,
  "displayName": string
}
フィールド
targetAgent

string

必須。会話の転送先のエージェント。ここから先は、エージェントが会話に対応します。形式: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

出力専用。エージェントの表示名。

タイムスタンプ

JSON 表現 
{
  "seconds": string,
  "nanos": integer
}
フィールド
seconds

string (int64 format)

UNIX エポック 1970-01-01T00:00:00Z からの UTC 時刻の秒数を表します。-62135596800～253402300799 の範囲（両端を含む）にする必要があります（これは 0001-01-01T00:00:00Z～9999-12-31T23:59:59Z に対応します）。
nanos

integer

ナノ秒分解能による、秒の負ではない小数以下部分。このフィールドは、秒の代替ではなく、期間のナノ秒部分です。小数以下を含む負の秒の値は、時間を前方にカウントする負ではない nanos 値を持つ必要があります。0～999,999,999 にする必要があります（両端を含む）。

GoldenExpectation

JSON 表現 
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}
フィールド
note

string

省略可。この要件に関するメモ。特定のチェックが失敗した場合のレポートに役立ちます。例: "Check_Payment_Tool_Called".
skipEvaluation

boolean

省略可。true に設定すると、この特定の期待値は評価されません。
expectationLevelMetricsThresholdsOverride

object (ExpectationLevelMetricsThresholds)

省略可。ステップレベルで指標をオーバーライドします。
agentResponseSemanticSimilarityMetricsConfigOverride

object (SemanticSimilarityMetricsConfig)

省略可。agent_response の意味的類似性指標のオーバーライド。
agentResponseHallucinationMetricsConfigOverride

object (HallucinationMetricsConfig)

省略可。agent_response ハルシネーション指標のオーバーライド。
comparisonType

enum (ComparisonType)

省略可。期待値チェックに使用する比較タイプ。
共用体フィールド condition。実行する実際のチェック。condition は次のいずれかになります。
toolCall

object (ToolCall)

省略可。特定のツールがパラメータとともに呼び出されたことを確認します。
toolResponse

object (ToolResponse)

省略可。特定のツールが想定どおりのレスポンスを返したことを確認します。
agentResponse

object (Message)

省略可。エージェントが正しい回答で対応していることを確認します。ロール「agent」は暗黙的に指定されます。
agentTransfer

object (AgentTransfer)

省略可。エージェントが会話を別のエージェントに転送したことを確認します。
updatedVariables

object (Struct format)

省略可。エージェントがセッション変数を想定どおりの値に更新したことを確認します。ゴールデン評価用のエージェント変数の更新もキャプチャするために使用されます。
mockToolResponse

object (ToolResponse)

省略可。モックするツールのレスポンス。対象のパラメータが指定されています。指定されていないパラメータは LLM によってハルシネーションされます。
noToolCalls

boolean

省略可。このターンでツールが呼び出されなかったことを確認します。

ExpectationLevelMetricsThresholds

JSON 表現 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
フィールド

共用体フィールド _tool_invocation_parameter_correctness_threshold。

_tool_invocation_parameter_correctness_threshold は次のいずれかになります。
toolInvocationParameterCorrectnessThreshold

number

省略可。個々のツール呼び出しパラメータの正しさの成功しきい値。0 ～ 1 の浮動小数点数にする必要があります。デフォルトは 1.0 です。

SemanticSimilarityMetricsConfig

JSON 表現 
{
  "enableSemanticSimilarityMetrics": boolean
}
フィールド
enableSemanticSimilarityMetrics

boolean

省略可。評価のセマンティック類似性指標を計算するかどうか。

HallucinationMetricsConfig

JSON 表現 
{
  "enableHallucinationMetrics": boolean
}
フィールド
enableHallucinationMetrics

boolean

省略可。評価のハルシネーション指標を計算するかどうか。

SemanticSimilarityResult

JSON 表現 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
フィールド
label

string

出力専用。各スコアに関連付けられたラベル。スコア 4: 完全に一貫している スコア 3: ほぼ一貫している スコア 2: 部分的に一貫している（軽微な欠落がある） スコア 1: ほぼ一貫していない（重大な欠落がある） スコア 0: 完全に一貫していない / 矛盾している
explanation

string

出力専用。意味的類似性スコアの説明。
outcome

enum (Outcome)

出力専用。意味的類似性チェックの結果。これは、スコアと semantic_similarity_success_threshold を比較して判断されます。スコアがしきい値以上の場合、結果は合格になります。それ以外の場合、結果は FAIL になります。

共用体フィールド _score。

_score は次のいずれかになります。
score

integer

出力専用。意味的類似度スコア。0、1、2、3、4 のいずれかになります。

ToolInvocationResult

JSON 表現 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
フィールド
outcome

enum (Outcome)

出力専用。ツール呼び出しチェックの結果。これは、parameter_correctness_score をしきい値と比較することで判断されます。スコアがしきい値以上の場合、結果は合格になります。それ以外の場合、結果は FAIL になります。
explanation

string

出力専用。ツール呼び出しの結果に関する自由形式の説明。

共用体フィールド _parameter_correctness_score。

_parameter_correctness_score は次のいずれかになります。
parameterCorrectnessScore

number

出力専用。ツール呼び出しパラメータの正確性スコア。これは、実際のツール呼び出しにも含まれていた、想定されるツール呼び出しのパラメータの割合を示します。

HallucinationResult

JSON 表現 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
フィールド
label

string

出力専用。各スコアに関連付けられたラベル。スコア 1: 正当なスコア 0: 正当でないスコア -1: 評価する申し立てなし
explanation

string

出力専用。ハルシネーション スコアの説明。

共用体フィールド _score。

_score は次のいずれかになります。
score

integer

出力専用。ハルシネーション スコア。-1、0、1 のいずれかになります。

所要時間

JSON 表現 
{
  "seconds": string,
  "nanos": integer
}
フィールド
seconds

string (int64 format)

期間の符号付き秒数。-315,576,000,000 ～+315,576,000,000 の範囲（両端を含む）にする必要があります。注: これらの上限は、60 秒/分 * 60 分/時間 * 24 時間/日 * 365.25 日/年 * 10,000 年から計算されます。
nanos

integer

時間のスパンのナノ秒分解能による、秒の符号付き小数以下部分。1 秒未満の期間は、0 の seconds フィールドと正または負の nanos フィールドで表されます。1 秒以上の期間の場合、nanos フィールドのゼロ以外の値は、seconds フィールドと同じ符号にする必要があります。-999,999,999～+999,999,999 の範囲内（境界含む）である必要があります。

ToolCallLatency

JSON 表現 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
フィールド
tool

string

出力専用。実行されたツールの名前。形式: projects/{project}/locations/{location}/apps/{app}/tools/{tool}。
displayName

string

出力専用。ツールの表示名。
startTime

string (Timestamp format)

出力専用。ツール呼び出しの実行の開始時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
endTime

string (Timestamp format)

出力専用。ツール呼び出しの実行の終了時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
executionLatency

string (Duration format)

出力専用。ツール呼び出しの実行レイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。

OverallToolInvocationResult

JSON 表現 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
フィールド
outcome

enum (Outcome)

出力専用。ツール呼び出しチェックの結果。これは、tool_invocation_score と overall_tool_invocation_correctness_threshold を比較して判断されます。スコアがしきい値以上の場合、結果は合格になります。それ以外の場合、結果は FAIL になります。

共用体フィールド _tool_invocation_score。

_tool_invocation_score は次のいずれかになります。
toolInvocationScore

number

このターンのツール呼び出しの総合スコア。これは、期待されるターンから実際に呼び出されたツールの全体的な割合を示します。

EvaluationErrorInfo

JSON 表現 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string,
  "userFacingErrorMessage": string
}
フィールド
errorType

enum (ErrorType)

出力専用。エラーの種類。
errorMessage

string

出力専用。エラー メッセージ。
sessionId

string

出力専用。エラーの原因となった会話のセッション ID。
userFacingErrorMessage

string

出力専用。ユーザーに表示されるエラー メッセージ。

SpanLatency

JSON 表現 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
フィールド
type

enum (Type)

出力専用。スパンのタイプ。
displayName

string

出力専用。スパンの表示名。ツールとガードレールのスパンに適用されます。
startTime

string (Timestamp format)

出力専用。スパンの開始時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
endTime

string (Timestamp format)

出力専用。スパンの終了時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
executionLatency

string (Duration format)

出力専用。スパンのレイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。
共用体フィールド identifier。タイプに基づく特定のアイテムの識別子。identifier は次のいずれかになります。
resource

string

出力専用。ガードレールまたはツールのスパンのリソース名。
toolset

object (ToolsetTool)

出力専用。ツールセット ツールの ID。
model

string

出力専用。LLM スパンの名前。
callback

string

出力専用。ユーザー コールバック スパンの名前。

EvaluationExpectationResult

JSON 表現 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
フィールド
evaluationExpectation

string

出力専用。評価の期待値。形式: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

出力専用。評価に使用されたプロンプト。
outcome

enum (Outcome)

出力専用。評価の期待値の結果。
explanation

string

出力専用。結果の説明。

ScenarioResult

JSON 表現 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
フィールド
conversation

string

出力専用。シナリオで生成された会話。
task

string

出力専用。この結果のシナリオを実行したときに使用されたタスク。
userFacts[]

object (UserFact)

出力専用。この結果のシナリオで使用されたユーザー ファクト。
expectationOutcomes[]

object (ScenarioExpectationOutcome)

出力専用。各期待値の結果。
rubricOutcomes[]

object (ScenarioRubricOutcome)

出力専用。ルーブリックの結果。
hallucinationResult[]

object (HallucinationResult)

出力専用。ハルシネーション チェックの結果。会話のターンごとに 1 つのハルシネーション結果が返されます。
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

出力専用。タスク完了チェックの結果。
toolCallLatencies[]

object (ToolCallLatency)

出力専用。会話内の各ツール呼び出しの実行レイテンシ。
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

出力専用。ユーザー目標の達成度チェックの結果。
spanLatencies[]

object (SpanLatency)

出力専用。会話内のスパンのレイテンシ。
evaluationExpectationResults[]

object (EvaluationExpectationResult)

出力専用。評価の期待値の結果。

共用体フィールド _all_expectations_satisfied。

_all_expectations_satisfied は次のいずれかになります。
allExpectationsSatisfied

boolean

出力専用。このターンのすべての期待値が満たされたかどうか。

共用体フィールド _task_completed。

_task_completed は次のいずれかになります。
taskCompleted

boolean

出力専用。このターンでタスクが完了したかどうか。これは、満たされたすべての期待、ハルシネーションの発生なし、ユーザーの目標達成度の複合指標です。

UserFact

JSON 表現 
{
  "name": string,
  "value": string
}
フィールド
name

string

必須。ユーザー ファクトの名前。
value

string

必須。ユーザー ファクトの値。

ScenarioExpectationOutcome

JSON 表現 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
フィールド
expectation

object (ScenarioExpectation)

出力専用。評価された期待値。
outcome

enum (Outcome)

出力専用。ScenarioExpectation の結果。
共用体フィールド result。期待の結果。result は次のいずれかになります。
observedToolCall

object (ObservedToolCall)

出力専用。観測されたツール呼び出し。
observedAgentResponse

object (Message)

出力専用。観測されたエージェントのレスポンス。

ObservedToolCall

JSON 表現 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
フィールド
toolCall

object (ToolCall)

出力専用。観測されたツール呼び出し。
toolResponse

object (ToolResponse)

出力専用。観測されたツールのレスポンス。

ScenarioExpectation

JSON 表現 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
フィールド
共用体フィールド expectation。シミュレーションによって生成された会話を評価するための期待値。expectation は次のいずれかになります。
toolExpectation

object (ToolExpectation)

省略可。評価するツール呼び出しとレスポンスのペア。
agentResponse

object (Message)

省略可。評価するエージェントのレスポンス。

ToolExpectation

JSON 表現 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
フィールド
expectedToolCall

object (ToolCall)

必須。対象のパラメータが指定された、想定されるツール呼び出し。指定されていないパラメータは LLM によってハルシネーションされます。
mockToolResponse

object (ToolResponse)

必須。モックするツールのレスポンス。対象のパラメータが指定されています。指定されていないパラメータは LLM によってハルシネーションされます。

ScenarioRubricOutcome

JSON 表現 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
フィールド
rubric

string

出力専用。会話の評価に使用されたルーブリック。
scoreExplanation

string

出力専用。ルーブリックに対する評価者の回答。

共用体フィールド _score。

_score は次のいずれかになります。
score

number

出力専用。ルーブリックに対する会話のスコア。

TaskCompletionResult

JSON 表現 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
フィールド
label

string

出力専用。各スコアに関連付けられたラベル。スコア 1: タスク完了 スコア 0: タスク未完了 スコア -1: ユーザーの目標が未定義
explanation

string

出力専用。タスク完了スコアの説明。

共用体フィールド _score。

_score は次のいずれかになります。
score

integer

出力専用。タスク完了のスコア。-1、0、1 のいずれかになります。

UserGoalSatisfactionResult

JSON 表現 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
フィールド
label

string

出力専用。各スコアに関連付けられたラベル。スコア 2: Graceful Handoff スコア 1: User Task Satisfied スコア 0: User Task Not Satisfied スコア -1: User Task Unspecified
explanation

string

出力専用。ユーザー タスクの満足度スコアの説明。

共用体フィールド _score。

_score は次のいずれかになります。
score

integer

出力専用。ユーザー タスクの満足度スコア。-1、0、1、2 のいずれかになります。

EvaluationPersona

JSON 表現 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
フィールド
name

string

必須。ペルソナの固有識別子。形式: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

省略可。ペルソナの説明。
displayName

string

必須。ペルソナの表示名。アプリ内で一意。
personality

string

必須。評価でどのように動作するかについてのエージェントへの指示。
speechConfig

object (SpeechConfig)

省略可。ペルソナの音声（テキスト読み上げの設定）に関する構成。

SpeechConfig

JSON 表現 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
フィールド
speakingRate

number

省略可。発話速度。1.0 が正常です。値が小さいほど遅く（0.8 など）、値が大きいほど速くなります（1.5 など）。エージェントが早口の話し手をどのように処理するかをテストするのに役立ちます。
environment

enum (BackgroundEnvironment)

省略可。シミュレートされたオーディオ環境。
voiceId

string

省略可。使用する特定の音声識別子/アクセント。例: 「en-US-Wavenet-D」、「en-GB-Standard-A」

ステータス

JSON 表現 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
フィールド
code

integer

ステータス コード。google.rpc.Code の列挙値である必要があります。
message

string

デベロッパー向けのエラー メッセージ。英語で記述します。ユーザー向けのエラー メッセージは、ローカライズして google.rpc.Status.details フィールドで送信するか、クライアントでローカライズする必要があります。
details[]

object

エラーの詳細を保持するメッセージのリスト。API が使用する共通のメッセージ タイプのセットがあります。

任意のデータ型のフィールドを含むオブジェクトであり、型を識別する URI を含むフィールド "@type" を追加できます。例: { "id": 1234, "@type": "types.example.com/standard/id" }

すべて

JSON 表現 
{
  "typeUrl": string,
  "value": string
}
フィールド
typeUrl

string

スラッシュで終わる接頭辞と完全修飾型名で構成される URI 参照を使用して、シリアル化された Protobuf メッセージの型を識別します。

例: type.googleapis.com/google.protobuf.StringValue

この文字列には / 文字を 1 つ以上含める必要があります。最後の / の後のコンテンツは、先頭のドットのない正規形式の型の完全修飾名である必要があります。クライアントが連絡を試みないように、これらの URI 参照にスキームを記述しないでください。

接頭辞は任意であり、Protobuf 実装では、最後の / までを削除して型を識別することが想定されています。type.googleapis.com/ は、一部のレガシー実装で必要な一般的なデフォルトの接頭辞です。この接頭辞は型のオリジンを示すものではなく、これを含む URI はリクエストに応答しないことが想定されています。

すべての型 URL 文字列は、有効な URI 参照である必要があります。また、テキスト形式の場合、参照の内容は英数字、パーセント エンコードされたエスケープ、および次のセットの文字（外側のバッククォートを除く）のみで構成されている必要があります。/-.~_!$&()*+,;=。パーセント エンコーディングは許可されていますが、既存のパーサーとの混同を避けるため、実装ではエスケープ解除しないでください。たとえば、type.googleapis.com%2FFoo は拒否される必要があります。

Any の元の設計では、これらの型 URL で型解決サービスを起動する可能性が検討されましたが、Protobuf は実装していません。また、これらの URL への接続は問題があり、セキュリティ上の問題を引き起こす可能性があると考えています。連絡先タイプの URL にアクセスしようとしないでください。
value

string (bytes format)

type_url で記述された型の Protobuf シリアル化を保持します。

Base64 でエンコードされた文字列。

EvaluationMetricsThresholds

JSON 表現 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
フィールド
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

省略可。ゴールデン評価指標のしきい値。
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

省略可。非推奨: 代わりに、golden_hallucination_metric_behavior を使用してください。現在、ハルシネーション指標の動作はゴールデン評価に使用されています。
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

省略可。ゴールデン評価のハルシネーション指標の動作。
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

省略可。シナリオ評価のハルシネーション指標の動作。

GoldenEvaluationMetricsThresholds

JSON 表現 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
フィールド
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

省略可。ターンレベルの指標のしきい値。
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

省略可。期待値レベルの指標のしきい値。
toolMatchingSettings

object (ToolMatchingSettings)

省略可。ツール マッチングの設定。余分なツール呼び出しとは、実行には存在するものの、ゴールデン エクスペクテーションのツール呼び出しと一致しないツール呼び出しのことです。

TurnLevelMetricsThresholds

JSON 表現 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
フィールド
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

省略可。評価に使用するセマンティック類似性チャネル。

共用体フィールド _semantic_similarity_success_threshold。

_semantic_similarity_success_threshold は次のいずれかになります。
semanticSimilaritySuccessThreshold

integer

省略可。意味的類似性の成功しきい値。0 ～ 4 の整数を指定してください。デフォルトは 3 以上です。

共用体フィールド _overall_tool_invocation_correctness_threshold。

_overall_tool_invocation_correctness_threshold は次のいずれかになります。
overallToolInvocationCorrectnessThreshold

number

省略可。ツール呼び出しの全体的な正しさの成功しきい値。0 ～ 1 の浮動小数点数にする必要があります。デフォルトは 1.0 です。

ToolMatchingSettings

JSON 表現 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
フィールド
extraToolCallBehavior

enum (ExtraToolCallBehavior)

省略可。追加のツール呼び出しの動作。デフォルトは FAIL です。

EvaluationConfig

JSON 表現 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
フィールド
inputAudioConfig

object (InputAudioConfig)

省略可。入力音声の処理の構成。
outputAudioConfig

object (OutputAudioConfig)

省略可。出力音声の生成に関する構成。
evaluationChannel

enum (EvaluationChannel)

省略可。評価するチャネル。
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

省略可。評価で実際のツール呼び出しを使用するか、偽のツールを使用するかを指定します。

InputAudioConfig

JSON 表現 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
フィールド
audioEncoding

enum (AudioEncoding)

必須。入力音声データのエンコード。
sampleRateHertz

integer

必須。入力音声データのサンプルレート（ヘルツ単位）。
noiseSuppressionLevel

string

省略可。入力音声のノイズ サプレッションを有効にするかどうか。使用可能な値は「low」、「moderate」、「high」、「very_high」です。

OutputAudioConfig

JSON 表現 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
フィールド
audioEncoding

enum (AudioEncoding)

必須。出力音声データのエンコード。
sampleRateHertz

integer

必須。出力音声データのサンプルレート（ヘルツ単位）。

スパン

JSON 表現 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
フィールド
name

string

出力専用。スパンの名前。
startTime

string (Timestamp format)

出力専用。スパンの開始時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
endTime

string (Timestamp format)

出力専用。スパンの終了時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
duration

string (Duration format)

出力専用。スパンの期間。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。
attributes

object (Struct format)

出力専用。スパンに関連付けられた Key-Value 属性。
childSpans[]

object (Span)

出力専用。このスパンの下にネストされている子スパン。

NullValue

JSON null を表します。

NullValue はセンチネルです。1 つの値のみを持つ列挙型を使用して、Value 型共用体の null 値を表します。

0 以外の値を持つ NullValue 型のフィールドは無効と見なされます。ほとんどの ProtoJSON シリアライザーは、整数値に関係なく、null_value を JSON null として設定した Value を出力するため、0 値に往復します。

列挙型
NULL_VALUE Null 値。

ComparisonType

エージェントのレスポンスを確認するためにサポートされている比較タイプ。

列挙型
COMPARISON_TYPE_UNSPECIFIED 比較タイプが指定されていません。エージェントの回答とツール呼び出しの動作は、デフォルトで SEMANTIC_SIMILARITY に設定されています。
EQUALS 文字列が完全に一致します。
CONTAINS 部分文字列の一致（実際のレスポンスに期待される文字列が含まれているかどうかを確認します）。
SEMANTIC_SIMILARITY 意味的類似性の一致（LLM を使用して意味的類似性を評価します）。

結果

評価または期待の結果。

列挙型
OUTCOME_UNSPECIFIED 評価結果が指定されていません。
PASS 評価/期待値に合格しました。評価の場合、これはすべての期待値が満たされたことを意味します。
FAIL 評価/期待値に失敗しました。評価の場合、これは少なくとも 1 つの期待値が満たされなかったことを意味します。
SKIPPED 評価/期待値がスキップされました。

ErrorType

エラーの種類

列挙型
ERROR_TYPE_UNSPECIFIED エラータイプが指定されていません。
RUNTIME_FAILURE ランタイム実行中のエラー。
CONVERSATION_RETRIEVAL_FAILURE CES ランタイムから会話を取得できませんでした。
METRIC_CALCULATION_FAILURE 指標 / 結果を計算できない。
EVALUATION_UPDATE_FAILURE 評価を更新できませんでした。
QUOTA_EXHAUSTED 割り当てを使い切りました。
USER_SIMULATION_FAILURE ユーザー シミュレーション中にエラーが発生しました。

タイプ

スパンのタイプ。今後、値が追加される可能性があります。

列挙型
TYPE_UNSPECIFIED デフォルト値。この値は使用されません。
TOOL ツール呼び出しスパン。
USER_CALLBACK ユーザー コールバック スパン。
GUARDRAIL ガードレールのスパン。
LLM LLM スパン。

BackgroundEnvironment

シミュレートされたオーディオ環境。

列挙型
BACKGROUND_ENVIRONMENT_UNSPECIFIED バックグラウンド環境が指定されていません。
CALL_CENTER コールセンター環境。
TRAFFIC 交通騒音環境。
KIDS_NOISE 子どもの騒音環境。
CAFE カフェ環境。

ExecutionState

評価結果の実行状態。

列挙型
EXECUTION_STATE_UNSPECIFIED 評価結果の実行状態が指定されていません。
QUEUED 評価結果の実行がキューに登録されます。
RUNNING 評価結果の実行中です。
COMPLETED 評価結果の実行が完了しました。
ERROR 内部エラーのため、評価結果の実行に失敗しました。
CANCELLED 評価結果の実行がキャンセルされました。

SemanticSimilarityChannel

使用する意味的類似性チャンネル。

列挙型
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED 指標が指定されていません。デフォルトは TEXT です。
TEXT テキストのセマンティック類似性を使用します。
AUDIO 音声の意味的類似性を使用します。

ExtraToolCallBehavior

追加のツール呼び出しが発生した場合の動作を定義します。余分なツール呼び出しとは、実行には存在するものの、ゴールデン エクスペクテーションのツール呼び出しと一致しないツール呼び出しのことです。

列挙型
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED 未指定の動作。デフォルトは FAIL です。
FAIL 余分なツール呼び出しが発生した場合は、評価を不合格にします。
ALLOW 追加のツール呼び出しを許可します。

HallucinationMetricBehavior

ハルシネーション指標の動作。動作に関係なく、指標は常に計算されます。無効にすると、指標が総合評価スコアの計算に使用されなくなる点が異なります。

列挙型
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED ハルシネーション指標の動作が指定されていません。
DISABLED ハルシネーション指標を無効にします。
ENABLED ハルシネーション指標を有効にします。

AudioEncoding

AudioEncoding は、音声データのエンコード形式を指定します。

列挙型
AUDIO_ENCODING_UNSPECIFIED 音声エンコードが指定されていません。
LINEAR16 16 ビット リニア PCM 音声エンコード。
MULAW G.711 PCMU/mu-law を使用して 14 ビットの音声サンプルの圧縮と伸張を行う 8 ビットのサンプル。
ALAW G.711 PCMU/A-law を使用して 14 ビットの音声サンプルをコンパンディングする 8 ビットのサンプル。

EvaluationChannel

評価するチャネル。

列挙型
EVALUATION_CHANNEL_UNSPECIFIED 評価チャンネルが指定されていません。
TEXT テキストのみの評価チャネル。
AUDIO 音声評価チャンネル。

EvaluationToolCallBehaviour

評価実行のツール呼び出しの動作を構成します。

列挙型
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED ツール呼び出しの動作が指定されていません。デフォルトでは実際のツール呼び出しになります。
REAL 実際のツール呼び出しを使用します。
FAKE 偽のツール呼び出しを使用します。

GoldenRunMethod

評価の実行に使用されるメソッド。

列挙型
GOLDEN_RUN_METHOD_UNSPECIFIED 実行メソッドが指定されていません。
STABLE 評価を安定した再生として実行します。各ターンは一意のセッションであり、前の予想されるターンがコンテキストとして挿入されます。
NAIVE 評価をナイーブな再生として実行します。この実行は、コンテキストが挿入されていない単一のセッションです。

OutcomeMetadata

評価の結果に関するメタデータ。

列挙型
OUTCOME_METADATA_UNSPECIFIED 未指定の結果メタデータ。
GRACEFUL_HANDOFF 評価の結果、人間の担当者にスムーズに引き継がれました。

ツールのアノテーション

ツールのアノテーションは、特定のツールの基本的なリスクを説明するために MCP クライアントに送信されます。ほとんどのクライアントはこれらのヒントを信頼できないものとして扱いますが、確認プロンプトをユーザーに送信するタイミングを決定するために使用できます。

タイトル文字列とともに、次のブール値のヒントが次のように定義されます。

  • readOnlyHint: true の場合、ツールは環境を変更しません。デフォルトは false です。
  • destructiveHint: true の場合、ツールは破壊的なアクションを実行できます。false の場合、ツールは追加アクションのみを実行できます。デフォルト値は true です。
  • idempotentHint: true の場合、同じ引数でツールを繰り返し呼び出しても、環境に影響はありません。デフォルトは false です。
  • openWorldHint: true の場合、ツールは外部エンティティの「オープンワールド」とやり取りできます。false の場合、ツールは内部エンティティとのみやり取りできます。たとえば、ウェブ検索ツールはオープン ワールドですが、メモリツールはオープン ワールドではありません。

破壊的ヒント: ❌ | べき等ヒント: ✅ | 読み取り専用ヒント: ✅ | オープン ワールド ヒント: ❌