MCP Tools Reference: ces.googleapis.com

ツール: get_evaluation

指定された評価の詳細を取得します。

次のコードサンプルは、curl を使用して get_evaluation MCP ツールを呼び出す方法を示しています。

Curl リクエスト 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "get_evaluation",
    "arguments": {
      // Provide these details according to the MCP tool specification.
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

入力スキーマ

EvaluationService.GetEvaluation のリクエスト メッセージです。

GetEvaluationRequest

JSON 表現 
{
  "name": string
}
フィールド
name

string

必須。取得する評価のリソース名。

出力スキーマ

評価は、エージェントのシミュレーションと評価に必要なすべての情報を表します。

評価

JSON 表現 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
フィールド
name

string

ID。この評価の固有識別子。形式: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

必須。評価のユーザー定義の表示名。アプリ内で一意。
description

string

省略可。評価のユーザー定義の説明。
tags[]

string

省略可。評価を分類するためのユーザー定義タグ。
evaluationDatasets[]

string

出力専用。評価が属する評価データセットのリスト。形式: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

出力専用。評価が作成されたときのタイムスタンプ。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
createdBy

string

出力専用。評価を作成したユーザー。
updateTime

string (Timestamp format)

出力専用。評価が最後に更新されたときのタイムスタンプ。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
lastUpdatedBy

string

出力専用。評価を最後に更新したユーザー。
evaluationRuns[]

string

出力専用。この評価が関連付けられている EvaluationRun。
etag

string

出力専用。読み取り / 変更 / 書き込みオペレーション中にオブジェクトが変更されていないことを確認するために使用される Etag。etag が空の場合、更新によって同時変更が上書きされます。
aggregatedMetrics

object (AggregatedMetrics)

出力専用。すべての実行にわたるこの評価の集計指標。
lastCompletedResult

object (EvaluationResult)

出力専用。この評価の最新の評価結果。
invalid

boolean

出力専用。評価が無効かどうか。これは、評価が、削除されたツール、ツールセット、エージェントを参照している場合に発生することがあります。
lastTenResults[]

object (EvaluationResult)

出力専用。この評価の最新 10 件の評価結果。これは、ListEvaluationsRequest または GetEvaluationRequest で include_last_ten_results が true に設定されている場合にのみ入力されます。
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

省略可。この特定の評価の指標しきい値をオーバーライドします。
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

省略可。この特定の評価の指標構成をオーバーライドします。
共用体フィールド inputs。評価 inputs の入力は、次のいずれか 1 つのみです。
golden

object (Golden)

省略可。評価対象のゴールデン ステップ。
scenario

object (Scenario)

省略可。シナリオの構成。

ゴールデン

JSON 表現 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
フィールド
turns[]

object (GoldenTurn)

必須。ゴールデン会話を再生するために必要なゴールデン ターン。許可されるターン数の上限は 100 です。
evaluationExpectations[]

string

省略可。再生された会話を評価するための評価期待値。形式: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

JSON 表現 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior)
}
フィールド
steps[]

object (Step)

必須。ゴールデン会話を再生するために必要な手順。
rootSpan

object (Span)

省略可。音声情報の処理と維持のためのゴールデン ターンのルートスパン。音声の URI には、16 kHz のサンプリング レートで保存された音声が含まれている必要があります。
turnLevelMetricsThresholdsOverride

object (TurnLevelMetricsThresholds)

省略可。ターンレベルの指標のしきい値のオーバーライド。
hallucinationMetricBehaviorOverride

enum (HallucinationMetricBehavior)

省略可。ターンレベルのハルシネーション指標の動作をオーバーライドします。

ステップ

JSON 表現 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
フィールド
共用体フィールド step。実行するステップ。step は次のいずれかになります。
userInput

object (SessionInput)

省略可。会話のユーザー入力。
agentTransfer

object (AgentTransfer)

省略可。会話を別のエージェントに転送する。
expectation

object (GoldenExpectation)

省略可。現在のターンで期待値を実行します。

SessionInput

JSON 表現 
{
  "willContinue": boolean,
  "recordingControl": enum (RecordingControl),

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
フィールド
willContinue

boolean

省略可。現在のメッセージが、双方向ストリーミング セッションのより大きな入力のフラグメントであるかどうかを示すフラグ。

true に設定すると、エージェントは、will_continue が false である後続のメッセージを受信するまで、またはシステムが音声入力のエンドポイントを検出するまで、処理を延期します。

注: このフィールドは、音声入力と DTMF 入力には適用されません。これらは常にエンドポイント信号に基づいて自動的に処理されるためです。
recordingControl

enum (RecordingControl)

省略可。これ以降の会話が記録およびログに記録される可能性があるかどうか。

エージェントではなくアプリが保持する内容を決定する場合（たとえば、通話に関する情報を保存する前にエンドユーザーが録音に同意する必要がある場合）に使用します。

この値は、クライアントが別の値を送信するまで有効であるため、回答が変更された場合にのみ送信する必要があります。ターンが完了した時点で有効な設定によって、そのターンが決定されます。つまり、その音声が録音バケットに到達するかどうか、その文字起こしが会話履歴、BigQuery、Cloud Logging に到達するかどうかが決定されます。エージェント側とエンドユーザー側の両方のターンをカバーします。

クライアントがこのフィールドを初めて送信する前に完了したターンは、このフィールドが存在しないかのように、アプリのロギング設定に従って記録されます。

同じリクエスト内の複数の入力で設定されている場合は、最後の入力が優先されます。
共用体フィールド input_type。入力のタイプ。input_type は次のいずれかになります。
text

string

省略可。エンドユーザーからのテキストデータ。
dtmf

string

省略可。エンドユーザーからの DTMF 番号。
audio

string (bytes format)

省略可。エンドユーザーからの音声データ。

Base64 でエンコードされた文字列。
toolResponses

object (ToolResponses)

省略可。クライアントからのツール呼び出しの実行結果。
image

object (Image)

省略可。エンドユーザーからの画像データ。
blob

object (Blob)

省略可。エンドユーザーからの blob データ。
variables

object (Struct format)

省略可。セッションのコンテキスト変数。名前をキーとして使用します。CES エージェントは、アプリで宣言された変数のみを使用します。

認識されない変数は、追加のセッション パラメータとして [Dialogflow エージェント][Agent.RemoteDialogflowAgent] に送信されます。
event

object (Event)

省略可。イベント入力。

ToolResponses

JSON 表現 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
フィールド
toolResponses[]

object (ToolResponse)

省略可。ツールの実行結果のリスト。

ToolResponse

JSON 表現 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,
  "targetApp": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
フィールド
id

string

省略可。レスポンスの対象となる tool call の照合用のウェブ商品アイテム ID。
displayName

string

出力専用。ツールの表示名。
response

object (Struct format)

必須。JSON オブジェクト形式のツール実行結果。「output」キーを使用してツールのレスポンスを指定し、「error」キーを使用してエラーの詳細（存在する場合）を指定します。「output」キーと「error」キーが指定されていない場合、「response」全体がツールの実行結果として扱われます。
parentToolCallId

string

出力専用。親呼び出しに代わって動作するサブエージェントによって発行された場合に、この呼び出しの原因となったツール呼び出しの ID。最上位の呼び出しの場合は空です。クライアントは、すべてのステップを兄弟としてレンダリングするのではなく、サブエージェントの作業を、それを開始した呼び出しの下にグループ化できます。
agentName

string

出力専用。この呼び出しを発行したエージェントの人が読める形式の名前（「Contract Architect」など）。ルート エージェントが発行した場合は空になります。
targetApp

string

出力専用。実行されたツールの対象となったアプリ。ToolCall.target_app をミラーリングします。
共用体フィールド tool_identifier。実行されたツールの識別子。永続化されたツールまたはツールセットのツールのいずれかです。tool_identifier は次のいずれかになります。
tool

string

省略可。実行するツールの名前。形式: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

省略可。実行されたツールセット ツール。

ToolsetTool

JSON 表現 
{
  "toolset": string,
  "toolId": string
}
フィールド
toolset

string

必須。このツールの派生元である Toolset のリソース名。形式: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

省略可。スキーマを取得するツールをフィルタするためのツール ID。

構造体

JSON 表現 
{
  "fields": {
    string: value,
    ...
  }
}
フィールド
fields

map (key: string, value: value (Value format))

動的に型指定される値の順序なしのマップ。

"key": value ペアのリストを含むオブジェクト。例: { "name": "wrench", "mass": "1.3kg", "count": "3" }

FieldsEntry

JSON 表現 
{
  "key": string,
  "value": value
}
フィールド
key

string
value

value (Value format)

値

JSON 表現 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
フィールド
共用体フィールド kind。値の種類。kind は次のいずれかになります。
nullValue

null

JSON null を表します。
numberValue

number

JSON 番号を表します。NaN、Infinity、-Infinity は JSON でサポートされていないため、使用できません。また、JSON 形式では一般に数値型で大きな Int64 値がサポートされていないため、大きな Int64 値を表すこともできません。
stringValue

string

JSON 文字列を表します。
boolValue

boolean

JSON ブール値（JSON の true または false リテラル）を表します。
structValue

object (Struct format)

JSON オブジェクトを表します。
listValue

array (ListValue format)

JSON 配列を表します。

ListValue

JSON 表現 
{
  "values": [
    value
  ]
}
フィールド
values[]

value (Value format)

動的に型指定される値の繰り返しフィールド。

画像

JSON 表現 
{
  "mimeType": string,
  "data": string,
  "altText": string
}
フィールド
mimeType

string

必須。ソースデータの IANA 標準 MIME タイプ。サポートされている画像タイプには、image/png、image/jpeg、image/webp があります。
data

string (bytes format)

必須。画像の未加工のバイト数。

Base64 でエンコードされた文字列。
altText

string

省略可。画像の代替テキスト。

Blob

JSON 表現 
{
  "mimeType": string,
  "data": string
}
フィールド
mimeType

string

必須。ソースデータの IANA 標準 MIME タイプ。
data

string (bytes format)

必須。blob の未加工バイト。

Base64 でエンコードされた文字列。

イベント

JSON 表現 
{
  "event": string,
  "variables": {
    object
  }
}
フィールド
event

string

必須。イベントの名前。
variables

object (Struct format)

省略可。イベントに関連付けられた追加の変数。

AgentTransfer

JSON 表現 
{
  "targetAgent": string,
  "displayName": string
}
フィールド
targetAgent

string

必須。会話の転送先のエージェント。この時点から、エージェントが会話を処理します。形式: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

出力専用。エージェントの表示名。

GoldenExpectation

JSON 表現 
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}
フィールド
note

string

省略可。この要件に関するメモ。特定のチェックが失敗した場合のレポートに役立ちます。例: "Check_Payment_Tool_Called".
skipEvaluation

boolean

省略可。true に設定すると、この特定の期待値は評価されません。
expectationLevelMetricsThresholdsOverride

object (ExpectationLevelMetricsThresholds)

省略可。ステップレベルで指標をオーバーライドします。
agentResponseSemanticSimilarityMetricsConfigOverride

object (SemanticSimilarityMetricsConfig)

省略可。agent_response のセマンティック類似度指標のオーバーライド。
agentResponseHallucinationMetricsConfigOverride

object (HallucinationMetricsConfig)

省略可。agent_response ハルシネーション指標のオーバーライド。
comparisonType

enum (ComparisonType)

省略可。期待値チェックに使用する比較タイプ。
共用体フィールド condition。実行する実際のチェック。condition は次のいずれかになります。
toolCall

object (ToolCall)

省略可。特定のツールがパラメータを指定して呼び出されたことを確認します。
toolResponse

object (ToolResponse)

省略可。特定のツールが想定どおりのレスポンスを返したことを確認します。
agentResponse

object (Message)

省略可。エージェントが正しい回答を返したことを確認します。「agent」ロールは暗黙的に指定されます。
agentTransfer

object (AgentTransfer)

省略可。エージェントが会話を別のエージェントに転送したことを確認します。
updatedVariables

object (Struct format)

省略可。エージェントがセッション変数を想定される値に更新したことを確認します。ゴールデン評価のエージェント変数の更新をキャプチャするためにも使用されます。
mockToolResponse

object (ToolResponse)

省略可。モックするツール レスポンス。対象のパラメータが指定されています。指定されていないパラメータは、LLM によってハルシネーションされます。
noToolCalls

boolean

省略可。このターン中にツールが呼び出されていないことを確認します。

ToolCall

JSON 表現 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,
  "targetApp": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
フィールド
id

string

省略可。ツール呼び出しの固有識別子。入力されている場合、クライアントは ToolResponse で照合用のウェブ商品アイテム ID を含む実行結果を返す必要があります。
displayName

string

出力専用。ツールの表示名。
args

object (Struct format)

省略可。ツールの入力パラメータと値（JSON オブジェクト形式）。
parentToolCallId

string

出力専用。親呼び出しに代わって動作するサブエージェントによって発行された場合に、この呼び出しの原因となったツール呼び出しの ID。最上位の呼び出しの場合は空です。クライアントは、すべてのステップを兄弟としてレンダリングするのではなく、サブエージェントの作業を、それを開始した呼び出しの下にグループ化できます。
agentName

string

出力専用。この呼び出しを発行したエージェントの人が読める形式の名前（「Contract Architect」など）。ルート エージェントが発行した場合は空になります。
targetApp

string

出力専用。この呼び出しの対象となるアプリ。アシスタントが呼び出しのリソース引数から取得します。アプリのリソース名、ロケーション スコープのツールの場合は PROJECT、セッション ローカルのツールの場合は空です。プロジェクト スコープのアシスタント セッションでのみ設定されます。
共用体フィールド tool_identifier。実行するツールの識別子。永続化されたツールまたはツールセットのツールのいずれかです。tool_identifier は次のいずれかになります。
tool

string

省略可。実行するツールの名前。形式: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

省略可。実行するツールセット ツール。

メッセージ

JSON 表現 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
フィールド
role

string

省略可。会話内のロール（ユーザー、エージェントなど）。
chunks[]

object (Chunk)

省略可。一連のチャンクとしてのメッセージのコンテンツ。
eventTime

string (Timestamp format)

省略可。メッセージが送信または受信されたときのタイムスタンプ。メッセージが example の一部である場合は使用しないでください。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。

チャンク

JSON 表現 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
フィールド
共用体フィールド data。データをチャンク化する。data は次のいずれかになります。
text

string

省略可。テキストデータ。
transcript

string

省略可。音声に関連付けられた文字起こし。
blob

object (Blob)

省略可。blob データ。
payload

object (Struct format)

省略可。カスタム ペイロード データ。
image

object (Image)

省略可。画像データ。
toolCall

object (ToolCall)

省略可。ツール実行リクエスト。
toolResponse

object (ToolResponse)

省略可。ツール実行レスポンス。
agentTransfer

object (AgentTransfer)

省略可。エージェント転送イベント。
updatedVariables

object (Struct format)

構造体は、会話で更新された変数を表します。変数名でキー設定されます。
defaultVariables

object (Struct format)

構造体は、会話の開始時にデフォルトの変数を表します。変数名でキー設定されます。

タイムスタンプ

JSON 表現 
{
  "seconds": string,
  "nanos": integer
}
フィールド
seconds

string (int64 format)

UNIX エポック 1970-01-01T00:00:00Z からの UTC 時刻の秒数を表します。-62135596800～253402300799 の範囲（両端を含む）にする必要があります（これは 0001-01-01T00:00:00Z～9999-12-31T23:59:59Z に対応します）。
nanos

integer

ナノ秒分解能による、秒の負ではない小数以下部分。このフィールドは、秒の代替ではなく、期間のナノ秒部分です。小数以下を含む負の秒の値は、時間を前方にカウントする負ではない nanos 値を持つ必要があります。0～999,999,999 にする必要があります（両端を含む）。

ExpectationLevelMetricsThresholds

JSON 表現 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
フィールド

共用体フィールド _tool_invocation_parameter_correctness_threshold。

_tool_invocation_parameter_correctness_threshold は次のいずれかになります。
toolInvocationParameterCorrectnessThreshold

number

省略可。個々のツール呼び出しパラメータの正確性の成功しきい値。0 ～ 1 の浮動小数点数にする必要があります。デフォルトは 1.0 です。

SemanticSimilarityMetricsConfig

JSON 表現 
{
  "enableSemanticSimilarityMetrics": boolean
}
フィールド
enableSemanticSimilarityMetrics

boolean

省略可。評価にセマンティック類似性指標を計算するかどうか。

HallucinationMetricsConfig

JSON 表現 
{
  "enableHallucinationMetrics": boolean
}
フィールド
enableHallucinationMetrics

boolean

省略可。評価のためにハルシネーション指標を計算するかどうか。

スパン

JSON 表現 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
フィールド
name

string

出力専用。スパンの名前。
startTime

string (Timestamp format)

出力専用。スパンの開始時刻。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
endTime

string (Timestamp format)

出力専用。スパンの終了時刻。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
duration

string (Duration format)

出力専用。スパンの期間。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。
attributes

object (Struct format)

出力専用。スパンに関連付けられた Key-Value 属性。
childSpans[]

object (Span)

出力専用。このスパンの下にネストされている子スパン。

所要時間

JSON 表現 
{
  "seconds": string,
  "nanos": integer
}
フィールド
seconds

string (int64 format)

期間の秒数（符号付き）。-315,576,000,000 ～+315,576,000,000 の範囲（境界を含む）になります。注: これらの境界は、60 秒/分 * 60 分/時間 * 24 時間/日 * 365.25 日/年 * 10,000 年から計算されます。
nanos

integer

期間のナノ秒分解能による、秒の符号付き小数以下部分。1 秒未満の期間は、0 の seconds フィールドと、正または負の nanos フィールドで表されます。1 秒以上の期間の場合、nanos フィールドのゼロ以外の値は seconds フィールドと同じ符号にする必要があります。-999,999,999～+999,999,999 の範囲内（境界含む）である必要があります。

TurnLevelMetricsThresholds

JSON 表現 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
フィールド
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

省略可。評価に使用するセマンティック類似性チャネル。

共用体フィールド _semantic_similarity_success_threshold。

_semantic_similarity_success_threshold は次のいずれかになります。
semanticSimilaritySuccessThreshold

integer

省略可。意味的類似性の成功しきい値。0 ～ 4 の整数を指定してください。デフォルトは >= 3 です。

共用体フィールド _overall_tool_invocation_correctness_threshold。

_overall_tool_invocation_correctness_threshold は次のいずれかになります。
overallToolInvocationCorrectnessThreshold

number

省略可。ツール呼び出しの全体的な正確性の成功しきい値。0 ～ 1 の浮動小数点数にする必要があります。デフォルトは 1.0 です。

シナリオ

JSON 表現 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "milestones": [
    {
      object (Milestone)
    }
  ],
  "scenarioExecutionMode": enum (ScenarioExecutionMode)
}
フィールド
task

string

必須。シナリオの対象となるタスク。
userFacts[]

object (UserFact)

省略可。シナリオで使用されるユーザー情報。
maxTurns

integer

省略可。シミュレーションするターンの最大数。最大値は 100 です。デフォルト値は 100 です。
rubrics[]

string

必須。シナリオを採点するためのルーブリック。
scenarioExpectations[]

object (ScenarioExpectation)

必須。ユーザー シミュレーションによって生成された会話を評価する ScenarioExpectations。
variableOverrides

object (Struct format)

省略可。セッションのコンテキストとしての変数 / セッション パラメータ。変数名でキー設定されます。この構造体のメンバーは、システムによって設定されたデフォルト値をオーバーライドします。

これらは、ユーザーが知っている事実であるユーザー ファクトとは異なります。変数とは、エージェントが認識しているパラメータです。たとえば、テレフォニー システムから渡される MDN（電話番号）などです。
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

省略可。非推奨。代わりに user_goal_behavior を使用してください。
userGoalBehavior

enum (UserGoalBehavior)

省略可。ユーザーの目標の想定される動作。
evaluationExpectations[]

string

省略可。シミュレーションによって生成された会話を評価するための評価期待値。形式: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
milestones[]

object (Milestone)

省略可。このシナリオのマイルストーン。
scenarioExecutionMode

enum (ScenarioExecutionMode)

省略可。シナリオ評価の実行モード。

UserFact

JSON 表現 
{
  "name": string,
  "value": string
}
フィールド
name

string

必須。ユーザー ファクトの名前。
value

string

必須。ユーザー ファクトの値。

ScenarioExpectation

JSON 表現 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
フィールド
共用体フィールド expectation。シミュレーションによって生成された会話を評価するための期待値。expectation は次のいずれかになります。
toolExpectation

object (ToolExpectation)

省略可。評価対象のツール呼び出しとレスポンスのペア。
agentResponse

object (Message)

省略可。評価対象のエージェントのレスポンス。

ToolExpectation

JSON 表現 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
フィールド
expectedToolCall

object (ToolCall)

必須。想定されるツール呼び出し。対象のパラメータが指定されています。指定されていないパラメータは、LLM によってハルシネーションされます。
mockToolResponse

object (ToolResponse)

必須。モックするツール レスポンス。対象のパラメータが指定されています。指定されていないパラメータは、LLM によってハルシネーションされます。

Milestone

JSON 表現 
{
  "goal": string,
  "maxTurnCount": integer,
  "successCriteria": string,
  "protocol": string,
  "staticUtterance": string,
  "event": {
    object (Event)
  }
}
フィールド
goal

string

必須。マイルストーンの目標。
maxTurnCount

integer

省略可。このマイルストーンの最大ターン数。
successCriteria

string

省略可。マイルストーンの成功基準。
protocol

string

省略可。会話中にエージェントが従うべきガイドライン。
staticUtterance

string

省略可。シミュレータがユーザー入力を動的に生成するのではなく、そのまま送信する静的な発話。
event

object (Event)

省略可。動的生成の代わりに送信するイベント入力。

AggregatedMetrics

JSON 表現 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
フィールド
metricsByAppVersion[]

object (MetricsByAppVersion)

出力専用。アプリ バージョン ID でグループ化された集計指標。

MetricsByAppVersion

JSON 表現 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
フィールド
appVersionId

string

出力専用。アプリのバージョン ID。
toolMetrics[]

object (ToolMetrics)

出力専用。このアプリ バージョン内の各ツールの指標。
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

出力専用。このアプリ バージョン内のセマンティック類似度の指標。
hallucinationMetrics[]

object (HallucinationMetrics)

出力専用。このアプリ バージョン内のハルシネーションの指標。
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

出力専用。このアプリ バージョン内のツール呼び出しのレイテンシの指標。
turnLatencyMetrics[]

object (TurnLatencyMetrics)

出力専用。このアプリ バージョン内のターン レイテンシの指標。
passCount

integer

出力専用。評価が合格した回数。
failCount

integer

出力専用。評価が失敗した回数。
metricsByTurn[]

object (MetricsByTurn)

出力専用。このアプリ バージョン内のターンごとに集計された指標。

ToolMetrics

JSON 表現 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
フィールド
tool

string

出力専用。ツールの名前。
passCount

integer

出力専用。ツールが合格した回数。
failCount

integer

出力専用。ツールが失敗した回数。

SemanticSimilarityMetrics

JSON 表現 
{
  "score": number
}
フィールド
score

number

出力専用。平均的な意味的類似性スコア（0 ～ 4）。

HallucinationMetrics

JSON 表現 
{
  "score": number
}
フィールド
score

number

出力専用。平均ハルシネーション スコア（0 ～ 1）。

ToolCallLatencyMetrics

JSON 表現 
{
  "tool": string,
  "averageLatency": string
}
フィールド
tool

string

出力専用。ツールの名前。
averageLatency

string (Duration format)

出力専用。ツール呼び出しの平均レイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。

TurnLatencyMetrics

JSON 表現 
{
  "averageLatency": string
}
フィールド
averageLatency

string (Duration format)

出力専用。ターンの平均レイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。

MetricsByTurn

JSON 表現 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
フィールド
turnIndex

integer

出力専用。ターン インデックス（0 ベース）。
toolMetrics[]

object (ToolMetrics)

出力専用。このターン内の各ツールの指標。
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

出力専用。このターン内のセマンティック類似性の指標。
hallucinationMetrics[]

object (HallucinationMetrics)

出力専用。このターン内のハルシネーションの指標。
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

出力専用。このターン内のツール呼び出しのレイテンシの指標。
turnLatencyMetrics[]

object (TurnLatencyMetrics)

出力専用。このターン内のターン レイテンシの指標。

EvaluationResult

JSON 表現 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
フィールド
name

string

ID。評価結果の固有識別子。形式: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

必須。評価結果の表示名。評価内で一意。デフォルトの形式は「 result - 」です。
createTime

string (Timestamp format)

出力専用。評価結果が作成されたときのタイムスタンプ。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
evaluationStatus

enum (Outcome)

出力専用。評価の結果。execution_state が COMPLETE の場合にのみ入力されます。
evaluationRun

string

出力専用。この結果を生成した評価実行。形式: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

出力専用。評価結果の会話を生成するために使用されるペルソナ。
errorInfo

object (EvaluationErrorInfo)

出力専用。評価結果のエラー情報。
error
(deprecated)

object (Status)

出力専用。非推奨: 代わりに、error_info を使用してください。実行中にエラーが発生しました。
initiatedBy

string

出力専用。この結果を生成した評価実行を開始したユーザー。
appVersion

string

出力専用。この結果につながった会話の生成に使用されたアプリのバージョン。形式: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

出力専用。評価が実行された app_version の表示名。
changelog

string

出力専用。評価が実行されたアプリ バージョンの変更履歴。ユーザーが最新 / ドラフトで評価を実行した場合に、この値が入力されます。
changelogCreateTime

string (Timestamp format)

出力専用。評価が実行されたアプリ バージョンの変更履歴の作成時刻。ユーザーが最新 / ドラフトで評価を実行した場合に、この値が入力されます。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
executionState

enum (ExecutionState)

出力専用。評価結果の実行状態。
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

出力専用。結果の評価しきい値。
config

object (EvaluationConfig)

出力専用。この結果を生成した評価実行で使用された構成。
goldenRunMethod

enum (GoldenRunMethod)

出力専用。ゴールデン評価の実行に使用されるメソッド。
rootSpan

object (Span)

出力専用。評価実行のルートスパン。評価の各ステップに関する情報が含まれます。
outcomeMetadata

enum (OutcomeMetadata)

出力専用。評価の結果メタデータ。execution_state が COMPLETE の場合にのみ入力されます。
共用体フィールド result。評価の結果。execution_state が COMPLETED の場合にのみ入力されます。result は次のいずれかになります。
goldenResult

object (GoldenResult)

出力専用。ゴールデン評価の結果。
scenarioResult

object (ScenarioResult)

出力専用。シナリオ評価の結果。

GoldenResult

JSON 表現 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
フィールド
turnReplayResults[]

object (TurnReplayResult)

出力専用。ゴールデン会話の各ターンを実行した結果。
evaluationExpectationResults[]

object (EvaluationExpectationResult)

出力専用。評価の期待値の結果。

TurnReplayResult

JSON 表現 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
フィールド
conversation

string

出力専用。このターンで生成された会話。
expectationOutcome[]

object (GoldenExpectationOutcome)

出力専用。各期待値の結果。
hallucinationResult

object (HallucinationResult)

出力専用。ハルシネーション チェックの結果。
toolInvocationScore
(deprecated)

number

出力専用。非推奨。代わりに OverallToolInvocationResult を使用してください。
turnLatency

string (Duration format)

出力専用。ターンの所要時間。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。
toolCallLatencies[]

object (ToolCallLatency)

出力専用。ターン内の各ツール呼び出しのレイテンシ。
semanticSimilarityResult

object (SemanticSimilarityResult)

出力専用。意味的類似性チェックの結果。
overallToolInvocationResult

object (OverallToolInvocationResult)

出力専用。ツール呼び出しチェック全体の実行結果。
errorInfo

object (EvaluationErrorInfo)

出力専用。このターン中に発生したエラーに関する情報。
spanLatencies[]

object (SpanLatency)

出力専用。ターンのスパンのレイテンシ。

共用体フィールド _tool_ordered_invocation_score。

_tool_ordered_invocation_score は次のいずれかになります。
toolOrderedInvocationScore

number

出力専用。このターンのツールの順序付き呼び出しの全体的なスコア。これは、期待されるターンから実際に期待される順序で呼び出されたツールの全体的な割合を示します。

GoldenExpectationOutcome

JSON 表現 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}
フィールド
expectation

object (GoldenExpectation)

出力専用。評価された期待値。
outcome

enum (Outcome)

出力専用。期待の結果。
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

出力専用。意味的類似性チェックの結果。
toolInvocationResult

object (ToolInvocationResult)

出力専用。ツール呼び出しチェックの結果。
共用体フィールド result。期待値の結果。result は次のいずれかになります。
observedToolCall

object (ToolCall)

出力専用。ツール呼び出しの期待値の結果。
observedToolResponse

object (ToolResponse)

出力専用。ツール レスポンスの期待値の結果。
observedAgentResponse

object (Message)

出力専用。エージェントのレスポンスの期待値の結果。
observedAgentTransfer

object (AgentTransfer)

出力専用。エージェント転送の期待値の結果。
observedPayload

object (Struct format)

出力専用。観測されたカスタム ペイロード。カスタム ペイロードに期待されるものはありません。これは指標の計算にのみ使用されます。結果は常に SKIPPED です。

SemanticSimilarityResult

JSON 表現 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
フィールド
label

string

出力専用。各スコアに関連付けられたラベル。スコア 4: 完全に一致、スコア 3: ほぼ一致、スコア 2: 部分的に一致（軽微な省略あり）、スコア 1: 大幅に不一致（重大な省略あり）、スコア 0: 完全に不一致 / 矛盾
explanation

string

出力専用。意味的類似性スコアの説明。
outcome

enum (Outcome)

出力専用。意味的類似性チェックの結果。これは、スコアを semantic_similarity_success_threshold と比較することで判断されます。スコアがしきい値以上の場合、結果は PASS になります。それ以外の場合、結果は FAIL になります。

共用体フィールド _score。

_score は次のいずれかになります。
score

integer

出力専用。意味的類似度スコア。0、1、2、3、4 のいずれかです。

ToolInvocationResult

JSON 表現 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
フィールド
outcome

enum (Outcome)

出力専用。ツール呼び出しチェックの結果。これは、parameter_correctness_score をしきい値と比較することで判断されます。スコアがしきい値以上の場合、結果は PASS になります。それ以外の場合、結果は FAIL になります。
explanation

string

出力専用。ツール呼び出しの結果に関する自由形式の説明。

共用体フィールド _parameter_correctness_score。

_parameter_correctness_score は次のいずれかになります。
parameterCorrectnessScore

number

出力専用。ツール呼び出しパラメータの正確性スコア。これは、期待されるツール呼び出しのパラメータのうち、実際のツール呼び出しにも存在するパラメータの割合を示します。

HallucinationResult

JSON 表現 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
フィールド
label

string

出力専用。各スコアに関連付けられたラベル。スコア 1: 正当化されている、スコア 0: 正当化されていない、スコア -1: 評価対象の主張がない
explanation

string

出力専用。ハルシネーション スコアの説明。

共用体フィールド _score。

_score は次のいずれかになります。
score

integer

出力専用。ハルシネーション スコア。-1、0、1 のいずれかです。

ToolCallLatency

JSON 表現 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
フィールド
tool

string

出力専用。実行されたツールの名前。形式: projects/{project}/locations/{location}/apps/{app}/tools/{tool}。
displayName

string

出力専用。ツールの表示名。
startTime

string (Timestamp format)

出力専用。ツール呼び出しの実行の開始時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
endTime

string (Timestamp format)

出力専用。ツール呼び出しの実行の終了時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
executionLatency

string (Duration format)

出力専用。ツール呼び出しの実行のレイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。

OverallToolInvocationResult

JSON 表現 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
フィールド
outcome

enum (Outcome)

出力専用。ツール呼び出しチェックの結果。これは、tool_invocation_score と overall_tool_invocation_correctness_threshold を比較して判断されます。スコアがしきい値以上の場合、結果は PASS になります。それ以外の場合、結果は FAIL になります。

共用体フィールド _tool_invocation_score。

_tool_invocation_score は次のいずれかになります。
toolInvocationScore

number

このターンの全体的なツール呼び出しスコア。これは、期待されるターンから実際に呼び出されたツールの全体的な割合を示します。

EvaluationErrorInfo

JSON 表現 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string,
  "userFacingErrorMessage": string
}
フィールド
errorType

enum (ErrorType)

出力専用。エラーのタイプ。
errorMessage

string

出力専用。エラー メッセージ。
sessionId

string

出力専用。エラーの原因となった会話のセッション ID。
userFacingErrorMessage

string

出力専用。ユーザーに表示されるエラー メッセージ。

SpanLatency

JSON 表現 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
フィールド
type

enum (Type)

出力専用。スパンのタイプ。
displayName

string

出力専用。スパンの表示名。ツールとガードレールのスパンに適用されます。
startTime

string (Timestamp format)

出力専用。スパンの開始時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
endTime

string (Timestamp format)

出力専用。スパンの終了時刻。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
executionLatency

string (Duration format)

出力専用。スパンのレイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。
共用体フィールド identifier。タイプに基づく特定のアイテムの識別子。identifier は次のいずれかになります。
resource

string

出力専用。ガードレールまたはツールのスパンのリソース名。
toolset

object (ToolsetTool)

出力専用。ツールセット ツール ID。
model

string

出力専用。LLM スパンの名前。
callback

string

出力専用。ユーザー コールバック スパンの名前。

EvaluationExpectationResult

JSON 表現 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
フィールド
evaluationExpectation

string

出力専用。評価の期待値。形式: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

出力専用。評価に使用されたプロンプト。
outcome

enum (Outcome)

出力専用。評価期待値の結果。
explanation

string

出力専用。結果の説明。

ScenarioResult

JSON 表現 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],
  "milestoneResults": [
    {
      object (MilestoneResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
フィールド
conversation

string

出力専用。シナリオで生成された会話。
task

string

出力専用。この結果のシナリオの実行時に使用されたタスク。
userFacts[]

object (UserFact)

出力専用。この結果のシナリオで使用されたユーザー ファクト。
expectationOutcomes[]

object (ScenarioExpectationOutcome)

出力専用。各期待値の結果。
rubricOutcomes[]

object (ScenarioRubricOutcome)

出力専用。ルーブリックの結果。
hallucinationResult[]

object (HallucinationResult)

出力専用。ハルシネーション チェックの結果。会話のターンごとに 1 つのハルシネーション結果が表示されます。
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

出力専用。タスク完了チェックの結果。
toolCallLatencies[]

object (ToolCallLatency)

出力専用。会話内の各ツール呼び出しの実行のレイテンシ。
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

出力専用。ユーザー目標の達成度チェックの結果。
spanLatencies[]

object (SpanLatency)

出力専用。会話内のスパンのレイテンシ。
evaluationExpectationResults[]

object (EvaluationExpectationResult)

出力専用。評価の期待値の結果。
milestoneResults[]

object (MilestoneResult)

出力専用。シナリオの各マイルストーンの結果。

共用体フィールド _all_expectations_satisfied。

_all_expectations_satisfied は次のいずれかになります。
allExpectationsSatisfied

boolean

出力専用。このターンですべての期待値が満たされたかどうか。

共用体フィールド _task_completed。

_task_completed は次のいずれかになります。
taskCompleted

boolean

出力専用。このターンでタスクが完了したかどうか。これは、すべての期待が満たされ、ハルシネーションがなく、ユーザーの目標が達成されたことを示す複合的な指標です。

ScenarioExpectationOutcome

JSON 表現 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
フィールド
expectation

object (ScenarioExpectation)

出力専用。評価された期待値。
outcome

enum (Outcome)

出力専用。ScenarioExpectation の結果。
共用体フィールド result。期待値の結果。result は次のいずれかになります。
observedToolCall

object (ObservedToolCall)

出力専用。観察されたツール呼び出し。
observedAgentResponse

object (Message)

出力専用。観察されたエージェントのレスポンス。

ObservedToolCall

JSON 表現 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
フィールド
toolCall

object (ToolCall)

出力専用。観察されたツール呼び出し。
toolResponse

object (ToolResponse)

出力専用。観察されたツール レスポンス。

ScenarioRubricOutcome

JSON 表現 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
フィールド
rubric

string

出力専用。会話の評価に使用されたルーブリック。
scoreExplanation

string

出力専用。ルーブリックに対する評価者の回答。

共用体フィールド _score。

_score は次のいずれかになります。
score

number

出力専用。ルーブリックに照らした会話のスコア。

TaskCompletionResult

JSON 表現 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
フィールド
label

string

出力専用。各スコアに関連付けられたラベル。スコア 1: タスク完了、スコア 0: タスク未完了、スコア -1: ユーザーの目標が未定義
explanation

string

出力専用。タスク完了スコアの説明。

共用体フィールド _score。

_score は次のいずれかになります。
score

integer

出力専用。タスク完了スコア。-1、0、1 のいずれか

UserGoalSatisfactionResult

JSON 表現 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
フィールド
label

string

出力専用。各スコアに関連付けられたラベル。スコア 2: 適切な引き継ぎ、スコア 1: ユーザーのタスクが完了、スコア 0: ユーザーのタスクが未完了、スコア -1: ユーザーのタスクが不明
explanation

string

出力専用。ユーザーのタスク満足度スコアの説明。

共用体フィールド _score。

_score は次のいずれかになります。
score

integer

出力専用。ユーザーのタスク満足度スコア。-1、0、1、2 のいずれかです。

MilestoneResult

JSON 表現 
{
  "milestone": {
    object (Milestone)
  },
  "status": enum (MilestoneStatus),
  "justification": string
}
フィールド
milestone

object (Milestone)

出力専用。トラッキングされているマイルストーン。
status

enum (MilestoneStatus)

出力専用。マイルストーンの現在のステータス。
justification

string

出力専用。現在のステータスの理由。

EvaluationPersona

JSON 表現 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
フィールド
name

string

必須。ペルソナの固有識別子。形式: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

省略可。ペルソナの説明。
displayName

string

必須。ペルソナの表示名。アプリ内で一意。
personality

string

必須。評価でエージェントがどのように動作するかに関する指示。
speechConfig

object (SpeechConfig)

省略可。ペルソナの音声の設定（TTS 設定）。

SpeechConfig

JSON 表現 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
フィールド
speakingRate

number

省略可。発話速度。1.0 が標準です。値を小さくすると遅くなり（0.8 など）、大きくすると速くなります（1.5 など）。エージェントが早口の話し手にどのように対応するかをテストするのに役立ちます。
environment

enum (BackgroundEnvironment)

省略可。シミュレートされたオーディオ環境。
voiceId

string

省略可。使用する特定の音声識別子 / アクセント。例: 「en-US-Wavenet-D」または「en-GB-Standard-A」

ステータス

JSON 表現 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
フィールド
code

integer

ステータス コード。google.rpc.Code の列挙値である必要があります。
message

string

デベロッパー向けのエラー メッセージ。英語で記述します。ユーザー向けのエラー メッセージは、ローカライズして google.rpc.Status.details フィールドで送信するか、クライアントでローカライズする必要があります。
details[]

object

エラーの詳細を保持するメッセージのリスト。API が使用する共通のメッセージ タイプのセットがあります。

任意のデータ型のフィールドを含むオブジェクトであり、型を識別する URI を含むフィールド "@type" を追加できます。例: { "id": 1234, "@type": "types.example.com/standard/id" }

すべて

JSON 表現 
{
  "typeUrl": string,
  "value": string
}
フィールド
typeUrl

string

シリアル化された Protobuf メッセージのタイプを、スラッシュで終わる接頭辞と完全修飾タイプ名で構成される URI 参照で識別します。

例: type.googleapis.com/google.protobuf.StringValue

この文字列には少なくとも 1 つの / 文字が含まれている必要があります。最後の / の後のコンテンツは、先頭にドットを付けずに、正規形式の型の完全修飾名にする必要があります。クライアントがこれらの URI 参照にアクセスしようとしないように、これらの URI 参照にスキームを記述しないでください。

接頭辞は任意であり、Protobuf の実装では、最後の / までのすべてを削除して型を識別することが想定されています。type.googleapis.com/ は、一部の以前の実装で必要となる一般的なデフォルトのプレフィックスです。この接頭辞はタイプのオリジンを示すものではなく、この接頭辞を含む URI がリクエストに応答することは想定されていません。

すべてのタイプ URL 文字列は、有効な URI 参照である必要があります。また、参照の内容は、英数字、パーセント エンコードされたエスケープ、および次のセットの文字（外側のバッククォートを除く）のみで構成されている必要があります（テキスト形式の場合）。/-.~_!$&()*+,;=パーセント エンコードは許可されていますが、既存のパーサーとの混同を避けるため、実装ではエスケープを解除しないでください。たとえば、type.googleapis.com%2FFoo は拒否する必要があります。

Any の元の設計では、これらのタイプ URL でタイプ解決サービスを起動する可能性が考慮されていましたが、Protobuf はこれを実装しておらず、これらの URL へのアクセスは問題であり、セキュリティ上の問題となる可能性があると考えています。URL を入力してアクセスしようとしないでください。
value

string (bytes format)

type_url で記述された型の Protobuf シリアル化を保持します。

Base64 でエンコードされた文字列。

EvaluationMetricsThresholds

JSON 表現 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
フィールド
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

省略可。ゴールデン評価指標のしきい値。
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

省略可。非推奨: 代わりに、golden_hallucination_metric_behavior を使用してください。ハルシネーション指標の動作は、現在、ゴールデン評価に使用されています。
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

省略可。ゴールデン評価のハルシネーション指標の動作。
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

省略可。シナリオ評価のハルシネーション指標の動作。

GoldenEvaluationMetricsThresholds

JSON 表現 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
フィールド
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

省略可。ターンレベルの指標のしきい値。
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

省略可。期待値レベルの指標のしきい値。
toolMatchingSettings

object (ToolMatchingSettings)

省略可。ツールのマッチング設定。余分なツール呼び出しとは、実行中に存在するものの、ゴールデン エクスペクテーションのツール呼び出しと一致しないツール呼び出しです。

ToolMatchingSettings

JSON 表現 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
フィールド
extraToolCallBehavior

enum (ExtraToolCallBehavior)

省略可。追加のツール呼び出しの動作。デフォルトは FAIL です。

EvaluationConfig

JSON 表現 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
フィールド
inputAudioConfig

object (InputAudioConfig)

省略可。入力音声を処理するための構成。
outputAudioConfig

object (OutputAudioConfig)

省略可。出力音声を生成するための構成。
evaluationChannel

enum (EvaluationChannel)

省略可。評価するチャネル。
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

省略可。評価で実際のツール呼び出しを使用するか、偽のツールを使用するかを指定します。

InputAudioConfig

JSON 表現 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
フィールド
audioEncoding

enum (AudioEncoding)

必須。入力音声データのエンコード。
sampleRateHertz

integer

必須。入力音声データのサンプルレート（ヘルツ）。
noiseSuppressionLevel

string

省略可。入力音声でノイズ サプレッションを有効にするかどうか。使用できる値は「low」、「moderate」、「high」、「very_high」です。

OutputAudioConfig

JSON 表現 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
フィールド
audioEncoding

enum (AudioEncoding)

必須。出力音声データのエンコード。
sampleRateHertz

integer

必須。出力音声データのサンプルレート（ヘルツ単位）。

EvaluationMetricsConfig

JSON 表現 
{
  "goldenMetricsConfig": {
    object (GoldenMetricsConfig)
  },
  "scenarioMetricsConfig": {
    object (ScenarioMetricsConfig)
  }
}
フィールド
goldenMetricsConfig

object (GoldenMetricsConfig)

省略可。評価のゴールデン指標の構成。
scenarioMetricsConfig

object (ScenarioMetricsConfig)

省略可。評価のシナリオ指標の構成。

GoldenMetricsConfig

JSON 表現 
{
  "semanticSimilarityMetricsConfig": {
    object (SemanticSimilarityMetricsConfig)
  },
  "toolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  },
  "stepToolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  }
}
フィールド
semanticSimilarityMetricsConfig

object (SemanticSimilarityMetricsConfig)

省略可。意味的類似性指標のグローバル構成。
toolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

省略可。ターンレベルのツール正解率指標の構成。
stepToolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

省略可。ステップレベルのツールの正確性指標の構成。

ToolCorrectnessMetricsConfig

JSON 表現 
{
  "enableToolCorrectnessMetrics": boolean
}
フィールド
enableToolCorrectnessMetrics

boolean

省略可。評価用にツールの正確性指標を計算するかどうか。

ScenarioMetricsConfig

JSON 表現 
{
  "userGoalMetMetricsConfig": {
    object (UserGoalMetMetricsConfig)
  },
  "expectationsMetMetricsConfig": {
    object (ExpectationsMetMetricsConfig)
  }
}
フィールド
userGoalMetMetricsConfig

object (UserGoalMetMetricsConfig)

省略可。ユーザー目標達成指標の構成。
expectationsMetMetricsConfig

object (ExpectationsMetMetricsConfig)

省略可。期待値レベルの指標の構成。

UserGoalMetMetricsConfig

JSON 表現 
{
  "enableUserGoalMetMetrics": boolean
}
フィールド
enableUserGoalMetMetrics

boolean

省略可。評価のためにユーザー目標達成指標を計算するかどうか。

ExpectationsMetMetricsConfig

JSON 表現 
{
  "enableExpectationsMetMetrics": boolean
}
フィールド
enableExpectationsMetMetrics

boolean

省略可。評価の期待値レベルの指標を計算するかどうか。

NullValue

JSON null を表します。

NullValue は、1 つの値のみを持つ列挙型を使用して Value 型のユニオンの null 値を表すセンチネルです。

0 以外の値を持つ NullValue 型のフィールドは無効と見なされます。ほとんどの ProtoJSON シリアライザは、整数値に関係なく、null_value が JSON null として設定された Value を出力するため、0 値に往復します。

列挙型
NULL_VALUE Null 値。

RecordingControl

アプリが決定した内容は、記録およびログに記録される場合があります。

この列挙型は拡張可能です。今後、新しい値が追加される可能性があります。

列挙型
RECORDING_CONTROL_UNSPECIFIED アプリは録画を制御していません。このフィールドを設定しないすべてのセッションと同様に、アプリのロギング設定によって決定されます。
RECORDING_ENABLED ここからの会話は記録およびログに記録される場合があります。
RECORDING_DISABLED これ以降、会話は録音または記録されない可能性があります。

ComparisonType

エージェントの回答を確認するためにサポートされている比較タイプ。

列挙型
COMPARISON_TYPE_UNSPECIFIED 比較タイプが指定されていません。エージェントの回答とツール呼び出しのデフォルトの動作は SEMANTIC_SIMILARITY です。
EQUALS 文字列の完全一致。
CONTAINS 部分文字列の一致（期待される文字列が実際のレスポンスに含まれているかどうかを確認します）。
SEMANTIC_SIMILARITY 意味的類似性の一致（LLM を使用して意味の類似性を評価）。

SemanticSimilarityChannel

使用する意味的類似度チャンネル。

列挙型
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED 指標が指定されていません。デフォルトは TEXT です。
TEXT テキストの意味的類似性を使用します。
AUDIO 音声の意味的類似性を使用します。

HallucinationMetricBehavior

ハルシネーション指標の動作。動作に関係なく、指標は常に計算されます。違いは、無効にすると、その指標が全体的な評価スコアの計算に使用されないことです。

列挙型
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED 未指定のハルシネーション指標の動作。
DISABLED ハルシネーション指標を無効にします。
ENABLED ハルシネーション指標を有効にします。

TaskCompletionBehavior

ユーザータスクの想定される動作。これは、シナリオが成功したかどうかを判断するために使用されます。

列挙型
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED 動作が指定されていません。デフォルトは TASK_SATISFIED です。
TASK_SATISFIED ユーザータスクが正常に完了している。
TASK_REJECTED ユーザータスクは拒否される必要があります。

UserGoalBehavior

ユーザーの目標の想定される動作。これは、シナリオが成功したかどうかを判断するために使用されます。

列挙型
USER_GOAL_BEHAVIOR_UNSPECIFIED 動作が指定されていません。デフォルトは USER_GOAL_SATISFIED です。
USER_GOAL_SATISFIED ユーザーの目標が正常に完了している。
USER_GOAL_REJECTED ユーザーの目標は拒否されるべきです。
USER_GOAL_IGNORED ユーザーの目標ステータスを無視する。

ScenarioExecutionMode

シナリオ評価の実行モード。

列挙型
SCENARIO_EXECUTION_MODE_UNSPECIFIED 実行モードが指定されていません。デフォルトは QUALITY_OPTIMIZED です。
QUALITY_OPTIMIZED 品質最適化モード。
SPEED_OPTIMIZED 速度最適化モード。

結果

評価または期待の結果。

列挙型
OUTCOME_UNSPECIFIED 評価結果が指定されていません。
PASS 評価 / 期待値が合格しました。評価の場合、これはすべての期待が満たされたことを意味します。
FAIL 評価 / 期待値が失敗しました。評価の場合、これは少なくとも 1 つの期待値が満たされなかったことを意味します。
SKIPPED 評価 / 期待値がスキップされました。

ErrorType

エラーの種類

列挙型
ERROR_TYPE_UNSPECIFIED 不明なエラータイプ。
RUNTIME_FAILURE ランタイムの実行中にエラーが発生しました。
CONVERSATION_RETRIEVAL_FAILURE CES ランタイムから会話を取得できませんでした。
METRIC_CALCULATION_FAILURE 指標 / 結果を計算できない。
EVALUATION_UPDATE_FAILURE 評価を更新できませんでした。
QUOTA_EXHAUSTED 割り当てを使い切りました。
USER_SIMULATION_FAILURE ユーザー シミュレーション中にエラーが発生しました。

種類

スパンのタイプ。今後、値が追加される可能性があります。

列挙型
TYPE_UNSPECIFIED デフォルト値。この値は使用されません。
TOOL ツール呼び出しスパン。
USER_CALLBACK ユーザー コールバック スパン。
GUARDRAIL ガードレール スパン。
LLM LLM スパン。

MilestoneStatus

マイルストーンのステータス。

列挙型
MILESTONE_STATUS_UNSPECIFIED ステータスの指定がありません。
NOT_STARTED マイルストーンはまだ開始されていません。
IN_PROGRESS マイルストーンは現在進行中です。
COMPLETED マイルストーンが正常に完了しました。

BackgroundEnvironment

シミュレートされたオーディオ環境。

列挙型
BACKGROUND_ENVIRONMENT_UNSPECIFIED バックグラウンド環境が指定されていません。
CALL_CENTER コールセンター環境。
TRAFFIC 交通騒音環境。
KIDS_NOISE 子どもの騒音環境。
CAFE カフェ環境。

ExecutionState

評価結果の実行状態。

列挙型
EXECUTION_STATE_UNSPECIFIED 評価結果の実行状態が指定されていません。
QUEUED 評価結果の実行がキューに追加されました。
RUNNING 評価結果の実行が進行中です。
COMPLETED 評価結果の実行が完了しました。
ERROR 内部エラーのため、評価結果の実行に失敗しました。
CANCELLED 評価結果の実行がキャンセルされました。

ExtraToolCallBehavior

追加のツール呼び出しが発生した場合の動作を定義します。余分なツール呼び出しとは、実行中に存在するものの、ゴールデン エクスペクテーションのツール呼び出しと一致しないツール呼び出しです。

列挙型
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED 未指定の動作。デフォルトは FAIL です。
FAIL 余分なツール呼び出しが検出された場合は、評価を不合格にします。
ALLOW 追加のツール呼び出しを許可します。

AudioEncoding

AudioEncoding は、音声データのエンコード形式を指定します。

列挙型
AUDIO_ENCODING_UNSPECIFIED 音声エンコードが指定されていません。
LINEAR16 16 ビット リニア PCM 音声エンコード。
MULAW G.711 PCMU/mu-law を使用して 14 ビットの音声サンプルの圧縮と伸張を行う 8 ビットのサンプル。
ALAW G.711 PCMU/A-law を使用して 14 ビットのオーディオ サンプルをコンパンドする 8 ビットのサンプル。

EvaluationChannel

評価するチャネル。

列挙型
EVALUATION_CHANNEL_UNSPECIFIED 評価チャンネルが指定されていません。
TEXT テキストのみの評価チャネル。
AUDIO 音声評価チャンネル。

EvaluationToolCallBehaviour

評価実行のツール呼び出し動作を構成します。

列挙型
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED ツール呼び出しの動作が指定されていません。デフォルトは実際のツール呼び出しになります。
REAL 実際のツール呼び出しを使用します。
FAKE 偽のツール呼び出しを使用する。

GoldenRunMethod

評価の実行に使用されるメソッド。

列挙型
GOLDEN_RUN_METHOD_UNSPECIFIED 実行メソッドが指定されていません。
STABLE 評価を安定したリプレイとして実行します。各ターンは一意のセッションであり、以前の想定ターンがコンテキストとして挿入されます。
NAIVE 評価を単純なリプレイとして実行します。この場合、実行はコンテキストが挿入されていない単一のセッションになります。

OutcomeMetadata

評価の結果に関するメタデータ。

列挙型
OUTCOME_METADATA_UNSPECIFIED 未指定の結果メタデータ。
GRACEFUL_HANDOFF 評価の結果、人間の担当者へのスムーズな引き継ぎが実現しました。

ツールのアノテーション

ツールのアノテーションは、特定のツールの基本的なリスクを説明するために MCP クライアントに送信されます。ほとんどのクライアントは、これらのヒントを信頼できないものとして扱いますが、確認プロンプトをユーザーに送信するタイミングを決定するために使用できます。

タイトル文字列とともに、次のブール値のヒントが定義されています。

  • readOnlyHint: true の場合、ツールは環境を変更しません。デフォルトは false です。
  • destructiveHint: true の場合、ツールは破壊的なアクションを実行できます。false の場合、ツールは追加アクションのみを実行できます。デフォルト値は true です。
  • idempotentHint: true の場合、同じ引数でツールを繰り返し呼び出しても、環境に副次的影響は発生しません。デフォルトは false です。
  • openWorldHint: true の場合、ツールは外部エンティティの「オープンワールド」とやり取りできます。false の場合、ツールは内部エンティティとのみやり取りできます。たとえば、ウェブ検索ツールはオープン ワールドですが、メモリツールはオープン ワールドではありません。

破壊的ヒント: ❌ | べき等ヒント: ✅ | 読み取り専用ヒント: ✅ | オープン ワールド ヒント: ❌