MCP Tools Reference: ces.googleapis.com

ツール: create_evaluation

新しい評価を作成します。

次のサンプルは、curl を使用して create_evaluation MCP ツールを呼び出す方法を示しています。

Curl リクエスト 
                  
curl --location 'https://ces.[REGION].rep.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "create_evaluation",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

入力スキーマ

EvaluationService.CreateEvaluation のリクエスト メッセージです。

CreateEvaluationRequest

JSON 表現 
{
  "parent": string,
  "evaluationId": string,
  "evaluation": {
    object (Evaluation)
  }
}
フィールド
parent

string

必須。評価を作成するアプリ。形式: projects/{project}/locations/{location}/apps/{app}
evaluationId

string

省略可。評価に使用する ID。評価のリソース名の最終的なコンポーネントになります。指定しない場合、評価に一意の ID が自動的に割り当てられます。
evaluation

object (Evaluation)

必須。作成する評価。

評価

JSON 表現 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
フィールド
name

string

ID。この評価の固有識別子。形式: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

必須。ユーザー定義の評価の表示名。アプリ内で一意。
description

string

省略可。ユーザー定義の評価の説明。
tags[]

string

省略可。評価を分類するためのユーザー定義のタグ。
evaluationDatasets[]

string

出力専用。評価が属する評価データセットのリスト。形式: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

出力専用。評価が作成されたときのタイムスタンプ。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
createdBy

string

出力専用。評価を作成したユーザー。
updateTime

string (Timestamp format)

出力専用。評価が最後に更新されたときのタイムスタンプ。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
lastUpdatedBy

string

出力専用。評価を最後に更新したユーザー。
evaluationRuns[]

string

出力専用。この評価に関連付けられている EvaluationRun。
etag

string

出力専用。読み取り、変更、書き込みオペレーション中にオブジェクトが変更されていないことを確認するために使用される ETag。etag が空の場合、更新によって同時変更が上書きされます。
aggregatedMetrics

object (AggregatedMetrics)

出力専用。すべての実行にわたるこの評価の集計指標。
lastCompletedResult

object (EvaluationResult)

出力専用。この評価の最新の評価結果。
invalid

boolean

出力専用。評価が無効かどうか。これは、評価が、削除されたツール、ツールセット、エージェントを参照している場合に発生する可能性があります。
lastTenResults[]

object (EvaluationResult)

出力専用。この評価の過去 10 回の評価結果。これは、ListEvaluationsRequest または GetEvaluationRequest で include_last_ten_results が true に設定されている場合にのみ入力されます。
共用体フィールド inputs。評価 inputs の入力は、次のいずれか 1 つのみです。
golden

object (Golden)

省略可。評価するゴールデン ステップ。
scenario

object (Scenario)

省略可。シナリオの構成。

Golden

JSON 表現 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
フィールド
turns[]

object (GoldenTurn)

必須。ゴールデン会話を再生するために必要なゴールデン ターン。
evaluationExpectations[]

string

省略可。再生された会話を評価するための評価の期待値。形式: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

JSON 表現 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  }
}
フィールド
steps[]

object (Step)

必須。ゴールデン会話を再生するために必要な手順。
rootSpan

object (Span)

省略可。音声情報の処理と維持のためのゴールデン ターンのルート スパン。

ステップ

JSON 表現 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
フィールド
共用体フィールド step。実行するステップ。step は次のいずれかになります。
userInput

object (SessionInput)

省略可。会話のユーザー入力。
agentTransfer

object (AgentTransfer)

省略可。会話を別のエージェントに転送します。
expectation

object (GoldenExpectation)

省略可。現在のターンで期待値を実行します。

SessionInput

JSON 表現 
{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
フィールド
willContinue

boolean

省略可。現在のメッセージが双方向ストリーミング セッションの大きな入力のフラグメントであるかどうかを示すフラグ。

true に設定すると、エージェントは will_continue が false の後続のメッセージを受信するまで、またはシステムが音声入力でエンドポイントを検出するまで、処理を延期します。

注: このフィールドは音声入力と DTMF 入力には適用されません。これらは常に終端信号に基づいて自動的に処理されるためです。
共用体フィールド input_type。入力のタイプ。input_type は次のいずれかになります。
text

string

省略可。エンドユーザーからのテキストデータ。
dtmf

string

省略可。エンドユーザーからの DTMF 数字。
audio

string (bytes format)

省略可。エンドユーザーからの音声データ。

Base64 でエンコードされた文字列。
toolResponses

object (ToolResponses)

省略可。クライアントからのツール呼び出しの実行結果。
image

object (Image)

省略可。エンドユーザーからの画像データ。
blob

object (Blob)

省略可。エンドユーザーからの BLOB データ。
variables

object (Struct format)

省略可。セッションのコンテキスト変数。名前でキー設定されます。アプリで宣言された変数のみが CES エージェントで使用されます。

認識されない変数は、追加のセッション パラメータとして [Dialogflow エージェント][Agent.RemoteDialogflowAgent] に送信されます。
event

object (Event)

省略可。イベント入力。

ToolResponses

JSON 表現 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
フィールド
toolResponses[]

object (ToolResponse)

省略可。ツール実行結果のリスト。

ToolResponse

JSON 表現 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
フィールド
id

string

省略可。レスポンスの対象となる tool call の一致する ID。
displayName

string

出力専用。ツールの表示名。
response

object (Struct format)

必須。JSON オブジェクト形式のツール実行結果。「output」キーを使用してツールのレスポンスを指定し、「error」キーを使用してエラーの詳細を指定します（ある場合）。「output」キーと「error」キーが指定されていない場合、「response」全体がツール実行結果として扱われます。
共用体フィールド tool_identifier。実行されたツールの ID。永続化されたツールまたはツールセットのツールです。tool_identifier は次のいずれかになります。
tool

string

省略可。実行するツールの名前。形式: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

省略可。実行されたツールセット ツール。

ToolsetTool

JSON 表現 
{
  "toolset": string,
  "toolId": string
}
フィールド
toolset

string

必須。このツールが派生した Toolset のリソース名。形式: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

省略可。スキーマを取得するツールをフィルタするツール ID。

構造体

JSON 表現 
{
  "fields": {
    string: value,
    ...
  }
}
フィールド
fields

map (key: string, value: value (Value format))

動的に型指定される値の順序なしのマップ。

"key": value ペアのリストを含むオブジェクト。例: { "name": "wrench", "mass": "1.3kg", "count": "3" }

FieldsEntry

JSON 表現 
{
  "key": string,
  "value": value
}
フィールド
key

string
value

value (Value format)

値

JSON 表現 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
フィールド
共用体フィールド kind。値の種類。kind は次のいずれかになります。
nullValue

null

null 値を表します。
numberValue

number

double 値を表します。
stringValue

string

文字列値を表します。
boolValue

boolean

ブール値を表します。
structValue

object (Struct format)

構造化された値を表します。
listValue

array (ListValue format)

Value の繰り返しを表します。

ListValue

JSON 表現 
{
  "values": [
    value
  ]
}
フィールド
values[]

value (Value format)

動的に型指定される値の繰り返しフィールド。

画像

JSON 表現 
{
  "mimeType": string,
  "data": string
}
フィールド
mimeType

string

必須。ソースデータの IANA 標準 MIME タイプ。サポートされている画像タイプは次のとおりです。* image/png * image/jpeg * image/webp
data

string (bytes format)

必須。画像の未加工のバイト数。

Base64 でエンコードされた文字列。

Blob

JSON 表現 
{
  "mimeType": string,
  "data": string
}
フィールド
mimeType

string

必須。ソースデータの IANA 標準 MIME タイプ。
data

string (bytes format)

必須。blob の未加工のバイト数。

Base64 でエンコードされた文字列。

イベント

JSON 表現 
{
  "event": string
}
フィールド
event

string

必須。イベントの名前。

AgentTransfer

JSON 表現 
{
  "targetAgent": string,
  "displayName": string
}
フィールド
targetAgent

string

必須。会話の転送先のエージェント。この時点からエージェントが会話を処理します。形式: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

出力専用。エージェントの表示名。

GoldenExpectation

JSON 表現 
{
  "note": string,

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
  // End of list of possible types for union field condition.
}
フィールド
note

string

省略可。この要件に関するメモ。特定のチェックが失敗した場合のレポートに役立ちます。例: "Check_Payment_Tool_Called".
共用体フィールド condition。実行する実際のチェック。condition は次のいずれかになります。
toolCall

object (ToolCall)

省略可。特定のツールがパラメータとともに呼び出されたことを確認します。
toolResponse

object (ToolResponse)

省略可。特定のツールが想定どおりのレスポンスを返したことを確認します。
agentResponse

object (Message)

省略可。エージェントが正しいレスポンスを返したことを確認します。ロール「エージェント」は暗黙的に指定されています。
agentTransfer

object (AgentTransfer)

省略可。エージェントが会話を別のエージェントに転送したことを確認します。
updatedVariables

object (Struct format)

省略可。エージェントがセッション変数を想定どおりの値に更新したことを確認します。ゴールデン評価の代理店変数の更新もキャプチャするために使用されます。
mockToolResponse

object (ToolResponse)

省略可。モックするツール レスポンス。対象のパラメータを指定します。指定されていないパラメータは LLM によってハルシネーションされます。

ToolCall

JSON 表現 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
フィールド
id

string

省略可。ツール呼び出しの一意の識別子。値が設定されている場合、クライアントは ToolResponse で一致する ID を含む実行結果を返す必要があります。
displayName

string

出力専用。ツールの表示名。
args

object (Struct format)

省略可。JSON オブジェクト形式のツールの入力パラメータと値。
共用体フィールド tool_identifier。実行するツールの識別子。永続化されたツールまたはツールセットのツールです。tool_identifier は次のいずれかになります。
tool

string

省略可。実行するツールの名前。形式: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

省略可。実行するツールセット ツール。

メッセージ

JSON 表現 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
フィールド
role

string

省略可。会話内のロール（ユーザー、エージェントなど）。
chunks[]

object (Chunk)

省略可。メッセージのコンテンツをチャンクのシーケンスとして表します。
eventTime

string (Timestamp format)

省略可。メッセージの送信または受信時のタイムスタンプ。メッセージが example の一部である場合は使用しないでください。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。

チャンク

JSON 表現 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
フィールド
共用体フィールド data。チャンクデータ。data は次のいずれかになります。
text

string

省略可。テキストデータ。
transcript

string

省略可。音声に関連付けられた文字起こし。
blob

object (Blob)

省略可。Blob データ。
payload

object (Struct format)

省略可。カスタム ペイロード データ。
image

object (Image)

省略可。画像データ。
toolCall

object (ToolCall)

省略可。ツール実行リクエスト。
toolResponse

object (ToolResponse)

省略可。ツール実行のレスポンス。
agentTransfer

object (AgentTransfer)

省略可。エージェントの転送イベント。
updatedVariables

object (Struct format)

構造体は、会話で更新された変数を表します。変数の名前でキー設定されます。
defaultVariables

object (Struct format)

構造体は、会話の開始時のデフォルト変数を表します。変数は変数名でキー設定されます。

タイムスタンプ

JSON 表現 
{
  "seconds": string,
  "nanos": integer
}
フィールド
seconds

string (int64 format)

UNIX エポック 1970-01-01T00:00:00Z からの UTC 時刻の秒数を表します。-62135596800～253402300799 の範囲（両端を含む）にする必要があります（これは 0001-01-01T00:00:00Z～9999-12-31T23:59:59Z に対応します）。
nanos

integer

ナノ秒分解能による、秒の負ではない小数以下部分。このフィールドは、秒の代替ではなく、期間のナノ秒部分です。小数以下を含む負の秒の値は、時間を前方にカウントする負ではない nanos 値を持つ必要があります。0～999,999,999 にする必要があります（両端を含む）。

スパン

JSON 表現 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
フィールド
name

string

出力専用。スパンの名前。
startTime

string (Timestamp format)

出力専用。スパンの開始時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
endTime

string (Timestamp format)

出力専用。スパンの終了時刻。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
duration

string (Duration format)

出力専用。スパンの期間。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。
attributes

object (Struct format)

出力専用。スパンに関連付けられた Key-Value 属性。
childSpans[]

object (Span)

出力専用。このスパンの下にネストされている子スパン。

所要時間

JSON 表現 
{
  "seconds": string,
  "nanos": integer
}
フィールド
seconds

string (int64 format)

期間の符号付き秒数。-315,576,000,000 ～+315,576,000,000 の範囲（両端を含む）にする必要があります。注: これらの境界は、60 秒/分 * 60 分/時間 * 24 時間/日 * 365.25 日/年 * 10,000 年から計算されます。
nanos

integer

期間のナノ秒分解能による、秒の符号付き小数以下部分。1 秒未満の期間は、0 の seconds フィールドと正または負の nanos フィールドで表されます。1 秒以上の期間の場合、nanos フィールドのゼロ以外の値は、seconds フィールドと同じ符号である必要があります。-999,999,999～+999,999,999 の範囲内（境界含む）である必要があります。

シナリオ

JSON 表現 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ]
}
フィールド
task

string

必須。シナリオの対象となるタスク。
userFacts[]

object (UserFact)

省略可。シナリオで使用されるユーザーの事実。
maxTurns

integer

省略可。シミュレートするターンの最大数。指定しない場合、シミュレーションはタスクが完了するまで続行されます。
rubrics[]

string

必須。シナリオを評価するためのルーブリック。
scenarioExpectations[]

object (ScenarioExpectation)

必須。ユーザー シミュレーションによって生成された会話を評価する ScenarioExpectations。
variableOverrides

object (Struct format)

省略可。セッションのコンテキストとしての変数 / セッション パラメータ。変数名でキー設定されます。この構造体のメンバーは、システムによって設定されたデフォルト値をオーバーライドします。

なお、これらはユーザーが知っている事実であるユーザーの事実とは異なります。変数はエージェントが認識しているパラメータです。たとえば、テレフォニー システムから渡された MDN（電話番号）などです。
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

省略可。非推奨。代わりに user_goal_behavior を使用してください。
userGoalBehavior

enum (UserGoalBehavior)

省略可。ユーザー目標の想定される動作。
evaluationExpectations[]

string

省略可。シミュレーションによって生成された会話を評価するための評価の期待値。形式: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

UserFact

JSON 表現 
{
  "name": string,
  "value": string
}
フィールド
name

string

必須。ユーザー ファクトの名前。
value

string

必須。ユーザー ファクトの値。

ScenarioExpectation

JSON 表現 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
フィールド
共用体フィールド expectation。シミュレーションによって生成された会話を評価するための期待値。expectation は次のいずれかになります。
toolExpectation

object (ToolExpectation)

省略可。評価するツール呼び出しとレスポンスのペア。
agentResponse

object (Message)

省略可。評価対象のエージェント レスポンス。

ToolExpectation

JSON 表現 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
フィールド
expectedToolCall

object (ToolCall)

必須。対象のパラメータが指定された、期待されるツール呼び出し。指定されていないパラメータは LLM によってハルシネーションされます。
mockToolResponse

object (ToolResponse)

必須。モックするツール レスポンス。対象のパラメータを指定します。指定されていないパラメータは LLM によってハルシネーションされます。

AggregatedMetrics

JSON 表現 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
フィールド
metricsByAppVersion[]

object (MetricsByAppVersion)

出力専用。アプリのバージョン ID でグループ化された集計指標。

MetricsByAppVersion

JSON 表現 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
フィールド
appVersionId

string

出力専用。アプリのバージョン ID。
toolMetrics[]

object (ToolMetrics)

出力専用。このアプリ バージョン内の各ツールの指標。
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

出力専用。このアプリ バージョン内のセマンティック類似性の指標。
hallucinationMetrics[]

object (HallucinationMetrics)

出力専用。このアプリ バージョン内のハルシネーションの指標。
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

出力専用。このアプリ バージョン内のツール呼び出しレイテンシの指標。
turnLatencyMetrics[]

object (TurnLatencyMetrics)

出力専用。このアプリ バージョン内のターン レイテンシの指標。
passCount

integer

出力専用。評価に合格した回数。
failCount

integer

出力専用。評価が失敗した回数。
metricsByTurn[]

object (MetricsByTurn)

出力専用。このアプリ バージョン内のターンごとに集計された指標。

ToolMetrics

JSON 表現 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
フィールド
tool

string

出力専用。ツールの名前。
passCount

integer

出力専用。ツールが合格した回数。
failCount

integer

出力専用。ツールが失敗した回数。

SemanticSimilarityMetrics

JSON 表現 
{
  "score": number
}
フィールド
score

number

出力専用。平均意味的類似性スコア（0 ～ 4）。

HallucinationMetrics

JSON 表現 
{
  "score": number
}
フィールド
score

number

出力専用。平均ハルシネーション スコア（0 ～ 1）。

ToolCallLatencyMetrics

JSON 表現 
{
  "tool": string,
  "averageLatency": string
}
フィールド
tool

string

出力専用。ツールの名前。
averageLatency

string (Duration format)

出力専用。ツール呼び出しの平均レイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。

TurnLatencyMetrics

JSON 表現 
{
  "averageLatency": string
}
フィールド
averageLatency

string (Duration format)

出力専用。ターンの平均レイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。

MetricsByTurn

JSON 表現 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
フィールド
turnIndex

integer

出力専用。ターン インデックス（0 ベース）。
toolMetrics[]

object (ToolMetrics)

出力専用。このターンの各ツールの指標。
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

出力専用。このターンの意味的類似性の指標。
hallucinationMetrics[]

object (HallucinationMetrics)

出力専用。このターンのハルシネーションの指標。
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

出力専用。このターンのツール呼び出しレイテンシの指標。
turnLatencyMetrics[]

object (TurnLatencyMetrics)

出力専用。このターンのターン レイテンシの指標。

EvaluationResult

JSON 表現 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
フィールド
name

string

ID。評価結果の固有識別子。形式: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

必須。評価結果の表示名。評価内で一意。デフォルトでは、「 結果 - 」という形式になります。
createTime

string (Timestamp format)

出力専用。評価結果が作成されたときのタイムスタンプ。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
evaluationStatus

enum (Outcome)

出力専用。評価の結果。execution_state が COMPLETE の場合にのみ入力されます。
evaluationRun

string

出力専用。この結果を生成した評価実行。形式: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

出力専用。評価結果の会話の生成に使用されたペルソナ。
errorInfo

object (EvaluationErrorInfo)

出力専用。評価結果のエラー情報。
error
(deprecated)

object (Status)

出力専用。非推奨: 代わりに、error_info を使用してください。実行中に発生したエラー。
initiatedBy

string

出力専用。この結果を生成した評価実行を開始したユーザー。
appVersion

string

出力専用。この結果につながった会話の生成に使用されたアプリのバージョン。形式: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

出力専用。評価が実行された app_version の表示名。
changelog

string

出力専用。評価が実行されたアプリ バージョンの変更ログ。ユーザーが最新版/下書きで評価を実行した場合に設定されます。
changelogCreateTime

string (Timestamp format)

出力専用。評価の実行対象となったアプリ バージョンの変更ログの作成時間。ユーザーが最新版/下書きで評価を実行した場合に設定されます。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
executionState

enum (ExecutionState)

出力専用。評価結果の実行状態。
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

出力専用。結果の評価しきい値。
config

object (EvaluationConfig)

出力専用。この結果が得られた評価実行で使用された構成。
goldenRunMethod

enum (GoldenRunMethod)

出力専用。ゴールデン評価の実行に使用されるメソッド。
共用体フィールド result。評価の結果。execution_state が COMPLETED の場合にのみ入力されます。result は次のいずれかになります。
goldenResult

object (GoldenResult)

出力専用。ゴールデン評価の結果。
scenarioResult

object (ScenarioResult)

出力専用。シナリオ評価の結果。

GoldenResult

JSON 表現 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
フィールド
turnReplayResults[]

object (TurnReplayResult)

出力専用。ゴールデン会話の各ターンを実行した結果。
evaluationExpectationResults[]

object (EvaluationExpectationResult)

出力専用。評価の期待値の結果。

TurnReplayResult

JSON 表現 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
フィールド
conversation

string

出力専用。このターンで生成された会話。
expectationOutcome[]

object (GoldenExpectationOutcome)

出力専用。各期待値の結果。
hallucinationResult

object (HallucinationResult)

出力専用。ハルシネーション チェックの結果。
toolInvocationScore
(deprecated)

number

出力専用。非推奨。代わりに OverallToolInvocationResult を使用してください。
turnLatency

string (Duration format)

出力専用。ターンの期間。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。
toolCallLatencies[]

object (ToolCallLatency)

出力専用。ターンの各ツール呼び出しのレイテンシ。
semanticSimilarityResult

object (SemanticSimilarityResult)

出力専用。セマンティック類似性チェックの結果。
overallToolInvocationResult

object (OverallToolInvocationResult)

出力専用。ツール呼び出しの全体的なチェックの結果。
errorInfo

object (EvaluationErrorInfo)

出力専用。このターン中に発生したエラーに関する情報。
spanLatencies[]

object (SpanLatency)

出力専用。ターンのスパンのレイテンシ。

共用体フィールド _tool_ordered_invocation_score。

_tool_ordered_invocation_score は次のいずれかになります。
toolOrderedInvocationScore

number

出力専用。このターンのツール呼び出しの全体的な順序スコア。これは、期待されるターンで実際に呼び出されたツールの割合を、期待される順序で示します。

GoldenExpectationOutcome

JSON 表現 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  }
  // End of list of possible types for union field result.
}
フィールド
expectation

object (GoldenExpectation)

出力専用。評価された期待値。
outcome

enum (Outcome)

出力専用。期待の結果。
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

出力専用。セマンティック類似性チェックの結果。
toolInvocationResult

object (ToolInvocationResult)

出力専用。ツール呼び出しチェックの結果。
共用体フィールド result。期待の結果。result は次のいずれかになります。
observedToolCall

object (ToolCall)

出力専用。ツール呼び出しの期待値の結果。
observedToolResponse

object (ToolResponse)

出力専用。ツール レスポンスの期待値の結果。
observedAgentResponse

object (Message)

出力専用。エージェントのレスポンスの期待値の結果。
observedAgentTransfer

object (AgentTransfer)

出力専用。エージェント転送の期待値の結果。

SemanticSimilarityResult

JSON 表現 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
フィールド
label

string

出力専用。各スコアに関連付けられたラベル。スコア 4: 完全に一貫している スコア 3: ほぼ一貫している スコア 2: 部分的に一貫している（軽微な欠落がある） スコア 1: ほぼ一貫していない（重大な欠落がある） スコア 0: 完全に一貫していない / 矛盾している
explanation

string

出力専用。意味的類似性スコアの説明。
outcome

enum (Outcome)

出力専用。意味的類似性チェックの結果。これは、スコアと semantic_similarity_success_threshold を比較して決定されます。スコアがしきい値以上の場合、結果は合格になります。それ以外の場合、結果は FAIL になります。

共用体フィールド _score。

_score は次のいずれかになります。
score

integer

出力専用。意味的類似性スコア。0、1、2、3、4 のいずれかになります。

ToolInvocationResult

JSON 表現 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
フィールド
outcome

enum (Outcome)

出力専用。ツール呼び出しチェックの結果。これは、parameter_correctness_score をしきい値と比較して判断されます。スコアがしきい値以上の場合、結果は合格になります。それ以外の場合、結果は FAIL になります。
explanation

string

出力専用。ツール呼び出し結果の自由形式の説明。

共用体フィールド _parameter_correctness_score。

_parameter_correctness_score は次のいずれかになります。
parameterCorrectnessScore

number

出力専用。ツール呼び出しパラメータの正しさのスコア。これは、実際のツール呼び出しにも含まれていた、期待されるツール呼び出しのパラメータの割合を示します。

HallucinationResult

JSON 表現 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
フィールド
label

string

出力専用。各スコアに関連付けられたラベル。スコア 1: 正当なスコア 0: 正当でないスコア -1: 評価する申し立てなし
explanation

string

出力専用。ハルシネーション スコアの説明。

共用体フィールド _score。

_score は次のいずれかになります。
score

integer

出力専用。ハルシネーション スコア。-1、0、1 のいずれかになります。

ToolCallLatency

JSON 表現 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
フィールド
tool

string

出力専用。実行されたツールの名前。形式: projects/{project}/locations/{location}/apps/{app}/tools/{tool}。
displayName

string

出力専用。ツールの表示名。
startTime

string (Timestamp format)

出力専用。ツール呼び出しの実行の開始時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
endTime

string (Timestamp format)

出力専用。ツール呼び出しの実行終了時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
executionLatency

string (Duration format)

出力専用。ツール呼び出しの実行レイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。

OverallToolInvocationResult

JSON 表現 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
フィールド
outcome

enum (Outcome)

出力専用。ツール呼び出しチェックの結果。これは、tool_invocation_score と overall_tool_invocation_correctness_threshold を比較して決定されます。スコアがしきい値以上の場合、結果は合格になります。それ以外の場合、結果は FAIL になります。

共用体フィールド _tool_invocation_score。

_tool_invocation_score は次のいずれかになります。
toolInvocationScore

number

このターンのツール呼び出しの全体的なスコア。これは、予測されたターンから実際に呼び出されたツールの全体的な割合を示します。

EvaluationErrorInfo

JSON 表現 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string
}
フィールド
errorType

enum (ErrorType)

出力専用。エラーのタイプ。
errorMessage

string

出力専用。エラー メッセージ。
sessionId

string

出力専用。エラーの原因となった会話のセッション ID。

SpanLatency

JSON 表現 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
フィールド
type

enum (Type)

出力専用。スパンのタイプ。
displayName

string

出力専用。スパンの表示名。ツールとガードレールのスパンに適用されます。
startTime

string (Timestamp format)

出力専用。スパンの開始時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
endTime

string (Timestamp format)

出力専用。スパンの終了時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
executionLatency

string (Duration format)

出力専用。スパンのレイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。
共用体フィールド identifier。タイプに基づく特定のアイテムの識別子。identifier は次のいずれかになります。
resource

string

出力専用。ガードレールまたはツールのスパンのリソース名。
toolset

object (ToolsetTool)

出力専用。ツールセット ツールの識別子。
model

string

出力専用。LLM スパンの名前。
callback

string

出力専用。ユーザー コールバック スパンの名前。

EvaluationExpectationResult

JSON 表現 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
フィールド
evaluationExpectation

string

出力専用。評価の期待値。形式: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

出力専用。評価に使用されたプロンプト。
outcome

enum (Outcome)

出力専用。評価の期待値の結果。
explanation

string

出力専用。結果の説明。

ScenarioResult

JSON 表現 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
フィールド
conversation

string

出力専用。シナリオで生成された会話。
task

string

出力専用。この結果のシナリオを実行したときに使用されたタスク。
userFacts[]

object (UserFact)

出力専用。この結果のシナリオで使用されたユーザーの事実。
expectationOutcomes[]

object (ScenarioExpectationOutcome)

出力専用。各期待値の結果。
rubricOutcomes[]

object (ScenarioRubricOutcome)

出力専用。ルーブリックの結果。
hallucinationResult[]

object (HallucinationResult)

出力専用。ハルシネーション チェックの結果。会話のターンごとに 1 つのハルシネーション結果が返されます。
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

出力専用。タスク完了チェックの結果。
toolCallLatencies[]

object (ToolCallLatency)

出力専用。会話内の各ツール呼び出しの実行のレイテンシ。
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

出力専用。ユーザー目標の達成度チェックの結果。
spanLatencies[]

object (SpanLatency)

出力専用。会話内のスパンのレイテンシ。
evaluationExpectationResults[]

object (EvaluationExpectationResult)

出力専用。評価の期待値の結果。

共用体フィールド _all_expectations_satisfied。

_all_expectations_satisfied は次のいずれかになります。
allExpectationsSatisfied

boolean

出力専用。このターンですべての期待値が満たされたかどうか。

共用体フィールド _task_completed。

_task_completed は次のいずれかになります。
taskCompleted

boolean

出力専用。このターンでタスクが完了したかどうか。これは、満たされたすべての期待、ハルシネーションの発生なし、ユーザーの目標達成度の複合です。

ScenarioExpectationOutcome

JSON 表現 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
フィールド
expectation

object (ScenarioExpectation)

出力専用。評価された期待値。
outcome

enum (Outcome)

出力専用。ScenarioExpectation の結果。
共用体フィールド result。期待の結果。result は次のいずれかになります。
observedToolCall

object (ObservedToolCall)

出力専用。観測されたツール呼び出し。
observedAgentResponse

object (Message)

出力専用。観測されたエージェントのレスポンス。

ObservedToolCall

JSON 表現 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
フィールド
toolCall

object (ToolCall)

出力専用。観測されたツール呼び出し。
toolResponse

object (ToolResponse)

出力専用。観測されたツールのレスポンス。

ScenarioRubricOutcome

JSON 表現 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
フィールド
rubric

string

出力専用。会話の評価に使用されたルーブリック。
scoreExplanation

string

出力専用。ルーブリックに対する評価者の回答。

共用体フィールド _score。

_score は次のいずれかになります。
score

number

出力専用。ルーブリックに照らした会話のスコア。

TaskCompletionResult

JSON 表現 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
フィールド
label

string

出力専用。各スコアに関連付けられたラベル。スコア 1: タスク完了 スコア 0: タスク未完了 スコア -1: ユーザーの目標が未定義
explanation

string

出力専用。タスク完了スコアの説明。

共用体フィールド _score。

_score は次のいずれかになります。
score

integer

出力専用。タスクの完了スコア。-1、0、1 のいずれかになります。

UserGoalSatisfactionResult

JSON 表現 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
フィールド
label

string

出力専用。各スコアに関連付けられたラベル。スコア 1: ユーザー タスクが完了したスコア 0: ユーザー タスクが完了しなかったスコア -1: ユーザー タスクが指定されていない
explanation

string

出力専用。ユーザー タスクの満足度スコアの説明。

共用体フィールド _score。

_score は次のいずれかになります。
score

integer

出力専用。ユーザー タスクの満足度スコア。-1、0、1 のいずれかになります。

EvaluationPersona

JSON 表現 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
フィールド
name

string

必須。ペルソナの一意の識別子。形式: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

省略可。ペルソナの説明。
displayName

string

必須。ペルソナの表示名。アプリ内で一意。
personality

string

必須。評価でどのように動作すべきかについてのエージェントへの指示。
speechConfig

object (SpeechConfig)

省略可。ペルソナの音声に関する構成（TTS 設定）。

SpeechConfig

JSON 表現 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
フィールド
speakingRate

number

省略可。発話速度。1.0 が標準です。値が低いほど遅くなります（例: 0.8）、値が大きいほど高速になります（例: 1.5）。エージェントが早口の顧客にどのように対応するかをテストするのに便利です。
environment

enum (BackgroundEnvironment)

省略可。シミュレートされたオーディオ環境。
voiceId

string

省略可。使用する特定の音声 ID/アクセント。例: 「en-US-Wavenet-D」、「en-GB-Standard-A」

ステータス

JSON 表現 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
フィールド
code

integer

ステータス コード。google.rpc.Code の列挙値である必要があります。
message

string

デベロッパー向けのエラー メッセージ。英語で記述します。ユーザー向けのエラー メッセージは、ローカライズして google.rpc.Status.details フィールドで送信するか、クライアントでローカライズする必要があります。
details[]

object

エラーの詳細を保持するメッセージのリスト。API が使用する共通のメッセージ タイプのセットがあります。

任意のデータ型のフィールドを含むオブジェクトであり、型を識別する URI を含むフィールド "@type" を追加できます。例: { "id": 1234, "@type": "types.example.com/standard/id" }

すべて

JSON 表現 
{
  "typeUrl": string,
  "value": string
}
フィールド
typeUrl

string

スラッシュで終わる接頭辞と完全修飾型名で構成される URI 参照を使用して、シリアル化された Protobuf メッセージの型を識別します。

例: type.googleapis.com/google.protobuf.StringValue

この文字列には / 文字を 1 つ以上含める必要があります。最後の / の後のコンテンツは、先頭のドットのない正規形式の型の完全修飾名である必要があります。クライアントが連絡を試みないように、これらの URI 参照にスキームを記述しないでください。

接頭辞は任意であり、Protobuf 実装では、最後の / までをすべて削除して型を識別することが想定されています。type.googleapis.com/ は、一部のレガシー実装で必要な一般的なデフォルトの接頭辞です。この接頭辞は型のオリジンを示すものではなく、これを含む URI はリクエストに応答しないことが想定されています。

すべてのタイプ URL 文字列は、有効な URI 参照である必要があります。また、テキスト形式の場合、参照の内容は英数字、パーセント エンコードされたエスケープ、および次のセットの文字（外側のバッククォートを除く）/-.~_!$&()*+,;= のみで構成されている必要があります。パーセント エンコードは許可されていますが、既存のパーサーとの混同を避けるため、実装ではエスケープ解除しないでください。たとえば、type.googleapis.com%2FFoo は拒否される必要があります。

Any の元の設計では、これらの型 URL で型解決サービスを起動する可能性が検討されましたが、Protobuf は実装していません。また、これらの URL へのアクセスは問題があり、セキュリティ上の問題を引き起こす可能性があると見なされています。連絡先タイプの URL にアクセスしないでください。
value

string (bytes format)

type_url で記述された型の Protobuf シリアル化を保持します。

Base64 でエンコードされた文字列。

EvaluationMetricsThresholds

JSON 表現 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
フィールド
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

省略可。ゴールデン評価指標のしきい値。
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

省略可。非推奨: 代わりに、golden_hallucination_metric_behavior を使用してください。現在、ハルシネーション指標の動作はゴールデン評価に使用されています。
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

省略可。ゴールデン評価のハルシネーション指標の動作。
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

省略可。シナリオ評価のハルシネーション指標の動作。

GoldenEvaluationMetricsThresholds

JSON 表現 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
フィールド
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

省略可。ターンレベルの指標のしきい値。
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

省略可。期待レベルの指標のしきい値。
toolMatchingSettings

object (ToolMatchingSettings)

省略可。ツール マッチングの設定。余分なツール呼び出しとは、実行には存在するものの、ゴールデン エクスペクテーションのツール呼び出しと一致しないツール呼び出しのことです。

TurnLevelMetricsThresholds

JSON 表現 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
フィールド
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

省略可。評価に使用する意味的類似性チャネル。

共用体フィールド _semantic_similarity_success_threshold。

_semantic_similarity_success_threshold は次のいずれかになります。
semanticSimilaritySuccessThreshold

integer

省略可。意味的類似性の成功しきい値。0 ～ 4 の整数を指定してください。デフォルトは 3 以上です。

共用体フィールド _overall_tool_invocation_correctness_threshold。

_overall_tool_invocation_correctness_threshold は次のいずれかになります。
overallToolInvocationCorrectnessThreshold

number

省略可。ツール呼び出しの全体的な正しさの成功しきい値。0 ～ 1 の浮動小数点数にする必要があります。デフォルトは 1.0 です。

ExpectationLevelMetricsThresholds

JSON 表現 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
フィールド

共用体フィールド _tool_invocation_parameter_correctness_threshold。

_tool_invocation_parameter_correctness_threshold は次のいずれかになります。
toolInvocationParameterCorrectnessThreshold

number

省略可。個々のツール呼び出しパラメータの正しさの成功しきい値。0 ～ 1 の浮動小数点数にする必要があります。デフォルトは 1.0 です。

ToolMatchingSettings

JSON 表現 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
フィールド
extraToolCallBehavior

enum (ExtraToolCallBehavior)

省略可。追加のツール呼び出しの動作。デフォルトは FAIL です。

EvaluationConfig

JSON 表現 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
フィールド
inputAudioConfig
(deprecated)

object (InputAudioConfig)

省略可。入力音声の処理に関する構成。
outputAudioConfig
(deprecated)

object (OutputAudioConfig)

省略可。出力音声の生成に関する構成。
evaluationChannel

enum (EvaluationChannel)

省略可。評価するチャネル。
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

省略可。評価で実際のツール呼び出しを使用するか、フェイクツールを使用するかを指定します。

InputAudioConfig

JSON 表現 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
フィールド
audioEncoding

enum (AudioEncoding)

必須。入力音声データのエンコード。
sampleRateHertz

integer

必須。入力音声データのサンプルレート（ヘルツ単位）。
noiseSuppressionLevel

string

省略可。入力音声のノイズ抑制を有効にするかどうか。使用可能な値は、「low」、「moderate」、「high」、「very_high」です。

OutputAudioConfig

JSON 表現 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
フィールド
audioEncoding

enum (AudioEncoding)

必須。出力音声データのエンコード。
sampleRateHertz

integer

必須。出力音声データのサンプリング レート（ヘルツ単位）。

出力スキーマ

評価は、エージェントのシミュレーションと評価に必要なすべての情報を表します。

評価

JSON 表現 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
フィールド
name

string

ID。この評価の固有識別子。形式: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

必須。ユーザー定義の評価の表示名。アプリ内で一意。
description

string

省略可。ユーザー定義の評価の説明。
tags[]

string

省略可。評価を分類するためのユーザー定義のタグ。
evaluationDatasets[]

string

出力専用。評価が属する評価データセットのリスト。形式: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

出力専用。評価が作成されたときのタイムスタンプ。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
createdBy

string

出力専用。評価を作成したユーザー。
updateTime

string (Timestamp format)

出力専用。評価が最後に更新されたときのタイムスタンプ。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
lastUpdatedBy

string

出力専用。評価を最後に更新したユーザー。
evaluationRuns[]

string

出力専用。この評価に関連付けられている EvaluationRun。
etag

string

出力専用。読み取り、変更、書き込みオペレーション中にオブジェクトが変更されていないことを確認するために使用される ETag。etag が空の場合、更新によって同時変更が上書きされます。
aggregatedMetrics

object (AggregatedMetrics)

出力専用。すべての実行にわたるこの評価の集計指標。
lastCompletedResult

object (EvaluationResult)

出力専用。この評価の最新の評価結果。
invalid

boolean

出力専用。評価が無効かどうか。これは、評価が、削除されたツール、ツールセット、エージェントを参照している場合に発生する可能性があります。
lastTenResults[]

object (EvaluationResult)

出力専用。この評価の過去 10 回の評価結果。これは、ListEvaluationsRequest または GetEvaluationRequest で include_last_ten_results が true に設定されている場合にのみ入力されます。
共用体フィールド inputs。評価 inputs の入力は、次のいずれか 1 つのみです。
golden

object (Golden)

省略可。評価するゴールデン ステップ。
scenario

object (Scenario)

省略可。シナリオの構成。

Golden

JSON 表現 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
フィールド
turns[]

object (GoldenTurn)

必須。ゴールデン会話を再生するために必要なゴールデン ターン。
evaluationExpectations[]

string

省略可。再生された会話を評価するための評価の期待値。形式: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

JSON 表現 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  }
}
フィールド
steps[]

object (Step)

必須。ゴールデン会話を再生するために必要な手順。
rootSpan

object (Span)

省略可。音声情報の処理と維持のためのゴールデン ターンのルート スパン。

ステップ

JSON 表現 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
フィールド
共用体フィールド step。実行するステップ。step は次のいずれかになります。
userInput

object (SessionInput)

省略可。会話のユーザー入力。
agentTransfer

object (AgentTransfer)

省略可。会話を別のエージェントに転送します。
expectation

object (GoldenExpectation)

省略可。現在のターンで期待値を実行します。

SessionInput

JSON 表現 
{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
フィールド
willContinue

boolean

省略可。現在のメッセージが双方向ストリーミング セッションの大きな入力のフラグメントであるかどうかを示すフラグ。

true に設定すると、エージェントは will_continue が false の後続のメッセージを受信するまで、またはシステムが音声入力でエンドポイントを検出するまで、処理を延期します。

注: このフィールドは音声入力と DTMF 入力には適用されません。これらは常に終端信号に基づいて自動的に処理されるためです。
共用体フィールド input_type。入力のタイプ。input_type は次のいずれかになります。
text

string

省略可。エンドユーザーからのテキストデータ。
dtmf

string

省略可。エンドユーザーからの DTMF 数字。
audio

string (bytes format)

省略可。エンドユーザーからの音声データ。

Base64 でエンコードされた文字列。
toolResponses

object (ToolResponses)

省略可。クライアントからのツール呼び出しの実行結果。
image

object (Image)

省略可。エンドユーザーからの画像データ。
blob

object (Blob)

省略可。エンドユーザーからの BLOB データ。
variables

object (Struct format)

省略可。セッションのコンテキスト変数。名前でキー設定されます。アプリで宣言された変数のみが CES エージェントで使用されます。

認識されない変数は、追加のセッション パラメータとして [Dialogflow エージェント][Agent.RemoteDialogflowAgent] に送信されます。
event

object (Event)

省略可。イベント入力。

ToolResponses

JSON 表現 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
フィールド
toolResponses[]

object (ToolResponse)

省略可。ツール実行結果のリスト。

ToolResponse

JSON 表現 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
フィールド
id

string

省略可。レスポンスの対象となる tool call の一致する ID。
displayName

string

出力専用。ツールの表示名。
response

object (Struct format)

必須。JSON オブジェクト形式のツール実行結果。「output」キーを使用してツールのレスポンスを指定し、「error」キーを使用してエラーの詳細を指定します（ある場合）。「output」キーと「error」キーが指定されていない場合、「response」全体がツール実行結果として扱われます。
共用体フィールド tool_identifier。実行されたツールの ID。永続化されたツールまたはツールセットのツールです。tool_identifier は次のいずれかになります。
tool

string

省略可。実行するツールの名前。形式: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

省略可。実行されたツールセット ツール。

ToolsetTool

JSON 表現 
{
  "toolset": string,
  "toolId": string
}
フィールド
toolset

string

必須。このツールが派生した Toolset のリソース名。形式: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

省略可。スキーマを取得するツールをフィルタするツール ID。

構造体

JSON 表現 
{
  "fields": {
    string: value,
    ...
  }
}
フィールド
fields

map (key: string, value: value (Value format))

動的に型指定される値の順序なしのマップ。

"key": value ペアのリストを含むオブジェクト。例: { "name": "wrench", "mass": "1.3kg", "count": "3" }

FieldsEntry

JSON 表現 
{
  "key": string,
  "value": value
}
フィールド
key

string
value

value (Value format)

値

JSON 表現 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
フィールド
共用体フィールド kind。値の種類。kind は次のいずれかになります。
nullValue

null

null 値を表します。
numberValue

number

double 値を表します。
stringValue

string

文字列値を表します。
boolValue

boolean

ブール値を表します。
structValue

object (Struct format)

構造化された値を表します。
listValue

array (ListValue format)

Value の繰り返しを表します。

ListValue

JSON 表現 
{
  "values": [
    value
  ]
}
フィールド
values[]

value (Value format)

動的に型指定される値の繰り返しフィールド。

画像

JSON 表現 
{
  "mimeType": string,
  "data": string
}
フィールド
mimeType

string

必須。ソースデータの IANA 標準 MIME タイプ。サポートされている画像タイプは次のとおりです。* image/png * image/jpeg * image/webp
data

string (bytes format)

必須。画像の未加工のバイト数。

Base64 でエンコードされた文字列。

Blob

JSON 表現 
{
  "mimeType": string,
  "data": string
}
フィールド
mimeType

string

必須。ソースデータの IANA 標準 MIME タイプ。
data

string (bytes format)

必須。blob の未加工のバイト数。

Base64 でエンコードされた文字列。

イベント

JSON 表現 
{
  "event": string
}
フィールド
event

string

必須。イベントの名前。

AgentTransfer

JSON 表現 
{
  "targetAgent": string,
  "displayName": string
}
フィールド
targetAgent

string

必須。会話の転送先のエージェント。この時点からエージェントが会話を処理します。形式: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

出力専用。エージェントの表示名。

GoldenExpectation

JSON 表現 
{
  "note": string,

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
  // End of list of possible types for union field condition.
}
フィールド
note

string

省略可。この要件に関するメモ。特定のチェックが失敗した場合のレポートに役立ちます。例: "Check_Payment_Tool_Called".
共用体フィールド condition。実行する実際のチェック。condition は次のいずれかになります。
toolCall

object (ToolCall)

省略可。特定のツールがパラメータとともに呼び出されたことを確認します。
toolResponse

object (ToolResponse)

省略可。特定のツールが想定どおりのレスポンスを返したことを確認します。
agentResponse

object (Message)

省略可。エージェントが正しいレスポンスを返したことを確認します。ロール「エージェント」は暗黙的に指定されています。
agentTransfer

object (AgentTransfer)

省略可。エージェントが会話を別のエージェントに転送したことを確認します。
updatedVariables

object (Struct format)

省略可。エージェントがセッション変数を想定どおりの値に更新したことを確認します。ゴールデン評価の代理店変数の更新もキャプチャするために使用されます。
mockToolResponse

object (ToolResponse)

省略可。モックするツール レスポンス。対象のパラメータを指定します。指定されていないパラメータは LLM によってハルシネーションされます。

ToolCall

JSON 表現 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
フィールド
id

string

省略可。ツール呼び出しの一意の識別子。値が設定されている場合、クライアントは ToolResponse で一致する ID を含む実行結果を返す必要があります。
displayName

string

出力専用。ツールの表示名。
args

object (Struct format)

省略可。JSON オブジェクト形式のツールの入力パラメータと値。
共用体フィールド tool_identifier。実行するツールの識別子。永続化されたツールまたはツールセットのツールです。tool_identifier は次のいずれかになります。
tool

string

省略可。実行するツールの名前。形式: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

省略可。実行するツールセット ツール。

メッセージ

JSON 表現 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
フィールド
role

string

省略可。会話内のロール（ユーザー、エージェントなど）。
chunks[]

object (Chunk)

省略可。メッセージのコンテンツをチャンクのシーケンスとして表します。
eventTime

string (Timestamp format)

省略可。メッセージの送信または受信時のタイムスタンプ。メッセージが example の一部である場合は使用しないでください。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。

チャンク

JSON 表現 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
フィールド
共用体フィールド data。チャンクデータ。data は次のいずれかになります。
text

string

省略可。テキストデータ。
transcript

string

省略可。音声に関連付けられた文字起こし。
blob

object (Blob)

省略可。Blob データ。
payload

object (Struct format)

省略可。カスタム ペイロード データ。
image

object (Image)

省略可。画像データ。
toolCall

object (ToolCall)

省略可。ツール実行リクエスト。
toolResponse

object (ToolResponse)

省略可。ツール実行のレスポンス。
agentTransfer

object (AgentTransfer)

省略可。エージェントの転送イベント。
updatedVariables

object (Struct format)

構造体は、会話で更新された変数を表します。変数の名前でキー設定されます。
defaultVariables

object (Struct format)

構造体は、会話の開始時のデフォルト変数を表します。変数は変数名でキー設定されます。

タイムスタンプ

JSON 表現 
{
  "seconds": string,
  "nanos": integer
}
フィールド
seconds

string (int64 format)

UNIX エポック 1970-01-01T00:00:00Z からの UTC 時刻の秒数を表します。-62135596800～253402300799 の範囲（両端を含む）にする必要があります（これは 0001-01-01T00:00:00Z～9999-12-31T23:59:59Z に対応します）。
nanos

integer

ナノ秒分解能による、秒の負ではない小数以下部分。このフィールドは、秒の代替ではなく、期間のナノ秒部分です。小数以下を含む負の秒の値は、時間を前方にカウントする負ではない nanos 値を持つ必要があります。0～999,999,999 にする必要があります（両端を含む）。

スパン

JSON 表現 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
フィールド
name

string

出力専用。スパンの名前。
startTime

string (Timestamp format)

出力専用。スパンの開始時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
endTime

string (Timestamp format)

出力専用。スパンの終了時刻。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
duration

string (Duration format)

出力専用。スパンの期間。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。
attributes

object (Struct format)

出力専用。スパンに関連付けられた Key-Value 属性。
childSpans[]

object (Span)

出力専用。このスパンの下にネストされている子スパン。

所要時間

JSON 表現 
{
  "seconds": string,
  "nanos": integer
}
フィールド
seconds

string (int64 format)

期間の符号付き秒数。-315,576,000,000 ～+315,576,000,000 の範囲（両端を含む）にする必要があります。注: これらの境界は、60 秒/分 * 60 分/時間 * 24 時間/日 * 365.25 日/年 * 10,000 年から計算されます。
nanos

integer

期間のナノ秒分解能による、秒の符号付き小数以下部分。1 秒未満の期間は、0 の seconds フィールドと正または負の nanos フィールドで表されます。1 秒以上の期間の場合、nanos フィールドのゼロ以外の値は、seconds フィールドと同じ符号である必要があります。-999,999,999～+999,999,999 の範囲内（境界含む）である必要があります。

シナリオ

JSON 表現 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ]
}
フィールド
task

string

必須。シナリオの対象となるタスク。
userFacts[]

object (UserFact)

省略可。シナリオで使用されるユーザーの事実。
maxTurns

integer

省略可。シミュレートするターンの最大数。指定しない場合、シミュレーションはタスクが完了するまで続行されます。
rubrics[]

string

必須。シナリオを評価するためのルーブリック。
scenarioExpectations[]

object (ScenarioExpectation)

必須。ユーザー シミュレーションによって生成された会話を評価する ScenarioExpectations。
variableOverrides

object (Struct format)

省略可。セッションのコンテキストとしての変数 / セッション パラメータ。変数名でキー設定されます。この構造体のメンバーは、システムによって設定されたデフォルト値をオーバーライドします。

なお、これらはユーザーが知っている事実であるユーザーの事実とは異なります。変数はエージェントが認識しているパラメータです。たとえば、テレフォニー システムから渡された MDN（電話番号）などです。
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

省略可。非推奨。代わりに user_goal_behavior を使用してください。
userGoalBehavior

enum (UserGoalBehavior)

省略可。ユーザー目標の想定される動作。
evaluationExpectations[]

string

省略可。シミュレーションによって生成された会話を評価するための評価の期待値。形式: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

UserFact

JSON 表現 
{
  "name": string,
  "value": string
}
フィールド
name

string

必須。ユーザー ファクトの名前。
value

string

必須。ユーザー ファクトの値。

ScenarioExpectation

JSON 表現 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
フィールド
共用体フィールド expectation。シミュレーションによって生成された会話を評価するための期待値。expectation は次のいずれかになります。
toolExpectation

object (ToolExpectation)

省略可。評価するツール呼び出しとレスポンスのペア。
agentResponse

object (Message)

省略可。評価対象のエージェント レスポンス。

ToolExpectation

JSON 表現 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
フィールド
expectedToolCall

object (ToolCall)

必須。対象のパラメータが指定された、期待されるツール呼び出し。指定されていないパラメータは LLM によってハルシネーションされます。
mockToolResponse

object (ToolResponse)

必須。モックするツール レスポンス。対象のパラメータを指定します。指定されていないパラメータは LLM によってハルシネーションされます。

AggregatedMetrics

JSON 表現 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
フィールド
metricsByAppVersion[]

object (MetricsByAppVersion)

出力専用。アプリのバージョン ID でグループ化された集計指標。

MetricsByAppVersion

JSON 表現 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
フィールド
appVersionId

string

出力専用。アプリのバージョン ID。
toolMetrics[]

object (ToolMetrics)

出力専用。このアプリ バージョン内の各ツールの指標。
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

出力専用。このアプリ バージョン内のセマンティック類似性の指標。
hallucinationMetrics[]

object (HallucinationMetrics)

出力専用。このアプリ バージョン内のハルシネーションの指標。
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

出力専用。このアプリ バージョン内のツール呼び出しレイテンシの指標。
turnLatencyMetrics[]

object (TurnLatencyMetrics)

出力専用。このアプリ バージョン内のターン レイテンシの指標。
passCount

integer

出力専用。評価に合格した回数。
failCount

integer

出力専用。評価が失敗した回数。
metricsByTurn[]

object (MetricsByTurn)

出力専用。このアプリ バージョン内のターンごとに集計された指標。

ToolMetrics

JSON 表現 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
フィールド
tool

string

出力専用。ツールの名前。
passCount

integer

出力専用。ツールが合格した回数。
failCount

integer

出力専用。ツールが失敗した回数。

SemanticSimilarityMetrics

JSON 表現 
{
  "score": number
}
フィールド
score

number

出力専用。平均意味的類似性スコア（0 ～ 4）。

HallucinationMetrics

JSON 表現 
{
  "score": number
}
フィールド
score

number

出力専用。平均ハルシネーション スコア（0 ～ 1）。

ToolCallLatencyMetrics

JSON 表現 
{
  "tool": string,
  "averageLatency": string
}
フィールド
tool

string

出力専用。ツールの名前。
averageLatency

string (Duration format)

出力専用。ツール呼び出しの平均レイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。

TurnLatencyMetrics

JSON 表現 
{
  "averageLatency": string
}
フィールド
averageLatency

string (Duration format)

出力専用。ターンの平均レイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。

MetricsByTurn

JSON 表現 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
フィールド
turnIndex

integer

出力専用。ターン インデックス（0 ベース）。
toolMetrics[]

object (ToolMetrics)

出力専用。このターンの各ツールの指標。
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

出力専用。このターンの意味的類似性の指標。
hallucinationMetrics[]

object (HallucinationMetrics)

出力専用。このターンのハルシネーションの指標。
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

出力専用。このターンのツール呼び出しレイテンシの指標。
turnLatencyMetrics[]

object (TurnLatencyMetrics)

出力専用。このターンのターン レイテンシの指標。

EvaluationResult

JSON 表現 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
フィールド
name

string

ID。評価結果の固有識別子。形式: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

必須。評価結果の表示名。評価内で一意。デフォルトでは、「 結果 - 」という形式になります。
createTime

string (Timestamp format)

出力専用。評価結果が作成されたときのタイムスタンプ。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
evaluationStatus

enum (Outcome)

出力専用。評価の結果。execution_state が COMPLETE の場合にのみ入力されます。
evaluationRun

string

出力専用。この結果を生成した評価実行。形式: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

出力専用。評価結果の会話の生成に使用されたペルソナ。
errorInfo

object (EvaluationErrorInfo)

出力専用。評価結果のエラー情報。
error
(deprecated)

object (Status)

出力専用。非推奨: 代わりに、error_info を使用してください。実行中に発生したエラー。
initiatedBy

string

出力専用。この結果を生成した評価実行を開始したユーザー。
appVersion

string

出力専用。この結果につながった会話の生成に使用されたアプリのバージョン。形式: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

出力専用。評価が実行された app_version の表示名。
changelog

string

出力専用。評価が実行されたアプリ バージョンの変更ログ。ユーザーが最新版/下書きで評価を実行した場合に設定されます。
changelogCreateTime

string (Timestamp format)

出力専用。評価の実行対象となったアプリ バージョンの変更ログの作成時間。ユーザーが最新版/下書きで評価を実行した場合に設定されます。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
executionState

enum (ExecutionState)

出力専用。評価結果の実行状態。
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

出力専用。結果の評価しきい値。
config

object (EvaluationConfig)

出力専用。この結果が得られた評価実行で使用された構成。
goldenRunMethod

enum (GoldenRunMethod)

出力専用。ゴールデン評価の実行に使用されるメソッド。
共用体フィールド result。評価の結果。execution_state が COMPLETED の場合にのみ入力されます。result は次のいずれかになります。
goldenResult

object (GoldenResult)

出力専用。ゴールデン評価の結果。
scenarioResult

object (ScenarioResult)

出力専用。シナリオ評価の結果。

GoldenResult

JSON 表現 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
フィールド
turnReplayResults[]

object (TurnReplayResult)

出力専用。ゴールデン会話の各ターンを実行した結果。
evaluationExpectationResults[]

object (EvaluationExpectationResult)

出力専用。評価の期待値の結果。

TurnReplayResult

JSON 表現 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
フィールド
conversation

string

出力専用。このターンで生成された会話。
expectationOutcome[]

object (GoldenExpectationOutcome)

出力専用。各期待値の結果。
hallucinationResult

object (HallucinationResult)

出力専用。ハルシネーション チェックの結果。
toolInvocationScore
(deprecated)

number

出力専用。非推奨。代わりに OverallToolInvocationResult を使用してください。
turnLatency

string (Duration format)

出力専用。ターンの期間。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。
toolCallLatencies[]

object (ToolCallLatency)

出力専用。ターンの各ツール呼び出しのレイテンシ。
semanticSimilarityResult

object (SemanticSimilarityResult)

出力専用。セマンティック類似性チェックの結果。
overallToolInvocationResult

object (OverallToolInvocationResult)

出力専用。ツール呼び出しの全体的なチェックの結果。
errorInfo

object (EvaluationErrorInfo)

出力専用。このターン中に発生したエラーに関する情報。
spanLatencies[]

object (SpanLatency)

出力専用。ターンのスパンのレイテンシ。

共用体フィールド _tool_ordered_invocation_score。

_tool_ordered_invocation_score は次のいずれかになります。
toolOrderedInvocationScore

number

出力専用。このターンのツール呼び出しの全体的な順序スコア。これは、期待されるターンで実際に呼び出されたツールの割合を、期待される順序で示します。

GoldenExpectationOutcome

JSON 表現 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  }
  // End of list of possible types for union field result.
}
フィールド
expectation

object (GoldenExpectation)

出力専用。評価された期待値。
outcome

enum (Outcome)

出力専用。期待の結果。
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

出力専用。セマンティック類似性チェックの結果。
toolInvocationResult

object (ToolInvocationResult)

出力専用。ツール呼び出しチェックの結果。
共用体フィールド result。期待の結果。result は次のいずれかになります。
observedToolCall

object (ToolCall)

出力専用。ツール呼び出しの期待値の結果。
observedToolResponse

object (ToolResponse)

出力専用。ツール レスポンスの期待値の結果。
observedAgentResponse

object (Message)

出力専用。エージェントのレスポンスの期待値の結果。
observedAgentTransfer

object (AgentTransfer)

出力専用。エージェント転送の期待値の結果。

SemanticSimilarityResult

JSON 表現 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
フィールド
label

string

出力専用。各スコアに関連付けられたラベル。スコア 4: 完全に一貫している スコア 3: ほぼ一貫している スコア 2: 部分的に一貫している（軽微な欠落がある） スコア 1: ほぼ一貫していない（重大な欠落がある） スコア 0: 完全に一貫していない / 矛盾している
explanation

string

出力専用。意味的類似性スコアの説明。
outcome

enum (Outcome)

出力専用。意味的類似性チェックの結果。これは、スコアと semantic_similarity_success_threshold を比較して決定されます。スコアがしきい値以上の場合、結果は合格になります。それ以外の場合、結果は FAIL になります。

共用体フィールド _score。

_score は次のいずれかになります。
score

integer

出力専用。意味的類似性スコア。0、1、2、3、4 のいずれかになります。

ToolInvocationResult

JSON 表現 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
フィールド
outcome

enum (Outcome)

出力専用。ツール呼び出しチェックの結果。これは、parameter_correctness_score をしきい値と比較して判断されます。スコアがしきい値以上の場合、結果は合格になります。それ以外の場合、結果は FAIL になります。
explanation

string

出力専用。ツール呼び出し結果の自由形式の説明。

共用体フィールド _parameter_correctness_score。

_parameter_correctness_score は次のいずれかになります。
parameterCorrectnessScore

number

出力専用。ツール呼び出しパラメータの正しさのスコア。これは、実際のツール呼び出しにも含まれていた、期待されるツール呼び出しのパラメータの割合を示します。

HallucinationResult

JSON 表現 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
フィールド
label

string

出力専用。各スコアに関連付けられたラベル。スコア 1: 正当なスコア 0: 正当でないスコア -1: 評価する申し立てなし
explanation

string

出力専用。ハルシネーション スコアの説明。

共用体フィールド _score。

_score は次のいずれかになります。
score

integer

出力専用。ハルシネーション スコア。-1、0、1 のいずれかになります。

ToolCallLatency

JSON 表現 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
フィールド
tool

string

出力専用。実行されたツールの名前。形式: projects/{project}/locations/{location}/apps/{app}/tools/{tool}。
displayName

string

出力専用。ツールの表示名。
startTime

string (Timestamp format)

出力専用。ツール呼び出しの実行の開始時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
endTime

string (Timestamp format)

出力専用。ツール呼び出しの実行終了時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
executionLatency

string (Duration format)

出力専用。ツール呼び出しの実行レイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。

OverallToolInvocationResult

JSON 表現 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
フィールド
outcome

enum (Outcome)

出力専用。ツール呼び出しチェックの結果。これは、tool_invocation_score と overall_tool_invocation_correctness_threshold を比較して決定されます。スコアがしきい値以上の場合、結果は合格になります。それ以外の場合、結果は FAIL になります。

共用体フィールド _tool_invocation_score。

_tool_invocation_score は次のいずれかになります。
toolInvocationScore

number

このターンのツール呼び出しの全体的なスコア。これは、予測されたターンから実際に呼び出されたツールの全体的な割合を示します。

EvaluationErrorInfo

JSON 表現 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string
}
フィールド
errorType

enum (ErrorType)

出力専用。エラーのタイプ。
errorMessage

string

出力専用。エラー メッセージ。
sessionId

string

出力専用。エラーの原因となった会話のセッション ID。

SpanLatency

JSON 表現 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
フィールド
type

enum (Type)

出力専用。スパンのタイプ。
displayName

string

出力専用。スパンの表示名。ツールとガードレールのスパンに適用されます。
startTime

string (Timestamp format)

出力専用。スパンの開始時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
endTime

string (Timestamp format)

出力専用。スパンの終了時間。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
executionLatency

string (Duration format)

出力専用。スパンのレイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。
共用体フィールド identifier。タイプに基づく特定のアイテムの識別子。identifier は次のいずれかになります。
resource

string

出力専用。ガードレールまたはツールのスパンのリソース名。
toolset

object (ToolsetTool)

出力専用。ツールセット ツールの識別子。
model

string

出力専用。LLM スパンの名前。
callback

string

出力専用。ユーザー コールバック スパンの名前。

EvaluationExpectationResult

JSON 表現 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
フィールド
evaluationExpectation

string

出力専用。評価の期待値。形式: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

出力専用。評価に使用されたプロンプト。
outcome

enum (Outcome)

出力専用。評価の期待値の結果。
explanation

string

出力専用。結果の説明。

ScenarioResult

JSON 表現 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
フィールド
conversation

string

出力専用。シナリオで生成された会話。
task

string

出力専用。この結果のシナリオを実行したときに使用されたタスク。
userFacts[]

object (UserFact)

出力専用。この結果のシナリオで使用されたユーザーの事実。
expectationOutcomes[]

object (ScenarioExpectationOutcome)

出力専用。各期待値の結果。
rubricOutcomes[]

object (ScenarioRubricOutcome)

出力専用。ルーブリックの結果。
hallucinationResult[]

object (HallucinationResult)

出力専用。ハルシネーション チェックの結果。会話のターンごとに 1 つのハルシネーション結果が返されます。
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

出力専用。タスク完了チェックの結果。
toolCallLatencies[]

object (ToolCallLatency)

出力専用。会話内の各ツール呼び出しの実行のレイテンシ。
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

出力専用。ユーザー目標の達成度チェックの結果。
spanLatencies[]

object (SpanLatency)

出力専用。会話内のスパンのレイテンシ。
evaluationExpectationResults[]

object (EvaluationExpectationResult)

出力専用。評価の期待値の結果。

共用体フィールド _all_expectations_satisfied。

_all_expectations_satisfied は次のいずれかになります。
allExpectationsSatisfied

boolean

出力専用。このターンですべての期待値が満たされたかどうか。

共用体フィールド _task_completed。

_task_completed は次のいずれかになります。
taskCompleted

boolean

出力専用。このターンでタスクが完了したかどうか。これは、満たされたすべての期待、ハルシネーションの発生なし、ユーザーの目標達成度の複合です。

ScenarioExpectationOutcome

JSON 表現 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
フィールド
expectation

object (ScenarioExpectation)

出力専用。評価された期待値。
outcome

enum (Outcome)

出力専用。ScenarioExpectation の結果。
共用体フィールド result。期待の結果。result は次のいずれかになります。
observedToolCall

object (ObservedToolCall)

出力専用。観測されたツール呼び出し。
observedAgentResponse

object (Message)

出力専用。観測されたエージェントのレスポンス。

ObservedToolCall

JSON 表現 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
フィールド
toolCall

object (ToolCall)

出力専用。観測されたツール呼び出し。
toolResponse

object (ToolResponse)

出力専用。観測されたツールのレスポンス。

ScenarioRubricOutcome

JSON 表現 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
フィールド
rubric

string

出力専用。会話の評価に使用されたルーブリック。
scoreExplanation

string

出力専用。ルーブリックに対する評価者の回答。

共用体フィールド _score。

_score は次のいずれかになります。
score

number

出力専用。ルーブリックに照らした会話のスコア。

TaskCompletionResult

JSON 表現 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
フィールド
label

string

出力専用。各スコアに関連付けられたラベル。スコア 1: タスク完了 スコア 0: タスク未完了 スコア -1: ユーザーの目標が未定義
explanation

string

出力専用。タスク完了スコアの説明。

共用体フィールド _score。

_score は次のいずれかになります。
score

integer

出力専用。タスクの完了スコア。-1、0、1 のいずれかになります。

UserGoalSatisfactionResult

JSON 表現 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
フィールド
label

string

出力専用。各スコアに関連付けられたラベル。スコア 1: ユーザー タスクが完了したスコア 0: ユーザー タスクが完了しなかったスコア -1: ユーザー タスクが指定されていない
explanation

string

出力専用。ユーザー タスクの満足度スコアの説明。

共用体フィールド _score。

_score は次のいずれかになります。
score

integer

出力専用。ユーザー タスクの満足度スコア。-1、0、1 のいずれかになります。

EvaluationPersona

JSON 表現 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
フィールド
name

string

必須。ペルソナの一意の識別子。形式: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

省略可。ペルソナの説明。
displayName

string

必須。ペルソナの表示名。アプリ内で一意。
personality

string

必須。評価でどのように動作すべきかについてのエージェントへの指示。
speechConfig

object (SpeechConfig)

省略可。ペルソナの音声に関する構成（TTS 設定）。

SpeechConfig

JSON 表現 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
フィールド
speakingRate

number

省略可。発話速度。1.0 が標準です。値が低いほど遅くなります（例: 0.8）、値が大きいほど高速になります（例: 1.5）。エージェントが早口の顧客にどのように対応するかをテストするのに便利です。
environment

enum (BackgroundEnvironment)

省略可。シミュレートされたオーディオ環境。
voiceId

string

省略可。使用する特定の音声 ID/アクセント。例: 「en-US-Wavenet-D」、「en-GB-Standard-A」

ステータス

JSON 表現 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
フィールド
code

integer

ステータス コード。google.rpc.Code の列挙値である必要があります。
message

string

デベロッパー向けのエラー メッセージ。英語で記述します。ユーザー向けのエラー メッセージは、ローカライズして google.rpc.Status.details フィールドで送信するか、クライアントでローカライズする必要があります。
details[]

object

エラーの詳細を保持するメッセージのリスト。API が使用する共通のメッセージ タイプのセットがあります。

任意のデータ型のフィールドを含むオブジェクトであり、型を識別する URI を含むフィールド "@type" を追加できます。例: { "id": 1234, "@type": "types.example.com/standard/id" }

すべて

JSON 表現 
{
  "typeUrl": string,
  "value": string
}
フィールド
typeUrl

string

スラッシュで終わる接頭辞と完全修飾型名で構成される URI 参照を使用して、シリアル化された Protobuf メッセージの型を識別します。

例: type.googleapis.com/google.protobuf.StringValue

この文字列には / 文字を 1 つ以上含める必要があります。最後の / の後のコンテンツは、先頭のドットのない正規形式の型の完全修飾名である必要があります。クライアントが連絡を試みないように、これらの URI 参照にスキームを記述しないでください。

接頭辞は任意であり、Protobuf 実装では、最後の / までをすべて削除して型を識別することが想定されています。type.googleapis.com/ は、一部のレガシー実装で必要な一般的なデフォルトの接頭辞です。この接頭辞は型のオリジンを示すものではなく、これを含む URI はリクエストに応答しないことが想定されています。

すべてのタイプ URL 文字列は、有効な URI 参照である必要があります。また、テキスト形式の場合、参照の内容は英数字、パーセント エンコードされたエスケープ、および次のセットの文字（外側のバッククォートを除く）/-.~_!$&()*+,;= のみで構成されている必要があります。パーセント エンコードは許可されていますが、既存のパーサーとの混同を避けるため、実装ではエスケープ解除しないでください。たとえば、type.googleapis.com%2FFoo は拒否される必要があります。

Any の元の設計では、これらの型 URL で型解決サービスを起動する可能性が検討されましたが、Protobuf は実装していません。また、これらの URL へのアクセスは問題があり、セキュリティ上の問題を引き起こす可能性があると見なされています。連絡先タイプの URL にアクセスしないでください。
value

string (bytes format)

type_url で記述された型の Protobuf シリアル化を保持します。

Base64 でエンコードされた文字列。

EvaluationMetricsThresholds

JSON 表現 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
フィールド
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

省略可。ゴールデン評価指標のしきい値。
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

省略可。非推奨: 代わりに、golden_hallucination_metric_behavior を使用してください。現在、ハルシネーション指標の動作はゴールデン評価に使用されています。
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

省略可。ゴールデン評価のハルシネーション指標の動作。
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

省略可。シナリオ評価のハルシネーション指標の動作。

GoldenEvaluationMetricsThresholds

JSON 表現 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
フィールド
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

省略可。ターンレベルの指標のしきい値。
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

省略可。期待レベルの指標のしきい値。
toolMatchingSettings

object (ToolMatchingSettings)

省略可。ツール マッチングの設定。余分なツール呼び出しとは、実行には存在するものの、ゴールデン エクスペクテーションのツール呼び出しと一致しないツール呼び出しのことです。

TurnLevelMetricsThresholds

JSON 表現 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
フィールド
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

省略可。評価に使用する意味的類似性チャネル。

共用体フィールド _semantic_similarity_success_threshold。

_semantic_similarity_success_threshold は次のいずれかになります。
semanticSimilaritySuccessThreshold

integer

省略可。意味的類似性の成功しきい値。0 ～ 4 の整数を指定してください。デフォルトは 3 以上です。

共用体フィールド _overall_tool_invocation_correctness_threshold。

_overall_tool_invocation_correctness_threshold は次のいずれかになります。
overallToolInvocationCorrectnessThreshold

number

省略可。ツール呼び出しの全体的な正しさの成功しきい値。0 ～ 1 の浮動小数点数にする必要があります。デフォルトは 1.0 です。

ExpectationLevelMetricsThresholds

JSON 表現 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
フィールド

共用体フィールド _tool_invocation_parameter_correctness_threshold。

_tool_invocation_parameter_correctness_threshold は次のいずれかになります。
toolInvocationParameterCorrectnessThreshold

number

省略可。個々のツール呼び出しパラメータの正しさの成功しきい値。0 ～ 1 の浮動小数点数にする必要があります。デフォルトは 1.0 です。

ToolMatchingSettings

JSON 表現 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
フィールド
extraToolCallBehavior

enum (ExtraToolCallBehavior)

省略可。追加のツール呼び出しの動作。デフォルトは FAIL です。

EvaluationConfig

JSON 表現 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
フィールド
inputAudioConfig
(deprecated)

object (InputAudioConfig)

省略可。入力音声の処理に関する構成。
outputAudioConfig
(deprecated)

object (OutputAudioConfig)

省略可。出力音声の生成に関する構成。
evaluationChannel

enum (EvaluationChannel)

省略可。評価するチャネル。
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

省略可。評価で実際のツール呼び出しを使用するか、フェイクツールを使用するかを指定します。

InputAudioConfig

JSON 表現 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
フィールド
audioEncoding

enum (AudioEncoding)

必須。入力音声データのエンコード。
sampleRateHertz

integer

必須。入力音声データのサンプルレート（ヘルツ単位）。
noiseSuppressionLevel

string

省略可。入力音声のノイズ抑制を有効にするかどうか。使用可能な値は、「low」、「moderate」、「high」、「very_high」です。

OutputAudioConfig

JSON 表現 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
フィールド
audioEncoding

enum (AudioEncoding)

必須。出力音声データのエンコード。
sampleRateHertz

integer

必須。出力音声データのサンプリング レート（ヘルツ単位）。

ツールのアノテーション

破壊的ヒント: ❌ | べき等ヒント: ❌ | 読み取り専用ヒント: ❌ | オープン ワールド ヒント: ❌