工具:get_evaluation_result
取得指定評估結果的詳細資料。
下列程式碼範例說明如何使用 curl 呼叫 get_evaluation_result MCP 工具。
| Curl 要求 |
|---|
curl --location 'https://ces.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "get_evaluation_result", "arguments": { // Provide these details according to the MCP tool specification. } }, "jsonrpc": "2.0", "id": 1 }' |
輸入內容的結構定義
EvaluationService.GetEvaluationResult 的要求訊息。
GetEvaluationResultRequest
| JSON 表示法 |
|---|
{ "name": string } |
| 欄位 | |
|---|---|
name |
這是必要旗標,要擷取的評估結果資源名稱。 |
輸出內容的結構定義
評估結果代表執行評估的輸出內容。
EvaluationResult
| JSON 表示法 |
|---|
{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum ( |
| 欄位 | |
|---|---|
name |
ID。評估結果的專屬 ID。格式: |
displayName |
這是必要旗標,評估結果的顯示名稱。評估作業中的專屬 ID。預設格式為「 |
createTime |
僅供輸出。評估結果的建立時間戳記。 使用 RFC 3339,產生的輸出內容一律會經過 Z 正規化,並使用 0、3、6 或 9 個小數位數,也接受「Z」以外的偏移量。範例: |
evaluationStatus |
僅供輸出。評估結果。只有在 execution_state 為 COMPLETE 時,系統才會填入這個欄位。 |
evaluationRun |
僅供輸出。產生這項結果的評估執行作業。格式: |
persona |
僅供輸出。用於生成評估結果對話的角色。 |
errorInfo |
僅供輸出。評估結果的錯誤資訊。 |
error |
僅供輸出。已淘汰:請改用 |
initiatedBy |
僅供輸出。發起評估執行作業並產生這項結果的使用者。 |
appVersion |
僅供輸出。用於生成對話並產生這項結果的應用程式版本。格式: |
appVersionDisplayName |
僅供輸出。評估作業所依據的 |
changelog |
僅供輸出。評估對象應用程式版本的變更記錄。如果使用者對最新版本/草稿執行評估,系統就會填入這個值。 |
changelogCreateTime |
僅供輸出。評估作業所用應用程式版本的變更記錄建立時間。如果使用者對最新版本/草稿執行評估,系統就會填入這個值。 使用 RFC 3339,產生的輸出內容一律會經過 Z 正規化,並使用 0、3、6 或 9 個小數位數,也接受「Z」以外的偏移量。範例: |
executionState |
僅供輸出。評估結果執行的狀態。 |
evaluationMetricsThresholds |
僅供輸出。結果的評估門檻。 |
config |
僅供輸出。評估執行作業中使用的設定,產生這項結果。 |
goldenRunMethod |
僅供輸出。執行黃金評估的方法。 |
rootSpan |
僅供輸出。評估執行作業的根時距,包含評估各步驟的資訊。 |
outcomeMetadata |
僅供輸出。評估結果中繼資料。只有在 execution_state 為 COMPLETE 時,系統才會填入這個欄位。 |
聯集欄位 result。評估結果。只有在 execution_state 為 COMPLETED 時,系統才會填入這個欄位。result 只能是下列其中一個設定: |
|
goldenResult |
僅供輸出。黃金標準評估的結果。 |
scenarioResult |
僅供輸出。情境評估結果。 |
GoldenResult
| JSON 表示法 |
|---|
{ "turnReplayResults": [ { object ( |
| 欄位 | |
|---|---|
turnReplayResults[] |
僅供輸出。執行黃金對話各回合的結果。 |
evaluationExpectationResults[] |
僅供輸出。評估預期結果。 |
TurnReplayResult
| JSON 表示法 |
|---|
{ "conversation": string, "expectationOutcome": [ { object ( |
| 欄位 | |
|---|---|
conversation |
僅供輸出。為這個回合生成的對話。 |
expectationOutcome[] |
僅供輸出。每項預期的結果。 |
hallucinationResult |
僅供輸出。幻覺檢查結果。 |
toolInvocationScore |
僅供輸出。已淘汰,請改用 OverallToolInvocationResult。 |
turnLatency |
僅供輸出。轉彎所需時間。 以秒為單位的時間長度,最多 9 個小數位數,結尾為「 |
toolCallLatencies[] |
僅供輸出。該輪對話中各項工具呼叫的延遲時間。 |
semanticSimilarityResult |
僅供輸出。語意相似度檢查結果。 |
overallToolInvocationResult |
僅供輸出。整體工具叫用檢查的結果。 |
errorInfo |
僅供輸出。這輪對話期間發生的錯誤資訊。 |
spanLatencies[] |
僅供輸出。該輪對話中 span 的延遲時間。 |
聯集欄位
|
|
toolOrderedInvocationScore |
僅供輸出。這個回合的整體工具排序叫用分數。這代表預期回合中,實際叫用工具的整體百分比,且叫用順序符合預期。 |
GoldenExpectationOutcome
| JSON 表示法 |
|---|
{ "expectation": { object ( |
| 欄位 | |
|---|---|
expectation |
僅供輸出。受評估的預期。 |
outcome |
僅供輸出。預期結果。 |
semanticSimilarityResult |
僅供輸出。語意相似度檢查結果。 |
toolInvocationResult |
僅供輸出。工具叫用檢查結果。 |
聯集欄位 result。預期結果。result 只能是下列其中一個設定: |
|
observedToolCall |
僅供輸出。工具呼叫預期結果。 |
observedToolResponse |
僅供輸出。工具回覆預期結果。 |
observedAgentResponse |
僅供輸出。代理回覆預期結果。 |
observedAgentTransfer |
僅供輸出。代理轉移預期結果。 |
observedPayload |
僅供輸出。觀察到的自訂酬載。自訂酬載沒有任何預期。這項資訊僅用於計算指標。結果一律為「已略過」。 |
ToolCall
| JSON 表示法 |
|---|
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field |
| 欄位 | |
|---|---|
id |
選用。工具呼叫的專屬 ID。如果已填入,用戶端應在 |
displayName |
僅供輸出。工具的顯示名稱。 |
args |
選用。工具的輸入參數和值,採用 JSON 物件格式。 |
parentToolCallId |
僅供輸出。如果工具呼叫是由代表父項呼叫的子代理發出,則此為導致該呼叫的工具呼叫 ID。頂層呼叫為空白。讓用戶端將子代理的工作分組到啟動該工作的呼叫下,而不是將每個步驟算做同層級。 |
agentName |
僅供輸出。發出這項呼叫的代理人類可讀名稱,例如「Contract Architect」。如果是由根層級代理發出,則為空白。 |
targetApp |
僅供輸出。這項呼叫指定的應用程式,由助理從呼叫的資源引數衍生:應用程式資源名稱、位置範圍工具的 |
聯集欄位 tool_identifier。要執行的工具 ID。可以是永久工具或工具集中的工具。tool_identifier 只能是下列其中一個設定: |
|
tool |
選用。要執行的工具名稱。格式: |
toolsetTool |
選用。要執行的工具組工具。 |
ToolsetTool
| JSON 表示法 |
|---|
{ "toolset": string, "toolId": string } |
| 欄位 | |
|---|---|
toolset |
這是必要旗標,這個工具衍生自的工具集資源名稱。格式: |
toolId |
選用。工具 ID,用於篩選要擷取結構定義的工具。 |
結構
| JSON 表示法 |
|---|
{ "fields": { string: value, ... } } |
| 欄位 | |
|---|---|
fields |
動態類型值的無序對應。 包含 |
FieldsEntry
| JSON 表示法 |
|---|
{ "key": string, "value": value } |
| 欄位 | |
|---|---|
key |
|
value |
|
值
| JSON 表示法 |
|---|
{ // Union field |
| 欄位 | |
|---|---|
聯集欄位 kind。值的種類。kind 只能是下列其中一個設定: |
|
nullValue |
代表 JSON |
numberValue |
代表 JSON 數字。不得為 |
stringValue |
代表 JSON 字串。 |
boolValue |
代表 JSON 布林值 (JSON 中的 |
structValue |
代表 JSON 物件。 |
listValue |
代表 JSON 陣列。 |
ListValue
| JSON 表示法 |
|---|
{ "values": [ value ] } |
| 欄位 | |
|---|---|
values[] |
動態類型值的重複欄位。 |
ToolResponse
| JSON 表示法 |
|---|
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field |
| 欄位 | |
|---|---|
id |
選用。回覆所屬 |
displayName |
僅供輸出。工具的顯示名稱。 |
response |
這是必要旗標,JSON 物件格式的工具執行結果。請使用「output」鍵指定工具回覆,並使用「error」鍵指定錯誤詳細資料 (如有)。如未指定「output」和「error」鍵,整個「response」都會視為工具執行結果。 |
parentToolCallId |
僅供輸出。如果工具呼叫是由代表父項呼叫的子代理發出,則此為導致該呼叫的工具呼叫 ID。頂層呼叫為空白。讓用戶端將子代理的工作分組到啟動該工作的呼叫下,而不是將每個步驟算做同層級。 |
agentName |
僅供輸出。發出這項呼叫的代理人類可讀名稱,例如「Contract Architect」。如果是由根層級代理發出,則為空白。 |
targetApp |
僅供輸出。執行工具指定的應用程式;與 |
聯集欄位 tool_identifier。已執行工具的 ID。可以是永久工具或工具集中的工具。tool_identifier 只能是下列其中一個設定: |
|
tool |
選用。要執行的工具名稱。格式: |
toolsetTool |
選用。已執行的工具組工具。 |
訊息
| JSON 表示法 |
|---|
{
"role": string,
"chunks": [
{
object ( |
| 欄位 | |
|---|---|
role |
選用。對話中的角色,例如使用者、代理。 |
chunks[] |
選用。訊息內容,以一系列區塊呈現。 |
eventTime |
選用。傳送或接收訊息的時間戳記。如果訊息是 使用 RFC 3339,產生的輸出內容一律會經過 Z 正規化,並使用 0、3、6 或 9 個小數位數,也接受「Z」以外的偏移量。範例: |
Chunk
| JSON 表示法 |
|---|
{ // Union field |
| 欄位 | |
|---|---|
聯集欄位 data。將資料分塊。data 只能是下列其中一個設定: |
|
text |
選用。文字資料。 |
transcript |
選用。與音訊相關聯的轉錄稿。 |
blob |
選用。Blob 資料。 |
payload |
選用。自訂酬載資料。 |
image |
選用。圖片資料。 |
toolCall |
選用。工具執行要求。 |
toolResponse |
選用。工具執行回應。 |
agentTransfer |
選用。代理轉移事件。 |
updatedVariables |
struct 代表對話中更新的變數,以變數名稱為鍵。 |
defaultVariables |
struct 代表對話開始時的預設變數,以變數名稱為索引鍵。 |
Blob
| JSON 表示法 |
|---|
{ "mimeType": string, "data": string } |
| 欄位 | |
|---|---|
mimeType |
這是必要旗標,來源資料的 IANA 標準 MIME 類型。 |
data |
這是必要旗標,Blob 的原始位元組。 Base64 編碼字串。 |
圖片
| JSON 表示法 |
|---|
{ "mimeType": string, "data": string, "altText": string } |
| 欄位 | |
|---|---|
mimeType |
這是必要旗標,來源資料的 IANA 標準 MIME 類型。支援的圖片類型包括:* image/png * image/jpeg * image/webp |
data |
這是必要旗標,圖片的原始位元組。 Base64 編碼字串。 |
altText |
選用。圖片的替代文字。 |
AgentTransfer
| JSON 表示法 |
|---|
{ "targetAgent": string, "displayName": string } |
| 欄位 | |
|---|---|
targetAgent |
這是必要旗標,對話轉移到的代理。代理會從這個時間點開始處理對話。格式: |
displayName |
僅供輸出。代理的顯示名稱。 |
時間戳記
| JSON 表示法 |
|---|
{ "seconds": string, "nanos": integer } |
| 欄位 | |
|---|---|
seconds |
代表自 Unix 紀元 1970-01-01T00:00:00Z 起算的世界標準時間秒數。必須介於 -62135596800 和 253402300799 (含) 之間 (對應至 0001-01-01T00:00:00Z 至 9999-12-31T23:59:59Z)。 |
nanos |
非負數的秒數分數,解析度為奈秒。這個欄位是時間長度的奈秒部分,而非秒數的替代值。含有分數的負秒值仍須有非負奈秒值,以向前計算時間。必須介於 0 至 999,999,999 之間 (含 0 和 999,999,999)。 |
GoldenExpectation
| JSON 表示法 |
|---|
{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object ( |
| 欄位 | |
|---|---|
note |
選用。這項規定的附註,在特定檢查失敗時,可用於回報。例如:"Check_Payment_Tool_Called". |
skipEvaluation |
選用。如果設為 true,系統就不會評估這項特定預期。 |
expectationLevelMetricsThresholdsOverride |
選用。覆寫步驟層級的指標。 |
agentResponseSemanticSimilarityMetricsConfigOverride |
選用。覆寫 agent_response 語意相似度指標。 |
agentResponseHallucinationMetricsConfigOverride |
選用。覆寫 agent_response 幻覺指標。 |
comparisonType |
選用。預期檢查使用的比較類型。 |
聯集欄位 condition。實際執行的檢查。condition 只能是下列其中一個設定: |
|
toolCall |
選用。確認是否使用參數呼叫特定工具。 |
toolResponse |
選用。確認特定工具是否產生預期回覆。 |
agentResponse |
選用。確認代理的回覆是否正確。系統會自動假設角色為「agent」。 |
agentTransfer |
選用。確認代理已將對話轉給其他代理。 |
updatedVariables |
選用。確認代理已將工作階段變數更新為預期值。也用於擷取黃金評估的代理變數更新。 |
mockToolResponse |
選用。要模擬的工具回應,並指定相關參數。未指定的參數會由 LLM 幻覺生成。 |
noToolCalls |
選用。確認這個回合未呼叫任何工具。 |
ExpectationLevelMetricsThresholds
| JSON 表示法 |
|---|
{ // Union field |
| 欄位 | |
|---|---|
聯集欄位
|
|
toolInvocationParameterCorrectnessThreshold |
選用。個別工具叫用參數正確性的成功門檻。必須是介於 0 到 1 之間的浮點數。預設值為 1.0。 |
SemanticSimilarityMetricsConfig
| JSON 表示法 |
|---|
{ "enableSemanticSimilarityMetrics": boolean } |
| 欄位 | |
|---|---|
enableSemanticSimilarityMetrics |
選用。是否要計算評估作業的語意相似度指標。 |
HallucinationMetricsConfig
| JSON 表示法 |
|---|
{ "enableHallucinationMetrics": boolean } |
| 欄位 | |
|---|---|
enableHallucinationMetrics |
選用。是否要計算評估作業的幻覺指標。 |
SemanticSimilarityResult
| JSON 表示法 |
|---|
{ "label": string, "explanation": string, "outcome": enum ( |
| 欄位 | |
|---|---|
label |
僅供輸出。與各分數相關聯的標籤。4 分:完全一致 3 分:大致一致 2 分:部分一致 (有輕微遺漏) 1 分:大致不一致 (有重大遺漏) 0 分:完全不一致/矛盾 |
explanation |
僅供輸出。語意相似度分數的說明。 |
outcome |
僅供輸出。語意相似度檢查結果。系統會比較分數和 semantic_similarity_success_threshold,如果分數等於或高於門檻,結果就會是「通過」。否則結果會是「失敗」。 |
聯集欄位
|
|
score |
僅供輸出。語意相似度分數。可以是 0、1、2、3 或 4。 |
ToolInvocationResult
| JSON 表示法 |
|---|
{ "outcome": enum ( |
| 欄位 | |
|---|---|
outcome |
僅供輸出。工具叫用檢查結果。系統會比較 parameter_correctness_score 和門檻,如果分數等於或高於門檻,結果就會是「通過」。否則結果會是「失敗」。 |
explanation |
僅供輸出。工具叫用結果的文字說明。 |
聯集欄位
|
|
parameterCorrectnessScore |
僅供輸出。工具叫用參數正確性分數。這項指標代表預期工具呼叫的參數中,實際工具呼叫也包含的參數百分比。 |
HallucinationResult
| JSON 表示法 |
|---|
{ "label": string, "explanation": string, // Union field |
| 欄位 | |
|---|---|
label |
僅供輸出。與各分數相關聯的標籤。分數 1:合理;分數 0:不合理;分數 -1:沒有可評估的聲明 |
explanation |
僅供輸出。幻覺分數的說明。 |
聯集欄位
|
|
score |
僅供輸出。幻覺分數。可以是 -1、0、1。 |
持續時間
| JSON 表示法 |
|---|
{ "seconds": string, "nanos": integer } |
| 欄位 | |
|---|---|
seconds |
時間範圍的有號秒數。必須介於 -315,576,000,000 至 +315,576,000,000 之間 (含)。注意:這些界限的計算方式為:60 秒/分鐘 * 60 分鐘/小時 * 24 小時/天 * 365.25 天/年 * 10000 年 |
nanos |
時間範圍內以奈秒解析度表示的有正負號秒數分數。如果時間長度不到一秒,則會以 0 |
ToolCallLatency
| JSON 表示法 |
|---|
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string } |
| 欄位 | |
|---|---|
tool |
僅供輸出。已執行的工具名稱。格式: |
displayName |
僅供輸出。工具的顯示名稱。 |
startTime |
僅供輸出。工具呼叫執行的開始時間。 使用 RFC 3339,產生的輸出內容一律會經過 Z 正規化,並使用 0、3、6 或 9 個小數位數,也接受「Z」以外的偏移量。範例: |
endTime |
僅供輸出。工具呼叫執行的結束時間。 使用 RFC 3339,產生的輸出內容一律會經過 Z 正規化,並使用 0、3、6 或 9 個小數位數,也接受「Z」以外的偏移量。範例: |
executionLatency |
僅供輸出。工具呼叫執行作業的延遲時間。 以秒為單位的時間長度,最多 9 個小數位數,結尾為「 |
OverallToolInvocationResult
| JSON 表示法 |
|---|
{ "outcome": enum ( |
| 欄位 | |
|---|---|
outcome |
僅供輸出。工具叫用檢查結果。系統會比較 tool_invocation_score 和 overall_tool_invocation_correctness_threshold,如果分數等於或高於門檻,結果就會是「通過」。否則結果會是「失敗」。 |
聯集欄位
|
|
toolInvocationScore |
這個回合的整體工具叫用分數。這表示實際叫用的工具占預期回合工具總數的百分比。 |
EvaluationErrorInfo
| JSON 表示法 |
|---|
{
"errorType": enum ( |
| 欄位 | |
|---|---|
errorType |
僅供輸出。錯誤類型。 |
errorMessage |
僅供輸出。錯誤訊息。 |
sessionId |
僅供輸出。發生錯誤的對話工作階段 ID。 |
userFacingErrorMessage |
僅供輸出。使用者看到的錯誤訊息。 |
SpanLatency
| JSON 表示法 |
|---|
{ "type": enum ( |
| 欄位 | |
|---|---|
type |
僅供輸出。Span 類型。 |
displayName |
僅供輸出。Span 的顯示名稱。適用於工具和護欄 Span。 |
startTime |
僅供輸出。Span 的開始時間。 使用 RFC 3339,產生的輸出內容一律會經過 Z 正規化,並使用 0、3、6 或 9 個小數位數,也接受「Z」以外的偏移量。範例: |
endTime |
僅供輸出。Span 的結束時間。 使用 RFC 3339,產生的輸出內容一律會經過 Z 正規化,並使用 0、3、6 或 9 個小數位數,也接受「Z」以外的偏移量。範例: |
executionLatency |
僅供輸出。Span 的延遲時間。 以秒為單位的時間長度,最多 9 個小數位數,結尾為「 |
聯集欄位 identifier。特定項目的 ID (依類型而定)。identifier 只能是下列其中一個設定: |
|
resource |
僅供輸出。護欄或工具 span 的資源名稱。 |
toolset |
僅供輸出。工具組工具 ID。 |
model |
僅供輸出。LLM 跨度的名稱。 |
callback |
僅供輸出。使用者回呼 Span 的名稱。 |
EvaluationExpectationResult
| JSON 表示法 |
|---|
{
"evaluationExpectation": string,
"prompt": string,
"outcome": enum ( |
| 欄位 | |
|---|---|
evaluationExpectation |
僅供輸出。評估預期。格式: |
prompt |
僅供輸出。用於評估的提示。 |
outcome |
僅供輸出。評估預期結果。 |
explanation |
僅供輸出。結果說明。 |
ScenarioResult
| JSON 表示法 |
|---|
{ "conversation": string, "task": string, "userFacts": [ { object ( |
| 欄位 | |
|---|---|
conversation |
僅供輸出。情境中生成的對話。 |
task |
僅供輸出。執行情境以取得這項結果時,所使用的任務。 |
userFacts[] |
僅供輸出。情境用於這項結果的使用者事實。 |
expectationOutcomes[] |
僅供輸出。每項預期的結果。 |
rubricOutcomes[] |
僅供輸出。評分量表的結果。 |
hallucinationResult[] |
僅供輸出。幻覺檢查結果。對話中的每個回合都會有一個幻覺結果。 |
taskCompletionResult |
僅供輸出。工作完成檢查的結果。 |
toolCallLatencies[] |
僅供輸出。對話中每次執行工具呼叫的延遲時間。 |
userGoalSatisfactionResult |
僅供輸出。使用者目標滿意度檢查結果。 |
spanLatencies[] |
僅供輸出。對話中 span 的延遲時間。 |
evaluationExpectationResults[] |
僅供輸出。評估預期結果。 |
milestoneResults[] |
僅供輸出。情境中每個里程碑的結果。 |
聯集欄位
|
|
allExpectationsSatisfied |
僅供輸出。這輪對話是否符合所有預期。 |
聯集欄位
|
|
taskCompleted |
僅供輸出。這回合是否完成工作。這項指標綜合了所有期望是否達成、是否出現幻覺,以及使用者目標是否達成。 |
UserFact
| JSON 表示法 |
|---|
{ "name": string, "value": string } |
| 欄位 | |
|---|---|
name |
這是必要旗標,使用者事實的名稱。 |
value |
這是必要旗標,使用者事實的值。 |
ScenarioExpectationOutcome
| JSON 表示法 |
|---|
{ "expectation": { object ( |
| 欄位 | |
|---|---|
expectation |
僅供輸出。受評估的預期。 |
outcome |
僅供輸出。ScenarioExpectation 的結果。 |
聯集欄位 result。預期結果。result 只能是下列其中一個設定: |
|
observedToolCall |
僅供輸出。觀察到的工具呼叫。 |
observedAgentResponse |
僅供輸出。觀察到的代理回覆。 |
ObservedToolCall
| JSON 表示法 |
|---|
{ "toolCall": { object ( |
| 欄位 | |
|---|---|
toolCall |
僅供輸出。觀察到的工具呼叫。 |
toolResponse |
僅供輸出。觀察到的工具回應。 |
ScenarioExpectation
| JSON 表示法 |
|---|
{ // Union field |
| 欄位 | |
|---|---|
聯集欄位 expectation。評估模擬生成對話的預期結果。expectation 只能是下列其中一個設定: |
|
toolExpectation |
選用。要評估的工具呼叫和回覆組合。 |
agentResponse |
選用。要評估的代理回覆。 |
ToolExpectation
| JSON 表示法 |
|---|
{ "expectedToolCall": { object ( |
| 欄位 | |
|---|---|
expectedToolCall |
這是必要旗標,預期的工具呼叫,並指定相關參數。未指定的參數會由 LLM 幻覺生成。 |
mockToolResponse |
這是必要旗標,要模擬的工具回應,並指定相關參數。未指定的參數會由 LLM 幻覺生成。 |
ScenarioRubricOutcome
| JSON 表示法 |
|---|
{ "rubric": string, "scoreExplanation": string, // Union field |
| 欄位 | |
|---|---|
rubric |
僅供輸出。用於評估對話的評分標準。 |
scoreExplanation |
僅供輸出。評分者對評分量表的回覆。 |
聯集欄位
|
|
score |
僅供輸出。對話依據評分量表獲得的分數。 |
TaskCompletionResult
| JSON 表示法 |
|---|
{ "label": string, "explanation": string, // Union field |
| 欄位 | |
|---|---|
label |
僅供輸出。與各分數相關聯的標籤。1 分:完成工作;0 分:未完成工作;-1 分:未定義使用者目標 |
explanation |
僅供輸出。任務完成分數的說明。 |
聯集欄位
|
|
score |
僅供輸出。工作完成分數。可以是 -1、0、1 |
UserGoalSatisfactionResult
| JSON 表示法 |
|---|
{ "label": string, "explanation": string, // Union field |
| 欄位 | |
|---|---|
label |
僅供輸出。與各分數相關聯的標籤。分數 2:順利交接;分數 1:使用者任務已完成;分數 0:使用者任務未完成;分數 -1:使用者任務未指定 |
explanation |
僅供輸出。使用者任務滿意度分數的說明。 |
聯集欄位
|
|
score |
僅供輸出。使用者工作滿意度分數。可以是 -1、0、1、2。 |
MilestoneResult
| JSON 表示法 |
|---|
{ "milestone": { object ( |
| 欄位 | |
|---|---|
milestone |
僅供輸出。要追蹤的里程碑。 |
status |
僅供輸出。里程碑的目前狀態。 |
justification |
僅供輸出。目前狀態的理由。 |
Milestone
| JSON 表示法 |
|---|
{
"goal": string,
"maxTurnCount": integer,
"successCriteria": string,
"protocol": string,
"staticUtterance": string,
"event": {
object ( |
| 欄位 | |
|---|---|
goal |
這是必要旗標,里程碑的目標。 |
maxTurnCount |
選用。這個里程碑的回合數上限。 |
successCriteria |
選用。里程碑的成功標準。 |
protocol |
選用。代理在對話期間應遵循的指南。 |
staticUtterance |
選用。模擬器會傳送靜態語句,而非動態生成使用者輸入內容。 |
event |
選用。要傳送的事件輸入,而非動態生成。 |
事件
| JSON 表示法 |
|---|
{ "event": string, "variables": { object } } |
| 欄位 | |
|---|---|
event |
這是必要旗標,事件名稱。 |
variables |
選用。與事件相關聯的其他變數。 |
EvaluationPersona
| JSON 表示法 |
|---|
{
"name": string,
"description": string,
"displayName": string,
"personality": string,
"speechConfig": {
object ( |
| 欄位 | |
|---|---|
name |
這是必要旗標,角色的專屬 ID。格式: |
description |
選用。人物角色的說明。 |
displayName |
這是必要旗標,Persona 的顯示名稱。在應用程式中不得重複。 |
personality |
這是必要旗標,指示代理在評估期間應如何行動。 |
speechConfig |
選用。Persona 的聲音設定 (文字轉語音設定)。 |
SpeechConfig
| JSON 表示法 |
|---|
{
"speakingRate": number,
"environment": enum ( |
| 欄位 | |
|---|---|
speakingRate |
選用。說話速率。1.0 為正常值。值越低,速度越慢 (例如 0.8);值越高,速度越快 (例如 1.5)。適合用來測試代理如何處理說話速度快的使用者。 |
environment |
選用。模擬音訊環境。 |
voiceId |
選用。要使用的特定語音 ID/口音。例如:「en-US-Wavenet-D」或「en-GB-Standard-A」 |
狀態
| JSON 表示法 |
|---|
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] } |
| 欄位 | |
|---|---|
code |
狀態碼,應為 |
message |
向開發人員顯示的錯誤訊息,應以英文呈現。所有面向使用者的錯誤訊息都應經過本地化,並透過 |
details[] |
包含錯誤詳細資料的訊息清單。這是供 API 使用的一組常用訊息類型。 包含任意類型欄位的物件。額外的 |
不限
| JSON 表示法 |
|---|
{ "typeUrl": string, "value": string } |
| 欄位 | |
|---|---|
typeUrl |
使用 URI 參照來識別序列化 Protobuf 訊息的類型,其中包含以斜線結尾的前置字串和完整類型名稱。 範例:type.googleapis.com/google.protobuf.StringValue 這個字串必須包含至少一個 前置字串可任意指定,Protobuf 實作項目應直接移除最後一個 所有類型網址字串都必須是合法的 URI 參照,且有額外限制 (文字格式),參照內容只能包含英數字元、百分比編碼逸出字元,以及下列字元集中的字元 (不含外側反引號): 在 |
value |
保留 type_url 所述類型的 Protobuf 序列化。 Base64 編碼字串。 |
EvaluationMetricsThresholds
| JSON 表示法 |
|---|
{ "goldenEvaluationMetricsThresholds": { object ( |
| 欄位 | |
|---|---|
goldenEvaluationMetricsThresholds |
選用。黃金評估指標門檻。 |
hallucinationMetricBehavior |
選用。已淘汰:請改用 |
goldenHallucinationMetricBehavior |
選用。黃金評估的幻覺指標行為。 |
scenarioHallucinationMetricBehavior |
選用。情境評估的幻覺指標行為。 |
GoldenEvaluationMetricsThresholds
| JSON 表示法 |
|---|
{ "turnLevelMetricsThresholds": { object ( |
| 欄位 | |
|---|---|
turnLevelMetricsThresholds |
選用。回合層級指標門檻。 |
expectationLevelMetricsThresholds |
選用。預期層級指標門檻。 |
toolMatchingSettings |
選用。工具比對設定。額外工具呼叫是指執行過程中出現,但與黃金期望中的任何工具呼叫都不相符的工具呼叫。 |
TurnLevelMetricsThresholds
| JSON 表示法 |
|---|
{ "semanticSimilarityChannel": enum ( |
| 欄位 | |
|---|---|
semanticSimilarityChannel |
選用。用於評估的語意相似度管道。 |
聯集欄位
|
|
semanticSimilaritySuccessThreshold |
選用。語意相似度的成功門檻。必須是介於 0 到 4 之間的整數。預設值為 >= 3。 |
聯集欄位
|
|
overallToolInvocationCorrectnessThreshold |
選用。整體工具叫用正確性的成功門檻。必須是介於 0 到 1 之間的浮點數。預設值為 1.0。 |
ToolMatchingSettings
| JSON 表示法 |
|---|
{
"extraToolCallBehavior": enum ( |
| 欄位 | |
|---|---|
extraToolCallBehavior |
選用。額外工具呼叫的行為。預設值為 FAIL。 |
EvaluationConfig
| JSON 表示法 |
|---|
{ "inputAudioConfig": { object ( |
| 欄位 | |
|---|---|
inputAudioConfig |
選用。處理輸入音訊的設定。 |
outputAudioConfig |
選用。生成輸出音訊的設定。 |
evaluationChannel |
選用。要評估的管道。 |
toolCallBehaviour |
選用。指定評估作業應使用實際工具呼叫,還是假工具。 |
InputAudioConfig
| JSON 表示法 |
|---|
{
"audioEncoding": enum ( |
| 欄位 | |
|---|---|
audioEncoding |
這是必要旗標,輸入音訊資料的編碼。 |
sampleRateHertz |
這是必要旗標,輸入音訊資料的取樣率 (赫茲)。 |
noiseSuppressionLevel |
選用。是否要對輸入音訊啟用雜訊抑制功能。可用值為「low」、「moderate」、「high」、「very_high」。 |
OutputAudioConfig
| JSON 表示法 |
|---|
{
"audioEncoding": enum ( |
| 欄位 | |
|---|---|
audioEncoding |
這是必要旗標,輸出音訊資料的編碼。 |
sampleRateHertz |
這是必要旗標,輸出音訊資料的取樣率 (赫茲)。 |
時距
| JSON 表示法 |
|---|
{
"name": string,
"startTime": string,
"endTime": string,
"duration": string,
"attributes": {
object
},
"childSpans": [
{
object ( |
| 欄位 | |
|---|---|
name |
僅供輸出。Span 的名稱。 |
startTime |
僅供輸出。Span 的開始時間。 使用 RFC 3339,產生的輸出內容一律會經過 Z 正規化,並使用 0、3、6 或 9 個小數位數,也接受「Z」以外的偏移量。範例: |
endTime |
僅供輸出。Span 的結束時間。 使用 RFC 3339,產生的輸出內容一律會經過 Z 正規化,並使用 0、3、6 或 9 個小數位數,也接受「Z」以外的偏移量。範例: |
duration |
僅供輸出。Span 的時間長度。 以秒為單位的時間長度,最多 9 個小數位數,結尾為「 |
attributes |
僅供輸出。與 Span 相關聯的鍵/值屬性。 |
childSpans[] |
僅供輸出。這個 Span 下的巢狀子 Span。 |
NullValue
代表 JSON null。
NullValue 是哨兵,使用只有一個值的列舉,代表 Value 類型聯集的空值。
NullValue 類型的欄位若含有 0 以外的值,則視為無效。無論整數值為何,大多數 ProtoJSON 序列化工具都會發出 Value,並將 null_value 設為 JSON null,因此會來回 0 值。
| 列舉 | |
|---|---|
NULL_VALUE |
空值。 |
ComparisonType
檢查代理回覆時支援的比較類型。
| 列舉 | |
|---|---|
COMPARISON_TYPE_UNSPECIFIED |
未指定比較類型。代理回覆和工具呼叫的預設行為是 SEMANTIC_SIMILARITY。 |
EQUALS |
完全比對字串。 |
CONTAINS |
子字串比對 (檢查實際回應是否包含預期字串)。 |
SEMANTIC_SIMILARITY |
語意相似度比對 (使用 LLM 評估語意相似度)。 |
結果
評估或預期的結果。
| 列舉 | |
|---|---|
OUTCOME_UNSPECIFIED |
未指定評估結果。 |
PASS |
評估/預期通過。在評估時,這表示所有期望都已達成。 |
FAIL |
評估/預期失敗。在評估作業中,這表示至少有一項預期未達成。 |
SKIPPED |
已略過評估/預期。 |
ErrorType
錯誤類型
| 列舉 | |
|---|---|
ERROR_TYPE_UNSPECIFIED |
不明錯誤類型。 |
RUNTIME_FAILURE |
執行階段執行失敗。 |
CONVERSATION_RETRIEVAL_FAILURE |
無法從 CES 執行階段擷取對話。 |
METRIC_CALCULATION_FAILURE |
無法計算指標/結果。 |
EVALUATION_UPDATE_FAILURE |
無法更新評估作業。 |
QUOTA_EXHAUSTED |
配額已用完。 |
USER_SIMULATION_FAILURE |
使用者模擬失敗。 |
類型
Span 類型。日後可能會新增其他值。
| 列舉 | |
|---|---|
TYPE_UNSPECIFIED |
預設值。這個值不會用到。 |
TOOL |
工具呼叫 span。 |
USER_CALLBACK |
使用者回呼 span。 |
GUARDRAIL |
防護機制時間範圍。 |
LLM |
LLM 範圍。 |
MilestoneStatus
里程碑的狀態。
| 列舉 | |
|---|---|
MILESTONE_STATUS_UNSPECIFIED |
未指定狀態。 |
NOT_STARTED |
里程碑尚未開始。 |
IN_PROGRESS |
里程碑目前正在進行中。 |
COMPLETED |
已順利完成里程碑。 |
BackgroundEnvironment
模擬音訊環境。
| 列舉 | |
|---|---|
BACKGROUND_ENVIRONMENT_UNSPECIFIED |
未指定背景環境。 |
CALL_CENTER |
客服中心環境。 |
TRAFFIC |
交通噪音環境。 |
KIDS_NOISE |
兒童噪音環境。 |
CAFE |
咖啡廳環境。 |
ExecutionState
評估結果執行的狀態。
| 列舉 | |
|---|---|
EXECUTION_STATE_UNSPECIFIED |
未指定評估結果執行狀態。 |
QUEUED |
評估結果執行作業已排入佇列。 |
RUNNING |
正在執行評估結果。 |
COMPLETED |
評估結果執行作業已完成。 |
ERROR |
發生內部錯誤,因此無法執行評估結果。 |
CANCELLED |
已取消執行評估結果。 |
SemanticSimilarityChannel
要使用的語意相似度管道。
| 列舉 | |
|---|---|
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED |
未指定指標。預設為 TEXT。 |
TEXT |
使用文字語意相似度。 |
AUDIO |
使用音訊語意相似度。 |
ExtraToolCallBehavior
定義遇到額外工具呼叫時的行為。額外工具呼叫是指執行過程中出現,但與黃金期望中的任何工具呼叫都不相符的工具呼叫。
| 列舉 | |
|---|---|
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED |
未指定行為。預設值為 FAIL。 |
FAIL |
如果遇到額外的工具呼叫,評估就會失敗。 |
ALLOW |
允許額外的工具呼叫。 |
HallucinationMetricBehavior
幻覺指標行為。無論行為如何,系統一律會計算指標。差別在於,停用指標後,系統就不會使用該指標計算整體評估分數。
| 列舉 | |
|---|---|
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED |
未指定的幻覺指標行為。 |
DISABLED |
停用幻覺指標。 |
ENABLED |
啟用幻覺指標。 |
AudioEncoding
AudioEncoding 會指定音訊資料的編碼格式。
| 列舉 | |
|---|---|
AUDIO_ENCODING_UNSPECIFIED |
未指定音訊編碼。 |
LINEAR16 |
16 位元線性 PCM 音訊編碼。 |
MULAW |
使用 G.711 PCMU/mu-law 來壓縮 14 位元音訊樣本,並在傳輸後將其擴展的 8 位元樣本。 |
ALAW |
使用 G.711 PCMU/A-law 壓縮 14 位元音訊樣本的 8 位元樣本。 |
EvaluationChannel
要評估的管道。
| 列舉 | |
|---|---|
EVALUATION_CHANNEL_UNSPECIFIED |
未指定評估管道。 |
TEXT |
純文字評估管道。 |
AUDIO |
音訊評估管道。 |
EvaluationToolCallBehaviour
設定評估執行的工具呼叫行為。
| 列舉 | |
|---|---|
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED |
未指定工具呼叫行為。預設為實際工具呼叫。 |
REAL |
使用實際的工具呼叫。 |
FAKE |
使用假工具呼叫。 |
GoldenRunMethod
執行評估的方法。
| 列舉 | |
|---|---|
GOLDEN_RUN_METHOD_UNSPECIFIED |
未指定執行方法。 |
STABLE |
以穩定重播的方式執行評估,每個回合都是獨立的工作階段,並插入先前的預期回合做為背景資訊。 |
NAIVE |
以單純重播的方式執行評估,也就是在不插入內容的情況下,以單一工作階段執行。 |
OutcomeMetadata
評估結果的中繼資料。
| 列舉 | |
|---|---|
OUTCOME_METADATA_UNSPECIFIED |
未指定結果中繼資料。 |
GRACEFUL_HANDOFF |
評估結果是順利轉接給真人代表。 |
工具註解
工具註解會傳送至 MCP 用戶端,說明特定工具的基本風險。大多數用戶端會將這些提示視為不受信任,但可用於決定何時向使用者傳送確認提示。
除了標題字串外,下列布林值提示的定義如下:
readOnlyHint:如果設為 true,工具不會修改環境。預設值:false。destructiveHint:如果為 true,工具可以執行破壞性動作。如果為 false,則工具只能執行附加動作。預設值:true。idempotentHint:如果設為 true,則使用相同引數重複呼叫工具,不會對環境造成額外影響。預設值:false。openWorldHint:如果設為 true,工具就能與外部實體的「開放世界」互動。如果設為 false,工具只能與內部實體互動。舉例來說,網頁搜尋工具是開放世界,而記憶工具則不是。
Destructive Hint: ❌ | Idempotent Hint: ✅ | Read Only Hint: ✅ | Open World Hint: ❌