MCP Tools Reference: ces.googleapis.com

工具：create_evaluation_dataset

建立新的評估資料集。

下列程式碼範例說明如何使用 curl 呼叫 create_evaluation_dataset MCP 工具。

Curl 要求 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "create_evaluation_dataset",
    "arguments": {
      // Provide these details according to the MCP tool specification.
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

輸入內容的結構定義

EvaluationService.CreateEvaluationDataset 的要求訊息。

CreateEvaluationDatasetRequest

JSON 表示法 
{
  "parent": string,
  "evaluationDatasetId": string,
  "evaluationDataset": {
    object (EvaluationDataset)
  }
}
欄位
parent

string

這是必要旗標，要建立評估的應用程式。格式：projects/{project}/locations/{location}/apps/{app}
evaluationDatasetId

string

選用。評估資料集的 ID，會成為評估資料集資源名稱的最後一個元件。如未提供，系統會自動為評估指派專屬 ID。
evaluationDataset

object (EvaluationDataset)

這是必要旗標，要建立的評估資料集。

EvaluationDataset

JSON 表示法 
{
  "name": string,
  "displayName": string,
  "evaluations": [
    string
  ],
  "createTime": string,
  "updateTime": string,
  "etag": string,
  "createdBy": string,
  "lastUpdatedBy": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  }
}
欄位
name

string

ID。這個評估資料集的專屬 ID。格式：projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
displayName

string

這是必要旗標，使用者定義的評估資料集顯示名稱。應用程式內不得重複。
evaluations[]

string

選用。這個資料集包含的評估作業。
createTime

string (Timestamp format)

僅供輸出。建立評估資料集的時間戳記。

使用 RFC 3339，產生的輸出內容一律會經過 Z 正規化，並使用 0、3、6 或 9 個小數位數，也接受「Z」以外的偏移量。範例："2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z" 或 "2014-10-02T15:01:23+05:30"。
updateTime

string (Timestamp format)

僅供輸出。上次更新評估資料集的時間戳記。

使用 RFC 3339，產生的輸出內容一律會經過 Z 正規化，並使用 0、3、6 或 9 個小數位數，也接受「Z」以外的偏移量。範例："2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z" 或 "2014-10-02T15:01:23+05:30"。
etag

string

僅供輸出。Etag 用於確保物件在讀取 - 修改 - 寫入作業期間未變更。如果 etag 為空，更新作業會覆寫任何並行變更。
createdBy

string

僅供輸出。建立評估資料集的使用者。
lastUpdatedBy

string

僅供輸出。上次更新評估資料集的使用者。
aggregatedMetrics

object (AggregatedMetrics)

僅供輸出。所有執行作業中，這個評估資料集的匯總指標。

時間戳記

JSON 表示法 
{
  "seconds": string,
  "nanos": integer
}
欄位
seconds

string (int64 format)

代表自 Unix 紀元 1970-01-01T00:00:00Z 起算的世界標準時間秒數。必須介於 -62135596800 和 253402300799 之間 (含)，對應至 0001-01-01T00:00:00Z 至 9999-12-31T23:59:59Z。
nanos

integer

以奈秒為單位的非負秒數小數。這個欄位是時間長度的奈秒部分，並非秒數的替代值。如果秒數值為負數，且包含小數，奈秒值仍須為非負數，且會往前計算時間。必須介於 0 至 999,999,999 之間 (含)。

AggregatedMetrics

JSON 表示法 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
欄位
metricsByAppVersion[]

object (MetricsByAppVersion)

僅供輸出。依應用程式版本 ID 分組的匯總指標。

MetricsByAppVersion

JSON 表示法 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
欄位
appVersionId

string

僅供輸出。應用程式版本 ID。
toolMetrics[]

object (ToolMetrics)

僅供輸出。這個應用程式版本中各項工具的指標。
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

僅供輸出。這個應用程式版本中的語意相似度指標。
hallucinationMetrics[]

object (HallucinationMetrics)

僅供輸出。這個應用程式版本中出現錯覺的指標。
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

僅供輸出。這個應用程式版本的工具呼叫延遲指標。
turnLatencyMetrics[]

object (TurnLatencyMetrics)

僅供輸出。這個應用程式版本的回合延遲指標。
passCount

integer

僅供輸出。評估通過的次數。
failCount

integer

僅供輸出。評估失敗次數。
metricsByTurn[]

object (MetricsByTurn)

僅供輸出。這項應用程式版本中，每個回合的匯總指標。

ToolMetrics

JSON 表示法 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
欄位
tool

string

僅供輸出。工具名稱。
passCount

integer

僅供輸出。工具通過的次數。
failCount

integer

僅供輸出。工具失敗次數。

SemanticSimilarityMetrics

JSON 表示法 
{
  "score": number
}
欄位
score

number

僅供輸出。平均語意相似度分數 (0 到 4 分)。

HallucinationMetrics

JSON 表示法 
{
  "score": number
}
欄位
score

number

僅供輸出。平均錯覺分數 (0 到 1)。

ToolCallLatencyMetrics

JSON 表示法 
{
  "tool": string,
  "averageLatency": string
}
欄位
tool

string

僅供輸出。工具名稱。
averageLatency

string (Duration format)

僅供輸出。工具呼叫的平均延遲時間。

時間長度以秒為單位，最多可有 9 個小數位數，並應以「s」結尾，例如："3.5s"。

時間長度

JSON 表示法 
{
  "seconds": string,
  "nanos": integer
}
欄位
seconds

string (int64 format)

時間範圍的秒數 (可為負值)。必須介於 -315,576,000,000 至 +315,576,000,000 之間 (含頭尾)。注意：這些界限是根據以下公式計算得出：60 秒/分 * 60 分/時 * 24 時/天 * 365.25 天/年 * 10000 年
nanos

integer

時間跨度以奈秒為單位的正負秒數。如果時間長度不到一秒，系統會以 0 seconds 欄位和正數或負數 nanos 欄位表示。如果時間長度為一秒以上，nanos 欄位的非零值必須與 seconds 欄位相同。值必須介於 -999,999,999 到 +999,999,999 之間 (含)。

TurnLatencyMetrics

JSON 表示法 
{
  "averageLatency": string
}
欄位
averageLatency

string (Duration format)

僅供輸出。回合的平均延遲時間。

時間長度以秒為單位，最多可有 9 個小數位數，並應以「s」結尾，例如："3.5s"。

MetricsByTurn

JSON 表示法 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
欄位
turnIndex

integer

僅供輸出。回合索引 (從 0 開始)。
toolMetrics[]

object (ToolMetrics)

僅供輸出。這一輪中各項工具的指標。
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

僅供輸出。這個回合的語意相似度指標。
hallucinationMetrics[]

object (HallucinationMetrics)

僅供輸出。這個回合的錯覺指標。
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

僅供輸出。這個回合中工具呼叫的延遲時間指標。
turnLatencyMetrics[]

object (TurnLatencyMetrics)

僅供輸出。這個回合的延遲時間指標。

輸出內容的結構定義

評估資料集代表一組根據共用標記分組的評估。

EvaluationDataset

JSON 表示法 
{
  "name": string,
  "displayName": string,
  "evaluations": [
    string
  ],
  "createTime": string,
  "updateTime": string,
  "etag": string,
  "createdBy": string,
  "lastUpdatedBy": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  }
}
欄位
name

string

ID。這個評估資料集的專屬 ID。格式：projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
displayName

string

這是必要旗標，使用者定義的評估資料集顯示名稱。應用程式內不得重複。
evaluations[]

string

選用。這個資料集包含的評估作業。
createTime

string (Timestamp format)

僅供輸出。建立評估資料集的時間戳記。

使用 RFC 3339，產生的輸出內容一律會經過 Z 正規化，並使用 0、3、6 或 9 個小數位數，也接受「Z」以外的偏移量。範例："2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z" 或 "2014-10-02T15:01:23+05:30"。
updateTime

string (Timestamp format)

僅供輸出。上次更新評估資料集的時間戳記。

使用 RFC 3339，產生的輸出內容一律會經過 Z 正規化，並使用 0、3、6 或 9 個小數位數，也接受「Z」以外的偏移量。範例："2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z" 或 "2014-10-02T15:01:23+05:30"。
etag

string

僅供輸出。Etag 用於確保物件在讀取 - 修改 - 寫入作業期間未變更。如果 etag 為空，更新作業會覆寫任何並行變更。
createdBy

string

僅供輸出。建立評估資料集的使用者。
lastUpdatedBy

string

僅供輸出。上次更新評估資料集的使用者。
aggregatedMetrics

object (AggregatedMetrics)

僅供輸出。所有執行作業中，這個評估資料集的匯總指標。

時間戳記

JSON 表示法 
{
  "seconds": string,
  "nanos": integer
}
欄位
seconds

string (int64 format)

代表自 Unix 紀元 1970-01-01T00:00:00Z 起算的世界標準時間秒數。必須介於 -62135596800 和 253402300799 之間 (含)，對應至 0001-01-01T00:00:00Z 至 9999-12-31T23:59:59Z。
nanos

integer

以奈秒為單位的非負秒數小數。這個欄位是時間長度的奈秒部分，並非秒數的替代值。如果秒數值為負數，且包含小數，奈秒值仍須為非負數，且會往前計算時間。必須介於 0 至 999,999,999 之間 (含)。

AggregatedMetrics

JSON 表示法 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
欄位
metricsByAppVersion[]

object (MetricsByAppVersion)

僅供輸出。依應用程式版本 ID 分組的匯總指標。

MetricsByAppVersion

JSON 表示法 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
欄位
appVersionId

string

僅供輸出。應用程式版本 ID。
toolMetrics[]

object (ToolMetrics)

僅供輸出。這個應用程式版本中各項工具的指標。
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

僅供輸出。這個應用程式版本中的語意相似度指標。
hallucinationMetrics[]

object (HallucinationMetrics)

僅供輸出。這個應用程式版本中出現錯覺的指標。
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

僅供輸出。這個應用程式版本的工具呼叫延遲指標。
turnLatencyMetrics[]

object (TurnLatencyMetrics)

僅供輸出。這個應用程式版本的回合延遲指標。
passCount

integer

僅供輸出。評估通過的次數。
failCount

integer

僅供輸出。評估失敗次數。
metricsByTurn[]

object (MetricsByTurn)

僅供輸出。這項應用程式版本中，每個回合的匯總指標。

ToolMetrics

JSON 表示法 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
欄位
tool

string

僅供輸出。工具名稱。
passCount

integer

僅供輸出。工具通過的次數。
failCount

integer

僅供輸出。工具失敗次數。

SemanticSimilarityMetrics

JSON 表示法 
{
  "score": number
}
欄位
score

number

僅供輸出。平均語意相似度分數 (0 到 4 分)。

HallucinationMetrics

JSON 表示法 
{
  "score": number
}
欄位
score

number

僅供輸出。平均錯覺分數 (0 到 1)。

ToolCallLatencyMetrics

JSON 表示法 
{
  "tool": string,
  "averageLatency": string
}
欄位
tool

string

僅供輸出。工具名稱。
averageLatency

string (Duration format)

僅供輸出。工具呼叫的平均延遲時間。

時間長度以秒為單位，最多可有 9 個小數位數，並應以「s」結尾，例如："3.5s"。

時間長度

JSON 表示法 
{
  "seconds": string,
  "nanos": integer
}
欄位
seconds

string (int64 format)

時間範圍的秒數 (可為負值)。必須介於 -315,576,000,000 至 +315,576,000,000 之間 (含頭尾)。注意：這些界限是根據以下公式計算得出：60 秒/分 * 60 分/時 * 24 時/天 * 365.25 天/年 * 10000 年
nanos

integer

時間跨度以奈秒為單位的正負秒數。如果時間長度不到一秒，系統會以 0 seconds 欄位和正數或負數 nanos 欄位表示。如果時間長度為一秒以上，nanos 欄位的非零值必須與 seconds 欄位相同。值必須介於 -999,999,999 到 +999,999,999 之間 (含)。

TurnLatencyMetrics

JSON 表示法 
{
  "averageLatency": string
}
欄位
averageLatency

string (Duration format)

僅供輸出。回合的平均延遲時間。

時間長度以秒為單位，最多可有 9 個小數位數，並應以「s」結尾，例如："3.5s"。

MetricsByTurn

JSON 表示法 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
欄位
turnIndex

integer

僅供輸出。回合索引 (從 0 開始)。
toolMetrics[]

object (ToolMetrics)

僅供輸出。這一輪中各項工具的指標。
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

僅供輸出。這個回合的語意相似度指標。
hallucinationMetrics[]

object (HallucinationMetrics)

僅供輸出。這個回合的錯覺指標。
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

僅供輸出。這個回合中工具呼叫的延遲時間指標。
turnLatencyMetrics[]

object (TurnLatencyMetrics)

僅供輸出。這個回合的延遲時間指標。

工具註解

工具註解會傳送至 MCP 用戶端，說明特定工具的基本風險。大多數用戶端會將這些提示視為不受信任，但可用於決定何時向使用者傳送確認提示。

除了標題字串外，以下布林提示的定義如下：

  • readOnlyHint：如果為 true，工具不會修改環境。預設值：false。
  • destructiveHint：如果為 true，工具可以執行破壞性動作。如果為 false，工具只能執行加法動作。預設值：true。
  • idempotentHint：如果為 true，以相同引數重複呼叫工具，對環境不會有額外影響。預設值：false。
  • openWorldHint：設為 true 時，工具可以與外部實體的「開放世界」互動。如果為 false，工具只能與內部實體互動。舉例來說，網頁搜尋工具屬於開放世界，記憶體工具則不屬於開放世界。

破壞性提示：❌ | 等冪提示：❌ | 唯讀提示：❌ | 開放世界提示：❌