MCP Tools Reference: ces.googleapis.com

工具：create_evaluation_dataset

创建新的评估数据集。

以下代码示例展示了如何使用 curl 调用 create_evaluation_dataset MCP 工具。

Curl 请求 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "create_evaluation_dataset",
    "arguments": {
      // Provide these details according to the MCP tool specification.
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

输入架构

EvaluationService.CreateEvaluationDataset 的请求消息。

CreateEvaluationDatasetRequest

JSON 表示法 
{
  "parent": string,
  "evaluationDatasetId": string,
  "evaluationDataset": {
    object (EvaluationDataset)
  }
}
字段
parent

string

必需。要为其创建评估的应用。格式：projects/{project}/locations/{location}/apps/{app}
evaluationDatasetId

string

可选。要用于评估数据集的 ID，该 ID 将成为评估数据集资源名称的最后一个组成部分。如果未提供，系统会自动为评估分配唯一 ID。
evaluationDataset

object (EvaluationDataset)

必需。要创建的评估数据集。

EvaluationDataset

JSON 表示法 
{
  "name": string,
  "displayName": string,
  "evaluations": [
    string
  ],
  "createTime": string,
  "updateTime": string,
  "etag": string,
  "createdBy": string,
  "lastUpdatedBy": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  }
}
字段
name

string

标识符。相应评估数据集的唯一标识符。格式：projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
displayName

string

必需。评估数据集的用户定义显示名称。在应用内是唯一的。
evaluations[]

string

可选。相应数据集中包含的评估。
createTime

string (Timestamp format)

仅限输出。评估数据集的创建时间戳。

采用 RFC 3339 标准，生成的输出将始终进行 Z 规范化（即转换为 UTC 零时区格式并在末尾附加 Z），并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例："2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z" 或 "2014-10-02T15:01:23+05:30"。
updateTime

string (Timestamp format)

仅限输出。评估数据集的上次更新时间。

采用 RFC 3339 标准，生成的输出将始终进行 Z 规范化（即转换为 UTC 零时区格式并在末尾附加 Z），并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例："2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z" 或 "2014-10-02T15:01:23+05:30"。
etag

string

仅限输出。用于确保对象在读取-修改-写入操作期间未发生更改的 ETag。如果 etag 为空，则更新会覆盖任何并发更改。
createdBy

string

仅限输出。创建评估数据集的用户。
lastUpdatedBy

string

仅限输出。上次更新评估数据集的用户。
aggregatedMetrics

object (AggregatedMetrics)

仅限输出。相应评估数据集在所有运行中的汇总指标。

时间戳

JSON 表示法 
{
  "seconds": string,
  "nanos": integer
}
字段
seconds

string (int64 format)

表示世界协调时间 (UTC) 的秒数（从 Unix 纪元 1970-01-01T00:00:00Z 开始算起）。必须介于 -62135596800 到 253402300799 之间（含边界值），对应于 0001-01-01T00:00:00Z 到 9999-12-31T23:59:59Z。
nanos

integer

秒数的非负小数部分（以纳秒为单位）。此字段是时长的纳秒部分，而不是秒的替代项。对于含小数部分的负秒数，仍必须包含按时间递升的非负纳秒值。必须在 0 到 999,999,999 之间（含边界值）。

AggregatedMetrics

JSON 表示法 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
字段
metricsByAppVersion[]

object (MetricsByAppVersion)

仅限输出。按应用版本 ID 分组的汇总指标。

MetricsByAppVersion

JSON 表示法 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
字段
appVersionId

string

仅限输出。应用版本 ID。
toolMetrics[]

object (ToolMetrics)

仅限输出。相应应用版本中每个工具的指标。
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

仅限输出。相应应用版本内的语义相似度指标。
hallucinationMetrics[]

object (HallucinationMetrics)

仅限输出。相应应用版本中出现幻觉的指标。
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

仅限输出。相应应用版本中工具调用延迟时间的指标。
turnLatencyMetrics[]

object (TurnLatencyMetrics)

仅限输出。相应应用版本中回合延迟时间的指标。
passCount

integer

仅限输出。评估通过的次数。
failCount

integer

仅限输出。评估失败的次数。
metricsByTurn[]

object (MetricsByTurn)

仅限输出。相应应用版本中每个回合的汇总指标。

ToolMetrics

JSON 表示法 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
字段
tool

string

仅限输出。工具的名称。
passCount

integer

仅限输出。工具通过的次数。
failCount

integer

仅限输出。工具失败的次数。

SemanticSimilarityMetrics

JSON 表示法 
{
  "score": number
}
字段
score

number

仅限输出。平均语义相似度得分（0-4）。

HallucinationMetrics

JSON 表示法 
{
  "score": number
}
字段
score

number

仅限输出。平均幻觉分数（0 到 1）。

ToolCallLatencyMetrics

JSON 表示法 
{
  "tool": string,
  "averageLatency": string
}
字段
tool

string

仅限输出。工具的名称。
averageLatency

string (Duration format)

仅限输出。工具调用的平均延迟时间。

该时长以秒为单位，最多包含九个小数位，以“s”结尾。示例："3.5s"。

时长

JSON 表示法 
{
  "seconds": string,
  "nanos": integer
}
字段
seconds

string (int64 format)

时间段的带符号秒数。必须介于 -315,576,000,000 到 +315,576,000,000 之间（含边界值）。注意：这些界限是通过以下计算得出的：60 秒/分钟 * 60 分钟/小时 * 24 小时/天 * 365.25 天/年 * 10000 年
nanos

integer

时间跨度的有符号秒数小数部分（以纳秒为单位）。小于 1 秒的时长用 0 seconds 字段和正或负 nanos 字段表示。对于时长为 1 秒或更长时间的视频，nanos 字段的非零值必须与 seconds 字段的符号相同。必须介于 -999,999,999 到 +999,999,999 之间（含边界值）。

TurnLatencyMetrics

JSON 表示法 
{
  "averageLatency": string
}
字段
averageLatency

string (Duration format)

仅限输出。对话轮次的平均延迟时间。

该时长以秒为单位，最多包含九个小数位，以“s”结尾。示例："3.5s"。

MetricsByTurn

JSON 表示法 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
字段
turnIndex

integer

仅限输出。回合指数（从 0 开始）。
toolMetrics[]

object (ToolMetrics)

仅限输出。相应轮次中每个工具的指标。
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

仅限输出。相应轮次中语义相似度的指标。
hallucinationMetrics[]

object (HallucinationMetrics)

仅限输出。相应轮次中出现幻觉的指标。
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

仅限输出。相应对话轮次中工具调用延迟时间的指标。
turnLatencyMetrics[]

object (TurnLatencyMetrics)

仅限输出。相应回合内的回合延迟时间指标。

输出架构

评估数据集表示一组基于共享标记分组的评估。

EvaluationDataset

JSON 表示法 
{
  "name": string,
  "displayName": string,
  "evaluations": [
    string
  ],
  "createTime": string,
  "updateTime": string,
  "etag": string,
  "createdBy": string,
  "lastUpdatedBy": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  }
}
字段
name

string

标识符。相应评估数据集的唯一标识符。格式：projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
displayName

string

必需。评估数据集的用户定义显示名称。在应用内是唯一的。
evaluations[]

string

可选。相应数据集中包含的评估。
createTime

string (Timestamp format)

仅限输出。评估数据集的创建时间戳。

采用 RFC 3339 标准，生成的输出将始终进行 Z 规范化（即转换为 UTC 零时区格式并在末尾附加 Z），并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例："2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z" 或 "2014-10-02T15:01:23+05:30"。
updateTime

string (Timestamp format)

仅限输出。评估数据集的上次更新时间。

采用 RFC 3339 标准，生成的输出将始终进行 Z 规范化（即转换为 UTC 零时区格式并在末尾附加 Z），并使用 0、3、6 或 9 个小数位。不带“Z”的偏差时间也是可以接受的。示例："2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z" 或 "2014-10-02T15:01:23+05:30"。
etag

string

仅限输出。用于确保对象在读取-修改-写入操作期间未发生更改的 ETag。如果 etag 为空，则更新会覆盖任何并发更改。
createdBy

string

仅限输出。创建评估数据集的用户。
lastUpdatedBy

string

仅限输出。上次更新评估数据集的用户。
aggregatedMetrics

object (AggregatedMetrics)

仅限输出。相应评估数据集在所有运行中的汇总指标。

时间戳

JSON 表示法 
{
  "seconds": string,
  "nanos": integer
}
字段
seconds

string (int64 format)

表示世界协调时间 (UTC) 的秒数（从 Unix 纪元 1970-01-01T00:00:00Z 开始算起）。必须介于 -62135596800 到 253402300799 之间（含边界值），对应于 0001-01-01T00:00:00Z 到 9999-12-31T23:59:59Z。
nanos

integer

秒数的非负小数部分（以纳秒为单位）。此字段是时长的纳秒部分，而不是秒的替代项。对于含小数部分的负秒数，仍必须包含按时间递升的非负纳秒值。必须在 0 到 999,999,999 之间（含边界值）。

AggregatedMetrics

JSON 表示法 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
字段
metricsByAppVersion[]

object (MetricsByAppVersion)

仅限输出。按应用版本 ID 分组的汇总指标。

MetricsByAppVersion

JSON 表示法 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
字段
appVersionId

string

仅限输出。应用版本 ID。
toolMetrics[]

object (ToolMetrics)

仅限输出。相应应用版本中每个工具的指标。
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

仅限输出。相应应用版本内的语义相似度指标。
hallucinationMetrics[]

object (HallucinationMetrics)

仅限输出。相应应用版本中出现幻觉的指标。
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

仅限输出。相应应用版本中工具调用延迟时间的指标。
turnLatencyMetrics[]

object (TurnLatencyMetrics)

仅限输出。相应应用版本中回合延迟时间的指标。
passCount

integer

仅限输出。评估通过的次数。
failCount

integer

仅限输出。评估失败的次数。
metricsByTurn[]

object (MetricsByTurn)

仅限输出。相应应用版本中每个回合的汇总指标。

ToolMetrics

JSON 表示法 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
字段
tool

string

仅限输出。工具的名称。
passCount

integer

仅限输出。工具通过的次数。
failCount

integer

仅限输出。工具失败的次数。

SemanticSimilarityMetrics

JSON 表示法 
{
  "score": number
}
字段
score

number

仅限输出。平均语义相似度得分（0-4）。

HallucinationMetrics

JSON 表示法 
{
  "score": number
}
字段
score

number

仅限输出。平均幻觉分数（0 到 1）。

ToolCallLatencyMetrics

JSON 表示法 
{
  "tool": string,
  "averageLatency": string
}
字段
tool

string

仅限输出。工具的名称。
averageLatency

string (Duration format)

仅限输出。工具调用的平均延迟时间。

该时长以秒为单位，最多包含九个小数位，以“s”结尾。示例："3.5s"。

时长

JSON 表示法 
{
  "seconds": string,
  "nanos": integer
}
字段
seconds

string (int64 format)

时间段的带符号秒数。必须介于 -315,576,000,000 到 +315,576,000,000 之间（含边界值）。注意：这些界限是通过以下计算得出的：60 秒/分钟 * 60 分钟/小时 * 24 小时/天 * 365.25 天/年 * 10000 年
nanos

integer

时间跨度的有符号秒数小数部分（以纳秒为单位）。小于 1 秒的时长用 0 seconds 字段和正或负 nanos 字段表示。对于时长为 1 秒或更长时间的视频，nanos 字段的非零值必须与 seconds 字段的符号相同。必须介于 -999,999,999 到 +999,999,999 之间（含边界值）。

TurnLatencyMetrics

JSON 表示法 
{
  "averageLatency": string
}
字段
averageLatency

string (Duration format)

仅限输出。对话轮次的平均延迟时间。

该时长以秒为单位，最多包含九个小数位，以“s”结尾。示例："3.5s"。

MetricsByTurn

JSON 表示法 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
字段
turnIndex

integer

仅限输出。回合指数（从 0 开始）。
toolMetrics[]

object (ToolMetrics)

仅限输出。相应轮次中每个工具的指标。
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

仅限输出。相应轮次中语义相似度的指标。
hallucinationMetrics[]

object (HallucinationMetrics)

仅限输出。相应轮次中出现幻觉的指标。
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

仅限输出。相应对话轮次中工具调用延迟时间的指标。
turnLatencyMetrics[]

object (TurnLatencyMetrics)

仅限输出。相应回合内的回合延迟时间指标。

工具注释

工具注释会发送给 MCP 客户端，用于描述指定工具的基本风险。大多数客户端会将这些提示视为不受信任的，但它们可用于确定何时向用户发送确认提示。

除了标题字符串之外，还定义了以下布尔值提示：

  • readOnlyHint：如果为 true，则工具不会修改其环境。默认值：false。
  • destructiveHint：如果为 true，则工具可以执行破坏性操作。如果为 false，则该工具只能执行添加操作。默认值：true。
  • idempotentHint：如果为 true，则使用相同实参重复调用该工具不会对其环境产生任何额外影响。默认值：false。
  • openWorldHint：如果为 true，则工具可以与外部实体的“开放世界”互动。如果为 false，则该工具只能与内部实体互动。例如，网络搜索工具是开放世界工具，而内存工具不是开放世界工具。

破坏性提示：❌ | 等幂性提示：❌ | 只读提示：❌ | 开放世界提示：❌