MCP Tools Reference: ces.googleapis.com

도구: update_evaluation_dataset

지정된 평가 데이터 세트를 업데이트합니다. 항상 입력에 업데이트 마스크를 전달해야 합니다.

다음 코드 샘플은 curl를 사용하여 update_evaluation_dataset MCP 도구를 호출하는 방법을 보여줍니다.

curl 요청 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "update_evaluation_dataset",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

입력 스키마

EvaluationService.UpdateEvaluationDataset에 대한 요청 메시지입니다.

UpdateEvaluationDatasetRequest

JSON 표현 
{
  "evaluationDataset": {
    object (EvaluationDataset)
  },
  "updateMask": string
}
필드
evaluationDataset

object (EvaluationDataset)

필수 항목입니다. 업데이트할 평가 데이터 세트입니다.
updateMask

string (FieldMask format)

선택사항입니다. 필드 마스크는 업데이트되는 필드를 제어하는 데 사용됩니다. 마스크가 없으면 모든 필드가 업데이트됩니다.

정규화된 필드 이름의 쉼표로 구분된 목록입니다. 예: "user.displayName,photo"

EvaluationDataset

JSON 표현 
{
  "name": string,
  "displayName": string,
  "evaluations": [
    string
  ],
  "createTime": string,
  "updateTime": string,
  "etag": string,
  "createdBy": string,
  "lastUpdatedBy": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  }
}
필드
name

string

식별자. 이 평가 데이터 세트의 고유 식별자입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
displayName

string

필수 항목입니다. 평가 데이터 세트의 사용자 정의 표시 이름입니다. 앱 내에서 고유합니다.
evaluations[]

string

선택사항입니다. 이 데이터 세트에 포함된 평가입니다.
createTime

string (Timestamp format)

출력 전용입니다. 평가 데이터 세트가 생성된 타임스탬프입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
updateTime

string (Timestamp format)

출력 전용입니다. 평가 데이터 세트가 마지막으로 업데이트된 타임스탬프입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
etag

string

출력 전용입니다. 읽기-수정-쓰기 작업 중에 객체가 변경되지 않았는지 확인하는 데 사용되는 Etag입니다. etag가 비어 있으면 업데이트가 동시에 발생하는 변경사항을 덮어씁니다.
createdBy

string

출력 전용입니다. 평가 데이터 세트를 만든 사용자입니다.
lastUpdatedBy

string

출력 전용입니다. 평가 데이터 세트를 마지막으로 업데이트한 사용자입니다.
aggregatedMetrics

object (AggregatedMetrics)

출력 전용입니다. 모든 실행에서 이 평가 데이터 세트에 대해 집계된 측정항목입니다.

타임스탬프

JSON 표현 
{
  "seconds": string,
  "nanos": integer
}
필드
seconds

string (int64 format)

Unix epoch 1970-01-01T00:00:00Z 이후 UTC 시간의 초 단위로 표현합니다. -62135596800~253402300799 (0001-01-01T00:00:00Z~9999-12-31T23:59:59Z) 사이여야 합니다.
nanos

integer

나노초 단위의 음수가 아닌 초수입니다. 이 필드는 기간의 나노초 부분이며 초의 대안이 아닙니다. 음수의 초수 값에는 시간에 반영되는 음수가 아닌 나노초 값이 있어야 합니다. 0~999,999,999(포함) 사이여야 합니다.

AggregatedMetrics

JSON 표현 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
필드
metricsByAppVersion[]

object (MetricsByAppVersion)

출력 전용입니다. 앱 버전 ID별로 그룹화된 집계 측정항목입니다.

MetricsByAppVersion

JSON 표현 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
필드
appVersionId

string

출력 전용입니다. 앱 버전 ID입니다.
toolMetrics[]

object (ToolMetrics)

출력 전용입니다. 이 앱 버전 내 각 도구의 측정항목입니다.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

출력 전용입니다. 이 앱 버전 내의 의미 유사성 측정항목입니다.
hallucinationMetrics[]

object (HallucinationMetrics)

출력 전용입니다. 이 앱 버전 내의 환각에 대한 측정항목입니다.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

출력 전용입니다. 이 앱 버전 내의 도구 호출 지연 시간 측정항목입니다.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

출력 전용입니다. 이 앱 버전 내의 턴 지연 시간 측정항목입니다.
passCount

integer

출력 전용입니다. 평가를 통과한 횟수입니다.
failCount

integer

출력 전용입니다. 평가에 실패한 횟수입니다.
metricsByTurn[]

object (MetricsByTurn)

출력 전용입니다. 이 앱 버전 내에서 턴별로 집계된 측정항목입니다.

ToolMetrics

JSON 표현 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
필드
tool

string

출력 전용입니다. 도구의 이름입니다.
passCount

integer

출력 전용입니다. 도구가 통과한 횟수입니다.
failCount

integer

출력 전용입니다. 도구가 실패한 횟수입니다.

SemanticSimilarityMetrics

JSON 표현 
{
  "score": number
}
필드
score

number

출력 전용입니다. 평균 시맨틱 유사도 점수 (0~4)입니다.

HallucinationMetrics

JSON 표현 
{
  "score": number
}
필드
score

number

출력 전용입니다. 평균 환각 점수 (0~1)입니다.

ToolCallLatencyMetrics

JSON 표현 
{
  "tool": string,
  "averageLatency": string
}
필드
tool

string

출력 전용입니다. 도구의 이름입니다.
averageLatency

string (Duration format)

출력 전용입니다. 도구 호출의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

소요 시간

JSON 표현 
{
  "seconds": string,
  "nanos": integer
}
필드
seconds

string (int64 format)

시간 범위의 부호가 있는 초입니다. -315,576,000,000~+315,576,000,000(포함) 사이여야 합니다. 참고: 이 범위는 60초/분 * 60분/시간 * 24시간/일 * 365.25일/년 * 10,000년에서 계산됩니다.
nanos

integer

시간 범위의 나노초 단위로 된 부호가 있는 초수입니다. 1초 미만의 기간은 0 seconds 필드와 양수 또는 음수 nanos 필드로 표현됩니다. 1초 이상의 기간의 경우 nanos 필드의 0이 아닌 값은 seconds 필드와 부호가 같아야 합니다. -999,999,999~+999,999,999(포함) 사이여야 합니다.

TurnLatencyMetrics

JSON 표현 
{
  "averageLatency": string
}
필드
averageLatency

string (Duration format)

출력 전용입니다. 턴의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

MetricsByTurn

JSON 표현 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
필드
turnIndex

integer

출력 전용입니다. 턴 색인 (0부터 시작)입니다.
toolMetrics[]

object (ToolMetrics)

출력 전용입니다. 이 턴 내 각 도구의 측정항목입니다.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

출력 전용입니다. 이 턴 내의 의미 유사성 측정항목입니다.
hallucinationMetrics[]

object (HallucinationMetrics)

출력 전용입니다. 이 턴 내의 환각에 대한 측정항목입니다.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

출력 전용입니다. 이 턴 내의 도구 호출 지연 시간 측정항목입니다.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

출력 전용입니다. 이 턴 내의 턴 지연 시간 측정항목입니다.

FieldMask

JSON 표현 
{
  "paths": [
    string
  ]
}
필드
paths[]

string

필드 마스크 경로 집합입니다.

출력 스키마

평가 데이터 세트는 공유 태그를 기반으로 그룹화된 평가 세트를 나타냅니다.

EvaluationDataset

JSON 표현 
{
  "name": string,
  "displayName": string,
  "evaluations": [
    string
  ],
  "createTime": string,
  "updateTime": string,
  "etag": string,
  "createdBy": string,
  "lastUpdatedBy": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  }
}
필드
name

string

식별자. 이 평가 데이터 세트의 고유 식별자입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
displayName

string

필수 항목입니다. 평가 데이터 세트의 사용자 정의 표시 이름입니다. 앱 내에서 고유합니다.
evaluations[]

string

선택사항입니다. 이 데이터 세트에 포함된 평가입니다.
createTime

string (Timestamp format)

출력 전용입니다. 평가 데이터 세트가 생성된 타임스탬프입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
updateTime

string (Timestamp format)

출력 전용입니다. 평가 데이터 세트가 마지막으로 업데이트된 타임스탬프입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
etag

string

출력 전용입니다. 읽기-수정-쓰기 작업 중에 객체가 변경되지 않았는지 확인하는 데 사용되는 Etag입니다. etag가 비어 있으면 업데이트가 동시에 발생하는 변경사항을 덮어씁니다.
createdBy

string

출력 전용입니다. 평가 데이터 세트를 만든 사용자입니다.
lastUpdatedBy

string

출력 전용입니다. 평가 데이터 세트를 마지막으로 업데이트한 사용자입니다.
aggregatedMetrics

object (AggregatedMetrics)

출력 전용입니다. 모든 실행에서 이 평가 데이터 세트에 대해 집계된 측정항목입니다.

타임스탬프

JSON 표현 
{
  "seconds": string,
  "nanos": integer
}
필드
seconds

string (int64 format)

Unix epoch 1970-01-01T00:00:00Z 이후 UTC 시간의 초 단위로 표현합니다. -62135596800~253402300799 (0001-01-01T00:00:00Z~9999-12-31T23:59:59Z) 사이여야 합니다.
nanos

integer

나노초 단위의 음수가 아닌 초수입니다. 이 필드는 기간의 나노초 부분이며 초의 대안이 아닙니다. 음수의 초수 값에는 시간에 반영되는 음수가 아닌 나노초 값이 있어야 합니다. 0~999,999,999(포함) 사이여야 합니다.

AggregatedMetrics

JSON 표현 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
필드
metricsByAppVersion[]

object (MetricsByAppVersion)

출력 전용입니다. 앱 버전 ID별로 그룹화된 집계 측정항목입니다.

MetricsByAppVersion

JSON 표현 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
필드
appVersionId

string

출력 전용입니다. 앱 버전 ID입니다.
toolMetrics[]

object (ToolMetrics)

출력 전용입니다. 이 앱 버전 내 각 도구의 측정항목입니다.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

출력 전용입니다. 이 앱 버전 내의 의미 유사성 측정항목입니다.
hallucinationMetrics[]

object (HallucinationMetrics)

출력 전용입니다. 이 앱 버전 내의 환각에 대한 측정항목입니다.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

출력 전용입니다. 이 앱 버전 내의 도구 호출 지연 시간 측정항목입니다.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

출력 전용입니다. 이 앱 버전 내의 턴 지연 시간 측정항목입니다.
passCount

integer

출력 전용입니다. 평가를 통과한 횟수입니다.
failCount

integer

출력 전용입니다. 평가에 실패한 횟수입니다.
metricsByTurn[]

object (MetricsByTurn)

출력 전용입니다. 이 앱 버전 내에서 턴별로 집계된 측정항목입니다.

ToolMetrics

JSON 표현 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
필드
tool

string

출력 전용입니다. 도구의 이름입니다.
passCount

integer

출력 전용입니다. 도구가 통과한 횟수입니다.
failCount

integer

출력 전용입니다. 도구가 실패한 횟수입니다.

SemanticSimilarityMetrics

JSON 표현 
{
  "score": number
}
필드
score

number

출력 전용입니다. 평균 시맨틱 유사도 점수 (0~4)입니다.

HallucinationMetrics

JSON 표현 
{
  "score": number
}
필드
score

number

출력 전용입니다. 평균 환각 점수 (0~1)입니다.

ToolCallLatencyMetrics

JSON 표현 
{
  "tool": string,
  "averageLatency": string
}
필드
tool

string

출력 전용입니다. 도구의 이름입니다.
averageLatency

string (Duration format)

출력 전용입니다. 도구 호출의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

소요 시간

JSON 표현 
{
  "seconds": string,
  "nanos": integer
}
필드
seconds

string (int64 format)

시간 범위의 부호가 있는 초입니다. -315,576,000,000~+315,576,000,000(포함) 사이여야 합니다. 참고: 이 범위는 60초/분 * 60분/시간 * 24시간/일 * 365.25일/년 * 10,000년에서 계산됩니다.
nanos

integer

시간 범위의 나노초 단위로 된 부호가 있는 초수입니다. 1초 미만의 기간은 0 seconds 필드와 양수 또는 음수 nanos 필드로 표현됩니다. 1초 이상의 기간의 경우 nanos 필드의 0이 아닌 값은 seconds 필드와 부호가 같아야 합니다. -999,999,999~+999,999,999(포함) 사이여야 합니다.

TurnLatencyMetrics

JSON 표현 
{
  "averageLatency": string
}
필드
averageLatency

string (Duration format)

출력 전용입니다. 턴의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

MetricsByTurn

JSON 표현 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
필드
turnIndex

integer

출력 전용입니다. 턴 색인 (0부터 시작)입니다.
toolMetrics[]

object (ToolMetrics)

출력 전용입니다. 이 턴 내 각 도구의 측정항목입니다.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

출력 전용입니다. 이 턴 내의 의미 유사성 측정항목입니다.
hallucinationMetrics[]

object (HallucinationMetrics)

출력 전용입니다. 이 턴 내의 환각에 대한 측정항목입니다.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

출력 전용입니다. 이 턴 내의 도구 호출 지연 시간 측정항목입니다.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

출력 전용입니다. 이 턴 내의 턴 지연 시간 측정항목입니다.

도구 주석

도구 주석은 특정 도구의 기본 위험을 설명하기 위해 MCP 클라이언트로 전송됩니다. 대부분의 클라이언트는 이러한 힌트를 신뢰할 수 없는 것으로 취급하지만, 사용자에게 확인 메시지를 전송할 시점을 결정하는 데 사용할 수 있습니다.

제목 문자열과 함께 다음 불리언 힌트가 다음과 같이 정의됩니다.

  • readOnlyHint: true인 경우 도구가 환경을 수정하지 않습니다. 기본값: false.
  • destructiveHint: true인 경우 도구가 파괴적인 작업을 실행할 수 있습니다. false인 경우 도구는 추가 작업만 실행할 수 있습니다. 기본값은 true입니다.
  • idempotentHint: true인 경우 동일한 인수로 도구를 반복적으로 호출해도 환경에 추가적인 영향을 미치지 않습니다. 기본값: false.
  • openWorldHint: true인 경우 도구가 외부 엔티티의 '오픈 월드'와 상호작용할 수 있습니다. false인 경우 도구는 내부 항목과만 상호작용할 수 있습니다. 예를 들어 웹 검색 도구는 오픈 월드이지만 메모리 도구는 오픈 월드가 아닙니다.

파괴적 힌트: ❌ | 동일한 힌트: ❌ | 읽기 전용 힌트: ❌ | 오픈 월드 힌트: ❌