MCP Tools Reference: ces.googleapis.com

도구: create_evaluation_dataset

새 평가 데이터 세트를 만듭니다.

다음 샘플은 curl를 사용하여 create_evaluation_dataset MCP 도구를 호출하는 방법을 보여줍니다.

curl 요청 
                  
curl --location 'https://ces.[REGION].rep.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "create_evaluation_dataset",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

입력 스키마

EvaluationService.CreateEvaluationDataset에 대한 요청 메시지입니다.

CreateEvaluationDatasetRequest

JSON 표현 
{
  "parent": string,
  "evaluationDatasetId": string,
  "evaluationDataset": {
    object (EvaluationDataset)
  }
}
필드
parent

string

필수 항목입니다. 평가를 생성할 앱입니다. 형식: projects/{project}/locations/{location}/apps/{app}
evaluationDatasetId

string

선택사항입니다. 평가 데이터 세트에 사용할 ID이며, 평가 데이터 세트의 리소스 이름의 마지막 구성요소가 됩니다. 제공되지 않으면 평가를 위해 고유 ID가 자동으로 할당됩니다.
evaluationDataset

object (EvaluationDataset)

필수 항목입니다. 생성할 평가 데이터 세트입니다.

EvaluationDataset

JSON 표현 
{
  "name": string,
  "displayName": string,
  "evaluations": [
    string
  ],
  "createTime": string,
  "updateTime": string,
  "etag": string,
  "createdBy": string,
  "lastUpdatedBy": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  }
}
필드
name

string

식별자. 이 평가 데이터 세트의 고유 식별자입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
displayName

string

필수 항목입니다. 평가 데이터 세트의 사용자 정의 표시 이름입니다. 앱 내에서 고유합니다.
evaluations[]

string

선택사항입니다. 이 데이터 세트에 포함된 평가입니다.
createTime

string (Timestamp format)

출력 전용입니다. 평가 데이터 세트가 생성된 타임스탬프입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
updateTime

string (Timestamp format)

출력 전용입니다. 평가 데이터 세트가 마지막으로 업데이트된 타임스탬프입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
etag

string

출력 전용입니다. 읽기-수정-쓰기 작업 중에 객체가 변경되지 않았는지 확인하는 데 사용되는 Etag입니다. etag가 비어 있으면 업데이트가 동시에 발생한 변경사항을 덮어씁니다.
createdBy

string

출력 전용입니다. 평가 데이터 세트를 만든 사용자입니다.
lastUpdatedBy

string

출력 전용입니다. 평가 데이터 세트를 마지막으로 업데이트한 사용자입니다.
aggregatedMetrics

object (AggregatedMetrics)

출력 전용입니다. 모든 실행에서 이 평가 데이터 세트에 대해 집계된 측정항목입니다.

타임스탬프

JSON 표현 
{
  "seconds": string,
  "nanos": integer
}
필드
seconds

string (int64 format)

Unix epoch 1970-01-01T00:00:00Z 이후 UTC 시간의 초 단위로 표현합니다. -62135596800~253402300799 (0001-01-01T00:00:00Z~9999-12-31T23:59:59Z에 해당) 사이여야 합니다.
nanos

integer

나노초 단위의 음수가 아닌 초수입니다. 이 필드는 기간의 나노초 부분이며 초의 대안이 아닙니다. 음수의 초수 값에는 시간에 반영되는 음수가 아닌 나노초 값이 있어야 합니다. 0~999,999,999(포함) 사이여야 합니다.

AggregatedMetrics

JSON 표현 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
필드
metricsByAppVersion[]

object (MetricsByAppVersion)

출력 전용입니다. 앱 버전 ID별로 그룹화된 집계 측정항목입니다.

MetricsByAppVersion

JSON 표현 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
필드
appVersionId

string

출력 전용입니다. 앱 버전 ID입니다.
toolMetrics[]

object (ToolMetrics)

출력 전용입니다. 이 앱 버전 내 각 도구의 측정항목입니다.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

출력 전용입니다. 이 앱 버전 내의 의미 유사성 측정항목입니다.
hallucinationMetrics[]

object (HallucinationMetrics)

출력 전용입니다. 이 앱 버전 내의 환각에 대한 측정항목입니다.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

출력 전용입니다. 이 앱 버전 내의 도구 호출 지연 시간 측정항목입니다.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

출력 전용입니다. 이 앱 버전 내의 턴 지연 시간 측정항목입니다.
passCount

integer

출력 전용입니다. 평가를 통과한 횟수입니다.
failCount

integer

출력 전용입니다. 평가에 실패한 횟수입니다.
metricsByTurn[]

object (MetricsByTurn)

출력 전용입니다. 이 앱 버전 내에서 턴별로 집계된 측정항목입니다.

ToolMetrics

JSON 표현 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
필드
tool

string

출력 전용입니다. 도구의 이름입니다.
passCount

integer

출력 전용입니다. 도구가 통과한 횟수입니다.
failCount

integer

출력 전용입니다. 도구가 실패한 횟수입니다.

SemanticSimilarityMetrics

JSON 표현 
{
  "score": number
}
필드
score

number

출력 전용입니다. 평균 시맨틱 유사성 점수 (0~4)입니다.

HallucinationMetrics

JSON 표현 
{
  "score": number
}
필드
score

number

출력 전용입니다. 평균 환각 점수 (0~1)입니다.

ToolCallLatencyMetrics

JSON 표현 
{
  "tool": string,
  "averageLatency": string
}
필드
tool

string

출력 전용입니다. 도구의 이름입니다.
averageLatency

string (Duration format)

출력 전용입니다. 도구 호출의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

기간

JSON 표현 
{
  "seconds": string,
  "nanos": integer
}
필드
seconds

string (int64 format)

시간 범위의 부호가 있는 초입니다. -315,576,000,000~+315,576,000,000(포함) 사이여야 합니다. 참고: 이 범위는 60초/분 * 60분/시간 * 24시간/일 * 365.25일/년 * 10,000년에서 계산됩니다.
nanos

integer

시간 범위의 나노초 단위의 부호가 있는 초수입니다. 1초 미만의 기간은 0 seconds 필드와 양수 또는 음수 nanos 필드로 표현됩니다. 1초 이상의 기간의 경우 nanos 필드의 0이 아닌 값은 seconds 필드와 부호가 같아야 합니다. 값은 -999,999,999~+999,999,999(끝값 포함)이어야 합니다.

TurnLatencyMetrics

JSON 표현 
{
  "averageLatency": string
}
필드
averageLatency

string (Duration format)

출력 전용입니다. 턴의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

MetricsByTurn

JSON 표현 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
필드
turnIndex

integer

출력 전용입니다. 턴 색인 (0부터 시작)입니다.
toolMetrics[]

object (ToolMetrics)

출력 전용입니다. 이 턴 내 각 도구의 측정항목입니다.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

출력 전용입니다. 이 턴 내의 의미 유사성 측정항목입니다.
hallucinationMetrics[]

object (HallucinationMetrics)

출력 전용입니다. 이 턴 내의 환각에 대한 측정항목입니다.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

출력 전용입니다. 이 턴 내의 도구 호출 지연 시간 측정항목입니다.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

출력 전용입니다. 이 턴 내의 턴 지연 시간 측정항목입니다.

출력 스키마

평가 데이터 세트는 공유 태그를 기반으로 그룹화된 평가 세트를 나타냅니다.

EvaluationDataset

JSON 표현 
{
  "name": string,
  "displayName": string,
  "evaluations": [
    string
  ],
  "createTime": string,
  "updateTime": string,
  "etag": string,
  "createdBy": string,
  "lastUpdatedBy": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  }
}
필드
name

string

식별자. 이 평가 데이터 세트의 고유 식별자입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
displayName

string

필수 항목입니다. 평가 데이터 세트의 사용자 정의 표시 이름입니다. 앱 내에서 고유합니다.
evaluations[]

string

선택사항입니다. 이 데이터 세트에 포함된 평가입니다.
createTime

string (Timestamp format)

출력 전용입니다. 평가 데이터 세트가 생성된 타임스탬프입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
updateTime

string (Timestamp format)

출력 전용입니다. 평가 데이터 세트가 마지막으로 업데이트된 타임스탬프입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
etag

string

출력 전용입니다. 읽기-수정-쓰기 작업 중에 객체가 변경되지 않았는지 확인하는 데 사용되는 Etag입니다. etag가 비어 있으면 업데이트가 동시에 발생한 변경사항을 덮어씁니다.
createdBy

string

출력 전용입니다. 평가 데이터 세트를 만든 사용자입니다.
lastUpdatedBy

string

출력 전용입니다. 평가 데이터 세트를 마지막으로 업데이트한 사용자입니다.
aggregatedMetrics

object (AggregatedMetrics)

출력 전용입니다. 모든 실행에서 이 평가 데이터 세트에 대해 집계된 측정항목입니다.

타임스탬프

JSON 표현 
{
  "seconds": string,
  "nanos": integer
}
필드
seconds

string (int64 format)

Unix epoch 1970-01-01T00:00:00Z 이후 UTC 시간의 초 단위로 표현합니다. -62135596800~253402300799 (0001-01-01T00:00:00Z~9999-12-31T23:59:59Z에 해당) 사이여야 합니다.
nanos

integer

나노초 단위의 음수가 아닌 초수입니다. 이 필드는 기간의 나노초 부분이며 초의 대안이 아닙니다. 음수의 초수 값에는 시간에 반영되는 음수가 아닌 나노초 값이 있어야 합니다. 0~999,999,999(포함) 사이여야 합니다.

AggregatedMetrics

JSON 표현 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
필드
metricsByAppVersion[]

object (MetricsByAppVersion)

출력 전용입니다. 앱 버전 ID별로 그룹화된 집계 측정항목입니다.

MetricsByAppVersion

JSON 표현 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
필드
appVersionId

string

출력 전용입니다. 앱 버전 ID입니다.
toolMetrics[]

object (ToolMetrics)

출력 전용입니다. 이 앱 버전 내 각 도구의 측정항목입니다.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

출력 전용입니다. 이 앱 버전 내의 의미 유사성 측정항목입니다.
hallucinationMetrics[]

object (HallucinationMetrics)

출력 전용입니다. 이 앱 버전 내의 환각에 대한 측정항목입니다.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

출력 전용입니다. 이 앱 버전 내의 도구 호출 지연 시간 측정항목입니다.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

출력 전용입니다. 이 앱 버전 내의 턴 지연 시간 측정항목입니다.
passCount

integer

출력 전용입니다. 평가를 통과한 횟수입니다.
failCount

integer

출력 전용입니다. 평가에 실패한 횟수입니다.
metricsByTurn[]

object (MetricsByTurn)

출력 전용입니다. 이 앱 버전 내에서 턴별로 집계된 측정항목입니다.

ToolMetrics

JSON 표현 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
필드
tool

string

출력 전용입니다. 도구의 이름입니다.
passCount

integer

출력 전용입니다. 도구가 통과한 횟수입니다.
failCount

integer

출력 전용입니다. 도구가 실패한 횟수입니다.

SemanticSimilarityMetrics

JSON 표현 
{
  "score": number
}
필드
score

number

출력 전용입니다. 평균 시맨틱 유사성 점수 (0~4)입니다.

HallucinationMetrics

JSON 표현 
{
  "score": number
}
필드
score

number

출력 전용입니다. 평균 환각 점수 (0~1)입니다.

ToolCallLatencyMetrics

JSON 표현 
{
  "tool": string,
  "averageLatency": string
}
필드
tool

string

출력 전용입니다. 도구의 이름입니다.
averageLatency

string (Duration format)

출력 전용입니다. 도구 호출의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

기간

JSON 표현 
{
  "seconds": string,
  "nanos": integer
}
필드
seconds

string (int64 format)

시간 범위의 부호가 있는 초입니다. -315,576,000,000~+315,576,000,000(포함) 사이여야 합니다. 참고: 이 범위는 60초/분 * 60분/시간 * 24시간/일 * 365.25일/년 * 10,000년에서 계산됩니다.
nanos

integer

시간 범위의 나노초 단위의 부호가 있는 초수입니다. 1초 미만의 기간은 0 seconds 필드와 양수 또는 음수 nanos 필드로 표현됩니다. 1초 이상의 기간의 경우 nanos 필드의 0이 아닌 값은 seconds 필드와 부호가 같아야 합니다. 값은 -999,999,999~+999,999,999(끝값 포함)이어야 합니다.

TurnLatencyMetrics

JSON 표현 
{
  "averageLatency": string
}
필드
averageLatency

string (Duration format)

출력 전용입니다. 턴의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

MetricsByTurn

JSON 표현 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
필드
turnIndex

integer

출력 전용입니다. 턴 색인 (0부터 시작)입니다.
toolMetrics[]

object (ToolMetrics)

출력 전용입니다. 이 턴 내 각 도구의 측정항목입니다.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

출력 전용입니다. 이 턴 내의 의미 유사성 측정항목입니다.
hallucinationMetrics[]

object (HallucinationMetrics)

출력 전용입니다. 이 턴 내의 환각에 대한 측정항목입니다.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

출력 전용입니다. 이 턴 내의 도구 호출 지연 시간 측정항목입니다.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

출력 전용입니다. 이 턴 내의 턴 지연 시간 측정항목입니다.

도구 주석

파괴적 힌트: ❌ | 동일한 힌트: ❌ | 읽기 전용 힌트: ❌ | 오픈 월드 힌트: ❌