MCP Tools Reference: ces.googleapis.com

도구: list_evaluation_runs

평가 실행을 나열합니다.

다음 샘플은 curl를 사용하여 list_evaluation_runs MCP 도구를 호출하는 방법을 보여줍니다.

curl 요청 
                  
curl --location 'https://ces.[REGION].rep.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "list_evaluation_runs",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

입력 스키마

EvaluationService.ListEvaluationRuns에 대한 요청 메시지입니다.

ListEvaluationRunsRequest

JSON 표현 
{
  "parent": string,
  "pageSize": integer,
  "pageToken": string,
  "filter": string,
  "orderBy": string
}
필드
parent

string

필수 항목입니다. 평가 실행을 나열할 앱의 리소스 이름입니다.
pageSize

integer

선택사항입니다. 요청한 페이지 크기입니다. 서버에서 요청한 것보다 적은 항목을 반환할 수 있습니다. 지정하지 않으면 서버에서 적절한 기본값을 선택합니다.
pageToken

string

선택사항입니다. 이전 목록 EvaluationService.ListEvaluationRuns 호출에서 반환된 next_page_token 값입니다.
filter

string

선택사항입니다. 평가 실행을 나열할 때 적용할 필터입니다. 자세한 내용은 https://google.aip.dev/160을 참조하세요.
orderBy

string

선택사항입니다. 정렬할 필드입니다. 'name', 'create_time', 'update_time'만 지원됩니다. 시간 필드는 내림차순으로 정렬되고 이름 필드는 오름차순으로 정렬됩니다. 포함되지 않은 경우 'update_time'이 기본값입니다. 자세한 내용은 https://google.aip.dev/132#ordering을 참조하세요.

출력 스키마

EvaluationService.ListEvaluationRuns의 응답 메시지입니다.

ListEvaluationRunsResponse

JSON 표현 
{
  "evaluationRuns": [
    {
      object (EvaluationRun)
    }
  ],
  "nextPageToken": string
}
필드
evaluationRuns[]

object (EvaluationRun)

평가 실행 목록입니다.
nextPageToken

string

다음 페이지를 검색하기 위해 ListEvaluationRunsRequest.page_token으로 전송할 수 있는 토큰입니다. 이 필드가 없으면 후속 페이지가 없음을 나타냅니다.

EvaluationRun

JSON 표현 
{
  "name": string,
  "displayName": string,
  "evaluationResults": [
    string
  ],
  "createTime": string,
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "evaluations": [
    string
  ],
  "evaluationDataset": string,
  "evaluationType": enum (EvaluationType),
  "state": enum (EvaluationRunState),
  "progress": {
    object (Progress)
  },
  "config": {
    object (EvaluationConfig)
  },
  "error": {
    object (Status)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "evaluationRunSummaries": {
    string: {
      object (EvaluationRunSummary)
    },
    ...
  },
  "latencyReport": {
    object (LatencyReport)
  },
  "runCount": integer,
  "personaRunConfigs": [
    {
      object (PersonaRunConfig)
    }
  ],
  "optimizationConfig": {
    object (OptimizationConfig)
  },
  "scheduledEvaluationRun": string,
  "goldenRunMethod": enum (GoldenRunMethod)
}
필드
name

string

식별자. 평가 실행의 고유 식별자입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
displayName

string

선택사항입니다. 평가 실행의 사용자 정의 표시 이름입니다. 기본값: ' run - '
evaluationResults[]

string

출력 전용입니다. 이 실행에 포함된 평가 결과입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
createTime

string (Timestamp format)

출력 전용입니다. 평가 실행이 생성된 타임스탬프입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
initiatedBy

string

출력 전용입니다. 평가 실행을 시작한 사용자입니다.
appVersion

string

출력 전용입니다. 평가할 앱 버전입니다. 형식: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

출력 전용입니다. 평가가 실행된 app_version의 표시 이름입니다.
changelog

string

출력 전용입니다. 평가가 실행된 앱 버전의 변경사항입니다. 사용자가 최신/초안에서 평가를 실행하는 경우 채워집니다.
changelogCreateTime

string (Timestamp format)

출력 전용입니다. 평가가 실행된 앱 버전의 변경사항 로그 생성 시간입니다. 사용자가 최신/초안에서 평가를 실행하는 경우 채워집니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
evaluations[]

string

출력 전용입니다. 이 실행에 포함된 평가입니다. 목록에는 두 유형 중 하나의 평가가 포함될 수 있습니다. 이 필드는 evaluation_dataset과 상호 배타적입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
evaluationDataset

string

출력 전용입니다. 이 실행과 연결된 평가 데이터 세트입니다. 이 필드는 evaluations과 상호 배타적입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
evaluationType

enum (EvaluationType)

출력 전용입니다. 이 실행의 평가 유형입니다.
state

enum (EvaluationRunState)

출력 전용입니다. 평가 실행의 상태입니다.
progress

object (Progress)

출력 전용입니다. 평가 실행의 진행 상황입니다.
config

object (EvaluationConfig)

출력 전용입니다. 실행에 사용된 구성입니다.
error
(deprecated)

object (Status)

출력 전용입니다. 지원 중단됨: 대신 error_info를 사용하세요. 실행 중에 오류가 발생했습니다.
errorInfo

object (EvaluationErrorInfo)

출력 전용입니다. 평가 실행의 오류 정보입니다.
evaluationRunSummaries

map (key: string, value: object (EvaluationRunSummary))

출력 전용입니다. 평가 이름에서 EvaluationRunSummary로 매핑되는 맵입니다.

"key": value 쌍 목록을 포함하는 객체입니다. 예: { "name": "wrench", "mass": "1.3kg", "count": "3" }
latencyReport

object (LatencyReport)

출력 전용입니다. 평가 실행의 지연 시간 보고서입니다.
runCount

integer

출력 전용입니다. 실행 내 평가가 실행된 횟수입니다.
personaRunConfigs[]

object (PersonaRunConfig)

출력 전용입니다. 페르소나별 실행에 사용할 구성입니다.
optimizationConfig

object (OptimizationConfig)

선택사항입니다. 평가 실행 후 최적화 단계를 실행하기 위한 구성입니다. 설정하지 않으면 최적화 단계가 실행되지 않습니다.
scheduledEvaluationRun

string

출력 전용입니다. 이 평가 실행을 만든 예약된 평가 실행 리소스 이름입니다. 이 필드는 평가 실행이 예약된 평가 실행에 의해 생성된 경우에만 설정됩니다. 형식: projects/{project}/locations/{location}/apps/{app}/scheduledEvaluationRuns/{scheduled_evaluation_run}
goldenRunMethod

enum (GoldenRunMethod)

출력 전용입니다. 평가를 실행하는 데 사용된 방법입니다.

타임스탬프

JSON 표현 
{
  "seconds": string,
  "nanos": integer
}
필드
seconds

string (int64 format)

Unix epoch 1970-01-01T00:00:00Z 이후 UTC 시간의 초 단위로 표현합니다. -62135596800~253402300799 (0001-01-01T00:00:00Z~9999-12-31T23:59:59Z에 해당) 사이여야 합니다.
nanos

integer

나노초 단위의 음수가 아닌 초수입니다. 이 필드는 기간의 나노초 부분이며 초의 대안이 아닙니다. 음수의 초수 값에는 시간에 반영되는 음수가 아닌 나노초 값이 있어야 합니다. 0~999,999,999(포함) 사이여야 합니다.

진행률

JSON 표현 
{
  "totalCount": integer,
  "failedCount": integer,
  "errorCount": integer,
  "completedCount": integer,
  "passedCount": integer
}
필드
totalCount

integer

출력 전용입니다. 이 실행의 총 평가 결과 수입니다.
failedCount

integer

출력 전용입니다. 결과가 FAIL인 완료된 평가 결과의 수입니다. (EvaluationResult.execution_state가 COMPLETED이고 EvaluationResult.evaluation_status가 FAIL인 경우)
errorCount

integer

출력 전용입니다. 실행에 실패한 평가 결과의 수입니다. (EvaluationResult.execution_state가 ERROR임)
completedCount

integer

출력 전용입니다. 성공적으로 완료된 평가 결과의 수입니다. (EvaluationResult.execution_state가 COMPLETED임)
passedCount

integer

출력 전용입니다. 결과가 통과인 완료된 평가 결과의 수입니다. (EvaluationResult.execution_state가 COMPLETED이고 EvaluationResult.evaluation_status가 PASS인 경우)

EvaluationConfig

JSON 표현 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
필드
inputAudioConfig
(deprecated)

object (InputAudioConfig)

선택사항입니다. 입력 오디오 처리 구성입니다.
outputAudioConfig
(deprecated)

object (OutputAudioConfig)

선택사항입니다. 출력 오디오를 생성하기 위한 구성입니다.
evaluationChannel

enum (EvaluationChannel)

선택사항입니다. 평가할 채널입니다.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

선택사항입니다. 평가에서 실제 도구 호출을 사용할지 아니면 가짜 도구를 사용할지 지정합니다.

InputAudioConfig

JSON 표현 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
필드
audioEncoding

enum (AudioEncoding)

필수 항목입니다. 입력 오디오 데이터의 인코딩입니다.
sampleRateHertz

integer

필수 항목입니다. 입력 오디오 데이터의 샘플링 레이트 (Hz)입니다.
noiseSuppressionLevel

string

선택사항입니다. 입력 오디오에서 주변 소음 제거를 사용 설정할지 여부입니다. 사용 가능한 값은 'low', 'moderate', 'high', 'very_high'입니다.

OutputAudioConfig

JSON 표현 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
필드
audioEncoding

enum (AudioEncoding)

필수 항목입니다. 출력 오디오 데이터의 인코딩입니다.
sampleRateHertz

integer

필수 항목입니다. 출력 오디오 데이터의 샘플링 레이트 (Hz)입니다.

상태

JSON 표현 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
필드
code

integer

상태 코드로, google.rpc.Code의 열거형 값이어야 합니다.
message

string

개발자에게 정보를 제공하는 오류 메시지로, 영어로 작성되어야 합니다. 사용자에게 표시되는 모든 오류 메시지는 현지화되어 google.rpc.Status.details 필드에 전송되거나, 클라이언트 측에서 현지화되어야 합니다.
details[]

object

오류 세부정보를 설명하는 메시지 목록입니다. API에서 사용할 일반적인 메시지 유형 집합이 있습니다.

임의 유형의 필드를 포함하는 객체입니다. 추가 필드 "@type"은 유형을 식별하는 URI를 포함합니다. 예: { "id": 1234, "@type": "types.example.com/standard/id" }

모두

JSON 표현 
{
  "typeUrl": string,
  "value": string
}
필드
typeUrl

string

슬래시로 끝나는 접두사와 정규화된 유형 이름으로 구성된 URI 참조를 사용하여 직렬화된 Protobuf 메시지의 유형을 식별합니다.

예: type.googleapis.com/google.protobuf.StringValue

이 문자열에는 / 문자가 하나 이상 포함되어야 하며, 마지막 / 뒤의 콘텐츠는 선행 점이 없는 표준 형식의 유형의 정규화된 이름이어야 합니다. 클라이언트가 연락을 시도하지 않도록 이러한 URI 참조에 스킴을 작성하지 마세요.

접두사는 임의적이며 Protobuf 구현은 유형을 식별하기 위해 마지막 /까지 포함한 모든 것을 삭제해야 합니다. type.googleapis.com/는 일부 기존 구현에 필요한 일반적인 기본 접두사입니다. 이 접두사는 유형의 출처를 나타내지 않으며, 이 접두사가 포함된 URI는 요청에 응답하지 않습니다.

모든 유형 URL 문자열은 참조의 콘텐츠가 영숫자, 퍼센트 인코딩된 이스케이프, 다음 집합의 문자 (외부 백틱 제외)로만 구성되어야 한다는 추가 제한사항 (텍스트 형식의 경우)이 있는 합법적인 URI 참조여야 합니다. /-.~_!$&()*+,;= Google에서는 퍼센트 인코딩을 허용하지만 기존 파서와의 혼동을 방지하기 위해 구현에서 퍼센트 인코딩을 이스케이프 해제해서는 안 됩니다. 예를 들어 type.googleapis.com%2FFoo는 거부되어야 합니다.

Any의 원래 설계에서는 이러한 유형 URL에서 유형 확인 서비스를 실행할 가능성이 고려되었지만 Protobuf는 이를 구현한 적이 없으며 이러한 URL에 연결하는 것을 문제이자 잠재적인 보안 문제로 간주합니다. 연락처 유형 URL을 시도하지 마세요.
value

string (bytes format)

type_url로 설명된 유형의 Protobuf 직렬화를 보유합니다.

base64 인코딩 문자열입니다.

EvaluationErrorInfo

JSON 표현 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string
}
필드
errorType

enum (ErrorType)

출력 전용입니다. 오류 유형입니다.
errorMessage

string

출력 전용입니다. 오류 메시지.
sessionId

string

출력 전용입니다. 오류를 일으킨 대화의 세션 ID입니다.

EvaluationRunSummariesEntry

JSON 표현 
{
  "key": string,
  "value": {
    object (EvaluationRunSummary)
  }
}
필드
key

string
value

object (EvaluationRunSummary)

EvaluationRunSummary

JSON 표현 
{
  "passedCount": integer,
  "failedCount": integer,
  "errorCount": integer
}
필드
passedCount

integer

출력 전용입니다. 이 실행에서 연결된 평가의 통과된 결과 수입니다.
failedCount

integer

출력 전용입니다. 이 실행에서 연결된 평가의 실패한 결과 수입니다.
errorCount

integer

출력 전용입니다. 이 실행에서 연결된 평가의 오류 결과 수입니다.

LatencyReport

JSON 표현 
{
  "toolLatencies": [
    {
      object (ToolLatency)
    }
  ],
  "callbackLatencies": [
    {
      object (CallbackLatency)
    }
  ],
  "guardrailLatencies": [
    {
      object (GuardrailLatency)
    }
  ],
  "llmCallLatencies": [
    {
      object (LlmCallLatency)
    }
  ],
  "sessionCount": integer
}
필드
toolLatencies[]

object (ToolLatency)

출력 전용입니다. 순서가 지정되지 않은 목록 각 도구의 지연 시간 측정항목
callbackLatencies[]

object (CallbackLatency)

출력 전용입니다. 순서가 지정되지 않은 목록 각 콜백의 지연 시간 측정항목입니다.
guardrailLatencies[]

object (GuardrailLatency)

출력 전용입니다. 순서가 지정되지 않은 목록 각 가드레일의 지연 시간 측정항목입니다.
llmCallLatencies[]

object (LlmCallLatency)

출력 전용입니다. 순서가 지정되지 않은 목록 각 LLM 호출의 지연 시간 측정항목입니다.
sessionCount

integer

출력 전용입니다. 지연 시간 보고서에서 고려된 총 세션 수입니다.

ToolLatency

JSON 표현 
{
  "toolDisplayName": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
필드
toolDisplayName

string

출력 전용입니다. 도구의 표시 이름입니다.
latencyMetrics

object (LatencyMetrics)

출력 전용입니다. 도구의 지연 시간 측정항목입니다.
통합 필드 tool_identifier. 도구의 식별자입니다. tool_identifier은 다음 중 하나여야 합니다.
tool

string

출력 전용입니다. 형식은 projects/{project}/locations/{location}/apps/{app}/tools/{tool}입니다.
toolsetTool

object (ToolsetTool)

출력 전용입니다. 툴셋 도구 식별자입니다.

ToolsetTool

JSON 표현 
{
  "toolset": string,
  "toolId": string
}
필드
toolset

string

필수 항목입니다. 이 도구가 파생된 도구 세트의 리소스 이름입니다. 형식: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

선택사항입니다. 스키마를 가져올 도구를 필터링할 도구 ID입니다.

LatencyMetrics

JSON 표현 
{
  "p50Latency": string,
  "p90Latency": string,
  "p99Latency": string,
  "callCount": integer
}
필드
p50Latency

string (Duration format)

출력 전용입니다. 50번째 백분위수 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.
p90Latency

string (Duration format)

출력 전용입니다. 90번째 백분위수 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.
p99Latency

string (Duration format)

출력 전용입니다. 99번째 백분위수 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.
callCount

integer

출력 전용입니다. 리소스가 호출된 횟수입니다.

기간

JSON 표현 
{
  "seconds": string,
  "nanos": integer
}
필드
seconds

string (int64 format)

시간 범위의 부호가 있는 초입니다. -315,576,000,000~+315,576,000,000(포함) 사이여야 합니다. 참고: 이 범위는 60초/분 * 60분/시간 * 24시간/일 * 365.25일/년 * 10,000년에서 계산됩니다.
nanos

integer

시간 범위의 나노초 단위의 부호가 있는 초수입니다. 1초 미만의 기간은 0 seconds 필드와 양수 또는 음수 nanos 필드로 표현됩니다. 1초 이상의 기간의 경우 nanos 필드의 0이 아닌 값은 seconds 필드와 부호가 같아야 합니다. 값은 -999,999,999~+999,999,999(끝값 포함)이어야 합니다.

CallbackLatency

JSON 표현 
{
  "stage": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  }
}
필드
stage

string

출력 전용입니다. 콜백의 단계입니다.
latencyMetrics

object (LatencyMetrics)

출력 전용입니다. 콜백의 지연 시간 측정항목입니다.

GuardrailLatency

JSON 표현 
{
  "guardrail": string,
  "guardrailDisplayName": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  }
}
필드
guardrail

string

출력 전용입니다. 가드레일의 이름입니다. 형식은 projects/{project}/locations/{location}/apps/{app}/guardrails/{guardrail}입니다.
guardrailDisplayName

string

출력 전용입니다. 가이드라인의 표시 이름입니다.
latencyMetrics

object (LatencyMetrics)

출력 전용입니다. 가드레일의 지연 시간 측정항목입니다.

LlmCallLatency

JSON 표현 
{
  "model": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  }
}
필드
model

string

출력 전용입니다. 모델의 이름입니다.
latencyMetrics

object (LatencyMetrics)

출력 전용입니다. LLM 호출의 지연 시간 측정항목입니다.

PersonaRunConfig

JSON 표현 
{
  "persona": string,
  "taskCount": integer
}
필드
persona

string

선택사항입니다. 평가에 사용할 페르소나입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
taskCount

integer

선택사항입니다. 페르소나에 대해 실행할 작업 수입니다.

OptimizationConfig

JSON 표현 
{
  "generateLossReport": boolean,
  "assistantSession": string,
  "reportSummary": string,
  "shouldSuggestFix": boolean,
  "status": enum (OptimizationStatus),
  "errorMessage": string,
  "lossReport": {
    object
  }
}
필드
generateLossReport

boolean

선택사항입니다. 손실 보고서를 생성할지 여부입니다.
assistantSession

string

출력 전용입니다. 이 평가 실행을 기반으로 최적화에 사용할 어시스턴트 세션입니다. 형식: projects/{project}/locations/{location}/apps/{app}/assistantSessions/{assistantSession}
reportSummary

string

출력 전용입니다. 손실 신고의 요약입니다.
shouldSuggestFix

boolean

출력 전용입니다. 손실에 대한 수정 사항을 제안할지 여부입니다.
status

enum (OptimizationStatus)

출력 전용입니다. 최적화 실행의 상태입니다.
errorMessage

string

출력 전용입니다. 최적화 실행이 실패한 경우의 오류 메시지입니다.
lossReport

object (Struct format)

출력 전용입니다. 생성된 손실 보고서입니다.

구조체

JSON 표현 
{
  "fields": {
    string: value,
    ...
  }
}
필드
fields

map (key: string, value: value (Value format))

동적으로 입력된 값의 순서가 지정되지 않은 맵입니다.

"key": value 쌍 목록을 포함하는 객체입니다. 예: { "name": "wrench", "mass": "1.3kg", "count": "3" }

FieldsEntry

JSON 표현 
{
  "key": string,
  "value": value
}
필드
key

string
value

value (Value format)

값

JSON 표현 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
필드
통합 필드 kind. 값의 종류입니다. kind은 다음 중 하나여야 합니다.
nullValue

null

null 값을 나타냅니다.
numberValue

number

double 값을 나타냅니다.
stringValue

string

문자열 값을 나타냅니다.
boolValue

boolean

불리언 값을 나타냅니다.
structValue

object (Struct format)

구조화된 값을 나타냅니다.
listValue

array (ListValue format)

반복되는 Value을 나타냅니다.

ListValue

JSON 표현 
{
  "values": [
    value
  ]
}
필드
values[]

value (Value format)

동적으로 입력된 값의 반복 필드입니다.

도구 주석

파괴적 힌트: ❌ | 동일한 힌트: ✅ | 읽기 전용 힌트: ✅ | 오픈 월드 힌트: ❌