MCP Tools Reference: ces.googleapis.com

도구: `update_evaluation`

지정된 평가를 업데이트합니다. 항상 입력에 업데이트 마스크를 전달해야 합니다.

다음 샘플은 curl를 사용하여 update_evaluation MCP 도구를 호출하는 방법을 보여줍니다.

curl 요청
curl --location 'https://ces.[REGION].rep.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "update_evaluation", "arguments": { // provide these details according to the tool's MCP specification } }, "jsonrpc": "2.0", "id": 1 }'

curl 요청

                  
curl --location 'https://ces.[REGION].rep.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "update_evaluation",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

입력 스키마

EvaluationService.UpdateEvaluation에 대한 요청 메시지입니다.

UpdateEvaluationRequest

JSON 표현
{ "evaluation": { object (`Evaluation`) }, "updateMask": string }

필드

필드
`evaluation`	`object (Evaluation)` 필수 항목입니다. 업데이트할 평가입니다.
`updateMask`	`string (FieldMask format)` 선택사항입니다. 필드 마스크는 업데이트되는 필드를 제어하는 데 사용됩니다. 마스크가 없으면 모든 필드가 업데이트됩니다. 정규화된 필드 이름의 쉼표로 구분된 목록입니다. 예: `"user.displayName,photo"`

evaluation

object (Evaluation)

필수 항목입니다. 업데이트할 평가입니다.

updateMask

string (FieldMask format)

선택사항입니다. 필드 마스크는 업데이트되는 필드를 제어하는 데 사용됩니다. 마스크가 없으면 모든 필드가 업데이트됩니다.

정규화된 필드 이름의 쉼표로 구분된 목록입니다. 예: "user.displayName,photo"

평가

JSON 표현

JSON 표현
{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object (`AggregatedMetrics`) }, "lastCompletedResult": { object (`EvaluationResult`) }, "invalid": boolean, "lastTenResults": [ { object (`EvaluationResult`) } ], // Union field `inputs` can be only one of the following: "golden": { object (`Golden`) }, "scenario": { object (`Scenario`) } // End of list of possible types for union field `inputs`. }

{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}

필드
`name`	`string` 식별자. 이 평가의 고유 식별자입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}`
`displayName`	`string` 필수 항목입니다. 평가의 사용자 정의 표시 이름입니다. 앱 내에서 고유합니다.
`description`	`string` 선택사항입니다. 평가에 대한 사용자 정의 설명입니다.
`tags[]`	`string` 선택사항입니다. 평가를 분류하는 사용자 정의 태그입니다.
`evaluationDatasets[]`	`string` 출력 전용입니다. 평가가 속한 평가 데이터 세트 목록입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}`
`createTime`	`string (Timestamp format)` 출력 전용입니다. 평가가 생성된 타임스탬프입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`createdBy`	`string` 출력 전용입니다. 평가를 만든 사용자입니다.
`updateTime`	`string (Timestamp format)` 출력 전용입니다. 평가가 마지막으로 업데이트된 타임스탬프입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`lastUpdatedBy`	`string` 출력 전용입니다. 평가를 마지막으로 업데이트한 사용자입니다.
`evaluationRuns[]`	`string` 출력 전용입니다. 이 평가와 연결된 EvaluationRun입니다.
`etag`	`string` 출력 전용입니다. 읽기-수정-쓰기 작업 중에 객체가 변경되지 않았는지 확인하는 데 사용되는 Etag입니다. etag가 비어 있으면 업데이트가 동시에 발생한 변경사항을 덮어씁니다.
`aggregatedMetrics`	`object (AggregatedMetrics)` 출력 전용입니다. 모든 실행에서 이 평가에 대해 집계된 측정항목입니다.
`lastCompletedResult`	`object (EvaluationResult)` 출력 전용입니다. 이 평가의 최신 평가 결과입니다.
`invalid`	`boolean` 출력 전용입니다. 평가가 유효하지 않은지 여부입니다. 이는 평가에서 삭제된 도구, 도구 모음 또는 에이전트를 참조하는 경우에 발생할 수 있습니다.
`lastTenResults[]`	`object (EvaluationResult)` 출력 전용입니다. 이 평가의 마지막 10개 평가 결과입니다. 이는 ListEvaluationsRequest 또는 GetEvaluationRequest에서 include_last_ten_results가 true로 설정된 경우에만 채워집니다.
통합 필드 `inputs`. 평가 `inputs`의 입력은 다음 중 하나여야 합니다.
`golden`	`object (Golden)` 선택사항입니다. 평가할 골든 단계입니다.
`scenario`	`object (Scenario)` 선택사항입니다. 시나리오의 구성입니다.

골드

JSON 표현
{ "turns": [ { object (`GoldenTurn`) } ], "evaluationExpectations": [ string ] }

필드

필드
`turns[]`	`object (GoldenTurn)` 필수 항목입니다. 골든 대화를 재생하는 데 필요한 골든 턴입니다.
`evaluationExpectations[]`	`string` 선택사항입니다. 리플레이된 대화를 평가할 평가 기대치입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}`

turns[]

object (GoldenTurn)

필수 항목입니다. 골든 대화를 재생하는 데 필요한 골든 턴입니다.

evaluationExpectations[]

string

선택사항입니다. 리플레이된 대화를 평가할 평가 기대치입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

JSON 표현
{ "steps": [ { object (`Step`) } ], "rootSpan": { object (`Span`) } }

필드

필드
`steps[]`	`object (Step)` 필수 항목입니다. 골든 대화를 다시 재생하는 데 필요한 단계입니다.
`rootSpan`	`object (Span)` 선택사항입니다. 오디오 정보를 처리하고 유지관리하기 위한 골든 턴의 루트 스팬입니다.

steps[]

object (Step)

필수 항목입니다. 골든 대화를 다시 재생하는 데 필요한 단계입니다.

rootSpan

object (Span)

선택사항입니다. 오디오 정보를 처리하고 유지관리하기 위한 골든 턴의 루트 스팬입니다.

단계

JSON 표현

JSON 표현
{ // Union field `step` can be only one of the following: "userInput": { object (`SessionInput`) }, "agentTransfer": { object (`AgentTransfer`) }, "expectation": { object (`GoldenExpectation`) } // End of list of possible types for union field `step`. }

{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}

필드
통합 필드 `step`. 실행할 단계입니다. `step`은 다음 중 하나여야 합니다.
`userInput`	`object (SessionInput)` 선택사항입니다. 대화에 대한 사용자 입력입니다.
`agentTransfer`	`object (AgentTransfer)` 선택사항입니다. 대화를 다른 상담사에게 트랜스퍼합니다.
`expectation`	`object (GoldenExpectation)` 선택사항입니다. 현재 턴에서 기대치를 실행합니다.

SessionInput

JSON 표현

JSON 표현
{ "willContinue": boolean, // Union field `input_type` can be only one of the following: "text": string, "dtmf": string, "audio": string, "toolResponses": { object (`ToolResponses`) }, "image": { object (`Image`) }, "blob": { object (`Blob`) }, "variables": { object }, "event": { object (`Event`) } // End of list of possible types for union field `input_type`. }

{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}

필드
`willContinue`	`boolean` 선택사항입니다. 현재 메시지가 양방향 스트리밍 세션에서 더 큰 입력의 프래그먼트인지 나타내는 플래그입니다. `true`로 설정하면 에이전트는 `will_continue`이 `false`인 후속 메시지를 수신할 때까지 또는 시스템이 오디오 입력에서 엔드포인트를 감지할 때까지 처리를 지연합니다. 참고: 이 필드는 오디오 및 DTMF 입력에는 적용되지 않습니다. 엔드포인팅 신호에 따라 항상 자동으로 처리되기 때문입니다.
통합 필드 `input_type`. 입력의 유형입니다. `input_type`은 다음 중 하나여야 합니다.
`text`	`string` 선택사항입니다. 최종 사용자의 텍스트 데이터입니다.
`dtmf`	`string` 선택사항입니다. 최종 사용자의 DTMF 숫자입니다.
`audio`	`string (bytes format)` 선택사항입니다. 최종 사용자의 오디오 데이터입니다. base64 인코딩 문자열입니다.
`toolResponses`	`object (ToolResponses)` 선택사항입니다. 클라이언트의 도구 호출 실행 결과입니다.
`image`	`object (Image)` 선택사항입니다. 최종 사용자의 이미지 데이터입니다.
`blob`	`object (Blob)` 선택사항입니다. 최종 사용자의 BLOB 데이터입니다.
`variables`	`object (Struct format)` 선택사항입니다. 세션의 컨텍스트 변수입니다. 이름으로 키가 지정됩니다. 앱에서 선언된 변수만 CES 에이전트에서 사용됩니다. 인식되지 않는 변수는 [Dialogflow 에이전트][Agent.RemoteDialogflowAgent] 에 추가 세션 매개변수로 계속 전송됩니다.
`event`	`object (Event)` 선택사항입니다. 이벤트 입력입니다.

ToolResponses

JSON 표현
{ "toolResponses": [ { object (`ToolResponse`) } ] }

필드

필드
`toolResponses[]`	`object (ToolResponse)` 선택사항입니다. 도구 실행 결과 목록입니다.

toolResponses[]

object (ToolResponse)

선택사항입니다. 도구 실행 결과 목록입니다.

ToolResponse

JSON 표현

JSON 표현
{ "id": string, "displayName": string, "response": { object }, // Union field `tool_identifier` can be only one of the following: "tool": string, "toolsetTool": { object (`ToolsetTool`) } // End of list of possible types for union field `tool_identifier`. }

{
  "id": string,
  "displayName": string,
  "response": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}

필드
`id`	`string` 선택사항입니다. 응답이 속한 `tool call`의 일치하는 ID입니다.
`displayName`	`string` 출력 전용입니다. 도구의 표시 이름입니다.
`response`	`object (Struct format)` 필수 항목입니다. JSON 객체 형식의 도구 실행 결과입니다. 'output' 키를 사용하여 도구 응답을 지정하고 'error' 키를 사용하여 오류 세부정보를 지정합니다 (있는 경우). 'output' 및 'error' 키가 지정되지 않은 경우 전체 'response'가 도구 실행 결과로 처리됩니다.
통합 필드 `tool_identifier`. 실행된 도구의 식별자입니다. 지속형 도구 또는 도구 세트의 도구일 수 있습니다. `tool_identifier`은 다음 중 하나여야 합니다.
`tool`	`string` 선택사항입니다. 실행할 도구의 이름입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/tools/{tool}`
`toolsetTool`	`object (ToolsetTool)` 선택사항입니다. 실행된 도구 세트 도구입니다.

ToolsetTool

JSON 표현
{ "toolset": string, "toolId": string }

필드

필드
`toolset`	`string` 필수 항목입니다. 이 도구가 파생된 도구 세트의 리소스 이름입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}`
`toolId`	`string` 선택사항입니다. 스키마를 가져올 도구를 필터링할 도구 ID입니다.

toolset

string

필수 항목입니다. 이 도구가 파생된 도구 세트의 리소스 이름입니다. 형식: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}

toolId

string

선택사항입니다. 스키마를 가져올 도구를 필터링할 도구 ID입니다.

구조체

JSON 표현
{ "fields": { string: value, ... } }

필드

필드
`fields`	`map (key: string, value: value (Value format))` 동적으로 입력된 값의 순서가 지정되지 않은 맵입니다. `"key": value` 쌍 목록을 포함하는 객체입니다. 예: `{ "name": "wrench", "mass": "1.3kg", "count": "3" }`

fields

map (key: string, value: value (Value format))

동적으로 입력된 값의 순서가 지정되지 않은 맵입니다.

"key": value 쌍 목록을 포함하는 객체입니다. 예: { "name": "wrench", "mass": "1.3kg", "count": "3" }

FieldsEntry

JSON 표현
{ "key": string, "value": value }

필드
`key`	`string`
`value`	`value (Value format)`

값

JSON 표현

JSON 표현
{ // Union field `kind` can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field `kind`. }

{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}

필드
통합 필드 `kind`. 값의 종류입니다. `kind`은 다음 중 하나여야 합니다.
`nullValue`	`null` null 값을 나타냅니다.
`numberValue`	`number` double 값을 나타냅니다.
`stringValue`	`string` 문자열 값을 나타냅니다.
`boolValue`	`boolean` 불리언 값을 나타냅니다.
`structValue`	`object (Struct format)` 구조화된 값을 나타냅니다.
`listValue`	`array (ListValue format)` 반복되는 `Value`을 나타냅니다.

ListValue

JSON 표현
{ "values": [ value ] }

필드

필드
`values[]`	`value (Value format)` 동적으로 입력된 값의 반복 필드입니다.

values[]

value (Value format)

동적으로 입력된 값의 반복 필드입니다.

이미지

JSON 표현
{ "mimeType": string, "data": string }

필드

필드
`mimeType`	`string` 필수 항목입니다. 소스 데이터의 IANA 표준 MIME 유형입니다. 지원되는 이미지 유형은 다음과 같습니다. * image/png * image/jpeg * image/webp
`data`	`string (bytes format)` 필수 항목입니다. 이미지의 원시 바이트입니다. base64 인코딩 문자열입니다.

mimeType

string

필수 항목입니다. 소스 데이터의 IANA 표준 MIME 유형입니다. 지원되는 이미지 유형은 다음과 같습니다. * image/png * image/jpeg * image/webp

data

string (bytes format)

필수 항목입니다. 이미지의 원시 바이트입니다.

base64 인코딩 문자열입니다.

blob

JSON 표현
{ "mimeType": string, "data": string }

필드

필드
`mimeType`	`string` 필수 항목입니다. 소스 데이터의 IANA 표준 MIME 유형입니다.
`data`	`string (bytes format)` 필수 항목입니다. blob의 원시 바이트입니다. base64 인코딩 문자열입니다.

mimeType

string

필수 항목입니다. 소스 데이터의 IANA 표준 MIME 유형입니다.

data

string (bytes format)

필수 항목입니다. blob의 원시 바이트입니다.

base64 인코딩 문자열입니다.

이벤트

JSON 표현
{ "event": string }

필드

필드
`event`	`string` 필수 항목입니다. 이벤트 이름입니다.

event

string

필수 항목입니다. 이벤트 이름입니다.

AgentTransfer

JSON 표현
{ "targetAgent": string, "displayName": string }

필드

필드
`targetAgent`	`string` 필수 항목입니다. 대화가 트랜스퍼되는 상담사입니다. 이 시점부터 상담사가 대화를 처리합니다. 형식: `projects/{project}/locations/{location}/apps/{app}/agents/{agent}`
`displayName`	`string` 출력 전용입니다. 에이전트의 표시 이름입니다.

targetAgent

string

필수 항목입니다. 대화가 트랜스퍼되는 상담사입니다. 이 시점부터 상담사가 대화를 처리합니다. 형식: projects/{project}/locations/{location}/apps/{app}/agents/{agent}

displayName

string

출력 전용입니다. 에이전트의 표시 이름입니다.

GoldenExpectation

JSON 표현

JSON 표현
{ "note": string, // Union field `condition` can be only one of the following: "toolCall": { object (`ToolCall`) }, "toolResponse": { object (`ToolResponse`) }, "agentResponse": { object (`Message`) }, "agentTransfer": { object (`AgentTransfer`) }, "updatedVariables": { object }, "mockToolResponse": { object (`ToolResponse`) } // End of list of possible types for union field `condition`. }

{
  "note": string,

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
  // End of list of possible types for union field condition.
}

필드
`note`	`string` 선택사항입니다. 특정 검사가 실패할 때 보고에 유용한 이 요구사항에 대한 참고사항입니다. 예: "Check_Payment_Tool_Called".
통합 필드 `condition`. 실제로 실행할 검사입니다. `condition`은 다음 중 하나여야 합니다.
`toolCall`	`object (ToolCall)` 선택사항입니다. 특정 도구가 매개변수와 함께 호출되었는지 확인합니다.
`toolResponse`	`object (ToolResponse)` 선택사항입니다. 특정 도구에 예상된 응답이 있는지 확인합니다.
`agentResponse`	`object (Message)` 선택사항입니다. 상담사가 올바른 대답으로 응답했는지 확인합니다. '상담사' 역할이 암시됩니다.
`agentTransfer`	`object (AgentTransfer)` 선택사항입니다. 상담사가 대화를 다른 상담사에게 트랜스퍼했는지 확인합니다.
`updatedVariables`	`object (Struct format)` 선택사항입니다. 상담사가 세션 변수를 예상 값으로 업데이트했는지 확인합니다. 골든 평가를 위해 에이전트 변수 업데이트를 캡처하는 데도 사용됩니다.
`mockToolResponse`	`object (ToolResponse)` 선택사항입니다. 관심 있는 매개변수가 지정된 모의 도구 응답입니다. 지정되지 않은 매개변수는 LLM에 의해 환각됩니다.

ToolCall

JSON 표현

JSON 표현
{ "id": string, "displayName": string, "args": { object }, // Union field `tool_identifier` can be only one of the following: "tool": string, "toolsetTool": { object (`ToolsetTool`) } // End of list of possible types for union field `tool_identifier`. }

{
  "id": string,
  "displayName": string,
  "args": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}

필드
`id`	`string` 선택사항입니다. 도구 호출의 고유 식별자입니다. 채워진 경우 클라이언트는 `ToolResponse`에서 일치하는 ID로 실행 결과를 반환해야 합니다.
`displayName`	`string` 출력 전용입니다. 도구의 표시 이름입니다.
`args`	`object (Struct format)` 선택사항입니다. JSON 객체 형식의 도구 입력 매개변수와 값입니다.
통합 필드 `tool_identifier`. 실행할 도구의 식별자입니다. 지속형 도구 또는 도구 세트의 도구일 수 있습니다. `tool_identifier`은 다음 중 하나여야 합니다.
`tool`	`string` 선택사항입니다. 실행할 도구의 이름입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/tools/{tool}`
`toolsetTool`	`object (ToolsetTool)` 선택사항입니다. 실행할 도구 세트 도구입니다.

메시지

JSON 표현
{ "role": string, "chunks": [ { object (`Chunk`) } ], "eventTime": string }

필드

필드
`role`	`string` 선택사항입니다. 대화 내 역할(예: 사용자, 에이전트)입니다.
`chunks[]`	`object (Chunk)` 선택사항입니다. 메시지의 콘텐츠(일련의 청크).
`eventTime`	`string (Timestamp format)` 선택사항입니다. 메일이 전송 또는 수신된 시점의 타임스탬프입니다. 메시지가 `example`의 일부인 경우에는 사용하면 안 됩니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.

role

string

선택사항입니다. 대화 내 역할(예: 사용자, 에이전트)입니다.

chunks[]

object (Chunk)

선택사항입니다. 메시지의 콘텐츠(일련의 청크).

eventTime

string (Timestamp format)

선택사항입니다. 메일이 전송 또는 수신된 시점의 타임스탬프입니다. 메시지가 example의 일부인 경우에는 사용하면 안 됩니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.

Chunk

JSON 표현

JSON 표현
{ // Union field `data` can be only one of the following: "text": string, "transcript": string, "blob": { object (`Blob`) }, "payload": { object }, "image": { object (`Image`) }, "toolCall": { object (`ToolCall`) }, "toolResponse": { object (`ToolResponse`) }, "agentTransfer": { object (`AgentTransfer`) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field `data`. }

{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}

필드
통합 필드 `data`. 청크 데이터입니다. `data`은 다음 중 하나여야 합니다.
`text`	`string` 선택사항입니다. 텍스트 데이터.
`transcript`	`string` 선택사항입니다. 오디오와 연결된 스크립트입니다.
`blob`	`object (Blob)` 선택사항입니다. BLOB 데이터입니다.
`payload`	`object (Struct format)` 선택사항입니다. 맞춤 페이로드 데이터입니다.
`image`	`object (Image)` 선택사항입니다. 이미지 데이터입니다.
`toolCall`	`object (ToolCall)` 선택사항입니다. 도구 실행 요청입니다.
`toolResponse`	`object (ToolResponse)` 선택사항입니다. 도구 실행 응답입니다.
`agentTransfer`	`object (AgentTransfer)` 선택사항입니다. 상담사 트랜스퍼 이벤트입니다.
`updatedVariables`	`object (Struct format)` 구조체는 변수 이름으로 키가 지정된 대화에서 업데이트된 변수를 나타냅니다.
`defaultVariables`	`object (Struct format)` 구조체는 대화 시작 시 기본 변수를 나타내며 변수 이름으로 키가 지정됩니다.

타임스탬프

JSON 표현
{ "seconds": string, "nanos": integer }

필드

필드
`seconds`	`string (int64 format)` Unix epoch 1970-01-01T00:00:00Z 이후 UTC 시간의 초 단위로 표현합니다. -62135596800~253402300799 (0001-01-01T00:00:00Z~9999-12-31T23:59:59Z에 해당) 사이여야 합니다.
`nanos`	`integer` 나노초 단위의 음수가 아닌 초수입니다. 이 필드는 기간의 나노초 부분이며 초의 대안이 아닙니다. 음수의 초수 값에는 시간에 반영되는 음수가 아닌 나노초 값이 있어야 합니다. 0~999,999,999(포함) 사이여야 합니다.

seconds

string (int64 format)

Unix epoch 1970-01-01T00:00:00Z 이후 UTC 시간의 초 단위로 표현합니다. -62135596800~253402300799 (0001-01-01T00:00:00Z~9999-12-31T23:59:59Z에 해당) 사이여야 합니다.

nanos

integer

나노초 단위의 음수가 아닌 초수입니다. 이 필드는 기간의 나노초 부분이며 초의 대안이 아닙니다. 음수의 초수 값에는 시간에 반영되는 음수가 아닌 나노초 값이 있어야 합니다. 0~999,999,999(포함) 사이여야 합니다.

스팬

JSON 표현
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (`Span`) } ] }

필드
`name`	`string` 출력 전용입니다. 스팬의 이름입니다.
`startTime`	`string (Timestamp format)` 출력 전용입니다. 스팬의 시작 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`endTime`	`string (Timestamp format)` 출력 전용입니다. 스팬의 종료 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`duration`	`string (Duration format)` 출력 전용입니다. 스팬의 지속 시간입니다. 소수점 아래가 최대 9자리까지이고 '`s`'로 끝나는 초 단위 기간입니다. 예를 들면 `"3.5s"`입니다.
`attributes`	`object (Struct format)` 출력 전용입니다. 스팬과 연결된 키-값 속성입니다.
`childSpans[]`	`object (Span)` 출력 전용입니다. 이 스팬 아래에 중첩된 하위 스팬입니다.

기간

JSON 표현
{ "seconds": string, "nanos": integer }

필드

필드
`seconds`	`string (int64 format)` 시간 범위의 부호가 있는 초입니다. -315,576,000,000~+315,576,000,000(포함) 사이여야 합니다. 참고: 이 범위는 60초/분 * 60분/시간 * 24시간/일 * 365.25일/년 * 10,000년에서 계산됩니다.
`nanos`	`integer` 시간 범위의 나노초 단위의 부호가 있는 초수입니다. 1초 미만의 기간은 0 `seconds` 필드와 양수 또는 음수 `nanos` 필드로 표현됩니다. 1초 이상의 기간의 경우 `nanos` 필드의 0이 아닌 값은 `seconds` 필드와 부호가 같아야 합니다. 값은 -999,999,999~+999,999,999(끝값 포함)이어야 합니다.

seconds

string (int64 format)

시간 범위의 부호가 있는 초입니다. -315,576,000,000~+315,576,000,000(포함) 사이여야 합니다. 참고: 이 범위는 60초/분 * 60분/시간 * 24시간/일 * 365.25일/년 * 10,000년에서 계산됩니다.

nanos

integer

시간 범위의 나노초 단위의 부호가 있는 초수입니다. 1초 미만의 기간은 0 seconds 필드와 양수 또는 음수 nanos 필드로 표현됩니다. 1초 이상의 기간의 경우 nanos 필드의 0이 아닌 값은 seconds 필드와 부호가 같아야 합니다. 값은 -999,999,999~+999,999,999(끝값 포함)이어야 합니다.

시나리오

JSON 표현

JSON 표현
{ "task": string, "userFacts": [ { object (`UserFact`) } ], "maxTurns": integer, "rubrics": [ string ], "scenarioExpectations": [ { object (`ScenarioExpectation`) } ], "variableOverrides": { object }, "taskCompletionBehavior": enum (`TaskCompletionBehavior`), "userGoalBehavior": enum (`UserGoalBehavior`), "evaluationExpectations": [ string ] }

{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ]
}

필드
`task`	`string` 필수 항목입니다. 시나리오에서 타겟팅할 작업입니다.
`userFacts[]`	`object (UserFact)` 선택사항입니다. 시나리오에서 사용할 사용자 사실입니다.
`maxTurns`	`integer` 선택사항입니다. 시뮬레이션할 최대 턴 수입니다. 지정하지 않으면 작업이 완료될 때까지 시뮬레이션이 계속됩니다.
`rubrics[]`	`string` 필수 항목입니다. 시나리오를 평가할 기준표입니다.
`scenarioExpectations[]`	`object (ScenarioExpectation)` 필수 항목입니다. 사용자 시뮬레이션에서 생성된 대화를 평가하는 ScenarioExpectations입니다.
`variableOverrides`	`object (Struct format)` 선택사항입니다. 변수 이름으로 키가 지정된 세션의 컨텍스트로 사용되는 변수 / 세션 매개변수입니다. 이 구조체의 멤버는 시스템에서 설정한 기본값을 재정의합니다. 이는 사용자에게 알려진 사실인 사용자 사실과는 다릅니다. 변수는 상담사에게 알려진 매개변수입니다. 즉, 전화 통신 시스템에서 전달된 MDN (전화번호)입니다.
`taskCompletionBehavior (deprecated)`	`enum (TaskCompletionBehavior)` 이 항목은 지원 중단되었습니다. 선택사항입니다. 지원 중단되었습니다. 대신 user_goal_behavior를 사용하세요.
`userGoalBehavior`	`enum (UserGoalBehavior)` 선택사항입니다. 사용자 목표의 예상 동작입니다.
`evaluationExpectations[]`	`string` 선택사항입니다. 시뮬레이션에서 생성된 대화를 평가할 평가 기대치입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}`

UserFact

JSON 표현
{ "name": string, "value": string }

필드

name

string

필수 항목입니다. 사용자 사실의 이름입니다.

value

string

필수 항목입니다. 사용자 사실의 값입니다.

ScenarioExpectation

JSON 표현

{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}

필드

통합 필드 expectation. 시뮬레이션에서 생성된 대화를 평가해야 합니다. expectation은 다음 중 하나여야 합니다.

toolExpectation

object (ToolExpectation)

선택사항입니다. 평가할 도구 호출 및 응답 쌍입니다.

agentResponse

object (Message)

선택사항입니다. 평가할 에이전트 응답입니다.

ToolExpectation

JSON 표현
{ "expectedToolCall": { object (`ToolCall`) }, "mockToolResponse": { object (`ToolResponse`) } }

필드

expectedToolCall

object (ToolCall)

필수 항목입니다. 관심 있는 매개변수가 지정된 예상 도구 호출입니다. 지정되지 않은 매개변수는 LLM에 의해 환각됩니다.

mockToolResponse

object (ToolResponse)

필수 항목입니다. 관심 있는 매개변수가 지정된 모의 도구 응답입니다. 지정되지 않은 매개변수는 LLM에 의해 환각됩니다.

AggregatedMetrics

JSON 표현
{ "metricsByAppVersion": [ { object (`MetricsByAppVersion`) } ] }

필드

metricsByAppVersion[]

object (MetricsByAppVersion)

출력 전용입니다. 앱 버전 ID별로 그룹화된 집계 측정항목입니다.

MetricsByAppVersion

JSON 표현

{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}

필드
`appVersionId`	`string` 출력 전용입니다. 앱 버전 ID입니다.
`toolMetrics[]`	`object (ToolMetrics)` 출력 전용입니다. 이 앱 버전 내 각 도구의 측정항목입니다.
`semanticSimilarityMetrics[]`	`object (SemanticSimilarityMetrics)` 출력 전용입니다. 이 앱 버전 내의 의미 유사성 측정항목입니다.
`hallucinationMetrics[]`	`object (HallucinationMetrics)` 출력 전용입니다. 이 앱 버전 내의 환각에 대한 측정항목입니다.
`toolCallLatencyMetrics[]`	`object (ToolCallLatencyMetrics)` 출력 전용입니다. 이 앱 버전 내의 도구 호출 지연 시간 측정항목입니다.
`turnLatencyMetrics[]`	`object (TurnLatencyMetrics)` 출력 전용입니다. 이 앱 버전 내의 턴 지연 시간 측정항목입니다.
`passCount`	`integer` 출력 전용입니다. 평가를 통과한 횟수입니다.
`failCount`	`integer` 출력 전용입니다. 평가에 실패한 횟수입니다.
`metricsByTurn[]`	`object (MetricsByTurn)` 출력 전용입니다. 이 앱 버전 내에서 턴별로 집계된 측정항목입니다.

ToolMetrics

JSON 표현
{ "tool": string, "passCount": integer, "failCount": integer }

필드

tool

string

출력 전용입니다. 도구의 이름입니다.

passCount

integer

출력 전용입니다. 도구가 통과한 횟수입니다.

failCount

integer

출력 전용입니다. 도구가 실패한 횟수입니다.

SemanticSimilarityMetrics

JSON 표현
{ "score": number }

필드

score

number

출력 전용입니다. 평균 시맨틱 유사성 점수 (0~4)입니다.

HallucinationMetrics

JSON 표현
{ "score": number }

필드

score

number

출력 전용입니다. 평균 환각 점수 (0~1)입니다.

ToolCallLatencyMetrics

JSON 표현
{ "tool": string, "averageLatency": string }

필드

tool

string

출력 전용입니다. 도구의 이름입니다.

averageLatency

string (Duration format)

출력 전용입니다. 도구 호출의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

TurnLatencyMetrics

JSON 표현
{ "averageLatency": string }

필드

averageLatency

string (Duration format)

출력 전용입니다. 턴의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

MetricsByTurn

JSON 표현

{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}

필드
`turnIndex`	`integer` 출력 전용입니다. 턴 색인 (0부터 시작)입니다.
`toolMetrics[]`	`object (ToolMetrics)` 출력 전용입니다. 이 턴 내 각 도구의 측정항목입니다.
`semanticSimilarityMetrics[]`	`object (SemanticSimilarityMetrics)` 출력 전용입니다. 이 턴 내의 의미 유사성 측정항목입니다.
`hallucinationMetrics[]`	`object (HallucinationMetrics)` 출력 전용입니다. 이 턴 내의 환각에 대한 측정항목입니다.
`toolCallLatencyMetrics[]`	`object (ToolCallLatencyMetrics)` 출력 전용입니다. 이 턴 내의 도구 호출 지연 시간 측정항목입니다.
`turnLatencyMetrics[]`	`object (TurnLatencyMetrics)` 출력 전용입니다. 이 턴 내의 턴 지연 시간 측정항목입니다.

EvaluationResult

JSON 표현

{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}

필드
`name`	`string` 식별자. 평가 결과의 고유 식별자입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}`
`displayName`	`string` 필수 항목입니다. 평가 결과의 표시 이름입니다. 평가 내에서 고유합니다. 기본적으로 형식은 ' 결과 - '입니다.
`createTime`	`string (Timestamp format)` 출력 전용입니다. 평가 결과가 생성된 타임스탬프입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`evaluationStatus`	`enum (Outcome)` 출력 전용입니다. 평가 결과입니다. execution_state가 COMPLETE인 경우에만 채워집니다.
`evaluationRun`	`string` 출력 전용입니다. 이 결과를 생성한 평가 실행입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}`
`persona`	`object (EvaluationPersona)` 출력 전용입니다. 평가 결과를 위한 대화를 생성하는 데 사용된 페르소나입니다.
`errorInfo`	`object (EvaluationErrorInfo)` 출력 전용입니다. 평가 결과의 오류 정보입니다.
`error (deprecated)`	`object (Status)` 이 항목은 지원 중단되었습니다. 출력 전용입니다. 지원 중단됨: 대신 `error_info`을 사용하세요. 실행 중에 오류가 발생했습니다.
`initiatedBy`	`string` 출력 전용입니다. 이 결과를 초래한 평가 실행을 시작한 사용자입니다.
`appVersion`	`string` 출력 전용입니다. 이 결과를 생성한 대화에 사용된 앱 버전입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/versions/{version}`
`appVersionDisplayName`	`string` 출력 전용입니다. 평가가 실행된 `app_version`의 표시 이름입니다.
`changelog`	`string` 출력 전용입니다. 평가가 실행된 앱 버전의 변경사항입니다. 사용자가 최신/초안에서 평가를 실행하는 경우 채워집니다.
`changelogCreateTime`	`string (Timestamp format)` 출력 전용입니다. 평가가 실행된 앱 버전의 변경사항 로그 생성 시간입니다. 사용자가 최신/초안에서 평가를 실행하는 경우 채워집니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`executionState`	`enum (ExecutionState)` 출력 전용입니다. 평가 결과 실행 상태입니다.
`evaluationMetricsThresholds`	`object (EvaluationMetricsThresholds)` 출력 전용입니다. 결과의 평가 기준입니다.
`config`	`object (EvaluationConfig)` 출력 전용입니다. 이 결과를 생성한 평가 실행에 사용된 구성입니다.
`goldenRunMethod`	`enum (GoldenRunMethod)` 출력 전용입니다. 골든 평가를 실행하는 데 사용된 방법입니다.
통합 필드 `result`. 평가 결과입니다. execution_state가 COMPLETED인 경우에만 채워집니다. `result`은 다음 중 하나여야 합니다.
`goldenResult`	`object (GoldenResult)` 출력 전용입니다. 골든 평가의 결과입니다.
`scenarioResult`	`object (ScenarioResult)` 출력 전용입니다. 시나리오 평가 결과입니다.

GoldenResult

JSON 표현
{ "turnReplayResults": [ { object (`TurnReplayResult`) } ], "evaluationExpectationResults": [ { object (`EvaluationExpectationResult`) } ] }

필드

turnReplayResults[]

object (TurnReplayResult)

출력 전용입니다. 골든 대화의 각 차례를 실행한 결과입니다.

evaluationExpectationResults[]

object (EvaluationExpectationResult)

출력 전용입니다. 평가 기대치의 결과입니다.

TurnReplayResult

JSON 표현

{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}

필드
`conversation`	`string` 출력 전용입니다. 이 턴에 대해 생성된 대화입니다.
`expectationOutcome[]`	`object (GoldenExpectationOutcome)` 출력 전용입니다. 각 기대치의 결과입니다.
`hallucinationResult`	`object (HallucinationResult)` 출력 전용입니다. 과장된 표현 확인 결과입니다.
`toolInvocationScore (deprecated)`	`number` 이 항목은 지원 중단되었습니다. 출력 전용입니다. 지원 중단되었습니다. 대신 OverallToolInvocationResult를 사용하세요.
`turnLatency`	`string (Duration format)` 출력 전용입니다. 턴의 지속 시간입니다. 소수점 아래가 최대 9자리까지이고 '`s`'로 끝나는 초 단위 기간입니다. 예를 들면 `"3.5s"`입니다.
`toolCallLatencies[]`	`object (ToolCallLatency)` 출력 전용입니다. 턴의 각 도구 호출의 지연 시간입니다.
`semanticSimilarityResult`	`object (SemanticSimilarityResult)` 출력 전용입니다. 시맨틱 유사성 확인 결과입니다.
`overallToolInvocationResult`	`object (OverallToolInvocationResult)` 출력 전용입니다. 전체 도구 호출 확인 결과입니다.
`errorInfo`	`object (EvaluationErrorInfo)` 출력 전용입니다. 이 턴 중에 발생한 오류에 관한 정보입니다.
`spanLatencies[]`	`object (SpanLatency)` 출력 전용입니다. 턴의 스팬 지연 시간입니다.
통합 필드 `_tool_ordered_invocation_score`. `_tool_ordered_invocation_score`는 다음 중 하나여야 합니다.
`toolOrderedInvocationScore`	`number` 출력 전용입니다. 이 턴의 전체 도구 호출 점수입니다. 예상 턴에서 실제로 호출된 도구의 전체 비율을 예상 순서대로 나타냅니다.

GoldenExpectationOutcome

JSON 표현

{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  }
  // End of list of possible types for union field result.
}

필드
`expectation`	`object (GoldenExpectation)` 출력 전용입니다. 평가된 기대치입니다.
`outcome`	`enum (Outcome)` 출력 전용입니다. 기대의 결과입니다.
`semanticSimilarityResult (deprecated)`	`object (SemanticSimilarityResult)` 이 항목은 지원 중단되었습니다. 출력 전용입니다. 시맨틱 유사성 확인 결과입니다.
`toolInvocationResult`	`object (ToolInvocationResult)` 출력 전용입니다. 도구 호출 확인 결과입니다.
통합 필드 `result`. 기대의 결과입니다. `result`은 다음 중 하나여야 합니다.
`observedToolCall`	`object (ToolCall)` 출력 전용입니다. 도구 호출 기대치의 결과입니다.
`observedToolResponse`	`object (ToolResponse)` 출력 전용입니다. 도구 응답 기대치의 결과입니다.
`observedAgentResponse`	`object (Message)` 출력 전용입니다. 에이전트 응답 기대치의 결과입니다.
`observedAgentTransfer`	`object (AgentTransfer)` 출력 전용입니다. 상담사 트랜스퍼 기대치의 결과입니다.

SemanticSimilarityResult

JSON 표현

{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}

필드
`label`	`string` 출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 4: 완전히 일관됨 점수 3: 대부분 일관됨 점수 2: 부분적으로 일관됨 (사소한 누락) 점수 1: 대부분 일관되지 않음 (심각한 누락) 점수 0: 완전히 일관되지 않음 / 모순됨
`explanation`	`string` 출력 전용입니다. 의미 유사도 점수에 대한 설명입니다.
`outcome`	`enum (Outcome)` 출력 전용입니다. 시맨틱 유사성 확인 결과입니다. 이는 점수를 semantic_similarity_success_threshold와 비교하여 결정됩니다. 점수가 기준점 이상이면 결과는 '합격'입니다. 그렇지 않으면 결과는 FAIL입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`integer` 출력 전용입니다. 의미론적 유사성 점수입니다. 0, 1, 2, 3, 4일 수 있습니다.

ToolInvocationResult

JSON 표현

{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}

필드
`outcome`	`enum (Outcome)` 출력 전용입니다. 도구 호출 확인 결과입니다. 이는 parameter_correctness_score를 기준과 비교하여 결정됩니다. 점수가 기준점 이상이면 결과는 '합격'입니다. 그렇지 않으면 결과는 FAIL입니다.
`explanation`	`string` 출력 전용입니다. 도구 호출 결과에 대한 자유 텍스트 설명입니다.
통합 필드 `_parameter_correctness_score`. `_parameter_correctness_score`는 다음 중 하나여야 합니다.
`parameterCorrectnessScore`	`number` 출력 전용입니다. 도구 호출 파라미터 정확성 점수입니다. 이는 예상 도구 호출의 파라미터 중 실제 도구 호출에도 있는 파라미터의 비율을 나타냅니다.

HallucinationResult

JSON 표현
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

필드
`label`	`string` 출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 1: 근거 있음 점수 0: 근거 없음 점수 -1: 평가할 클레임 없음
`explanation`	`string` 출력 전용입니다. 환각 점수에 대한 설명입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`integer` 출력 전용입니다. 할루시네이션 점수입니다. -1, 0, 1일 수 있습니다.

ToolCallLatency

JSON 표현
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

필드
`tool`	`string` 출력 전용입니다. 실행된 도구의 이름입니다. 형식은 `projects/{project}/locations/{location}/apps/{app}/tools/{tool}`입니다.
`displayName`	`string` 출력 전용입니다. 도구의 표시 이름입니다.
`startTime`	`string (Timestamp format)` 출력 전용입니다. 도구 호출 실행의 시작 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`endTime`	`string (Timestamp format)` 출력 전용입니다. 도구 호출 실행의 종료 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`executionLatency`	`string (Duration format)` 출력 전용입니다. 도구 호출 실행의 지연 시간입니다. 소수점 아래가 최대 9자리까지이고 '`s`'로 끝나는 초 단위 기간입니다. 예를 들면 `"3.5s"`입니다.

OverallToolInvocationResult

JSON 표현

{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}

필드

outcome

enum (Outcome)

출력 전용입니다. 도구 호출 확인 결과입니다. 이는 tool_invocation_score를 overall_tool_invocation_correctness_threshold와 비교하여 결정됩니다. 점수가 기준점 이상이면 결과는 '합격'입니다. 그렇지 않으면 결과는 FAIL입니다.

통합 필드 _tool_invocation_score.

_tool_invocation_score는 다음 중 하나여야 합니다.

toolInvocationScore

number

이 턴의 전체 도구 호출 점수입니다. 이는 예상된 턴에서 실제로 호출된 도구의 전체 비율을 나타냅니다.

EvaluationErrorInfo

JSON 표현
{ "errorType": enum (`ErrorType`), "errorMessage": string, "sessionId": string }

필드

errorType

enum (ErrorType)

출력 전용입니다. 오류 유형입니다.

errorMessage

string

출력 전용입니다. 오류 메시지.

sessionId

string

출력 전용입니다. 오류를 일으킨 대화의 세션 ID입니다.

SpanLatency

JSON 표현

{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}

필드
`type`	`enum (Type)` 출력 전용입니다. 스팬 유형입니다.
`displayName`	`string` 출력 전용입니다. 스팬의 표시 이름입니다. 도구 및 가드레일 범위에 적용됩니다.
`startTime`	`string (Timestamp format)` 출력 전용입니다. 스팬의 시작 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`endTime`	`string (Timestamp format)` 출력 전용입니다. 스팬의 종료 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`executionLatency`	`string (Duration format)` 출력 전용입니다. 스팬의 지연 시간입니다. 소수점 아래가 최대 9자리까지이고 '`s`'로 끝나는 초 단위 기간입니다. 예를 들면 `"3.5s"`입니다.
통합 필드 `identifier`. 유형에 따른 특정 항목의 식별자입니다. `identifier`은 다음 중 하나여야 합니다.
`resource`	`string` 출력 전용입니다. 가드레일 또는 도구 스팬의 리소스 이름입니다.
`toolset`	`object (ToolsetTool)` 출력 전용입니다. 툴셋 도구 식별자입니다.
`model`	`string` 출력 전용입니다. LLM 스팬의 이름입니다.
`callback`	`string` 출력 전용입니다. 사용자 콜백 스팬의 이름입니다.

EvaluationExpectationResult

JSON 표현
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (`Outcome`), "explanation": string }

필드
`evaluationExpectation`	`string` 출력 전용입니다. 평가 기대치입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}`
`prompt`	`string` 출력 전용입니다. 평가에 사용된 프롬프트입니다.
`outcome`	`enum (Outcome)` 출력 전용입니다. 평가 기대치의 결과입니다.
`explanation`	`string` 출력 전용입니다. 결과에 대한 설명입니다.

ScenarioResult

JSON 표현

{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}

필드

conversation

string

출력 전용입니다. 시나리오에서 생성된 대화입니다.

task

string

출력 전용입니다. 이 결과의 시나리오를 실행할 때 사용된 작업입니다.

userFacts[]

object (UserFact)

출력 전용입니다. 이 결과에 대한 시나리오에서 사용된 사용자 사실입니다.

expectationOutcomes[]

object (ScenarioExpectationOutcome)

출력 전용입니다. 각 기대치의 결과입니다.

rubricOutcomes[]

object (ScenarioRubricOutcome)

출력 전용입니다. 루브릭의 결과입니다.

hallucinationResult[]

object (HallucinationResult)

출력 전용입니다. 과장된 표현 확인 결과입니다. 대화의 각 턴에 대해 하나의 그릇된 정보 결과가 표시됩니다.

taskCompletionResult
(deprecated)

object (TaskCompletionResult)

출력 전용입니다. 작업 완료 확인 결과입니다.

toolCallLatencies[]

object (ToolCallLatency)

출력 전용입니다. 대화에서 각 도구 호출 실행의 지연 시간입니다.

userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

출력 전용입니다. 사용자 목표 만족도 확인 결과입니다.

spanLatencies[]

object (SpanLatency)

출력 전용입니다. 대화의 스팬 지연 시간입니다.

evaluationExpectationResults[]

object (EvaluationExpectationResult)

출력 전용입니다. 평가 기대치의 결과입니다.

통합 필드 _all_expectations_satisfied.

_all_expectations_satisfied는 다음 중 하나여야 합니다.

allExpectationsSatisfied

boolean

출력 전용입니다. 이 턴에 대한 모든 기대치가 충족되었는지 여부입니다.

통합 필드 _task_completed.

_task_completed는 다음 중 하나여야 합니다.

taskCompleted

boolean

출력 전용입니다. 이 턴에서 작업이 완료되었는지 여부입니다. 이는 충족된 모든 기대치, 환각 없음, 사용자 목표 만족도의 복합입니다.

ScenarioExpectationOutcome

JSON 표현

{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}

필드
`expectation`	`object (ScenarioExpectation)` 출력 전용입니다. 평가된 기대치입니다.
`outcome`	`enum (Outcome)` 출력 전용입니다. ScenarioExpectation의 결과입니다.
통합 필드 `result`. 기대의 결과입니다. `result`은 다음 중 하나여야 합니다.
`observedToolCall`	`object (ObservedToolCall)` 출력 전용입니다. 관찰된 도구 호출입니다.
`observedAgentResponse`	`object (Message)` 출력 전용입니다. 관찰된 에이전트 응답입니다.

ObservedToolCall

JSON 표현
{ "toolCall": { object (`ToolCall`) }, "toolResponse": { object (`ToolResponse`) } }

필드

toolCall

object (ToolCall)

출력 전용입니다. 관찰된 도구 호출입니다.

toolResponse

object (ToolResponse)

출력 전용입니다. 관찰된 도구 응답입니다.

ScenarioRubricOutcome

JSON 표현
{ "rubric": string, "scoreExplanation": string, // Union field `_score` can be only one of the following: "score": number // End of list of possible types for union field `_score`. }

필드
`rubric`	`string` 출력 전용입니다. 대화를 평가하는 데 사용된 루브릭입니다.
`scoreExplanation`	`string` 출력 전용입니다. 평가자의 루브릭에 대한 응답입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`number` 출력 전용입니다. 기준표에 따른 대화 점수입니다.

TaskCompletionResult

JSON 표현
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

필드
`label`	`string` 출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 1: 작업 완료 점수 0: 작업 미완료 점수 -1: 사용자 목표 미정의
`explanation`	`string` 출력 전용입니다. 작업 완료 점수에 대한 설명입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`integer` 출력 전용입니다. 작업 완료 점수입니다. -1, 0, 1일 수 있습니다.

UserGoalSatisfactionResult

JSON 표현
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

필드
`label`	`string` 출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 1: 사용자 작업 만족 점수 0: 사용자 작업 불만족 점수 -1: 사용자 작업 미지정
`explanation`	`string` 출력 전용입니다. 사용자 작업 만족도 점수에 대한 설명입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`integer` 출력 전용입니다. 사용자 작업 만족도 점수입니다. -1, 0, 1일 수 있습니다.

EvaluationPersona

JSON 표현
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (`SpeechConfig`) } }

필드
`name`	`string` 필수 항목입니다. 페르소나의 고유 식별자입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}`
`description`	`string` 선택사항입니다. 페르소나에 대한 설명입니다.
`displayName`	`string` 필수 항목입니다. 페르소나의 표시 이름입니다. 앱 내에서 고유합니다.
`personality`	`string` 필수 항목입니다. 평가에서 에이전트가 어떻게 행동해야 하는지에 관한 안내입니다.
`speechConfig`	`object (SpeechConfig)` 선택사항입니다. 페르소나의 소리 (TTS 설정)에 관한 구성입니다.

SpeechConfig

JSON 표현
{ "speakingRate": number, "environment": enum (`BackgroundEnvironment`), "voiceId": string }

필드

speakingRate

number

선택사항입니다. 말하기 속도입니다. 1.0이 정상입니다. 낮은 값은 속도가 느립니다 (예: 0.8)일수록 속도가 빠릅니다 (예: 1.5). 상담사가 빠른 속도로 말하는 고객을 어떻게 처리하는지 테스트하는 데 유용합니다.

environment

enum (BackgroundEnvironment)

선택사항입니다. 시뮬레이션된 오디오 환경입니다.

voiceId

string

선택사항입니다. 사용할 특정 음성 식별자/억양입니다. 예: 'en-US-Wavenet-D' 또는 'en-GB-Standard-A'

상태

JSON 표현
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

필드

code

integer

상태 코드로, google.rpc.Code의 열거형 값이어야 합니다.

message

string

개발자에게 정보를 제공하는 오류 메시지로, 영어로 작성되어야 합니다. 사용자에게 표시되는 모든 오류 메시지는 현지화되어 google.rpc.Status.details 필드에 전송되거나, 클라이언트 측에서 현지화되어야 합니다.

details[]

object

오류 세부정보를 설명하는 메시지 목록입니다. API에서 사용할 일반적인 메시지 유형 집합이 있습니다.

임의 유형의 필드를 포함하는 객체입니다. 추가 필드 "@type"은 유형을 식별하는 URI를 포함합니다. 예: { "id": 1234, "@type": "types.example.com/standard/id" }

모두

JSON 표현
{ "typeUrl": string, "value": string }

필드

typeUrl

string

슬래시로 끝나는 접두사와 정규화된 유형 이름으로 구성된 URI 참조를 사용하여 직렬화된 Protobuf 메시지의 유형을 식별합니다.

예: type.googleapis.com/google.protobuf.StringValue

이 문자열에는 / 문자가 하나 이상 포함되어야 하며, 마지막 / 뒤의 콘텐츠는 선행 점이 없는 표준 형식의 유형의 정규화된 이름이어야 합니다. 클라이언트가 연락을 시도하지 않도록 이러한 URI 참조에 스킴을 작성하지 마세요.

접두사는 임의적이며 Protobuf 구현은 유형을 식별하기 위해 마지막 /까지 포함한 모든 것을 삭제해야 합니다. type.googleapis.com/는 일부 기존 구현에 필요한 일반적인 기본 접두사입니다. 이 접두사는 유형의 출처를 나타내지 않으며, 이 접두사가 포함된 URI는 요청에 응답하지 않습니다.

모든 유형 URL 문자열은 참조의 콘텐츠가 영숫자, 퍼센트 인코딩된 이스케이프, 다음 집합의 문자 (외부 백틱 제외)로만 구성되어야 한다는 추가 제한사항 (텍스트 형식의 경우)이 있는 합법적인 URI 참조여야 합니다. /-.~_!$&()*+,;= Google에서는 퍼센트 인코딩을 허용하지만 기존 파서와의 혼동을 방지하기 위해 구현에서 퍼센트 인코딩을 이스케이프 해제해서는 안 됩니다. 예를 들어 type.googleapis.com%2FFoo는 거부되어야 합니다.

Any의 원래 설계에서는 이러한 유형 URL에서 유형 확인 서비스를 실행할 가능성이 고려되었지만 Protobuf는 이를 구현한 적이 없으며 이러한 URL에 연결하는 것을 문제이자 잠재적인 보안 문제로 간주합니다. 연락처 유형 URL을 시도하지 마세요.

value

string (bytes format)

type_url로 설명된 유형의 Protobuf 직렬화를 보유합니다.

base64 인코딩 문자열입니다.

EvaluationMetricsThresholds

JSON 표현

{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}

필드
`goldenEvaluationMetricsThresholds`	`object (GoldenEvaluationMetricsThresholds)` 선택사항입니다. 핵심 평가 측정항목 기준입니다.
`hallucinationMetricBehavior (deprecated)`	`enum (HallucinationMetricBehavior)` 이 항목은 지원 중단되었습니다. 선택사항입니다. 지원 중단됨: 대신 `golden_hallucination_metric_behavior`을 사용하세요. 현재 골든 평가에는 허위 정보 측정항목 동작이 사용됩니다.
`goldenHallucinationMetricBehavior`	`enum (HallucinationMetricBehavior)` 선택사항입니다. 골든 평가의 허위 정보 측정항목 동작입니다.
`scenarioHallucinationMetricBehavior`	`enum (HallucinationMetricBehavior)` 선택사항입니다. 시나리오 평가의 허위 정보 측정항목 동작입니다.

GoldenEvaluationMetricsThresholds

JSON 표현

{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}

필드

turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

선택사항입니다. 턴 수준 측정항목 기준점입니다.

expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

선택사항입니다. 기대 수준 측정항목 기준점입니다.

toolMatchingSettings

object (ToolMatchingSettings)

선택사항입니다. 도구 매칭 설정입니다. 추가 도구 호출은 실행에 있지만 골든 기대치에 있는 도구 호출과 일치하지 않는 도구 호출입니다.

TurnLevelMetricsThresholds

JSON 표현

{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}

필드

semanticSimilarityChannel

enum (SemanticSimilarityChannel)

선택사항입니다. 평가에 사용할 시맨틱 유사성 채널입니다.

통합 필드 _semantic_similarity_success_threshold.

_semantic_similarity_success_threshold는 다음 중 하나여야 합니다.

semanticSimilaritySuccessThreshold

integer

선택사항입니다. 의미론적 유사성의 성공 기준입니다. 0에서 4 사이의 정수여야 합니다. 기본값은 3 이상입니다.

통합 필드 _overall_tool_invocation_correctness_threshold.

_overall_tool_invocation_correctness_threshold는 다음 중 하나여야 합니다.

overallToolInvocationCorrectnessThreshold

number

선택사항입니다. 전반적인 도구 호출 정확성의 성공 기준입니다. 0과 1 사이의 부동 소수점이어야 합니다. 기본값은 1.0입니다.

ExpectationLevelMetricsThresholds

JSON 표현

{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}

필드

통합 필드 _tool_invocation_parameter_correctness_threshold.

_tool_invocation_parameter_correctness_threshold는 다음 중 하나여야 합니다.

toolInvocationParameterCorrectnessThreshold

number

선택사항입니다. 개별 도구 호출 매개변수 정확성의 성공 기준입니다. 0과 1 사이의 부동 소수점이어야 합니다. 기본값은 1.0입니다.

ToolMatchingSettings

JSON 표현
{ "extraToolCallBehavior": enum (`ExtraToolCallBehavior`) }

필드

extraToolCallBehavior

enum (ExtraToolCallBehavior)

선택사항입니다. 추가 도구 호출의 동작입니다. 기본값은 FAIL입니다.

EvaluationConfig

JSON 표현

{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}

필드
`inputAudioConfig (deprecated)`	`object (InputAudioConfig)` 이 항목은 지원 중단되었습니다. 선택사항입니다. 입력 오디오 처리 구성입니다.
`outputAudioConfig (deprecated)`	`object (OutputAudioConfig)` 이 항목은 지원 중단되었습니다. 선택사항입니다. 출력 오디오를 생성하기 위한 구성입니다.
`evaluationChannel`	`enum (EvaluationChannel)` 선택사항입니다. 평가할 채널입니다.
`toolCallBehaviour`	`enum (EvaluationToolCallBehaviour)` 선택사항입니다. 평가에서 실제 도구 호출을 사용할지 아니면 가짜 도구를 사용할지 지정합니다.

InputAudioConfig

JSON 표현
{ "audioEncoding": enum (`AudioEncoding`), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

필드

audioEncoding

enum (AudioEncoding)

필수 항목입니다. 입력 오디오 데이터의 인코딩입니다.

sampleRateHertz

integer

필수 항목입니다. 입력 오디오 데이터의 샘플링 레이트 (Hz)입니다.

noiseSuppressionLevel

string

선택사항입니다. 입력 오디오에서 주변 소음 제거를 사용 설정할지 여부입니다. 사용 가능한 값은 'low', 'moderate', 'high', 'very_high'입니다.

OutputAudioConfig

JSON 표현
{ "audioEncoding": enum (`AudioEncoding`), "sampleRateHertz": integer }

필드

audioEncoding

enum (AudioEncoding)

필수 항목입니다. 출력 오디오 데이터의 인코딩입니다.

sampleRateHertz

integer

필수 항목입니다. 출력 오디오 데이터의 샘플링 레이트 (Hz)입니다.

FieldMask

JSON 표현
{ "paths": [ string ] }

필드

paths[]

string

필드 마스크 경로 집합입니다.

출력 스키마

평가에는 에이전트를 시뮬레이션하고 평가하는 데 필요한 모든 정보가 포함됩니다.

평가

JSON 표현

{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}

필드
`name`	`string` 식별자. 이 평가의 고유 식별자입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}`
`displayName`	`string` 필수 항목입니다. 평가의 사용자 정의 표시 이름입니다. 앱 내에서 고유합니다.
`description`	`string` 선택사항입니다. 평가에 대한 사용자 정의 설명입니다.
`tags[]`	`string` 선택사항입니다. 평가를 분류하는 사용자 정의 태그입니다.
`evaluationDatasets[]`	`string` 출력 전용입니다. 평가가 속한 평가 데이터 세트 목록입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}`
`createTime`	`string (Timestamp format)` 출력 전용입니다. 평가가 생성된 타임스탬프입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`createdBy`	`string` 출력 전용입니다. 평가를 만든 사용자입니다.
`updateTime`	`string (Timestamp format)` 출력 전용입니다. 평가가 마지막으로 업데이트된 타임스탬프입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`lastUpdatedBy`	`string` 출력 전용입니다. 평가를 마지막으로 업데이트한 사용자입니다.
`evaluationRuns[]`	`string` 출력 전용입니다. 이 평가와 연결된 EvaluationRun입니다.
`etag`	`string` 출력 전용입니다. 읽기-수정-쓰기 작업 중에 객체가 변경되지 않았는지 확인하는 데 사용되는 Etag입니다. etag가 비어 있으면 업데이트가 동시에 발생한 변경사항을 덮어씁니다.
`aggregatedMetrics`	`object (AggregatedMetrics)` 출력 전용입니다. 모든 실행에서 이 평가에 대해 집계된 측정항목입니다.
`lastCompletedResult`	`object (EvaluationResult)` 출력 전용입니다. 이 평가의 최신 평가 결과입니다.
`invalid`	`boolean` 출력 전용입니다. 평가가 유효하지 않은지 여부입니다. 이는 평가에서 삭제된 도구, 도구 모음 또는 에이전트를 참조하는 경우에 발생할 수 있습니다.
`lastTenResults[]`	`object (EvaluationResult)` 출력 전용입니다. 이 평가의 마지막 10개 평가 결과입니다. 이는 ListEvaluationsRequest 또는 GetEvaluationRequest에서 include_last_ten_results가 true로 설정된 경우에만 채워집니다.
통합 필드 `inputs`. 평가 `inputs`의 입력은 다음 중 하나여야 합니다.
`golden`	`object (Golden)` 선택사항입니다. 평가할 골든 단계입니다.
`scenario`	`object (Scenario)` 선택사항입니다. 시나리오의 구성입니다.

골드

JSON 표현
{ "turns": [ { object (`GoldenTurn`) } ], "evaluationExpectations": [ string ] }

필드

turns[]

object (GoldenTurn)

필수 항목입니다. 골든 대화를 재생하는 데 필요한 골든 턴입니다.

evaluationExpectations[]

string

선택사항입니다. 리플레이된 대화를 평가할 평가 기대치입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

JSON 표현
{ "steps": [ { object (`Step`) } ], "rootSpan": { object (`Span`) } }

필드

steps[]

object (Step)

필수 항목입니다. 골든 대화를 다시 재생하는 데 필요한 단계입니다.

rootSpan

object (Span)

선택사항입니다. 오디오 정보를 처리하고 유지관리하기 위한 골든 턴의 루트 스팬입니다.

단계

JSON 표현

{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}

필드
통합 필드 `step`. 실행할 단계입니다. `step`은 다음 중 하나여야 합니다.
`userInput`	`object (SessionInput)` 선택사항입니다. 대화에 대한 사용자 입력입니다.
`agentTransfer`	`object (AgentTransfer)` 선택사항입니다. 대화를 다른 상담사에게 트랜스퍼합니다.
`expectation`	`object (GoldenExpectation)` 선택사항입니다. 현재 턴에서 기대치를 실행합니다.

SessionInput

JSON 표현

{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}

필드
`willContinue`	`boolean` 선택사항입니다. 현재 메시지가 양방향 스트리밍 세션에서 더 큰 입력의 프래그먼트인지 나타내는 플래그입니다. `true`로 설정하면 에이전트는 `will_continue`이 `false`인 후속 메시지를 수신할 때까지 또는 시스템이 오디오 입력에서 엔드포인트를 감지할 때까지 처리를 지연합니다. 참고: 이 필드는 오디오 및 DTMF 입력에는 적용되지 않습니다. 엔드포인팅 신호에 따라 항상 자동으로 처리되기 때문입니다.
통합 필드 `input_type`. 입력의 유형입니다. `input_type`은 다음 중 하나여야 합니다.
`text`	`string` 선택사항입니다. 최종 사용자의 텍스트 데이터입니다.
`dtmf`	`string` 선택사항입니다. 최종 사용자의 DTMF 숫자입니다.
`audio`	`string (bytes format)` 선택사항입니다. 최종 사용자의 오디오 데이터입니다. base64 인코딩 문자열입니다.
`toolResponses`	`object (ToolResponses)` 선택사항입니다. 클라이언트의 도구 호출 실행 결과입니다.
`image`	`object (Image)` 선택사항입니다. 최종 사용자의 이미지 데이터입니다.
`blob`	`object (Blob)` 선택사항입니다. 최종 사용자의 BLOB 데이터입니다.
`variables`	`object (Struct format)` 선택사항입니다. 세션의 컨텍스트 변수입니다. 이름으로 키가 지정됩니다. 앱에서 선언된 변수만 CES 에이전트에서 사용됩니다. 인식되지 않는 변수는 [Dialogflow 에이전트][Agent.RemoteDialogflowAgent] 에 추가 세션 매개변수로 계속 전송됩니다.
`event`	`object (Event)` 선택사항입니다. 이벤트 입력입니다.

ToolResponses

JSON 표현
{ "toolResponses": [ { object (`ToolResponse`) } ] }

필드

toolResponses[]

object (ToolResponse)

선택사항입니다. 도구 실행 결과 목록입니다.

ToolResponse

JSON 표현

{
  "id": string,
  "displayName": string,
  "response": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}

필드
`id`	`string` 선택사항입니다. 응답이 속한 `tool call`의 일치하는 ID입니다.
`displayName`	`string` 출력 전용입니다. 도구의 표시 이름입니다.
`response`	`object (Struct format)` 필수 항목입니다. JSON 객체 형식의 도구 실행 결과입니다. 'output' 키를 사용하여 도구 응답을 지정하고 'error' 키를 사용하여 오류 세부정보를 지정합니다 (있는 경우). 'output' 및 'error' 키가 지정되지 않은 경우 전체 'response'가 도구 실행 결과로 처리됩니다.
통합 필드 `tool_identifier`. 실행된 도구의 식별자입니다. 지속형 도구 또는 도구 세트의 도구일 수 있습니다. `tool_identifier`은 다음 중 하나여야 합니다.
`tool`	`string` 선택사항입니다. 실행할 도구의 이름입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/tools/{tool}`
`toolsetTool`	`object (ToolsetTool)` 선택사항입니다. 실행된 도구 세트 도구입니다.

ToolsetTool

JSON 표현
{ "toolset": string, "toolId": string }

필드

toolset

string

필수 항목입니다. 이 도구가 파생된 도구 세트의 리소스 이름입니다. 형식: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}

toolId

string

선택사항입니다. 스키마를 가져올 도구를 필터링할 도구 ID입니다.

구조체

JSON 표현
{ "fields": { string: value, ... } }

필드

fields

map (key: string, value: value (Value format))

동적으로 입력된 값의 순서가 지정되지 않은 맵입니다.

"key": value 쌍 목록을 포함하는 객체입니다. 예: { "name": "wrench", "mass": "1.3kg", "count": "3" }

FieldsEntry

JSON 표현
{ "key": string, "value": value }

필드
`key`	`string`
`value`	`value (Value format)`

값

JSON 표현

{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}

필드
통합 필드 `kind`. 값의 종류입니다. `kind`은 다음 중 하나여야 합니다.
`nullValue`	`null` null 값을 나타냅니다.
`numberValue`	`number` double 값을 나타냅니다.
`stringValue`	`string` 문자열 값을 나타냅니다.
`boolValue`	`boolean` 불리언 값을 나타냅니다.
`structValue`	`object (Struct format)` 구조화된 값을 나타냅니다.
`listValue`	`array (ListValue format)` 반복되는 `Value`을 나타냅니다.

ListValue

JSON 표현
{ "values": [ value ] }

필드

values[]

value (Value format)

동적으로 입력된 값의 반복 필드입니다.

이미지

JSON 표현
{ "mimeType": string, "data": string }

필드

mimeType

string

필수 항목입니다. 소스 데이터의 IANA 표준 MIME 유형입니다. 지원되는 이미지 유형은 다음과 같습니다. * image/png * image/jpeg * image/webp

data

string (bytes format)

필수 항목입니다. 이미지의 원시 바이트입니다.

base64 인코딩 문자열입니다.

blob

JSON 표현
{ "mimeType": string, "data": string }

필드

mimeType

string

필수 항목입니다. 소스 데이터의 IANA 표준 MIME 유형입니다.

data

string (bytes format)

필수 항목입니다. blob의 원시 바이트입니다.

base64 인코딩 문자열입니다.

이벤트

JSON 표현
{ "event": string }

필드

event

string

필수 항목입니다. 이벤트 이름입니다.

AgentTransfer

JSON 표현
{ "targetAgent": string, "displayName": string }

필드

targetAgent

string

displayName

string

출력 전용입니다. 에이전트의 표시 이름입니다.

GoldenExpectation

JSON 표현

{
  "note": string,

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
  // End of list of possible types for union field condition.
}

필드
`note`	`string` 선택사항입니다. 특정 검사가 실패할 때 보고에 유용한 이 요구사항에 대한 참고사항입니다. 예: "Check_Payment_Tool_Called".
통합 필드 `condition`. 실제로 실행할 검사입니다. `condition`은 다음 중 하나여야 합니다.
`toolCall`	`object (ToolCall)` 선택사항입니다. 특정 도구가 매개변수와 함께 호출되었는지 확인합니다.
`toolResponse`	`object (ToolResponse)` 선택사항입니다. 특정 도구에 예상된 응답이 있는지 확인합니다.
`agentResponse`	`object (Message)` 선택사항입니다. 상담사가 올바른 대답으로 응답했는지 확인합니다. '상담사' 역할이 암시됩니다.
`agentTransfer`	`object (AgentTransfer)` 선택사항입니다. 상담사가 대화를 다른 상담사에게 트랜스퍼했는지 확인합니다.
`updatedVariables`	`object (Struct format)` 선택사항입니다. 상담사가 세션 변수를 예상 값으로 업데이트했는지 확인합니다. 골든 평가를 위해 에이전트 변수 업데이트를 캡처하는 데도 사용됩니다.
`mockToolResponse`	`object (ToolResponse)` 선택사항입니다. 관심 있는 매개변수가 지정된 모의 도구 응답입니다. 지정되지 않은 매개변수는 LLM에 의해 환각됩니다.

ToolCall

JSON 표현

{
  "id": string,
  "displayName": string,
  "args": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}

필드
`id`	`string` 선택사항입니다. 도구 호출의 고유 식별자입니다. 채워진 경우 클라이언트는 `ToolResponse`에서 일치하는 ID로 실행 결과를 반환해야 합니다.
`displayName`	`string` 출력 전용입니다. 도구의 표시 이름입니다.
`args`	`object (Struct format)` 선택사항입니다. JSON 객체 형식의 도구 입력 매개변수와 값입니다.
통합 필드 `tool_identifier`. 실행할 도구의 식별자입니다. 지속형 도구 또는 도구 세트의 도구일 수 있습니다. `tool_identifier`은 다음 중 하나여야 합니다.
`tool`	`string` 선택사항입니다. 실행할 도구의 이름입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/tools/{tool}`
`toolsetTool`	`object (ToolsetTool)` 선택사항입니다. 실행할 도구 세트 도구입니다.

메시지

JSON 표현
{ "role": string, "chunks": [ { object (`Chunk`) } ], "eventTime": string }

필드

role

string

선택사항입니다. 대화 내 역할(예: 사용자, 에이전트)입니다.

chunks[]

object (Chunk)

선택사항입니다. 메시지의 콘텐츠(일련의 청크).

eventTime

string (Timestamp format)

선택사항입니다. 메일이 전송 또는 수신된 시점의 타임스탬프입니다. 메시지가 example의 일부인 경우에는 사용하면 안 됩니다.

Chunk

JSON 표현

{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}

필드
통합 필드 `data`. 청크 데이터입니다. `data`은 다음 중 하나여야 합니다.
`text`	`string` 선택사항입니다. 텍스트 데이터.
`transcript`	`string` 선택사항입니다. 오디오와 연결된 스크립트입니다.
`blob`	`object (Blob)` 선택사항입니다. BLOB 데이터입니다.
`payload`	`object (Struct format)` 선택사항입니다. 맞춤 페이로드 데이터입니다.
`image`	`object (Image)` 선택사항입니다. 이미지 데이터입니다.
`toolCall`	`object (ToolCall)` 선택사항입니다. 도구 실행 요청입니다.
`toolResponse`	`object (ToolResponse)` 선택사항입니다. 도구 실행 응답입니다.
`agentTransfer`	`object (AgentTransfer)` 선택사항입니다. 상담사 트랜스퍼 이벤트입니다.
`updatedVariables`	`object (Struct format)` 구조체는 변수 이름으로 키가 지정된 대화에서 업데이트된 변수를 나타냅니다.
`defaultVariables`	`object (Struct format)` 구조체는 대화 시작 시 기본 변수를 나타내며 변수 이름으로 키가 지정됩니다.

타임스탬프

JSON 표현
{ "seconds": string, "nanos": integer }

필드

seconds

string (int64 format)

Unix epoch 1970-01-01T00:00:00Z 이후 UTC 시간의 초 단위로 표현합니다. -62135596800~253402300799 (0001-01-01T00:00:00Z~9999-12-31T23:59:59Z에 해당) 사이여야 합니다.

nanos

integer

스팬

JSON 표현
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (`Span`) } ] }

필드
`name`	`string` 출력 전용입니다. 스팬의 이름입니다.
`startTime`	`string (Timestamp format)` 출력 전용입니다. 스팬의 시작 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`endTime`	`string (Timestamp format)` 출력 전용입니다. 스팬의 종료 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`duration`	`string (Duration format)` 출력 전용입니다. 스팬의 지속 시간입니다. 소수점 아래가 최대 9자리까지이고 '`s`'로 끝나는 초 단위 기간입니다. 예를 들면 `"3.5s"`입니다.
`attributes`	`object (Struct format)` 출력 전용입니다. 스팬과 연결된 키-값 속성입니다.
`childSpans[]`	`object (Span)` 출력 전용입니다. 이 스팬 아래에 중첩된 하위 스팬입니다.

기간

JSON 표현
{ "seconds": string, "nanos": integer }

필드

seconds

string (int64 format)

nanos

integer

시나리오

JSON 표현

{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ]
}

필드
`task`	`string` 필수 항목입니다. 시나리오에서 타겟팅할 작업입니다.
`userFacts[]`	`object (UserFact)` 선택사항입니다. 시나리오에서 사용할 사용자 사실입니다.
`maxTurns`	`integer` 선택사항입니다. 시뮬레이션할 최대 턴 수입니다. 지정하지 않으면 작업이 완료될 때까지 시뮬레이션이 계속됩니다.
`rubrics[]`	`string` 필수 항목입니다. 시나리오를 평가할 기준표입니다.
`scenarioExpectations[]`	`object (ScenarioExpectation)` 필수 항목입니다. 사용자 시뮬레이션에서 생성된 대화를 평가하는 ScenarioExpectations입니다.
`variableOverrides`	`object (Struct format)` 선택사항입니다. 변수 이름으로 키가 지정된 세션의 컨텍스트로 사용되는 변수 / 세션 매개변수입니다. 이 구조체의 멤버는 시스템에서 설정한 기본값을 재정의합니다. 이는 사용자에게 알려진 사실인 사용자 사실과는 다릅니다. 변수는 상담사에게 알려진 매개변수입니다. 즉, 전화 통신 시스템에서 전달된 MDN (전화번호)입니다.
`taskCompletionBehavior (deprecated)`	`enum (TaskCompletionBehavior)` 이 항목은 지원 중단되었습니다. 선택사항입니다. 지원 중단되었습니다. 대신 user_goal_behavior를 사용하세요.
`userGoalBehavior`	`enum (UserGoalBehavior)` 선택사항입니다. 사용자 목표의 예상 동작입니다.
`evaluationExpectations[]`	`string` 선택사항입니다. 시뮬레이션에서 생성된 대화를 평가할 평가 기대치입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}`

UserFact

JSON 표현
{ "name": string, "value": string }

필드

name

string

필수 항목입니다. 사용자 사실의 이름입니다.

value

string

필수 항목입니다. 사용자 사실의 값입니다.

ScenarioExpectation

JSON 표현

{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}

필드

통합 필드 expectation. 시뮬레이션에서 생성된 대화를 평가해야 합니다. expectation은 다음 중 하나여야 합니다.

toolExpectation

object (ToolExpectation)

선택사항입니다. 평가할 도구 호출 및 응답 쌍입니다.

agentResponse

object (Message)

선택사항입니다. 평가할 에이전트 응답입니다.

ToolExpectation

JSON 표현
{ "expectedToolCall": { object (`ToolCall`) }, "mockToolResponse": { object (`ToolResponse`) } }

필드

expectedToolCall

object (ToolCall)

필수 항목입니다. 관심 있는 매개변수가 지정된 예상 도구 호출입니다. 지정되지 않은 매개변수는 LLM에 의해 환각됩니다.

mockToolResponse

object (ToolResponse)

필수 항목입니다. 관심 있는 매개변수가 지정된 모의 도구 응답입니다. 지정되지 않은 매개변수는 LLM에 의해 환각됩니다.

AggregatedMetrics

JSON 표현
{ "metricsByAppVersion": [ { object (`MetricsByAppVersion`) } ] }

필드

metricsByAppVersion[]

object (MetricsByAppVersion)

출력 전용입니다. 앱 버전 ID별로 그룹화된 집계 측정항목입니다.

MetricsByAppVersion

JSON 표현

{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}

필드
`appVersionId`	`string` 출력 전용입니다. 앱 버전 ID입니다.
`toolMetrics[]`	`object (ToolMetrics)` 출력 전용입니다. 이 앱 버전 내 각 도구의 측정항목입니다.
`semanticSimilarityMetrics[]`	`object (SemanticSimilarityMetrics)` 출력 전용입니다. 이 앱 버전 내의 의미 유사성 측정항목입니다.
`hallucinationMetrics[]`	`object (HallucinationMetrics)` 출력 전용입니다. 이 앱 버전 내의 환각에 대한 측정항목입니다.
`toolCallLatencyMetrics[]`	`object (ToolCallLatencyMetrics)` 출력 전용입니다. 이 앱 버전 내의 도구 호출 지연 시간 측정항목입니다.
`turnLatencyMetrics[]`	`object (TurnLatencyMetrics)` 출력 전용입니다. 이 앱 버전 내의 턴 지연 시간 측정항목입니다.
`passCount`	`integer` 출력 전용입니다. 평가를 통과한 횟수입니다.
`failCount`	`integer` 출력 전용입니다. 평가에 실패한 횟수입니다.
`metricsByTurn[]`	`object (MetricsByTurn)` 출력 전용입니다. 이 앱 버전 내에서 턴별로 집계된 측정항목입니다.

ToolMetrics

JSON 표현
{ "tool": string, "passCount": integer, "failCount": integer }

필드

tool

string

출력 전용입니다. 도구의 이름입니다.

passCount

integer

출력 전용입니다. 도구가 통과한 횟수입니다.

failCount

integer

출력 전용입니다. 도구가 실패한 횟수입니다.

SemanticSimilarityMetrics

JSON 표현
{ "score": number }

필드

score

number

출력 전용입니다. 평균 시맨틱 유사성 점수 (0~4)입니다.

HallucinationMetrics

JSON 표현
{ "score": number }

필드

score

number

출력 전용입니다. 평균 환각 점수 (0~1)입니다.

ToolCallLatencyMetrics

JSON 표현
{ "tool": string, "averageLatency": string }

필드

tool

string

출력 전용입니다. 도구의 이름입니다.

averageLatency

string (Duration format)

출력 전용입니다. 도구 호출의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

TurnLatencyMetrics

JSON 표현
{ "averageLatency": string }

필드

averageLatency

string (Duration format)

출력 전용입니다. 턴의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

MetricsByTurn

JSON 표현

{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}

필드
`turnIndex`	`integer` 출력 전용입니다. 턴 색인 (0부터 시작)입니다.
`toolMetrics[]`	`object (ToolMetrics)` 출력 전용입니다. 이 턴 내 각 도구의 측정항목입니다.
`semanticSimilarityMetrics[]`	`object (SemanticSimilarityMetrics)` 출력 전용입니다. 이 턴 내의 의미 유사성 측정항목입니다.
`hallucinationMetrics[]`	`object (HallucinationMetrics)` 출력 전용입니다. 이 턴 내의 환각에 대한 측정항목입니다.
`toolCallLatencyMetrics[]`	`object (ToolCallLatencyMetrics)` 출력 전용입니다. 이 턴 내의 도구 호출 지연 시간 측정항목입니다.
`turnLatencyMetrics[]`	`object (TurnLatencyMetrics)` 출력 전용입니다. 이 턴 내의 턴 지연 시간 측정항목입니다.

EvaluationResult

JSON 표현

{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}

필드
`name`	`string` 식별자. 평가 결과의 고유 식별자입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}`
`displayName`	`string` 필수 항목입니다. 평가 결과의 표시 이름입니다. 평가 내에서 고유합니다. 기본적으로 형식은 ' 결과 - '입니다.
`createTime`	`string (Timestamp format)` 출력 전용입니다. 평가 결과가 생성된 타임스탬프입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`evaluationStatus`	`enum (Outcome)` 출력 전용입니다. 평가 결과입니다. execution_state가 COMPLETE인 경우에만 채워집니다.
`evaluationRun`	`string` 출력 전용입니다. 이 결과를 생성한 평가 실행입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}`
`persona`	`object (EvaluationPersona)` 출력 전용입니다. 평가 결과를 위한 대화를 생성하는 데 사용된 페르소나입니다.
`errorInfo`	`object (EvaluationErrorInfo)` 출력 전용입니다. 평가 결과의 오류 정보입니다.
`error (deprecated)`	`object (Status)` 이 항목은 지원 중단되었습니다. 출력 전용입니다. 지원 중단됨: 대신 `error_info`을 사용하세요. 실행 중에 오류가 발생했습니다.
`initiatedBy`	`string` 출력 전용입니다. 이 결과를 초래한 평가 실행을 시작한 사용자입니다.
`appVersion`	`string` 출력 전용입니다. 이 결과를 생성한 대화에 사용된 앱 버전입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/versions/{version}`
`appVersionDisplayName`	`string` 출력 전용입니다. 평가가 실행된 `app_version`의 표시 이름입니다.
`changelog`	`string` 출력 전용입니다. 평가가 실행된 앱 버전의 변경사항입니다. 사용자가 최신/초안에서 평가를 실행하는 경우 채워집니다.
`changelogCreateTime`	`string (Timestamp format)` 출력 전용입니다. 평가가 실행된 앱 버전의 변경사항 로그 생성 시간입니다. 사용자가 최신/초안에서 평가를 실행하는 경우 채워집니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`executionState`	`enum (ExecutionState)` 출력 전용입니다. 평가 결과 실행 상태입니다.
`evaluationMetricsThresholds`	`object (EvaluationMetricsThresholds)` 출력 전용입니다. 결과의 평가 기준입니다.
`config`	`object (EvaluationConfig)` 출력 전용입니다. 이 결과를 생성한 평가 실행에 사용된 구성입니다.
`goldenRunMethod`	`enum (GoldenRunMethod)` 출력 전용입니다. 골든 평가를 실행하는 데 사용된 방법입니다.
통합 필드 `result`. 평가 결과입니다. execution_state가 COMPLETED인 경우에만 채워집니다. `result`은 다음 중 하나여야 합니다.
`goldenResult`	`object (GoldenResult)` 출력 전용입니다. 골든 평가의 결과입니다.
`scenarioResult`	`object (ScenarioResult)` 출력 전용입니다. 시나리오 평가 결과입니다.

GoldenResult

JSON 표현
{ "turnReplayResults": [ { object (`TurnReplayResult`) } ], "evaluationExpectationResults": [ { object (`EvaluationExpectationResult`) } ] }

필드

turnReplayResults[]

object (TurnReplayResult)

출력 전용입니다. 골든 대화의 각 차례를 실행한 결과입니다.

evaluationExpectationResults[]

object (EvaluationExpectationResult)

출력 전용입니다. 평가 기대치의 결과입니다.

TurnReplayResult

JSON 표현

{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}

필드
`conversation`	`string` 출력 전용입니다. 이 턴에 대해 생성된 대화입니다.
`expectationOutcome[]`	`object (GoldenExpectationOutcome)` 출력 전용입니다. 각 기대치의 결과입니다.
`hallucinationResult`	`object (HallucinationResult)` 출력 전용입니다. 과장된 표현 확인 결과입니다.
`toolInvocationScore (deprecated)`	`number` 이 항목은 지원 중단되었습니다. 출력 전용입니다. 지원 중단되었습니다. 대신 OverallToolInvocationResult를 사용하세요.
`turnLatency`	`string (Duration format)` 출력 전용입니다. 턴의 지속 시간입니다. 소수점 아래가 최대 9자리까지이고 '`s`'로 끝나는 초 단위 기간입니다. 예를 들면 `"3.5s"`입니다.
`toolCallLatencies[]`	`object (ToolCallLatency)` 출력 전용입니다. 턴의 각 도구 호출의 지연 시간입니다.
`semanticSimilarityResult`	`object (SemanticSimilarityResult)` 출력 전용입니다. 시맨틱 유사성 확인 결과입니다.
`overallToolInvocationResult`	`object (OverallToolInvocationResult)` 출력 전용입니다. 전체 도구 호출 확인 결과입니다.
`errorInfo`	`object (EvaluationErrorInfo)` 출력 전용입니다. 이 턴 중에 발생한 오류에 관한 정보입니다.
`spanLatencies[]`	`object (SpanLatency)` 출력 전용입니다. 턴의 스팬 지연 시간입니다.
통합 필드 `_tool_ordered_invocation_score`. `_tool_ordered_invocation_score`는 다음 중 하나여야 합니다.
`toolOrderedInvocationScore`	`number` 출력 전용입니다. 이 턴의 전체 도구 호출 점수입니다. 예상 턴에서 실제로 호출된 도구의 전체 비율을 예상 순서대로 나타냅니다.

GoldenExpectationOutcome

JSON 표현

{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  }
  // End of list of possible types for union field result.
}

필드
`expectation`	`object (GoldenExpectation)` 출력 전용입니다. 평가된 기대치입니다.
`outcome`	`enum (Outcome)` 출력 전용입니다. 기대의 결과입니다.
`semanticSimilarityResult (deprecated)`	`object (SemanticSimilarityResult)` 이 항목은 지원 중단되었습니다. 출력 전용입니다. 시맨틱 유사성 확인 결과입니다.
`toolInvocationResult`	`object (ToolInvocationResult)` 출력 전용입니다. 도구 호출 확인 결과입니다.
통합 필드 `result`. 기대의 결과입니다. `result`은 다음 중 하나여야 합니다.
`observedToolCall`	`object (ToolCall)` 출력 전용입니다. 도구 호출 기대치의 결과입니다.
`observedToolResponse`	`object (ToolResponse)` 출력 전용입니다. 도구 응답 기대치의 결과입니다.
`observedAgentResponse`	`object (Message)` 출력 전용입니다. 에이전트 응답 기대치의 결과입니다.
`observedAgentTransfer`	`object (AgentTransfer)` 출력 전용입니다. 상담사 트랜스퍼 기대치의 결과입니다.

SemanticSimilarityResult

JSON 표현

{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}

필드
`label`	`string` 출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 4: 완전히 일관됨 점수 3: 대부분 일관됨 점수 2: 부분적으로 일관됨 (사소한 누락) 점수 1: 대부분 일관되지 않음 (심각한 누락) 점수 0: 완전히 일관되지 않음 / 모순됨
`explanation`	`string` 출력 전용입니다. 의미 유사도 점수에 대한 설명입니다.
`outcome`	`enum (Outcome)` 출력 전용입니다. 시맨틱 유사성 확인 결과입니다. 이는 점수를 semantic_similarity_success_threshold와 비교하여 결정됩니다. 점수가 기준점 이상이면 결과는 '합격'입니다. 그렇지 않으면 결과는 FAIL입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`integer` 출력 전용입니다. 의미론적 유사성 점수입니다. 0, 1, 2, 3, 4일 수 있습니다.

ToolInvocationResult

JSON 표현

{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}

필드
`outcome`	`enum (Outcome)` 출력 전용입니다. 도구 호출 확인 결과입니다. 이는 parameter_correctness_score를 기준과 비교하여 결정됩니다. 점수가 기준점 이상이면 결과는 '합격'입니다. 그렇지 않으면 결과는 FAIL입니다.
`explanation`	`string` 출력 전용입니다. 도구 호출 결과에 대한 자유 텍스트 설명입니다.
통합 필드 `_parameter_correctness_score`. `_parameter_correctness_score`는 다음 중 하나여야 합니다.
`parameterCorrectnessScore`	`number` 출력 전용입니다. 도구 호출 파라미터 정확성 점수입니다. 이는 예상 도구 호출의 파라미터 중 실제 도구 호출에도 있는 파라미터의 비율을 나타냅니다.

HallucinationResult

JSON 표현
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

필드
`label`	`string` 출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 1: 근거 있음 점수 0: 근거 없음 점수 -1: 평가할 클레임 없음
`explanation`	`string` 출력 전용입니다. 환각 점수에 대한 설명입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`integer` 출력 전용입니다. 할루시네이션 점수입니다. -1, 0, 1일 수 있습니다.

ToolCallLatency

JSON 표현
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

필드
`tool`	`string` 출력 전용입니다. 실행된 도구의 이름입니다. 형식은 `projects/{project}/locations/{location}/apps/{app}/tools/{tool}`입니다.
`displayName`	`string` 출력 전용입니다. 도구의 표시 이름입니다.
`startTime`	`string (Timestamp format)` 출력 전용입니다. 도구 호출 실행의 시작 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`endTime`	`string (Timestamp format)` 출력 전용입니다. 도구 호출 실행의 종료 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`executionLatency`	`string (Duration format)` 출력 전용입니다. 도구 호출 실행의 지연 시간입니다. 소수점 아래가 최대 9자리까지이고 '`s`'로 끝나는 초 단위 기간입니다. 예를 들면 `"3.5s"`입니다.

OverallToolInvocationResult

JSON 표현

{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}

필드

outcome

enum (Outcome)

통합 필드 _tool_invocation_score.

_tool_invocation_score는 다음 중 하나여야 합니다.

toolInvocationScore

number

이 턴의 전체 도구 호출 점수입니다. 이는 예상된 턴에서 실제로 호출된 도구의 전체 비율을 나타냅니다.

EvaluationErrorInfo

JSON 표현
{ "errorType": enum (`ErrorType`), "errorMessage": string, "sessionId": string }

필드

errorType

enum (ErrorType)

출력 전용입니다. 오류 유형입니다.

errorMessage

string

출력 전용입니다. 오류 메시지.

sessionId

string

출력 전용입니다. 오류를 일으킨 대화의 세션 ID입니다.

SpanLatency

JSON 표현

{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}

필드
`type`	`enum (Type)` 출력 전용입니다. 스팬 유형입니다.
`displayName`	`string` 출력 전용입니다. 스팬의 표시 이름입니다. 도구 및 가드레일 범위에 적용됩니다.
`startTime`	`string (Timestamp format)` 출력 전용입니다. 스팬의 시작 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`endTime`	`string (Timestamp format)` 출력 전용입니다. 스팬의 종료 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`executionLatency`	`string (Duration format)` 출력 전용입니다. 스팬의 지연 시간입니다. 소수점 아래가 최대 9자리까지이고 '`s`'로 끝나는 초 단위 기간입니다. 예를 들면 `"3.5s"`입니다.
통합 필드 `identifier`. 유형에 따른 특정 항목의 식별자입니다. `identifier`은 다음 중 하나여야 합니다.
`resource`	`string` 출력 전용입니다. 가드레일 또는 도구 스팬의 리소스 이름입니다.
`toolset`	`object (ToolsetTool)` 출력 전용입니다. 툴셋 도구 식별자입니다.
`model`	`string` 출력 전용입니다. LLM 스팬의 이름입니다.
`callback`	`string` 출력 전용입니다. 사용자 콜백 스팬의 이름입니다.

EvaluationExpectationResult

JSON 표현
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (`Outcome`), "explanation": string }

필드
`evaluationExpectation`	`string` 출력 전용입니다. 평가 기대치입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}`
`prompt`	`string` 출력 전용입니다. 평가에 사용된 프롬프트입니다.
`outcome`	`enum (Outcome)` 출력 전용입니다. 평가 기대치의 결과입니다.
`explanation`	`string` 출력 전용입니다. 결과에 대한 설명입니다.

ScenarioResult

JSON 표현

{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}

필드

conversation

string

출력 전용입니다. 시나리오에서 생성된 대화입니다.

task

string

출력 전용입니다. 이 결과의 시나리오를 실행할 때 사용된 작업입니다.

userFacts[]

object (UserFact)

출력 전용입니다. 이 결과에 대한 시나리오에서 사용된 사용자 사실입니다.

expectationOutcomes[]

object (ScenarioExpectationOutcome)

출력 전용입니다. 각 기대치의 결과입니다.

rubricOutcomes[]

object (ScenarioRubricOutcome)

출력 전용입니다. 루브릭의 결과입니다.

hallucinationResult[]

object (HallucinationResult)

출력 전용입니다. 과장된 표현 확인 결과입니다. 대화의 각 턴에 대해 하나의 그릇된 정보 결과가 표시됩니다.

taskCompletionResult
(deprecated)

object (TaskCompletionResult)

출력 전용입니다. 작업 완료 확인 결과입니다.

toolCallLatencies[]

object (ToolCallLatency)

출력 전용입니다. 대화에서 각 도구 호출 실행의 지연 시간입니다.

userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

출력 전용입니다. 사용자 목표 만족도 확인 결과입니다.

spanLatencies[]

object (SpanLatency)

출력 전용입니다. 대화의 스팬 지연 시간입니다.

evaluationExpectationResults[]

object (EvaluationExpectationResult)

출력 전용입니다. 평가 기대치의 결과입니다.

통합 필드 _all_expectations_satisfied.

_all_expectations_satisfied는 다음 중 하나여야 합니다.

allExpectationsSatisfied

boolean

출력 전용입니다. 이 턴에 대한 모든 기대치가 충족되었는지 여부입니다.

통합 필드 _task_completed.

_task_completed는 다음 중 하나여야 합니다.

taskCompleted

boolean

출력 전용입니다. 이 턴에서 작업이 완료되었는지 여부입니다. 이는 충족된 모든 기대치, 환각 없음, 사용자 목표 만족도의 복합입니다.

ScenarioExpectationOutcome

JSON 표현

{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}

필드
`expectation`	`object (ScenarioExpectation)` 출력 전용입니다. 평가된 기대치입니다.
`outcome`	`enum (Outcome)` 출력 전용입니다. ScenarioExpectation의 결과입니다.
통합 필드 `result`. 기대의 결과입니다. `result`은 다음 중 하나여야 합니다.
`observedToolCall`	`object (ObservedToolCall)` 출력 전용입니다. 관찰된 도구 호출입니다.
`observedAgentResponse`	`object (Message)` 출력 전용입니다. 관찰된 에이전트 응답입니다.

ObservedToolCall

JSON 표현
{ "toolCall": { object (`ToolCall`) }, "toolResponse": { object (`ToolResponse`) } }

필드

toolCall

object (ToolCall)

출력 전용입니다. 관찰된 도구 호출입니다.

toolResponse

object (ToolResponse)

출력 전용입니다. 관찰된 도구 응답입니다.

ScenarioRubricOutcome

JSON 표현
{ "rubric": string, "scoreExplanation": string, // Union field `_score` can be only one of the following: "score": number // End of list of possible types for union field `_score`. }

필드
`rubric`	`string` 출력 전용입니다. 대화를 평가하는 데 사용된 루브릭입니다.
`scoreExplanation`	`string` 출력 전용입니다. 평가자의 루브릭에 대한 응답입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`number` 출력 전용입니다. 기준표에 따른 대화 점수입니다.

TaskCompletionResult

JSON 표현
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

필드
`label`	`string` 출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 1: 작업 완료 점수 0: 작업 미완료 점수 -1: 사용자 목표 미정의
`explanation`	`string` 출력 전용입니다. 작업 완료 점수에 대한 설명입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`integer` 출력 전용입니다. 작업 완료 점수입니다. -1, 0, 1일 수 있습니다.

UserGoalSatisfactionResult

JSON 표현
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

필드
`label`	`string` 출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 1: 사용자 작업 만족 점수 0: 사용자 작업 불만족 점수 -1: 사용자 작업 미지정
`explanation`	`string` 출력 전용입니다. 사용자 작업 만족도 점수에 대한 설명입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`integer` 출력 전용입니다. 사용자 작업 만족도 점수입니다. -1, 0, 1일 수 있습니다.

EvaluationPersona

JSON 표현
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (`SpeechConfig`) } }

필드
`name`	`string` 필수 항목입니다. 페르소나의 고유 식별자입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}`
`description`	`string` 선택사항입니다. 페르소나에 대한 설명입니다.
`displayName`	`string` 필수 항목입니다. 페르소나의 표시 이름입니다. 앱 내에서 고유합니다.
`personality`	`string` 필수 항목입니다. 평가에서 에이전트가 어떻게 행동해야 하는지에 관한 안내입니다.
`speechConfig`	`object (SpeechConfig)` 선택사항입니다. 페르소나의 소리 (TTS 설정)에 관한 구성입니다.

SpeechConfig

JSON 표현
{ "speakingRate": number, "environment": enum (`BackgroundEnvironment`), "voiceId": string }

필드

speakingRate

number

environment

enum (BackgroundEnvironment)

선택사항입니다. 시뮬레이션된 오디오 환경입니다.

voiceId

string

선택사항입니다. 사용할 특정 음성 식별자/억양입니다. 예: 'en-US-Wavenet-D' 또는 'en-GB-Standard-A'

상태

JSON 표현
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

필드

code

integer

상태 코드로, google.rpc.Code의 열거형 값이어야 합니다.

message

string

details[]

object

오류 세부정보를 설명하는 메시지 목록입니다. API에서 사용할 일반적인 메시지 유형 집합이 있습니다.

임의 유형의 필드를 포함하는 객체입니다. 추가 필드 "@type"은 유형을 식별하는 URI를 포함합니다. 예: { "id": 1234, "@type": "types.example.com/standard/id" }

모두

JSON 표현
{ "typeUrl": string, "value": string }

필드

typeUrl

string

슬래시로 끝나는 접두사와 정규화된 유형 이름으로 구성된 URI 참조를 사용하여 직렬화된 Protobuf 메시지의 유형을 식별합니다.

예: type.googleapis.com/google.protobuf.StringValue

value

string (bytes format)

type_url로 설명된 유형의 Protobuf 직렬화를 보유합니다.

base64 인코딩 문자열입니다.

EvaluationMetricsThresholds

JSON 표현

{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}

필드
`goldenEvaluationMetricsThresholds`	`object (GoldenEvaluationMetricsThresholds)` 선택사항입니다. 핵심 평가 측정항목 기준입니다.
`hallucinationMetricBehavior (deprecated)`	`enum (HallucinationMetricBehavior)` 이 항목은 지원 중단되었습니다. 선택사항입니다. 지원 중단됨: 대신 `golden_hallucination_metric_behavior`을 사용하세요. 현재 골든 평가에는 허위 정보 측정항목 동작이 사용됩니다.
`goldenHallucinationMetricBehavior`	`enum (HallucinationMetricBehavior)` 선택사항입니다. 골든 평가의 허위 정보 측정항목 동작입니다.
`scenarioHallucinationMetricBehavior`	`enum (HallucinationMetricBehavior)` 선택사항입니다. 시나리오 평가의 허위 정보 측정항목 동작입니다.

GoldenEvaluationMetricsThresholds

JSON 표현

{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}

필드

turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

선택사항입니다. 턴 수준 측정항목 기준점입니다.

expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

선택사항입니다. 기대 수준 측정항목 기준점입니다.

toolMatchingSettings

object (ToolMatchingSettings)

선택사항입니다. 도구 매칭 설정입니다. 추가 도구 호출은 실행에 있지만 골든 기대치에 있는 도구 호출과 일치하지 않는 도구 호출입니다.

TurnLevelMetricsThresholds

JSON 표현

{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}

필드

semanticSimilarityChannel

enum (SemanticSimilarityChannel)

선택사항입니다. 평가에 사용할 시맨틱 유사성 채널입니다.

통합 필드 _semantic_similarity_success_threshold.

_semantic_similarity_success_threshold는 다음 중 하나여야 합니다.

semanticSimilaritySuccessThreshold

integer

선택사항입니다. 의미론적 유사성의 성공 기준입니다. 0에서 4 사이의 정수여야 합니다. 기본값은 3 이상입니다.

통합 필드 _overall_tool_invocation_correctness_threshold.

_overall_tool_invocation_correctness_threshold는 다음 중 하나여야 합니다.

overallToolInvocationCorrectnessThreshold

number

선택사항입니다. 전반적인 도구 호출 정확성의 성공 기준입니다. 0과 1 사이의 부동 소수점이어야 합니다. 기본값은 1.0입니다.

ExpectationLevelMetricsThresholds

JSON 표현

{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}

필드

통합 필드 _tool_invocation_parameter_correctness_threshold.

_tool_invocation_parameter_correctness_threshold는 다음 중 하나여야 합니다.

toolInvocationParameterCorrectnessThreshold

number

선택사항입니다. 개별 도구 호출 매개변수 정확성의 성공 기준입니다. 0과 1 사이의 부동 소수점이어야 합니다. 기본값은 1.0입니다.

ToolMatchingSettings

JSON 표현
{ "extraToolCallBehavior": enum (`ExtraToolCallBehavior`) }

필드

extraToolCallBehavior

enum (ExtraToolCallBehavior)

선택사항입니다. 추가 도구 호출의 동작입니다. 기본값은 FAIL입니다.

EvaluationConfig

JSON 표현

{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}

필드
`inputAudioConfig (deprecated)`	`object (InputAudioConfig)` 이 항목은 지원 중단되었습니다. 선택사항입니다. 입력 오디오 처리 구성입니다.
`outputAudioConfig (deprecated)`	`object (OutputAudioConfig)` 이 항목은 지원 중단되었습니다. 선택사항입니다. 출력 오디오를 생성하기 위한 구성입니다.
`evaluationChannel`	`enum (EvaluationChannel)` 선택사항입니다. 평가할 채널입니다.
`toolCallBehaviour`	`enum (EvaluationToolCallBehaviour)` 선택사항입니다. 평가에서 실제 도구 호출을 사용할지 아니면 가짜 도구를 사용할지 지정합니다.

InputAudioConfig

JSON 표현
{ "audioEncoding": enum (`AudioEncoding`), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

필드

audioEncoding

enum (AudioEncoding)

필수 항목입니다. 입력 오디오 데이터의 인코딩입니다.

sampleRateHertz

integer

필수 항목입니다. 입력 오디오 데이터의 샘플링 레이트 (Hz)입니다.

noiseSuppressionLevel

string

선택사항입니다. 입력 오디오에서 주변 소음 제거를 사용 설정할지 여부입니다. 사용 가능한 값은 'low', 'moderate', 'high', 'very_high'입니다.

OutputAudioConfig

JSON 표현
{ "audioEncoding": enum (`AudioEncoding`), "sampleRateHertz": integer }

필드

audioEncoding

enum (AudioEncoding)

필수 항목입니다. 출력 오디오 데이터의 인코딩입니다.

sampleRateHertz

integer

필수 항목입니다. 출력 오디오 데이터의 샘플링 레이트 (Hz)입니다.

도구 주석

파괴적 힌트: ❌ | 동일한 힌트: ❌ | 읽기 전용 힌트: ❌ | 오픈 월드 힌트: ❌

MCP Tools Reference: ces.googleapis.com 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

도구: update_evaluation

입력 스키마

UpdateEvaluationRequest

평가

골드

GoldenTurn

단계

SessionInput

ToolResponses

ToolResponse

ToolsetTool

구조체

FieldsEntry

값

ListValue

이미지

blob

이벤트

AgentTransfer

GoldenExpectation

ToolCall

메시지

Chunk

타임스탬프

스팬

기간

시나리오

UserFact

ScenarioExpectation

ToolExpectation

AggregatedMetrics

MetricsByAppVersion

ToolMetrics

SemanticSimilarityMetrics

HallucinationMetrics

ToolCallLatencyMetrics

TurnLatencyMetrics

MetricsByTurn

EvaluationResult

GoldenResult

TurnReplayResult

GoldenExpectationOutcome

SemanticSimilarityResult

ToolInvocationResult

HallucinationResult

ToolCallLatency

OverallToolInvocationResult

EvaluationErrorInfo

SpanLatency

EvaluationExpectationResult

ScenarioResult

ScenarioExpectationOutcome

ObservedToolCall

ScenarioRubricOutcome

TaskCompletionResult

UserGoalSatisfactionResult

EvaluationPersona

SpeechConfig

상태

모두

EvaluationMetricsThresholds

GoldenEvaluationMetricsThresholds

TurnLevelMetricsThresholds

ExpectationLevelMetricsThresholds

ToolMatchingSettings

EvaluationConfig

InputAudioConfig

OutputAudioConfig

FieldMask

출력 스키마

평가

골드

GoldenTurn

단계

SessionInput

ToolResponses

ToolResponse

ToolsetTool

구조체

MCP Tools Reference: ces.googleapis.com

도구: `update_evaluation`