Google은 AI 기술을 사용하여 콘텐츠를 사용자의 기본 언어로 번역합니다. AI 번역에는 오류가 있을 수 있습니다.

MCP Tools Reference: ces.googleapis.com

도구: `create_evaluation`

새 평가를 만듭니다.

다음 코드 샘플은 curl를 사용하여 create_evaluation MCP 도구를 호출하는 방법을 보여줍니다.

curl 요청
curl --location 'https://ces.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "create_evaluation", "arguments": { // provide these details according to the tool's MCP specification } }, "jsonrpc": "2.0", "id": 1 }'

curl 요청

curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "create_evaluation",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

입력 스키마

EvaluationService.CreateEvaluation에 대한 요청 메시지입니다.

CreateEvaluationRequest

JSON 표현
{ "parent": string, "evaluationId": string, "evaluation": { object (`Evaluation`) } }

필드

필드
`parent`	`string` 필수 항목입니다. 평가를 생성할 앱입니다. 형식: `projects/{project}/locations/{location}/apps/{app}`
`evaluationId`	`string` 선택사항입니다. 평가에 사용할 ID이며, 평가의 리소스 이름에서 마지막 구성요소가 됩니다. 제공되지 않으면 평가를 위해 고유 ID가 자동으로 할당됩니다.
`evaluation`	`object (Evaluation)` 필수 항목입니다. 생성할 평가입니다.

parent

string

필수 항목입니다. 평가를 생성할 앱입니다. 형식: projects/{project}/locations/{location}/apps/{app}

evaluationId

string

선택사항입니다. 평가에 사용할 ID이며, 평가의 리소스 이름에서 마지막 구성요소가 됩니다. 제공되지 않으면 평가를 위해 고유 ID가 자동으로 할당됩니다.

evaluation

object (Evaluation)

필수 항목입니다. 생성할 평가입니다.

평가

JSON 표현

JSON 표현
{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object (`AggregatedMetrics`) }, "lastCompletedResult": { object (`EvaluationResult`) }, "invalid": boolean, "lastTenResults": [ { object (`EvaluationResult`) } ], "evaluationMetricsThresholdOverride": { object (`EvaluationMetricsThresholds`) }, "evaluationMetricsConfigOverride": { object (`EvaluationMetricsConfig`) }, // Union field `inputs` can be only one of the following: "golden": { object (`Golden`) }, "scenario": { object (`Scenario`) } // End of list of possible types for union field `inputs`. }

{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}

필드
`name`	`string` 식별자. 이 평가의 고유 식별자입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}`
`displayName`	`string` 필수 항목입니다. 평가의 사용자 정의 표시 이름입니다. 앱 내에서 고유합니다.
`description`	`string` 선택사항입니다. 평가에 대한 사용자 정의 설명입니다.
`tags[]`	`string` 선택사항입니다. 평가를 분류하는 사용자 정의 태그입니다.
`evaluationDatasets[]`	`string` 출력 전용입니다. 평가가 속한 평가 데이터 세트 목록입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}`
`createTime`	`string (Timestamp format)` 출력 전용입니다. 평가가 생성된 타임스탬프입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`createdBy`	`string` 출력 전용입니다. 평가를 만든 사용자입니다.
`updateTime`	`string (Timestamp format)` 출력 전용입니다. 평가가 마지막으로 업데이트된 타임스탬프입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`lastUpdatedBy`	`string` 출력 전용입니다. 평가를 마지막으로 업데이트한 사용자입니다.
`evaluationRuns[]`	`string` 출력 전용입니다. 이 평가와 연결된 EvaluationRun입니다.
`etag`	`string` 출력 전용입니다. 읽기-수정-쓰기 작업 중에 객체가 변경되지 않았는지 확인하는 데 사용되는 Etag입니다. etag가 비어 있으면 업데이트가 동시에 발생하는 변경사항을 덮어씁니다.
`aggregatedMetrics`	`object (AggregatedMetrics)` 출력 전용입니다. 모든 실행에서 이 평가에 대해 집계된 측정항목입니다.
`lastCompletedResult`	`object (EvaluationResult)` 출력 전용입니다. 이 평가의 최신 평가 결과입니다.
`invalid`	`boolean` 출력 전용입니다. 평가가 유효하지 않은지 여부입니다. 이는 평가에서 삭제된 도구, 도구 모음 또는 에이전트를 참조하는 경우에 발생할 수 있습니다.
`lastTenResults[]`	`object (EvaluationResult)` 출력 전용입니다. 이 평가의 마지막 10개 평가 결과입니다. ListEvaluationsRequest 또는 GetEvaluationRequest에서 include_last_ten_results가 true로 설정된 경우에만 이 값이 채워집니다.
`evaluationMetricsThresholdOverride`	`object (EvaluationMetricsThresholds)` 선택사항입니다. 이 특정 평가의 측정항목 기준점을 재정의합니다.
`evaluationMetricsConfigOverride`	`object (EvaluationMetricsConfig)` 선택사항입니다. 이 특정 평가의 측정항목 구성을 재정의합니다.
통합 필드 `inputs`. 평가 `inputs`의 입력은 다음 중 하나여야 합니다.
`golden`	`object (Golden)` 선택사항입니다. 평가할 골든 단계입니다.
`scenario`	`object (Scenario)` 선택사항입니다. 시나리오의 구성입니다.

골드

JSON 표현
{ "turns": [ { object (`GoldenTurn`) } ], "evaluationExpectations": [ string ] }

필드

필드
`turns[]`	`object (GoldenTurn)` 필수 항목입니다. 골든 대화를 다시 재생하는 데 필요한 골든 턴입니다. 허용되는 최대 턴 수는 100개입니다.
`evaluationExpectations[]`	`string` 선택사항입니다. 리플레이된 대화를 평가할 평가 기대치입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}`

turns[]

object (GoldenTurn)

필수 항목입니다. 골든 대화를 다시 재생하는 데 필요한 골든 턴입니다. 허용되는 최대 턴 수는 100개입니다.

evaluationExpectations[]

string

선택사항입니다. 리플레이된 대화를 평가할 평가 기대치입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

JSON 표현

JSON 표현
{ "steps": [ { object (`Step`) } ], "rootSpan": { object (`Span`) }, "turnLevelMetricsThresholdsOverride": { object (`TurnLevelMetricsThresholds`) }, "hallucinationMetricBehaviorOverride": enum (`HallucinationMetricBehavior`) }

{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior)
}

필드
`steps[]`	`object (Step)` 필수 항목입니다. 골든 대화를 다시 재생하는 데 필요한 단계입니다.
`rootSpan`	`object (Span)` 선택사항입니다. 오디오 정보를 처리하고 유지하기 위한 골든 턴의 루트 스팬입니다. 오디오 URI에는 16kHz 샘플링 레이트로 저장된 오디오가 포함되어야 합니다.
`turnLevelMetricsThresholdsOverride`	`object (TurnLevelMetricsThresholds)` 선택사항입니다. 턴 수준 측정항목 기준의 재정의입니다.
`hallucinationMetricBehaviorOverride`	`enum (HallucinationMetricBehavior)` 선택사항입니다. 턴 수준 환각 측정항목 동작을 재정의합니다.

단계

JSON 표현

JSON 표현
{ // Union field `step` can be only one of the following: "userInput": { object (`SessionInput`) }, "agentTransfer": { object (`AgentTransfer`) }, "expectation": { object (`GoldenExpectation`) } // End of list of possible types for union field `step`. }

{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}

필드
통합 필드 `step`. 실행할 단계입니다. `step`은 다음 중 하나여야 합니다.
`userInput`	`object (SessionInput)` 선택사항입니다. 대화에 대한 사용자 입력입니다.
`agentTransfer`	`object (AgentTransfer)` 선택사항입니다. 대화를 다른 상담사에게 트랜스퍼합니다.
`expectation`	`object (GoldenExpectation)` 선택사항입니다. 현재 턴에서 기대치를 실행합니다.

SessionInput

JSON 표현

JSON 표현
{ "willContinue": boolean, // Union field `input_type` can be only one of the following: "text": string, "dtmf": string, "audio": string, "toolResponses": { object (`ToolResponses`) }, "image": { object (`Image`) }, "blob": { object (`Blob`) }, "variables": { object }, "event": { object (`Event`) } // End of list of possible types for union field `input_type`. }

{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}

필드
`willContinue`	`boolean` 선택사항입니다. 현재 메시지가 bidi 스트리밍 세션에서 더 큰 입력의 프래그먼트인지 나타내는 플래그입니다. `true`로 설정하면 에이전트는 `will_continue`이 `false`인 후속 메시지를 수신할 때까지 또는 시스템이 오디오 입력에서 엔드포인트를 감지할 때까지 처리를 지연합니다. 참고: 이 필드는 오디오 및 DTMF 입력에는 적용되지 않습니다. 엔드포인팅 신호에 따라 항상 자동으로 처리되기 때문입니다.
통합 필드 `input_type`. 입력의 유형입니다. `input_type`은 다음 중 하나여야 합니다.
`text`	`string` 선택사항입니다. 최종 사용자의 텍스트 데이터입니다.
`dtmf`	`string` 선택사항입니다. 최종 사용자의 DTMF 숫자입니다.
`audio`	`string (bytes format)` 선택사항입니다. 최종 사용자의 오디오 데이터입니다. base64 인코딩 문자열입니다.
`toolResponses`	`object (ToolResponses)` 선택사항입니다. 클라이언트의 도구 호출 실행 결과입니다.
`image`	`object (Image)` 선택사항입니다. 최종 사용자의 이미지 데이터입니다.
`blob`	`object (Blob)` 선택사항입니다. 최종 사용자의 BLOB 데이터입니다.
`variables`	`object (Struct format)` 선택사항입니다. 세션의 컨텍스트 변수입니다. 이름으로 키가 지정됩니다. 앱에서 선언된 변수만 CES 에이전트에서 사용됩니다. 인식되지 않는 변수는 [Dialogflow 에이전트][Agent.RemoteDialogflowAgent] 에 추가 세션 매개변수로 전송됩니다.
`event`	`object (Event)` 선택사항입니다. 이벤트 입력입니다.

ToolResponses

JSON 표현
{ "toolResponses": [ { object (`ToolResponse`) } ] }

필드

필드
`toolResponses[]`	`object (ToolResponse)` 선택사항입니다. 도구 실행 결과 목록입니다.

toolResponses[]

object (ToolResponse)

선택사항입니다. 도구 실행 결과 목록입니다.

ToolResponse

JSON 표현

JSON 표현
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, // Union field `tool_identifier` can be only one of the following: "tool": string, "toolsetTool": { object (`ToolsetTool`) } // End of list of possible types for union field `tool_identifier`. }

{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}

필드
`id`	`string` 선택사항입니다. 응답이 속한 `tool call`의 일치하는 ID입니다.
`displayName`	`string` 출력 전용입니다. 도구의 표시 이름입니다.
`response`	`object (Struct format)` 필수 항목입니다. JSON 객체 형식의 도구 실행 결과입니다. 'output' 키를 사용하여 도구 응답을 지정하고 'error' 키를 사용하여 오류 세부정보를 지정합니다 (있는 경우). 'output' 및 'error' 키가 지정되지 않은 경우 전체 'response'가 도구 실행 결과로 처리됩니다.
`parentToolCallId`	`string` 출력 전용입니다. 상위 호출을 대신하여 작업하는 하위 에이전트가 이 호출을 발행한 경우 이 호출을 유발한 도구 호출의 ID입니다. 최상위 호출의 경우 비어 있습니다. 클라이언트가 모든 단계를 형제로 렌더링하는 대신 시작된 통화 아래에 하위 에이전트의 작업을 그룹화할 수 있습니다.
`agentName`	`string` 출력 전용입니다. 이 통화를 발급한 상담사의 사람이 읽을 수 있는 이름입니다(예: '계약 설계사'). 루트 에이전트가 발급한 경우 비어 있습니다.
통합 필드 `tool_identifier`. 실행된 도구의 식별자입니다. 지속형 도구 또는 도구 세트의 도구일 수 있습니다. `tool_identifier`은 다음 중 하나여야 합니다.
`tool`	`string` 선택사항입니다. 실행할 도구의 이름입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/tools/{tool}`
`toolsetTool`	`object (ToolsetTool)` 선택사항입니다. 실행된 도구 세트 도구입니다.

ToolsetTool

JSON 표현
{ "toolset": string, "toolId": string }

필드

필드
`toolset`	`string` 필수 항목입니다. 이 도구가 파생된 도구 세트의 리소스 이름입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}`
`toolId`	`string` 선택사항입니다. 스키마를 가져올 도구를 필터링할 도구 ID입니다.

toolset

string

필수 항목입니다. 이 도구가 파생된 도구 세트의 리소스 이름입니다. 형식: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}

toolId

string

선택사항입니다. 스키마를 가져올 도구를 필터링할 도구 ID입니다.

구조체

JSON 표현
{ "fields": { string: value, ... } }

필드

필드
`fields`	`map (key: string, value: value (Value format))` 동적으로 입력된 값의 순서가 지정되지 않은 맵입니다. `"key": value` 쌍 목록을 포함하는 객체입니다. 예: `{ "name": "wrench", "mass": "1.3kg", "count": "3" }`

fields

map (key: string, value: value (Value format))

동적으로 입력된 값의 순서가 지정되지 않은 맵입니다.

"key": value 쌍 목록을 포함하는 객체입니다. 예: { "name": "wrench", "mass": "1.3kg", "count": "3" }

FieldsEntry

JSON 표현
{ "key": string, "value": value }

필드
`key`	`string`
`value`	`value (Value format)`

값

JSON 표현

JSON 표현
{ // Union field `kind` can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field `kind`. }

{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}

필드
통합 필드 `kind`. 값의 종류입니다. `kind`은 다음 중 하나여야 합니다.
`nullValue`	`null` JSON `null`를 나타냅니다.
`numberValue`	`number` JSON 숫자를 나타냅니다. JSON에서는 `NaN`, `Infinity`, `-Infinity`가 지원되지 않으므로 이러한 값은 사용할 수 없습니다. 또한 JSON 형식은 일반적으로 숫자 유형에서 큰 Int64 값을 지원하지 않으므로 이를 표현할 수 없습니다.
`stringValue`	`string` JSON 문자열을 나타냅니다.
`boolValue`	`boolean` JSON 불리언 (JSON의 `true` 또는 `false` 리터럴)을 나타냅니다.
`structValue`	`object (Struct format)` JSON 객체를 나타냅니다.
`listValue`	`array (ListValue format)` JSON 배열을 나타냅니다.

ListValue

JSON 표현
{ "values": [ value ] }

필드

필드
`values[]`	`value (Value format)` 동적으로 입력된 값의 반복 필드입니다.

values[]

value (Value format)

동적으로 입력된 값의 반복 필드입니다.

이미지

JSON 표현
{ "mimeType": string, "data": string }

필드

필드
`mimeType`	`string` 필수 항목입니다. 소스 데이터의 IANA 표준 MIME 유형입니다. 지원되는 이미지 유형은 다음과 같습니다. * image/png * image/jpeg * image/webp
`data`	`string (bytes format)` 필수 항목입니다. 이미지의 원시 바이트입니다. base64 인코딩 문자열입니다.

mimeType

string

필수 항목입니다. 소스 데이터의 IANA 표준 MIME 유형입니다. 지원되는 이미지 유형은 다음과 같습니다. * image/png * image/jpeg * image/webp

data

string (bytes format)

필수 항목입니다. 이미지의 원시 바이트입니다.

base64 인코딩 문자열입니다.

blob

JSON 표현
{ "mimeType": string, "data": string }

필드

필드
`mimeType`	`string` 필수 항목입니다. 소스 데이터의 IANA 표준 MIME 유형입니다.
`data`	`string (bytes format)` 필수 항목입니다. blob의 원시 바이트입니다. base64 인코딩 문자열입니다.

mimeType

string

필수 항목입니다. 소스 데이터의 IANA 표준 MIME 유형입니다.

data

string (bytes format)

필수 항목입니다. blob의 원시 바이트입니다.

base64 인코딩 문자열입니다.

이벤트

JSON 표현
{ "event": string }

필드

필드
`event`	`string` 필수 항목입니다. 이벤트 이름입니다.

event

string

필수 항목입니다. 이벤트 이름입니다.

AgentTransfer

JSON 표현
{ "targetAgent": string, "displayName": string }

필드

필드
`targetAgent`	`string` 필수 항목입니다. 대화가 트랜스퍼되는 상담사입니다. 이 시점부터 상담사가 대화를 처리합니다. 형식: `projects/{project}/locations/{location}/apps/{app}/agents/{agent}`
`displayName`	`string` 출력 전용입니다. 에이전트의 표시 이름입니다.

targetAgent

string

필수 항목입니다. 대화가 트랜스퍼되는 상담사입니다. 이 시점부터 상담사가 대화를 처리합니다. 형식: projects/{project}/locations/{location}/apps/{app}/agents/{agent}

displayName

string

출력 전용입니다. 에이전트의 표시 이름입니다.

GoldenExpectation

JSON 표현

JSON 표현
{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object (`ExpectationLevelMetricsThresholds`) }, "agentResponseSemanticSimilarityMetricsConfigOverride": { object (`SemanticSimilarityMetricsConfig`) }, "agentResponseHallucinationMetricsConfigOverride": { object (`HallucinationMetricsConfig`) }, "comparisonType": enum (`ComparisonType`), // Union field `condition` can be only one of the following: "toolCall": { object (`ToolCall`) }, "toolResponse": { object (`ToolResponse`) }, "agentResponse": { object (`Message`) }, "agentTransfer": { object (`AgentTransfer`) }, "updatedVariables": { object }, "mockToolResponse": { object (`ToolResponse`) }, "noToolCalls": boolean // End of list of possible types for union field `condition`. }

{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}

필드
`note`	`string` 선택사항입니다. 이 요구사항에 대한 메모로, 특정 검사가 실패할 때 보고하는 데 유용합니다. 예: "Check_Payment_Tool_Called".
`skipEvaluation`	`boolean` 선택사항입니다. true로 설정하면 이 특정 기대치가 평가되지 않습니다.
`expectationLevelMetricsThresholdsOverride`	`object (ExpectationLevelMetricsThresholds)` 선택사항입니다. 단계 수준에서 측정항목을 재정의합니다.
`agentResponseSemanticSimilarityMetricsConfigOverride`	`object (SemanticSimilarityMetricsConfig)` 선택사항입니다. agent_response 시맨틱 유사성 측정항목의 재정의입니다.
`agentResponseHallucinationMetricsConfigOverride`	`object (HallucinationMetricsConfig)` 선택사항입니다. agent_response 환각 측정항목의 재정의입니다.
`comparisonType`	`enum (ComparisonType)` 선택사항입니다. 예상 검사에 사용할 비교 유형입니다.
통합 필드 `condition`. 실제로 실행할 검사입니다. `condition`은 다음 중 하나여야 합니다.
`toolCall`	`object (ToolCall)` 선택사항입니다. 특정 도구가 매개변수와 함께 호출되었는지 확인합니다.
`toolResponse`	`object (ToolResponse)` 선택사항입니다. 특정 도구가 예상된 응답을 했는지 확인합니다.
`agentResponse`	`object (Message)` 선택사항입니다. 상담사가 올바른 대답을 했는지 확인합니다. 'agent' 역할이 암시됩니다.
`agentTransfer`	`object (AgentTransfer)` 선택사항입니다. 상담사가 대화를 다른 상담사에게 트랜스퍼했는지 확인합니다.
`updatedVariables`	`object (Struct format)` 선택사항입니다. 상담사가 세션 변수를 예상 값으로 업데이트했는지 확인합니다. 골든 평가를 위해 에이전트 변수 업데이트를 캡처하는 데도 사용됩니다.
`mockToolResponse`	`object (ToolResponse)` 선택사항입니다. 관심 있는 매개변수가 지정된 모의 도구 응답입니다. 지정되지 않은 매개변수는 LLM에 의해 환각됩니다.
`noToolCalls`	`boolean` 선택사항입니다. 이 턴에서 호출된 도구가 없는지 확인합니다.

ToolCall

JSON 표현

JSON 표현
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, // Union field `tool_identifier` can be only one of the following: "tool": string, "toolsetTool": { object (`ToolsetTool`) } // End of list of possible types for union field `tool_identifier`. }

{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}

필드
`id`	`string` 선택사항입니다. 도구 호출의 고유 식별자입니다. 채워진 경우 클라이언트는 `ToolResponse`에서 일치하는 ID로 실행 결과를 반환해야 합니다.
`displayName`	`string` 출력 전용입니다. 도구의 표시 이름입니다.
`args`	`object (Struct format)` 선택사항입니다. JSON 객체 형식의 도구 입력 매개변수와 값입니다.
`parentToolCallId`	`string` 출력 전용입니다. 상위 호출을 대신하여 작업하는 하위 에이전트가 이 호출을 발행한 경우 이 호출을 유발한 도구 호출의 ID입니다. 최상위 호출의 경우 비어 있습니다. 클라이언트가 모든 단계를 형제로 렌더링하는 대신 시작된 통화 아래에 하위 에이전트의 작업을 그룹화할 수 있습니다.
`agentName`	`string` 출력 전용입니다. 이 통화를 발급한 상담사의 사람이 읽을 수 있는 이름입니다(예: '계약 설계사'). 루트 에이전트가 발급한 경우 비어 있습니다.
통합 필드 `tool_identifier`. 실행할 도구의 식별자입니다. 지속형 도구 또는 도구 세트의 도구일 수 있습니다. `tool_identifier`은 다음 중 하나여야 합니다.
`tool`	`string` 선택사항입니다. 실행할 도구의 이름입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/tools/{tool}`
`toolsetTool`	`object (ToolsetTool)` 선택사항입니다. 실행할 도구 세트 도구입니다.

메시지

JSON 표현
{ "role": string, "chunks": [ { object (`Chunk`) } ], "eventTime": string }

필드

필드
`role`	`string` 선택사항입니다. 대화 내 역할입니다(예: 사용자, 상담사).
`chunks[]`	`object (Chunk)` 선택사항입니다. 메시지의 콘텐츠(청크 시리즈)입니다.
`eventTime`	`string (Timestamp format)` 선택사항입니다. 메일이 전송 또는 수신된 시점의 타임스탬프입니다. 메시지가 `example`의 일부인 경우에는 사용하면 안 됩니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.

role

string

선택사항입니다. 대화 내 역할입니다(예: 사용자, 상담사).

chunks[]

object (Chunk)

선택사항입니다. 메시지의 콘텐츠(청크 시리즈)입니다.

eventTime

string (Timestamp format)

선택사항입니다. 메일이 전송 또는 수신된 시점의 타임스탬프입니다. 메시지가 example의 일부인 경우에는 사용하면 안 됩니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.

Chunk

JSON 표현

JSON 표현
{ // Union field `data` can be only one of the following: "text": string, "transcript": string, "blob": { object (`Blob`) }, "payload": { object }, "image": { object (`Image`) }, "toolCall": { object (`ToolCall`) }, "toolResponse": { object (`ToolResponse`) }, "agentTransfer": { object (`AgentTransfer`) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field `data`. }

{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}

필드
통합 필드 `data`. 청크 데이터입니다. `data`은 다음 중 하나여야 합니다.
`text`	`string` 선택사항입니다. 텍스트 데이터.
`transcript`	`string` 선택사항입니다. 오디오와 연결된 스크립트입니다.
`blob`	`object (Blob)` 선택사항입니다. BLOB 데이터입니다.
`payload`	`object (Struct format)` 선택사항입니다. 맞춤 페이로드 데이터입니다.
`image`	`object (Image)` 선택사항입니다. 이미지 데이터입니다.
`toolCall`	`object (ToolCall)` 선택사항입니다. 도구 실행 요청입니다.
`toolResponse`	`object (ToolResponse)` 선택사항입니다. 도구 실행 응답입니다.
`agentTransfer`	`object (AgentTransfer)` 선택사항입니다. 상담사 트랜스퍼 이벤트입니다.
`updatedVariables`	`object (Struct format)` 구조체는 대화에서 업데이트된 변수를 나타내며 변수 이름으로 키가 지정됩니다.
`defaultVariables`	`object (Struct format)` 구조체는 대화 시작 시 기본 변수를 나타내며 변수 이름으로 키가 지정됩니다.

타임스탬프

JSON 표현
{ "seconds": string, "nanos": integer }

필드

필드
`seconds`	`string (int64 format)` Unix epoch 1970-01-01T00:00:00Z 이후 UTC 시간의 초 단위로 표현합니다. -62135596800~253402300799 (0001-01-01T00:00:00Z~9999-12-31T23:59:59Z) 사이여야 합니다.
`nanos`	`integer` 나노초 단위의 음수가 아닌 초수입니다. 이 필드는 기간의 나노초 부분이며 초의 대안이 아닙니다. 음수의 초수 값에는 시간에 반영되는 음수가 아닌 나노초 값이 있어야 합니다. 0~999,999,999(포함) 사이여야 합니다.

seconds

string (int64 format)

Unix epoch 1970-01-01T00:00:00Z 이후 UTC 시간의 초 단위로 표현합니다. -62135596800~253402300799 (0001-01-01T00:00:00Z~9999-12-31T23:59:59Z) 사이여야 합니다.

nanos

integer

나노초 단위의 음수가 아닌 초수입니다. 이 필드는 기간의 나노초 부분이며 초의 대안이 아닙니다. 음수의 초수 값에는 시간에 반영되는 음수가 아닌 나노초 값이 있어야 합니다. 0~999,999,999(포함) 사이여야 합니다.

ExpectationLevelMetricsThresholds

JSON 표현

JSON 표현
{ // Union field `_tool_invocation_parameter_correctness_threshold` can be only one // of the following: "toolInvocationParameterCorrectnessThreshold": number // End of list of possible types for union field // `_tool_invocation_parameter_correctness_threshold`. }

{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}

필드

필드
통합 필드 `_tool_invocation_parameter_correctness_threshold`. `_tool_invocation_parameter_correctness_threshold`는 다음 중 하나여야 합니다.
`toolInvocationParameterCorrectnessThreshold`	`number` 선택사항입니다. 개별 도구 호출 매개변수 정확성의 성공 기준입니다. 0과 1 사이의 부동 소수점이어야 합니다. 기본값은 1.0입니다.

통합 필드 _tool_invocation_parameter_correctness_threshold.

_tool_invocation_parameter_correctness_threshold는 다음 중 하나여야 합니다.

toolInvocationParameterCorrectnessThreshold

number

선택사항입니다. 개별 도구 호출 매개변수 정확성의 성공 기준입니다. 0과 1 사이의 부동 소수점이어야 합니다. 기본값은 1.0입니다.

SemanticSimilarityMetricsConfig

JSON 표현
{ "enableSemanticSimilarityMetrics": boolean }

필드

필드
`enableSemanticSimilarityMetrics`	`boolean` 선택사항입니다. 평가에 대한 의미 유사성 측정항목을 계산할지 여부입니다.

enableSemanticSimilarityMetrics

boolean

선택사항입니다. 평가에 대한 의미 유사성 측정항목을 계산할지 여부입니다.

HallucinationMetricsConfig

JSON 표현
{ "enableHallucinationMetrics": boolean }

필드

enableHallucinationMetrics

boolean

선택사항입니다. 평가에서 환각 측정항목을 계산할지 여부입니다.

스팬

JSON 표현
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (`Span`) } ] }

필드
`name`	`string` 출력 전용입니다. 스팬의 이름입니다.
`startTime`	`string (Timestamp format)` 출력 전용입니다. 스팬의 시작 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`endTime`	`string (Timestamp format)` 출력 전용입니다. 스팬의 종료 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`duration`	`string (Duration format)` 출력 전용입니다. 스팬의 지속 시간입니다. 소수점 아래가 최대 9자리까지이고 '`s`'로 끝나는 초 단위 기간입니다. 예를 들면 `"3.5s"`입니다.
`attributes`	`object (Struct format)` 출력 전용입니다. 스팬과 연결된 키-값 속성입니다.
`childSpans[]`	`object (Span)` 출력 전용입니다. 이 스팬 아래에 중첩된 하위 스팬입니다.

소요 시간

JSON 표현
{ "seconds": string, "nanos": integer }

필드

seconds

string (int64 format)

시간 범위의 부호가 있는 초입니다. -315,576,000,000~+315,576,000,000(포함) 사이여야 합니다. 참고: 이 범위는 60초/분 * 60분/시간 * 24시간/일 * 365.25일/년 * 10,000년에서 계산됩니다.

nanos

integer

시간 범위의 나노초 단위로 된 부호가 있는 초수입니다. 1초 미만의 기간은 0 seconds 필드와 양수 또는 음수 nanos 필드로 표현됩니다. 1초 이상의 기간의 경우 nanos 필드의 0이 아닌 값은 seconds 필드와 부호가 같아야 합니다. -999,999,999~+999,999,999(포함) 사이여야 합니다.

TurnLevelMetricsThresholds

JSON 표현

{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}

필드

semanticSimilarityChannel

enum (SemanticSimilarityChannel)

선택사항입니다. 평가에 사용할 시맨틱 유사성 채널입니다.

통합 필드 _semantic_similarity_success_threshold.

_semantic_similarity_success_threshold는 다음 중 하나여야 합니다.

semanticSimilaritySuccessThreshold

integer

선택사항입니다. 의미론적 유사성의 성공 기준입니다. 0에서 4 사이의 정수여야 합니다. 기본값은 3 이상입니다.

통합 필드 _overall_tool_invocation_correctness_threshold.

_overall_tool_invocation_correctness_threshold는 다음 중 하나여야 합니다.

overallToolInvocationCorrectnessThreshold

number

선택사항입니다. 전반적인 도구 호출 정확성의 성공 기준입니다. 0과 1 사이의 부동 소수점이어야 합니다. 기본값은 1.0입니다.

시나리오

JSON 표현

{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (ScenarioExecutionMode)
}

필드
`task`	`string` 필수 항목입니다. 시나리오에서 타겟팅할 작업입니다.
`userFacts[]`	`object (UserFact)` 선택사항입니다. 시나리오에서 사용할 사용자 사실입니다.
`maxTurns`	`integer` 선택사항입니다. 시뮬레이션할 최대 턴 수입니다. 허용되는 최댓값은 100입니다. 기본값은 100입니다.
`rubrics[]`	`string` 필수 항목입니다. 시나리오를 평가할 기준표입니다.
`scenarioExpectations[]`	`object (ScenarioExpectation)` 필수 항목입니다. 사용자 시뮬레이션에서 생성된 대화를 평가하는 ScenarioExpectations입니다.
`variableOverrides`	`object (Struct format)` 선택사항입니다. 변수 이름으로 키가 지정된 세션의 컨텍스트로 사용되는 변수 / 세션 매개변수입니다. 이 구조체의 멤버는 시스템에서 설정한 기본값을 재정의합니다. 사용자가 알고 있는 사실인 사용자 사실과는 다릅니다. 변수는 상담사가 알고 있는 매개변수입니다. 즉, 전화 통신 시스템에서 전달하는 MDN (전화번호)입니다.
`taskCompletionBehavior (deprecated)`	`enum (TaskCompletionBehavior)` 이 항목은 지원 중단되었습니다. 선택사항입니다. 지원 중단되었습니다. 대신 user_goal_behavior를 사용하세요.
`userGoalBehavior`	`enum (UserGoalBehavior)` 선택사항입니다. 사용자 목표의 예상 동작입니다.
`evaluationExpectations[]`	`string` 선택사항입니다. 시뮬레이션에서 생성된 대화를 평가할 평가 기대치입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}`
`scenarioExecutionMode`	`enum (ScenarioExecutionMode)` 선택사항입니다. 시나리오 평가의 실행 모드입니다.

UserFact

JSON 표현
{ "name": string, "value": string }

필드

name

string

필수 항목입니다. 사용자 사실의 이름입니다.

value

string

필수 항목입니다. 사용자 사실의 값입니다.

ScenarioExpectation

JSON 표현

{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}

필드

통합 필드 expectation. 시뮬레이션에서 생성된 대화를 평가해야 합니다. expectation은 다음 중 하나여야 합니다.

toolExpectation

object (ToolExpectation)

선택사항입니다. 평가할 도구 호출 및 응답 쌍입니다.

agentResponse

object (Message)

선택사항입니다. 평가할 상담사 응답입니다.

ToolExpectation

JSON 표현
{ "expectedToolCall": { object (`ToolCall`) }, "mockToolResponse": { object (`ToolResponse`) } }

필드

expectedToolCall

object (ToolCall)

필수 항목입니다. 관심 있는 매개변수가 지정된 예상 도구 호출입니다. 지정되지 않은 매개변수는 LLM에 의해 환각됩니다.

mockToolResponse

object (ToolResponse)

필수 항목입니다. 관심 있는 매개변수가 지정된 모의 도구 응답입니다. 지정되지 않은 매개변수는 LLM에 의해 환각됩니다.

AggregatedMetrics

JSON 표현
{ "metricsByAppVersion": [ { object (`MetricsByAppVersion`) } ] }

필드

metricsByAppVersion[]

object (MetricsByAppVersion)

출력 전용입니다. 앱 버전 ID별로 그룹화된 집계 측정항목입니다.

MetricsByAppVersion

JSON 표현

{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}

필드
`appVersionId`	`string` 출력 전용입니다. 앱 버전 ID입니다.
`toolMetrics[]`	`object (ToolMetrics)` 출력 전용입니다. 이 앱 버전 내 각 도구의 측정항목입니다.
`semanticSimilarityMetrics[]`	`object (SemanticSimilarityMetrics)` 출력 전용입니다. 이 앱 버전 내의 의미 유사성 측정항목입니다.
`hallucinationMetrics[]`	`object (HallucinationMetrics)` 출력 전용입니다. 이 앱 버전 내의 환각에 대한 측정항목입니다.
`toolCallLatencyMetrics[]`	`object (ToolCallLatencyMetrics)` 출력 전용입니다. 이 앱 버전 내의 도구 호출 지연 시간 측정항목입니다.
`turnLatencyMetrics[]`	`object (TurnLatencyMetrics)` 출력 전용입니다. 이 앱 버전 내의 턴 지연 시간 측정항목입니다.
`passCount`	`integer` 출력 전용입니다. 평가를 통과한 횟수입니다.
`failCount`	`integer` 출력 전용입니다. 평가에 실패한 횟수입니다.
`metricsByTurn[]`	`object (MetricsByTurn)` 출력 전용입니다. 이 앱 버전 내에서 턴별로 집계된 측정항목입니다.

ToolMetrics

JSON 표현
{ "tool": string, "passCount": integer, "failCount": integer }

필드

tool

string

출력 전용입니다. 도구의 이름입니다.

passCount

integer

출력 전용입니다. 도구가 통과한 횟수입니다.

failCount

integer

출력 전용입니다. 도구가 실패한 횟수입니다.

SemanticSimilarityMetrics

JSON 표현
{ "score": number }

필드

score

number

출력 전용입니다. 평균 시맨틱 유사도 점수 (0~4)입니다.

HallucinationMetrics

JSON 표현
{ "score": number }

필드

score

number

출력 전용입니다. 평균 환각 점수 (0~1)입니다.

ToolCallLatencyMetrics

JSON 표현
{ "tool": string, "averageLatency": string }

필드

tool

string

출력 전용입니다. 도구의 이름입니다.

averageLatency

string (Duration format)

출력 전용입니다. 도구 호출의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

TurnLatencyMetrics

JSON 표현
{ "averageLatency": string }

필드

averageLatency

string (Duration format)

출력 전용입니다. 턴의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

MetricsByTurn

JSON 표현

{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}

필드
`turnIndex`	`integer` 출력 전용입니다. 턴 색인 (0부터 시작)입니다.
`toolMetrics[]`	`object (ToolMetrics)` 출력 전용입니다. 이 턴 내 각 도구의 측정항목입니다.
`semanticSimilarityMetrics[]`	`object (SemanticSimilarityMetrics)` 출력 전용입니다. 이 턴 내의 의미 유사성 측정항목입니다.
`hallucinationMetrics[]`	`object (HallucinationMetrics)` 출력 전용입니다. 이 턴 내의 환각에 대한 측정항목입니다.
`toolCallLatencyMetrics[]`	`object (ToolCallLatencyMetrics)` 출력 전용입니다. 이 턴 내의 도구 호출 지연 시간 측정항목입니다.
`turnLatencyMetrics[]`	`object (TurnLatencyMetrics)` 출력 전용입니다. 이 턴 내의 턴 지연 시간 측정항목입니다.

EvaluationResult

JSON 표현

{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}

필드
`name`	`string` 식별자. 평가 결과의 고유 식별자입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}`
`displayName`	`string` 필수 항목입니다. 평가 결과의 표시 이름입니다. 평가 내에서 고유합니다. 기본적으로 형식은 ' 결과 - '입니다.
`createTime`	`string (Timestamp format)` 출력 전용입니다. 평가 결과가 생성된 타임스탬프입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`evaluationStatus`	`enum (Outcome)` 출력 전용입니다. 평가 결과입니다. execution_state가 COMPLETE인 경우에만 채워집니다.
`evaluationRun`	`string` 출력 전용입니다. 이 결과를 생성한 평가 실행입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}`
`persona`	`object (EvaluationPersona)` 출력 전용입니다. 평가 결과를 위한 대화를 생성하는 데 사용된 페르소나입니다.
`errorInfo`	`object (EvaluationErrorInfo)` 출력 전용입니다. 평가 결과의 오류 정보입니다.
`error (deprecated)`	`object (Status)` 이 항목은 지원 중단되었습니다. 출력 전용입니다. 지원 중단됨: 대신 `error_info`을 사용하세요. 실행 중에 오류가 발생했습니다.
`initiatedBy`	`string` 출력 전용입니다. 이 결과를 초래한 평가 실행을 시작한 사용자입니다.
`appVersion`	`string` 출력 전용입니다. 이 결과를 생성한 대화에 사용된 앱 버전입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/versions/{version}`
`appVersionDisplayName`	`string` 출력 전용입니다. 평가가 실행된 `app_version`의 표시 이름입니다.
`changelog`	`string` 출력 전용입니다. 평가가 실행된 앱 버전의 변경사항입니다. 사용자가 최신/초안에서 평가를 실행하는 경우 이 값이 채워집니다.
`changelogCreateTime`	`string (Timestamp format)` 출력 전용입니다. 평가가 실행된 앱 버전의 변경사항 생성 시간입니다. 사용자가 최신/초안에서 평가를 실행하는 경우 이 값이 채워집니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`executionState`	`enum (ExecutionState)` 출력 전용입니다. 평가 결과 실행 상태입니다.
`evaluationMetricsThresholds`	`object (EvaluationMetricsThresholds)` 출력 전용입니다. 결과의 평가 기준입니다.
`config`	`object (EvaluationConfig)` 출력 전용입니다. 이 결과를 생성한 평가 실행에 사용된 구성입니다.
`goldenRunMethod`	`enum (GoldenRunMethod)` 출력 전용입니다. 골든 평가를 실행하는 데 사용된 방법입니다.
`rootSpan`	`object (Span)` 출력 전용입니다. 평가 실행의 루트 스팬으로, 평가의 각 단계에 관한 정보가 포함됩니다.
`outcomeMetadata`	`enum (OutcomeMetadata)` 출력 전용입니다. 평가의 결과 메타데이터입니다. execution_state가 COMPLETE인 경우에만 채워집니다.
통합 필드 `result`. 평가 결과입니다. execution_state가 COMPLETED인 경우에만 채워집니다. `result`은 다음 중 하나여야 합니다.
`goldenResult`	`object (GoldenResult)` 출력 전용입니다. 골든 평가의 결과입니다.
`scenarioResult`	`object (ScenarioResult)` 출력 전용입니다. 시나리오 평가 결과입니다.

GoldenResult

JSON 표현
{ "turnReplayResults": [ { object (`TurnReplayResult`) } ], "evaluationExpectationResults": [ { object (`EvaluationExpectationResult`) } ] }

필드

turnReplayResults[]

object (TurnReplayResult)

출력 전용입니다. 골든 대화의 각 차례를 실행한 결과입니다.

evaluationExpectationResults[]

object (EvaluationExpectationResult)

출력 전용입니다. 평가 기대치의 결과입니다.

TurnReplayResult

JSON 표현

{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}

필드
`conversation`	`string` 출력 전용입니다. 이 턴에 대해 생성된 대화입니다.
`expectationOutcome[]`	`object (GoldenExpectationOutcome)` 출력 전용입니다. 각 기대치의 결과입니다.
`hallucinationResult`	`object (HallucinationResult)` 출력 전용입니다. 과장된 표현 확인 결과입니다.
`toolInvocationScore (deprecated)`	`number` 이 항목은 지원 중단되었습니다. 출력 전용입니다. 지원 중단되었습니다. 대신 OverallToolInvocationResult를 사용하세요.
`turnLatency`	`string (Duration format)` 출력 전용입니다. 턴의 지속 시간입니다. 소수점 아래가 최대 9자리까지이고 '`s`'로 끝나는 초 단위 기간입니다. 예를 들면 `"3.5s"`입니다.
`toolCallLatencies[]`	`object (ToolCallLatency)` 출력 전용입니다. 턴의 각 도구 호출의 지연 시간입니다.
`semanticSimilarityResult`	`object (SemanticSimilarityResult)` 출력 전용입니다. 시맨틱 유사성 확인 결과입니다.
`overallToolInvocationResult`	`object (OverallToolInvocationResult)` 출력 전용입니다. 전체 도구 호출 확인 결과입니다.
`errorInfo`	`object (EvaluationErrorInfo)` 출력 전용입니다. 이 턴 중에 발생한 오류에 관한 정보입니다.
`spanLatencies[]`	`object (SpanLatency)` 출력 전용입니다. 턴의 스팬 지연 시간입니다.
통합 필드 `_tool_ordered_invocation_score`. `_tool_ordered_invocation_score`는 다음 중 하나여야 합니다.
`toolOrderedInvocationScore`	`number` 출력 전용입니다. 이 턴의 전체 도구 순서 지정 호출 점수입니다. 예상된 턴에서 실제로 호출된 도구의 전체 비율을 예상 순서대로 나타냅니다.

GoldenExpectationOutcome

JSON 표현

{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}

필드
`expectation`	`object (GoldenExpectation)` 출력 전용입니다. 평가된 기대치입니다.
`outcome`	`enum (Outcome)` 출력 전용입니다. 기대의 결과입니다.
`semanticSimilarityResult (deprecated)`	`object (SemanticSimilarityResult)` 이 항목은 지원 중단되었습니다. 출력 전용입니다. 시맨틱 유사성 확인 결과입니다.
`toolInvocationResult`	`object (ToolInvocationResult)` 출력 전용입니다. 도구 호출 확인 결과입니다.
통합 필드 `result`. 기대의 결과입니다. `result`은 다음 중 하나여야 합니다.
`observedToolCall`	`object (ToolCall)` 출력 전용입니다. 도구 호출 기대치의 결과입니다.
`observedToolResponse`	`object (ToolResponse)` 출력 전용입니다. 도구 응답 기대치의 결과입니다.
`observedAgentResponse`	`object (Message)` 출력 전용입니다. 상담사 응답 기대치의 결과입니다.
`observedAgentTransfer`	`object (AgentTransfer)` 출력 전용입니다. 상담사 트랜스퍼 기대치의 결과입니다.
`observedPayload`	`object (Struct format)` 출력 전용입니다. 관찰된 맞춤 페이로드입니다. 맞춤 페이로드에 대한 기대치는 없습니다. 측정항목 계산에만 사용됩니다. 결과는 항상 SKIPPED입니다.

SemanticSimilarityResult

JSON 표현

{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}

필드
`label`	`string` 출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 4: 완전히 일관됨 점수 3: 대부분 일관됨 점수 2: 부분적으로 일관됨 (사소한 누락) 점수 1: 대부분 일관되지 않음 (심각한 누락) 점수 0: 완전히 일관되지 않음 / 모순됨
`explanation`	`string` 출력 전용입니다. 의미 유사도 점수에 대한 설명입니다.
`outcome`	`enum (Outcome)` 출력 전용입니다. 시맨틱 유사성 확인 결과입니다. 이는 점수를 semantic_similarity_success_threshold와 비교하여 결정됩니다. 점수가 기준점 이상이면 결과는 PASS입니다. 그렇지 않으면 결과는 FAIL입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`integer` 출력 전용입니다. 의미론적 유사성 점수입니다. 0, 1, 2, 3, 4일 수 있습니다.

ToolInvocationResult

JSON 표현

{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}

필드
`outcome`	`enum (Outcome)` 출력 전용입니다. 도구 호출 확인 결과입니다. 이는 parameter_correctness_score를 기준과 비교하여 결정됩니다. 점수가 기준점 이상이면 결과는 PASS입니다. 그렇지 않으면 결과는 FAIL입니다.
`explanation`	`string` 출력 전용입니다. 도구 호출 결과에 대한 자유 텍스트 설명입니다.
통합 필드 `_parameter_correctness_score`. `_parameter_correctness_score`는 다음 중 하나여야 합니다.
`parameterCorrectnessScore`	`number` 출력 전용입니다. 도구 호출 파라미터 정확성 점수입니다. 이는 예상 도구 호출의 파라미터 중 실제 도구 호출에도 있는 파라미터의 비율을 나타냅니다.

HallucinationResult

JSON 표현
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

필드
`label`	`string` 출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 1: 근거 있음 점수 0: 근거 없음 점수 -1: 평가할 클레임 없음
`explanation`	`string` 출력 전용입니다. 할루시네이션 점수에 대한 설명입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`integer` 출력 전용입니다. 할루시네이션 점수입니다. -1, 0, 1일 수 있습니다.

ToolCallLatency

JSON 표현
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

필드
`tool`	`string` 출력 전용입니다. 실행된 도구의 이름입니다. 형식은 `projects/{project}/locations/{location}/apps/{app}/tools/{tool}`입니다.
`displayName`	`string` 출력 전용입니다. 도구의 표시 이름입니다.
`startTime`	`string (Timestamp format)` 출력 전용입니다. 도구 호출 실행의 시작 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`endTime`	`string (Timestamp format)` 출력 전용입니다. 도구 호출 실행의 종료 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`executionLatency`	`string (Duration format)` 출력 전용입니다. 도구 호출 실행의 지연 시간입니다. 소수점 아래가 최대 9자리까지이고 '`s`'로 끝나는 초 단위 기간입니다. 예를 들면 `"3.5s"`입니다.

OverallToolInvocationResult

JSON 표현

{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}

필드

outcome

enum (Outcome)

출력 전용입니다. 도구 호출 확인 결과입니다. 이는 tool_invocation_score를 overall_tool_invocation_correctness_threshold와 비교하여 결정됩니다. 점수가 기준점 이상이면 결과는 PASS입니다. 그렇지 않으면 결과는 FAIL입니다.

통합 필드 _tool_invocation_score.

_tool_invocation_score는 다음 중 하나여야 합니다.

toolInvocationScore

number

이 턴의 전체 도구 호출 점수입니다. 실제로 호출된 예상 턴의 도구의 전체 비율을 나타냅니다.

EvaluationErrorInfo

JSON 표현
{ "errorType": enum (`ErrorType`), "errorMessage": string, "sessionId": string, "userFacingErrorMessage": string }

필드
`errorType`	`enum (ErrorType)` 출력 전용입니다. 오류 유형입니다.
`errorMessage`	`string` 출력 전용입니다. 오류 메시지.
`sessionId`	`string` 출력 전용입니다. 오류를 일으킨 대화의 세션 ID입니다.
`userFacingErrorMessage`	`string` 출력 전용입니다. 사용자에게 표시되는 오류 메시지입니다.

SpanLatency

JSON 표현

{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}

필드
`type`	`enum (Type)` 출력 전용입니다. 스팬 유형입니다.
`displayName`	`string` 출력 전용입니다. 스팬의 표시 이름입니다. 도구 및 가드레일 범위에 적용됩니다.
`startTime`	`string (Timestamp format)` 출력 전용입니다. 스팬의 시작 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`endTime`	`string (Timestamp format)` 출력 전용입니다. 스팬의 종료 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`executionLatency`	`string (Duration format)` 출력 전용입니다. 스팬의 지연 시간입니다. 소수점 아래가 최대 9자리까지이고 '`s`'로 끝나는 초 단위 기간입니다. 예를 들면 `"3.5s"`입니다.
통합 필드 `identifier`. 유형에 따른 특정 항목의 식별자입니다. `identifier`은 다음 중 하나여야 합니다.
`resource`	`string` 출력 전용입니다. 가드레일 또는 도구 스팬의 리소스 이름입니다.
`toolset`	`object (ToolsetTool)` 출력 전용입니다. 툴셋 도구 식별자입니다.
`model`	`string` 출력 전용입니다. LLM 스팬의 이름입니다.
`callback`	`string` 출력 전용입니다. 사용자 콜백 스팬의 이름입니다.

EvaluationExpectationResult

JSON 표현
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (`Outcome`), "explanation": string }

필드
`evaluationExpectation`	`string` 출력 전용입니다. 평가 기대치입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}`
`prompt`	`string` 출력 전용입니다. 평가에 사용된 프롬프트입니다.
`outcome`	`enum (Outcome)` 출력 전용입니다. 평가 기대치의 결과입니다.
`explanation`	`string` 출력 전용입니다. 결과에 대한 설명입니다.

ScenarioResult

JSON 표현

{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}

필드

conversation

string

출력 전용입니다. 시나리오에서 생성된 대화입니다.

task

string

출력 전용입니다. 이 결과의 시나리오를 실행할 때 사용된 작업입니다.

userFacts[]

object (UserFact)

출력 전용입니다. 이 결과에 대한 시나리오에서 사용된 사용자 사실입니다.

expectationOutcomes[]

object (ScenarioExpectationOutcome)

출력 전용입니다. 각 기대치의 결과입니다.

rubricOutcomes[]

object (ScenarioRubricOutcome)

출력 전용입니다. 기준표의 결과입니다.

hallucinationResult[]

object (HallucinationResult)

출력 전용입니다. 과장된 표현 확인 결과입니다. 대화의 각 턴에 대해 하나의 그릇된 정보 결과가 표시됩니다.

taskCompletionResult
(deprecated)

object (TaskCompletionResult)

출력 전용입니다. 작업 완료 확인 결과입니다.

toolCallLatencies[]

object (ToolCallLatency)

출력 전용입니다. 대화에서 각 도구 호출 실행의 지연 시간입니다.

userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

출력 전용입니다. 사용자 목표 만족도 확인 결과입니다.

spanLatencies[]

object (SpanLatency)

출력 전용입니다. 대화의 스팬 지연 시간입니다.

evaluationExpectationResults[]

object (EvaluationExpectationResult)

출력 전용입니다. 평가 기대치의 결과입니다.

통합 필드 _all_expectations_satisfied.

_all_expectations_satisfied는 다음 중 하나여야 합니다.

allExpectationsSatisfied

boolean

출력 전용입니다. 이 턴에 대한 모든 기대치가 충족되었는지 여부입니다.

통합 필드 _task_completed.

_task_completed는 다음 중 하나여야 합니다.

taskCompleted

boolean

출력 전용입니다. 이 턴에서 작업이 완료되었는지 여부입니다. 이는 충족된 모든 기대치, 환각 없음, 사용자 목표 만족도의 복합입니다.

ScenarioExpectationOutcome

JSON 표현

{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}

필드
`expectation`	`object (ScenarioExpectation)` 출력 전용입니다. 평가된 기대치입니다.
`outcome`	`enum (Outcome)` 출력 전용입니다. ScenarioExpectation의 결과입니다.
통합 필드 `result`. 기대의 결과입니다. `result`은 다음 중 하나여야 합니다.
`observedToolCall`	`object (ObservedToolCall)` 출력 전용입니다. 관찰된 도구 호출입니다.
`observedAgentResponse`	`object (Message)` 출력 전용입니다. 관찰된 에이전트 응답입니다.

ObservedToolCall

JSON 표현
{ "toolCall": { object (`ToolCall`) }, "toolResponse": { object (`ToolResponse`) } }

필드

toolCall

object (ToolCall)

출력 전용입니다. 관찰된 도구 호출입니다.

toolResponse

object (ToolResponse)

출력 전용입니다. 관찰된 도구 응답입니다.

ScenarioRubricOutcome

JSON 표현
{ "rubric": string, "scoreExplanation": string, // Union field `_score` can be only one of the following: "score": number // End of list of possible types for union field `_score`. }

필드
`rubric`	`string` 출력 전용입니다. 대화를 평가하는 데 사용된 기준표입니다.
`scoreExplanation`	`string` 출력 전용입니다. 평가자의 루브릭에 대한 응답입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`number` 출력 전용입니다. 기준표에 따른 대화 점수입니다.

TaskCompletionResult

JSON 표현
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

필드
`label`	`string` 출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 1: 작업 완료 점수 0: 작업 미완료 점수 -1: 사용자 목표가 정의되지 않음
`explanation`	`string` 출력 전용입니다. 작업 완료 점수에 대한 설명입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`integer` 출력 전용입니다. 작업 완료 점수입니다. -1, 0, 1일 수 있습니다.

UserGoalSatisfactionResult

JSON 표현
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

필드
`label`	`string` 출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 2: 원활한 핸드오프 점수 1: 사용자 작업 만족 점수 0: 사용자 작업 불만족 점수 -1: 사용자 작업 미지정
`explanation`	`string` 출력 전용입니다. 사용자 작업 만족도 점수에 대한 설명입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`integer` 출력 전용입니다. 사용자 작업 만족도 점수입니다. -1, 0, 1, 2일 수 있습니다.

EvaluationPersona

JSON 표현
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (`SpeechConfig`) } }

필드
`name`	`string` 필수 항목입니다. 페르소나의 고유 식별자입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}`
`description`	`string` 선택사항입니다. 페르소나에 대한 설명입니다.
`displayName`	`string` 필수 항목입니다. 페르소나의 표시 이름입니다. 앱 내에서 고유합니다.
`personality`	`string` 필수 항목입니다. 평가에서 에이전트가 어떻게 행동해야 하는지에 관한 안내입니다.
`speechConfig`	`object (SpeechConfig)` 선택사항입니다. 페르소나의 음성 (TTS 설정) 구성

SpeechConfig

JSON 표현
{ "speakingRate": number, "environment": enum (`BackgroundEnvironment`), "voiceId": string }

필드

speakingRate

number

선택사항입니다. 말하기 속도입니다. 1.0이 일반적입니다. 낮은 값은 느리고 (예: 0.8) 높은 값은 빠릅니다 (예: 1.5). 에이전트가 빠른 대화자를 어떻게 처리하는지 테스트하는 데 유용합니다.

environment

enum (BackgroundEnvironment)

선택사항입니다. 시뮬레이션된 오디오 환경입니다.

voiceId

string

선택사항입니다. 사용할 특정 음성 식별자/억양입니다. 예: 'en-US-Wavenet-D' 또는 'en-GB-Standard-A'

상태

JSON 표현
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

필드

code

integer

상태 코드로, google.rpc.Code의 열거형 값이어야 합니다.

message

string

개발자에게 정보를 제공하는 오류 메시지로, 영어로 작성되어야 합니다. 사용자에게 표시되는 모든 오류 메시지는 현지화되어 google.rpc.Status.details 필드에 전송되거나, 클라이언트 측에서 현지화되어야 합니다.

details[]

object

오류 세부정보를 설명하는 메시지 목록입니다. API에서 사용할 일반적인 메시지 유형 집합이 있습니다.

임의 유형의 필드를 포함하는 객체입니다. 추가 필드 "@type"은 유형을 식별하는 URI를 포함합니다. 예: { "id": 1234, "@type": "types.example.com/standard/id" }

모두

JSON 표현
{ "typeUrl": string, "value": string }

필드

typeUrl

string

슬래시로 끝나는 접두사와 정규화된 유형 이름으로 구성된 URI 참조를 사용하여 직렬화된 Protobuf 메시지의 유형을 식별합니다.

예: type.googleapis.com/google.protobuf.StringValue

이 문자열에는 / 문자가 하나 이상 포함되어야 하며, 마지막 / 뒤의 콘텐츠는 선행 점이 없는 표준 형식의 유형의 정규화된 이름이어야 합니다. 클라이언트가 연락을 시도하지 않도록 이러한 URI 참조에 스킴을 작성하지 마세요.

접두사는 임의적이며 Protobuf 구현은 유형을 식별하기 위해 마지막 /까지 포함한 모든 것을 삭제해야 합니다. type.googleapis.com/는 일부 기존 구현에 필요한 일반적인 기본 접두사입니다. 이 접두사는 유형의 출처를 나타내지 않으며, 이 접두사가 포함된 URI는 요청에 응답하지 않습니다.

모든 유형 URL 문자열은 참조의 콘텐츠가 영숫자, 퍼센트 인코딩된 이스케이프, 다음 집합의 문자(외부 백틱 제외)로만 구성되어야 한다는 추가 제한사항이 있는 합법적인 URI 참조여야 합니다. /-.~_!$&()*+,;= Google에서는 퍼센트 인코딩을 허용하지만 기존 파서와의 혼동을 방지하기 위해 구현에서 퍼센트 인코딩을 이스케이프 해제해서는 안 됩니다. 예를 들어 type.googleapis.com%2FFoo는 거부되어야 합니다.

Any의 원래 설계에서는 이러한 유형 URL에서 유형 확인 서비스를 실행할 가능성이 고려되었지만 Protobuf는 이를 구현하지 않았으며 이러한 URL에 연결하는 것을 문제이자 잠재적인 보안 문제로 간주합니다. 연락처 유형 URL을 시도하지 마세요.

value

string (bytes format)

type_url로 설명된 유형의 Protobuf 직렬화를 보유합니다.

base64 인코딩 문자열입니다.

EvaluationMetricsThresholds

JSON 표현

{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}

필드
`goldenEvaluationMetricsThresholds`	`object (GoldenEvaluationMetricsThresholds)` 선택사항입니다. 골든 평가 측정항목 기준입니다.
`hallucinationMetricBehavior (deprecated)`	`enum (HallucinationMetricBehavior)` 이 항목은 지원 중단되었습니다. 선택사항입니다. 지원 중단됨: 대신 `golden_hallucination_metric_behavior`을 사용하세요. 현재 골든 평가에는 허위 정보 측정항목 동작이 사용됩니다.
`goldenHallucinationMetricBehavior`	`enum (HallucinationMetricBehavior)` 선택사항입니다. 골든 평가의 허위 정보 측정항목 동작입니다.
`scenarioHallucinationMetricBehavior`	`enum (HallucinationMetricBehavior)` 선택사항입니다. 시나리오 평가의 허위 정보 측정항목 동작입니다.

GoldenEvaluationMetricsThresholds

JSON 표현

{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}

필드

turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

선택사항입니다. 턴 수준 측정항목 기준점입니다.

expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

선택사항입니다. 기대 수준 측정항목 기준점입니다.

toolMatchingSettings

object (ToolMatchingSettings)

선택사항입니다. 도구 매칭 설정입니다. 추가 도구 호출은 실행에 있지만 골든 기대치에 있는 도구 호출과 일치하지 않는 도구 호출입니다.

ToolMatchingSettings

JSON 표현
{ "extraToolCallBehavior": enum (`ExtraToolCallBehavior`) }

필드

extraToolCallBehavior

enum (ExtraToolCallBehavior)

선택사항입니다. 추가 도구 호출의 동작입니다. 기본값은 FAIL입니다.

EvaluationConfig

JSON 표현

{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}

필드
`inputAudioConfig`	`object (InputAudioConfig)` 선택사항입니다. 입력 오디오 처리 구성입니다.
`outputAudioConfig`	`object (OutputAudioConfig)` 선택사항입니다. 출력 오디오를 생성하기 위한 구성입니다.
`evaluationChannel`	`enum (EvaluationChannel)` 선택사항입니다. 평가할 채널입니다.
`toolCallBehaviour`	`enum (EvaluationToolCallBehaviour)` 선택사항입니다. 평가에서 실제 도구 호출을 사용할지 아니면 가짜 도구를 사용할지 지정합니다.

InputAudioConfig

JSON 표현
{ "audioEncoding": enum (`AudioEncoding`), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

필드

audioEncoding

enum (AudioEncoding)

필수 항목입니다. 입력 오디오 데이터의 인코딩입니다.

sampleRateHertz

integer

필수 항목입니다. 입력 오디오 데이터의 샘플링 레이트 (Hz)입니다.

noiseSuppressionLevel

string

선택사항입니다. 입력 오디오에서 노이즈 제거를 사용 설정할지 여부입니다. 사용 가능한 값은 'low', 'moderate', 'high', 'very_high'입니다.

OutputAudioConfig

JSON 표현
{ "audioEncoding": enum (`AudioEncoding`), "sampleRateHertz": integer }

필드

audioEncoding

enum (AudioEncoding)

필수 항목입니다. 출력 오디오 데이터의 인코딩입니다.

sampleRateHertz

integer

필수 항목입니다. 출력 오디오 데이터의 샘플링 레이트 (Hz)입니다.

EvaluationMetricsConfig

JSON 표현
{ "goldenMetricsConfig": { object (`GoldenMetricsConfig`) }, "scenarioMetricsConfig": { object (`ScenarioMetricsConfig`) } }

필드

goldenMetricsConfig

object (GoldenMetricsConfig)

선택사항입니다. 평가의 골든 측정항목 구성입니다.

scenarioMetricsConfig

object (ScenarioMetricsConfig)

선택사항입니다. 평가의 시나리오 측정항목 구성입니다.

GoldenMetricsConfig

JSON 표현

{
  "semanticSimilarityMetricsConfig": {
    object (SemanticSimilarityMetricsConfig)
  },
  "toolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  },
  "stepToolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  }
}

필드

semanticSimilarityMetricsConfig

object (SemanticSimilarityMetricsConfig)

선택사항입니다. 시맨틱 유사성 측정항목의 전역 구성입니다.

toolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

선택사항입니다. 턴 수준 도구 정확성 측정항목의 구성입니다.

stepToolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

선택사항입니다. 단계 수준 도구 정확성 측정항목의 구성입니다.

ToolCorrectnessMetricsConfig

JSON 표현
{ "enableToolCorrectnessMetrics": boolean }

필드

enableToolCorrectnessMetrics

boolean

선택사항입니다. 평가에서 도구 정확성 측정항목을 계산할지 여부입니다.

ScenarioMetricsConfig

JSON 표현
{ "userGoalMetMetricsConfig": { object (`UserGoalMetMetricsConfig`) }, "expectationsMetMetricsConfig": { object (`ExpectationsMetMetricsConfig`) } }

필드

userGoalMetMetricsConfig

object (UserGoalMetMetricsConfig)

선택사항입니다. 사용자 목표 달성 측정항목의 구성입니다.

expectationsMetMetricsConfig

object (ExpectationsMetMetricsConfig)

선택사항입니다. 기대 수준 측정항목의 구성입니다.

UserGoalMetMetricsConfig

JSON 표현
{ "enableUserGoalMetMetrics": boolean }

필드

enableUserGoalMetMetrics

boolean

선택사항입니다. 평가를 위해 사용자 목표 달성 측정항목을 계산할지 여부입니다.

ExpectationsMetMetricsConfig

JSON 표현
{ "enableExpectationsMetMetrics": boolean }

필드

enableExpectationsMetMetrics

boolean

선택사항입니다. 평가에 대한 기대치 수준 측정항목을 계산할지 여부입니다.

NullValue

JSON null를 나타냅니다.

NullValue는 Value 유형 결합의 null 값을 나타내기 위해 값이 하나만 있는 enum을 사용하는 센티널입니다.

0 이외의 값이 있는 NullValue 유형의 필드는 잘못된 것으로 간주됩니다. 대부분의 ProtoJSON 직렬화 프로그램은 정수 값과 관계없이 null_value이 JSON null로 설정된 Value를 내보내므로 0 값으로 왕복합니다.

열거형
`NULL_VALUE`	null 값입니다.

ComparisonType

에이전트의 대답을 확인하기 위해 지원되는 비교 유형입니다.

열거형
`COMPARISON_TYPE_UNSPECIFIED`	지정되지 않은 비교 유형입니다. 동작은 에이전트 응답 및 도구 호출에 대해 SEMANTIC_SIMILARITY로 기본 설정됩니다.
`EQUALS`	문자열이 완전히 일치합니다.
`CONTAINS`	하위 문자열 일치 (예상 문자열이 실제 응답에 포함되어 있는지 확인)
`SEMANTIC_SIMILARITY`	시맨틱 유사성 일치 (LLM을 사용하여 의미 유사성을 평가함)

SemanticSimilarityChannel

사용할 시맨틱 유사성 채널입니다.

열거형
`SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED`	측정항목이 지정되지 않았습니다. 기본값은 TEXT입니다.
`TEXT`	텍스트 시맨틱 유사성을 사용합니다.
`AUDIO`	오디오 시맨틱 유사성을 사용합니다.

HallucinationMetricBehavior

과장된 표현 측정항목 동작입니다. 동작과 관계없이 측정항목은 항상 계산됩니다. 사용 중지된 경우 측정항목이 전체 평가 점수를 계산하는 데 사용되지 않는다는 점이 다릅니다.

열거형
`HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED`	지정되지 않은 환각 측정항목 동작입니다.
`DISABLED`	환각 측정항목을 사용 중지합니다.
`ENABLED`	환각 측정항목을 사용 설정합니다.

TaskCompletionBehavior

사용자 작업의 예상 동작입니다. 이는 시나리오가 성공적인지 확인하는 데 사용됩니다.

열거형
`TASK_COMPLETION_BEHAVIOR_UNSPECIFIED`	동작이 지정되지 않았습니다. 기본값은 TASK_SATISFIED입니다.
`TASK_SATISFIED`	사용자 작업이 완료되어야 합니다.
`TASK_REJECTED`	사용자 작업이 거부되어야 합니다.

UserGoalBehavior

사용자 목표의 예상 동작입니다. 이는 시나리오가 성공적인지 확인하는 데 사용됩니다.

열거형
`USER_GOAL_BEHAVIOR_UNSPECIFIED`	동작이 지정되지 않았습니다. 기본값은 USER_GOAL_SATISFIED입니다.
`USER_GOAL_SATISFIED`	사용자 목표가 성공적으로 완료되어야 합니다.
`USER_GOAL_REJECTED`	사용자 목표는 거부되어야 합니다.
`USER_GOAL_IGNORED`	사용자 목표 상태를 무시합니다.

ScenarioExecutionMode

시나리오 평가의 실행 모드입니다.

열거형
`SCENARIO_EXECUTION_MODE_UNSPECIFIED`	지정되지 않은 실행 모드입니다. 기본값은 QUALITY_OPTIMIZED입니다.
`QUALITY_OPTIMIZED`	품질 최적화 모드입니다.
`SPEED_OPTIMIZED`	속도 최적화 모드입니다.

결과

평가 또는 기대치의 결과입니다.

열거형
`OUTCOME_UNSPECIFIED`	평가 결과가 지정되지 않았습니다.
`PASS`	평가/기대가 충족되었습니다. 평가의 경우 모든 기대치가 충족되었음을 의미합니다.
`FAIL`	평가/기대가 실패했습니다. 평가의 경우 하나 이상의 기대치가 충족되지 않았음을 의미합니다.
`SKIPPED`	평가/기대가 건너뛰었습니다.

ErrorType

오류 유형

열거형
`ERROR_TYPE_UNSPECIFIED`	지정되지 않은 오류 유형입니다.
`RUNTIME_FAILURE`	런타임 실행 중 오류가 발생했습니다.
`CONVERSATION_RETRIEVAL_FAILURE`	CES 런타임에서 대화를 가져오지 못함
`METRIC_CALCULATION_FAILURE`	측정항목 / 결과를 계산할 수 없습니다.
`EVALUATION_UPDATE_FAILURE`	평가를 업데이트할 수 없습니다.
`QUOTA_EXHAUSTED`	할당량이 소진되었습니다.
`USER_SIMULATION_FAILURE`	사용자 시뮬레이션 중 오류가 발생했습니다.

유형

스팬 유형입니다. 향후 값이 추가될 수 있습니다.

열거형
`TYPE_UNSPECIFIED`	기본값 이 값은 사용되지 않습니다.
`TOOL`	도구 호출 스팬입니다.
`USER_CALLBACK`	사용자 콜백 스팬입니다.
`GUARDRAIL`	가드레일 스팬입니다.
`LLM`	LLM 스팬입니다.

BackgroundEnvironment

시뮬레이션된 오디오 환경입니다.

열거형
`BACKGROUND_ENVIRONMENT_UNSPECIFIED`	백그라운드 환경이 지정되지 않았습니다.
`CALL_CENTER`	콜센터 환경
`TRAFFIC`	교통 소음 환경입니다.
`KIDS_NOISE`	아이들 소음 환경
`CAFE`	카페 환경

ExecutionState

평가 결과 실행 상태입니다.

열거형
`EXECUTION_STATE_UNSPECIFIED`	평가 결과 실행 상태가 지정되지 않았습니다.
`QUEUED`	평가 결과 실행이 대기열에 추가되었습니다.
`RUNNING`	평가 결과 실행이 실행 중입니다.
`COMPLETED`	평가 결과 실행이 완료되었습니다.
`ERROR`	내부 오류로 인해 평가 결과 실행이 실패했습니다.
`CANCELLED`	평가 결과 실행이 취소되었습니다.

ExtraToolCallBehavior

추가 도구 호출이 발생할 때의 동작을 정의합니다. 추가 도구 호출은 실행에 있지만 골든 기대치에 있는 도구 호출과 일치하지 않는 도구 호출입니다.

열거형
`EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED`	지정되지 않은 동작입니다. 기본값은 FAIL입니다.
`FAIL`	추가 도구 호출이 발견되면 평가를 실패합니다.
`ALLOW`	추가 도구 호출을 허용합니다.

AudioEncoding

AudioEncoding은 오디오 데이터의 인코딩 형식을 지정합니다.

열거형
`AUDIO_ENCODING_UNSPECIFIED`	지정되지 않은 오디오 인코딩입니다.
`LINEAR16`	16비트 선형 PCM 오디오 인코딩
`MULAW`	G.711 PCMU/mu-law를 사용하여 14비트 오디오 샘플을 압축하는 8비트 샘플입니다.
`ALAW`	G.711 PCMU/A-law를 사용하여 14비트 오디오 샘플을 압축하는 8비트 샘플입니다.

EvaluationChannel

평가할 채널입니다.

열거형
`EVALUATION_CHANNEL_UNSPECIFIED`	지정되지 않은 평가 채널입니다.
`TEXT`	텍스트 전용 평가 채널입니다.
`AUDIO`	오디오 평가 채널입니다.

EvaluationToolCallBehaviour

평가 실행의 도구 호출 동작을 구성합니다.

열거형
`EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED`	지정되지 않은 도구 호출 동작입니다. 실제 도구 호출이 기본값입니다.
`REAL`	실제 도구 호출을 사용합니다.
`FAKE`	가짜 도구 호출을 사용합니다.

GoldenRunMethod

평가를 실행하는 데 사용된 방법입니다.

열거형
`GOLDEN_RUN_METHOD_UNSPECIFIED`	실행 메서드가 지정되지 않았습니다.
`STABLE`	각 턴이 이전 예상 턴이 컨텍스트로 삽입된 고유 세션인 안정적인 리플레이로 평가를 실행합니다.
`NAIVE`	실행이 컨텍스트가 삽입되지 않은 단일 세션인 단순 리플레이로 평가를 실행합니다.

OutcomeMetadata

평가 결과에 관한 메타데이터입니다.

열거형
`OUTCOME_METADATA_UNSPECIFIED`	지정되지 않은 결과 메타데이터입니다.
`GRACEFUL_HANDOFF`	평가 결과 상담사에게 원활하게 전달되었습니다.

출력 스키마

평가에는 에이전트를 시뮬레이션하고 평가하는 데 필요한 모든 정보가 포함됩니다.

평가

JSON 표현

{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}

필드
`name`	`string` 식별자. 이 평가의 고유 식별자입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}`
`displayName`	`string` 필수 항목입니다. 평가의 사용자 정의 표시 이름입니다. 앱 내에서 고유합니다.
`description`	`string` 선택사항입니다. 평가에 대한 사용자 정의 설명입니다.
`tags[]`	`string` 선택사항입니다. 평가를 분류하는 사용자 정의 태그입니다.
`evaluationDatasets[]`	`string` 출력 전용입니다. 평가가 속한 평가 데이터 세트 목록입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}`
`createTime`	`string (Timestamp format)` 출력 전용입니다. 평가가 생성된 타임스탬프입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`createdBy`	`string` 출력 전용입니다. 평가를 만든 사용자입니다.
`updateTime`	`string (Timestamp format)` 출력 전용입니다. 평가가 마지막으로 업데이트된 타임스탬프입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`lastUpdatedBy`	`string` 출력 전용입니다. 평가를 마지막으로 업데이트한 사용자입니다.
`evaluationRuns[]`	`string` 출력 전용입니다. 이 평가와 연결된 EvaluationRun입니다.
`etag`	`string` 출력 전용입니다. 읽기-수정-쓰기 작업 중에 객체가 변경되지 않았는지 확인하는 데 사용되는 Etag입니다. etag가 비어 있으면 업데이트가 동시에 발생하는 변경사항을 덮어씁니다.
`aggregatedMetrics`	`object (AggregatedMetrics)` 출력 전용입니다. 모든 실행에서 이 평가에 대해 집계된 측정항목입니다.
`lastCompletedResult`	`object (EvaluationResult)` 출력 전용입니다. 이 평가의 최신 평가 결과입니다.
`invalid`	`boolean` 출력 전용입니다. 평가가 유효하지 않은지 여부입니다. 이는 평가에서 삭제된 도구, 도구 모음 또는 에이전트를 참조하는 경우에 발생할 수 있습니다.
`lastTenResults[]`	`object (EvaluationResult)` 출력 전용입니다. 이 평가의 마지막 10개 평가 결과입니다. ListEvaluationsRequest 또는 GetEvaluationRequest에서 include_last_ten_results가 true로 설정된 경우에만 이 값이 채워집니다.
`evaluationMetricsThresholdOverride`	`object (EvaluationMetricsThresholds)` 선택사항입니다. 이 특정 평가의 측정항목 기준점을 재정의합니다.
`evaluationMetricsConfigOverride`	`object (EvaluationMetricsConfig)` 선택사항입니다. 이 특정 평가의 측정항목 구성을 재정의합니다.
통합 필드 `inputs`. 평가 `inputs`의 입력은 다음 중 하나여야 합니다.
`golden`	`object (Golden)` 선택사항입니다. 평가할 골든 단계입니다.
`scenario`	`object (Scenario)` 선택사항입니다. 시나리오의 구성입니다.

골드

JSON 표현
{ "turns": [ { object (`GoldenTurn`) } ], "evaluationExpectations": [ string ] }

필드

turns[]

object (GoldenTurn)

필수 항목입니다. 골든 대화를 다시 재생하는 데 필요한 골든 턴입니다. 허용되는 최대 턴 수는 100개입니다.

evaluationExpectations[]

string

선택사항입니다. 리플레이된 대화를 평가할 평가 기대치입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

JSON 표현

{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior)
}

필드
`steps[]`	`object (Step)` 필수 항목입니다. 골든 대화를 다시 재생하는 데 필요한 단계입니다.
`rootSpan`	`object (Span)` 선택사항입니다. 오디오 정보를 처리하고 유지하기 위한 골든 턴의 루트 스팬입니다. 오디오 URI에는 16kHz 샘플링 레이트로 저장된 오디오가 포함되어야 합니다.
`turnLevelMetricsThresholdsOverride`	`object (TurnLevelMetricsThresholds)` 선택사항입니다. 턴 수준 측정항목 기준의 재정의입니다.
`hallucinationMetricBehaviorOverride`	`enum (HallucinationMetricBehavior)` 선택사항입니다. 턴 수준 환각 측정항목 동작을 재정의합니다.

단계

JSON 표현

{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}

필드
통합 필드 `step`. 실행할 단계입니다. `step`은 다음 중 하나여야 합니다.
`userInput`	`object (SessionInput)` 선택사항입니다. 대화에 대한 사용자 입력입니다.
`agentTransfer`	`object (AgentTransfer)` 선택사항입니다. 대화를 다른 상담사에게 트랜스퍼합니다.
`expectation`	`object (GoldenExpectation)` 선택사항입니다. 현재 턴에서 기대치를 실행합니다.

SessionInput

JSON 표현

{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}

필드
`willContinue`	`boolean` 선택사항입니다. 현재 메시지가 bidi 스트리밍 세션에서 더 큰 입력의 프래그먼트인지 나타내는 플래그입니다. `true`로 설정하면 에이전트는 `will_continue`이 `false`인 후속 메시지를 수신할 때까지 또는 시스템이 오디오 입력에서 엔드포인트를 감지할 때까지 처리를 지연합니다. 참고: 이 필드는 오디오 및 DTMF 입력에는 적용되지 않습니다. 엔드포인팅 신호에 따라 항상 자동으로 처리되기 때문입니다.
통합 필드 `input_type`. 입력의 유형입니다. `input_type`은 다음 중 하나여야 합니다.
`text`	`string` 선택사항입니다. 최종 사용자의 텍스트 데이터입니다.
`dtmf`	`string` 선택사항입니다. 최종 사용자의 DTMF 숫자입니다.
`audio`	`string (bytes format)` 선택사항입니다. 최종 사용자의 오디오 데이터입니다. base64 인코딩 문자열입니다.
`toolResponses`	`object (ToolResponses)` 선택사항입니다. 클라이언트의 도구 호출 실행 결과입니다.
`image`	`object (Image)` 선택사항입니다. 최종 사용자의 이미지 데이터입니다.
`blob`	`object (Blob)` 선택사항입니다. 최종 사용자의 BLOB 데이터입니다.
`variables`	`object (Struct format)` 선택사항입니다. 세션의 컨텍스트 변수입니다. 이름으로 키가 지정됩니다. 앱에서 선언된 변수만 CES 에이전트에서 사용됩니다. 인식되지 않는 변수는 [Dialogflow 에이전트][Agent.RemoteDialogflowAgent] 에 추가 세션 매개변수로 전송됩니다.
`event`	`object (Event)` 선택사항입니다. 이벤트 입력입니다.

ToolResponses

JSON 표현
{ "toolResponses": [ { object (`ToolResponse`) } ] }

필드

toolResponses[]

object (ToolResponse)

선택사항입니다. 도구 실행 결과 목록입니다.

ToolResponse

JSON 표현

{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}

필드
`id`	`string` 선택사항입니다. 응답이 속한 `tool call`의 일치하는 ID입니다.
`displayName`	`string` 출력 전용입니다. 도구의 표시 이름입니다.
`response`	`object (Struct format)` 필수 항목입니다. JSON 객체 형식의 도구 실행 결과입니다. 'output' 키를 사용하여 도구 응답을 지정하고 'error' 키를 사용하여 오류 세부정보를 지정합니다 (있는 경우). 'output' 및 'error' 키가 지정되지 않은 경우 전체 'response'가 도구 실행 결과로 처리됩니다.
`parentToolCallId`	`string` 출력 전용입니다. 상위 호출을 대신하여 작업하는 하위 에이전트가 이 호출을 발행한 경우 이 호출을 유발한 도구 호출의 ID입니다. 최상위 호출의 경우 비어 있습니다. 클라이언트가 모든 단계를 형제로 렌더링하는 대신 시작된 통화 아래에 하위 에이전트의 작업을 그룹화할 수 있습니다.
`agentName`	`string` 출력 전용입니다. 이 통화를 발급한 상담사의 사람이 읽을 수 있는 이름입니다(예: '계약 설계사'). 루트 에이전트가 발급한 경우 비어 있습니다.
통합 필드 `tool_identifier`. 실행된 도구의 식별자입니다. 지속형 도구 또는 도구 세트의 도구일 수 있습니다. `tool_identifier`은 다음 중 하나여야 합니다.
`tool`	`string` 선택사항입니다. 실행할 도구의 이름입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/tools/{tool}`
`toolsetTool`	`object (ToolsetTool)` 선택사항입니다. 실행된 도구 세트 도구입니다.

ToolsetTool

JSON 표현
{ "toolset": string, "toolId": string }

필드

toolset

string

필수 항목입니다. 이 도구가 파생된 도구 세트의 리소스 이름입니다. 형식: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}

toolId

string

선택사항입니다. 스키마를 가져올 도구를 필터링할 도구 ID입니다.

구조체

JSON 표현
{ "fields": { string: value, ... } }

필드

fields

map (key: string, value: value (Value format))

동적으로 입력된 값의 순서가 지정되지 않은 맵입니다.

"key": value 쌍 목록을 포함하는 객체입니다. 예: { "name": "wrench", "mass": "1.3kg", "count": "3" }

FieldsEntry

JSON 표현
{ "key": string, "value": value }

필드
`key`	`string`
`value`	`value (Value format)`

값

JSON 표현

{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}

필드
통합 필드 `kind`. 값의 종류입니다. `kind`은 다음 중 하나여야 합니다.
`nullValue`	`null` JSON `null`를 나타냅니다.
`numberValue`	`number` JSON 숫자를 나타냅니다. JSON에서는 `NaN`, `Infinity`, `-Infinity`가 지원되지 않으므로 이러한 값은 사용할 수 없습니다. 또한 JSON 형식은 일반적으로 숫자 유형에서 큰 Int64 값을 지원하지 않으므로 이를 표현할 수 없습니다.
`stringValue`	`string` JSON 문자열을 나타냅니다.
`boolValue`	`boolean` JSON 불리언 (JSON의 `true` 또는 `false` 리터럴)을 나타냅니다.
`structValue`	`object (Struct format)` JSON 객체를 나타냅니다.
`listValue`	`array (ListValue format)` JSON 배열을 나타냅니다.

ListValue

JSON 표현
{ "values": [ value ] }

필드

values[]

value (Value format)

동적으로 입력된 값의 반복 필드입니다.

이미지

JSON 표현
{ "mimeType": string, "data": string }

필드

mimeType

string

필수 항목입니다. 소스 데이터의 IANA 표준 MIME 유형입니다. 지원되는 이미지 유형은 다음과 같습니다. * image/png * image/jpeg * image/webp

data

string (bytes format)

필수 항목입니다. 이미지의 원시 바이트입니다.

base64 인코딩 문자열입니다.

blob

JSON 표현
{ "mimeType": string, "data": string }

필드

mimeType

string

필수 항목입니다. 소스 데이터의 IANA 표준 MIME 유형입니다.

data

string (bytes format)

필수 항목입니다. blob의 원시 바이트입니다.

base64 인코딩 문자열입니다.

이벤트

JSON 표현
{ "event": string }

필드

event

string

필수 항목입니다. 이벤트 이름입니다.

AgentTransfer

JSON 표현
{ "targetAgent": string, "displayName": string }

필드

targetAgent

string

displayName

string

출력 전용입니다. 에이전트의 표시 이름입니다.

GoldenExpectation

JSON 표현

{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}

필드
`note`	`string` 선택사항입니다. 이 요구사항에 대한 메모로, 특정 검사가 실패할 때 보고하는 데 유용합니다. 예: "Check_Payment_Tool_Called".
`skipEvaluation`	`boolean` 선택사항입니다. true로 설정하면 이 특정 기대치가 평가되지 않습니다.
`expectationLevelMetricsThresholdsOverride`	`object (ExpectationLevelMetricsThresholds)` 선택사항입니다. 단계 수준에서 측정항목을 재정의합니다.
`agentResponseSemanticSimilarityMetricsConfigOverride`	`object (SemanticSimilarityMetricsConfig)` 선택사항입니다. agent_response 시맨틱 유사성 측정항목의 재정의입니다.
`agentResponseHallucinationMetricsConfigOverride`	`object (HallucinationMetricsConfig)` 선택사항입니다. agent_response 환각 측정항목의 재정의입니다.
`comparisonType`	`enum (ComparisonType)` 선택사항입니다. 예상 검사에 사용할 비교 유형입니다.
통합 필드 `condition`. 실제로 실행할 검사입니다. `condition`은 다음 중 하나여야 합니다.
`toolCall`	`object (ToolCall)` 선택사항입니다. 특정 도구가 매개변수와 함께 호출되었는지 확인합니다.
`toolResponse`	`object (ToolResponse)` 선택사항입니다. 특정 도구가 예상된 응답을 했는지 확인합니다.
`agentResponse`	`object (Message)` 선택사항입니다. 상담사가 올바른 대답을 했는지 확인합니다. 'agent' 역할이 암시됩니다.
`agentTransfer`	`object (AgentTransfer)` 선택사항입니다. 상담사가 대화를 다른 상담사에게 트랜스퍼했는지 확인합니다.
`updatedVariables`	`object (Struct format)` 선택사항입니다. 상담사가 세션 변수를 예상 값으로 업데이트했는지 확인합니다. 골든 평가를 위해 에이전트 변수 업데이트를 캡처하는 데도 사용됩니다.
`mockToolResponse`	`object (ToolResponse)` 선택사항입니다. 관심 있는 매개변수가 지정된 모의 도구 응답입니다. 지정되지 않은 매개변수는 LLM에 의해 환각됩니다.
`noToolCalls`	`boolean` 선택사항입니다. 이 턴에서 호출된 도구가 없는지 확인합니다.

ToolCall

JSON 표현

{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}

필드
`id`	`string` 선택사항입니다. 도구 호출의 고유 식별자입니다. 채워진 경우 클라이언트는 `ToolResponse`에서 일치하는 ID로 실행 결과를 반환해야 합니다.
`displayName`	`string` 출력 전용입니다. 도구의 표시 이름입니다.
`args`	`object (Struct format)` 선택사항입니다. JSON 객체 형식의 도구 입력 매개변수와 값입니다.
`parentToolCallId`	`string` 출력 전용입니다. 상위 호출을 대신하여 작업하는 하위 에이전트가 이 호출을 발행한 경우 이 호출을 유발한 도구 호출의 ID입니다. 최상위 호출의 경우 비어 있습니다. 클라이언트가 모든 단계를 형제로 렌더링하는 대신 시작된 통화 아래에 하위 에이전트의 작업을 그룹화할 수 있습니다.
`agentName`	`string` 출력 전용입니다. 이 통화를 발급한 상담사의 사람이 읽을 수 있는 이름입니다(예: '계약 설계사'). 루트 에이전트가 발급한 경우 비어 있습니다.
통합 필드 `tool_identifier`. 실행할 도구의 식별자입니다. 지속형 도구 또는 도구 세트의 도구일 수 있습니다. `tool_identifier`은 다음 중 하나여야 합니다.
`tool`	`string` 선택사항입니다. 실행할 도구의 이름입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/tools/{tool}`
`toolsetTool`	`object (ToolsetTool)` 선택사항입니다. 실행할 도구 세트 도구입니다.

메시지

JSON 표현
{ "role": string, "chunks": [ { object (`Chunk`) } ], "eventTime": string }

필드

role

string

선택사항입니다. 대화 내 역할입니다(예: 사용자, 상담사).

chunks[]

object (Chunk)

선택사항입니다. 메시지의 콘텐츠(청크 시리즈)입니다.

eventTime

string (Timestamp format)

선택사항입니다. 메일이 전송 또는 수신된 시점의 타임스탬프입니다. 메시지가 example의 일부인 경우에는 사용하면 안 됩니다.

Chunk

JSON 표현

{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}

필드
통합 필드 `data`. 청크 데이터입니다. `data`은 다음 중 하나여야 합니다.
`text`	`string` 선택사항입니다. 텍스트 데이터.
`transcript`	`string` 선택사항입니다. 오디오와 연결된 스크립트입니다.
`blob`	`object (Blob)` 선택사항입니다. BLOB 데이터입니다.
`payload`	`object (Struct format)` 선택사항입니다. 맞춤 페이로드 데이터입니다.
`image`	`object (Image)` 선택사항입니다. 이미지 데이터입니다.
`toolCall`	`object (ToolCall)` 선택사항입니다. 도구 실행 요청입니다.
`toolResponse`	`object (ToolResponse)` 선택사항입니다. 도구 실행 응답입니다.
`agentTransfer`	`object (AgentTransfer)` 선택사항입니다. 상담사 트랜스퍼 이벤트입니다.
`updatedVariables`	`object (Struct format)` 구조체는 대화에서 업데이트된 변수를 나타내며 변수 이름으로 키가 지정됩니다.
`defaultVariables`	`object (Struct format)` 구조체는 대화 시작 시 기본 변수를 나타내며 변수 이름으로 키가 지정됩니다.

타임스탬프

JSON 표현
{ "seconds": string, "nanos": integer }

필드

seconds

string (int64 format)

Unix epoch 1970-01-01T00:00:00Z 이후 UTC 시간의 초 단위로 표현합니다. -62135596800~253402300799 (0001-01-01T00:00:00Z~9999-12-31T23:59:59Z) 사이여야 합니다.

nanos

integer

ExpectationLevelMetricsThresholds

JSON 표현

{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}

필드

통합 필드 _tool_invocation_parameter_correctness_threshold.

_tool_invocation_parameter_correctness_threshold는 다음 중 하나여야 합니다.

toolInvocationParameterCorrectnessThreshold

number

선택사항입니다. 개별 도구 호출 매개변수 정확성의 성공 기준입니다. 0과 1 사이의 부동 소수점이어야 합니다. 기본값은 1.0입니다.

SemanticSimilarityMetricsConfig

JSON 표현
{ "enableSemanticSimilarityMetrics": boolean }

필드

enableSemanticSimilarityMetrics

boolean

선택사항입니다. 평가에 대한 의미 유사성 측정항목을 계산할지 여부입니다.

HallucinationMetricsConfig

JSON 표현
{ "enableHallucinationMetrics": boolean }

필드

enableHallucinationMetrics

boolean

선택사항입니다. 평가에서 환각 측정항목을 계산할지 여부입니다.

스팬

JSON 표현
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (`Span`) } ] }

필드
`name`	`string` 출력 전용입니다. 스팬의 이름입니다.
`startTime`	`string (Timestamp format)` 출력 전용입니다. 스팬의 시작 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`endTime`	`string (Timestamp format)` 출력 전용입니다. 스팬의 종료 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`duration`	`string (Duration format)` 출력 전용입니다. 스팬의 지속 시간입니다. 소수점 아래가 최대 9자리까지이고 '`s`'로 끝나는 초 단위 기간입니다. 예를 들면 `"3.5s"`입니다.
`attributes`	`object (Struct format)` 출력 전용입니다. 스팬과 연결된 키-값 속성입니다.
`childSpans[]`	`object (Span)` 출력 전용입니다. 이 스팬 아래에 중첩된 하위 스팬입니다.

소요 시간

JSON 표현
{ "seconds": string, "nanos": integer }

필드

seconds

string (int64 format)

nanos

integer

TurnLevelMetricsThresholds

JSON 표현

{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}

필드

semanticSimilarityChannel

enum (SemanticSimilarityChannel)

선택사항입니다. 평가에 사용할 시맨틱 유사성 채널입니다.

통합 필드 _semantic_similarity_success_threshold.

_semantic_similarity_success_threshold는 다음 중 하나여야 합니다.

semanticSimilaritySuccessThreshold

integer

선택사항입니다. 의미론적 유사성의 성공 기준입니다. 0에서 4 사이의 정수여야 합니다. 기본값은 3 이상입니다.

통합 필드 _overall_tool_invocation_correctness_threshold.

_overall_tool_invocation_correctness_threshold는 다음 중 하나여야 합니다.

overallToolInvocationCorrectnessThreshold

number

선택사항입니다. 전반적인 도구 호출 정확성의 성공 기준입니다. 0과 1 사이의 부동 소수점이어야 합니다. 기본값은 1.0입니다.

시나리오

JSON 표현

{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (ScenarioExecutionMode)
}

필드
`task`	`string` 필수 항목입니다. 시나리오에서 타겟팅할 작업입니다.
`userFacts[]`	`object (UserFact)` 선택사항입니다. 시나리오에서 사용할 사용자 사실입니다.
`maxTurns`	`integer` 선택사항입니다. 시뮬레이션할 최대 턴 수입니다. 허용되는 최댓값은 100입니다. 기본값은 100입니다.
`rubrics[]`	`string` 필수 항목입니다. 시나리오를 평가할 기준표입니다.
`scenarioExpectations[]`	`object (ScenarioExpectation)` 필수 항목입니다. 사용자 시뮬레이션에서 생성된 대화를 평가하는 ScenarioExpectations입니다.
`variableOverrides`	`object (Struct format)` 선택사항입니다. 변수 이름으로 키가 지정된 세션의 컨텍스트로 사용되는 변수 / 세션 매개변수입니다. 이 구조체의 멤버는 시스템에서 설정한 기본값을 재정의합니다. 사용자가 알고 있는 사실인 사용자 사실과는 다릅니다. 변수는 상담사가 알고 있는 매개변수입니다. 즉, 전화 통신 시스템에서 전달하는 MDN (전화번호)입니다.
`taskCompletionBehavior (deprecated)`	`enum (TaskCompletionBehavior)` 이 항목은 지원 중단되었습니다. 선택사항입니다. 지원 중단되었습니다. 대신 user_goal_behavior를 사용하세요.
`userGoalBehavior`	`enum (UserGoalBehavior)` 선택사항입니다. 사용자 목표의 예상 동작입니다.
`evaluationExpectations[]`	`string` 선택사항입니다. 시뮬레이션에서 생성된 대화를 평가할 평가 기대치입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}`
`scenarioExecutionMode`	`enum (ScenarioExecutionMode)` 선택사항입니다. 시나리오 평가의 실행 모드입니다.

UserFact

JSON 표현
{ "name": string, "value": string }

필드

name

string

필수 항목입니다. 사용자 사실의 이름입니다.

value

string

필수 항목입니다. 사용자 사실의 값입니다.

ScenarioExpectation

JSON 표현

{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}

필드

통합 필드 expectation. 시뮬레이션에서 생성된 대화를 평가해야 합니다. expectation은 다음 중 하나여야 합니다.

toolExpectation

object (ToolExpectation)

선택사항입니다. 평가할 도구 호출 및 응답 쌍입니다.

agentResponse

object (Message)

선택사항입니다. 평가할 상담사 응답입니다.

ToolExpectation

JSON 표현
{ "expectedToolCall": { object (`ToolCall`) }, "mockToolResponse": { object (`ToolResponse`) } }

필드

expectedToolCall

object (ToolCall)

필수 항목입니다. 관심 있는 매개변수가 지정된 예상 도구 호출입니다. 지정되지 않은 매개변수는 LLM에 의해 환각됩니다.

mockToolResponse

object (ToolResponse)

필수 항목입니다. 관심 있는 매개변수가 지정된 모의 도구 응답입니다. 지정되지 않은 매개변수는 LLM에 의해 환각됩니다.

AggregatedMetrics

JSON 표현
{ "metricsByAppVersion": [ { object (`MetricsByAppVersion`) } ] }

필드

metricsByAppVersion[]

object (MetricsByAppVersion)

출력 전용입니다. 앱 버전 ID별로 그룹화된 집계 측정항목입니다.

MetricsByAppVersion

JSON 표현

{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}

필드
`appVersionId`	`string` 출력 전용입니다. 앱 버전 ID입니다.
`toolMetrics[]`	`object (ToolMetrics)` 출력 전용입니다. 이 앱 버전 내 각 도구의 측정항목입니다.
`semanticSimilarityMetrics[]`	`object (SemanticSimilarityMetrics)` 출력 전용입니다. 이 앱 버전 내의 의미 유사성 측정항목입니다.
`hallucinationMetrics[]`	`object (HallucinationMetrics)` 출력 전용입니다. 이 앱 버전 내의 환각에 대한 측정항목입니다.
`toolCallLatencyMetrics[]`	`object (ToolCallLatencyMetrics)` 출력 전용입니다. 이 앱 버전 내의 도구 호출 지연 시간 측정항목입니다.
`turnLatencyMetrics[]`	`object (TurnLatencyMetrics)` 출력 전용입니다. 이 앱 버전 내의 턴 지연 시간 측정항목입니다.
`passCount`	`integer` 출력 전용입니다. 평가를 통과한 횟수입니다.
`failCount`	`integer` 출력 전용입니다. 평가에 실패한 횟수입니다.
`metricsByTurn[]`	`object (MetricsByTurn)` 출력 전용입니다. 이 앱 버전 내에서 턴별로 집계된 측정항목입니다.

ToolMetrics

JSON 표현
{ "tool": string, "passCount": integer, "failCount": integer }

필드

tool

string

출력 전용입니다. 도구의 이름입니다.

passCount

integer

출력 전용입니다. 도구가 통과한 횟수입니다.

failCount

integer

출력 전용입니다. 도구가 실패한 횟수입니다.

SemanticSimilarityMetrics

JSON 표현
{ "score": number }

필드

score

number

출력 전용입니다. 평균 시맨틱 유사도 점수 (0~4)입니다.

HallucinationMetrics

JSON 표현
{ "score": number }

필드

score

number

출력 전용입니다. 평균 환각 점수 (0~1)입니다.

ToolCallLatencyMetrics

JSON 표현
{ "tool": string, "averageLatency": string }

필드

tool

string

출력 전용입니다. 도구의 이름입니다.

averageLatency

string (Duration format)

출력 전용입니다. 도구 호출의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

TurnLatencyMetrics

JSON 표현
{ "averageLatency": string }

필드

averageLatency

string (Duration format)

출력 전용입니다. 턴의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

MetricsByTurn

JSON 표현

{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}

필드
`turnIndex`	`integer` 출력 전용입니다. 턴 색인 (0부터 시작)입니다.
`toolMetrics[]`	`object (ToolMetrics)` 출력 전용입니다. 이 턴 내 각 도구의 측정항목입니다.
`semanticSimilarityMetrics[]`	`object (SemanticSimilarityMetrics)` 출력 전용입니다. 이 턴 내의 의미 유사성 측정항목입니다.
`hallucinationMetrics[]`	`object (HallucinationMetrics)` 출력 전용입니다. 이 턴 내의 환각에 대한 측정항목입니다.
`toolCallLatencyMetrics[]`	`object (ToolCallLatencyMetrics)` 출력 전용입니다. 이 턴 내의 도구 호출 지연 시간 측정항목입니다.
`turnLatencyMetrics[]`	`object (TurnLatencyMetrics)` 출력 전용입니다. 이 턴 내의 턴 지연 시간 측정항목입니다.

EvaluationResult

JSON 표현

{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}

필드
`name`	`string` 식별자. 평가 결과의 고유 식별자입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}`
`displayName`	`string` 필수 항목입니다. 평가 결과의 표시 이름입니다. 평가 내에서 고유합니다. 기본적으로 형식은 ' 결과 - '입니다.
`createTime`	`string (Timestamp format)` 출력 전용입니다. 평가 결과가 생성된 타임스탬프입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`evaluationStatus`	`enum (Outcome)` 출력 전용입니다. 평가 결과입니다. execution_state가 COMPLETE인 경우에만 채워집니다.
`evaluationRun`	`string` 출력 전용입니다. 이 결과를 생성한 평가 실행입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}`
`persona`	`object (EvaluationPersona)` 출력 전용입니다. 평가 결과를 위한 대화를 생성하는 데 사용된 페르소나입니다.
`errorInfo`	`object (EvaluationErrorInfo)` 출력 전용입니다. 평가 결과의 오류 정보입니다.
`error (deprecated)`	`object (Status)` 이 항목은 지원 중단되었습니다. 출력 전용입니다. 지원 중단됨: 대신 `error_info`을 사용하세요. 실행 중에 오류가 발생했습니다.
`initiatedBy`	`string` 출력 전용입니다. 이 결과를 초래한 평가 실행을 시작한 사용자입니다.
`appVersion`	`string` 출력 전용입니다. 이 결과를 생성한 대화에 사용된 앱 버전입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/versions/{version}`
`appVersionDisplayName`	`string` 출력 전용입니다. 평가가 실행된 `app_version`의 표시 이름입니다.
`changelog`	`string` 출력 전용입니다. 평가가 실행된 앱 버전의 변경사항입니다. 사용자가 최신/초안에서 평가를 실행하는 경우 이 값이 채워집니다.
`changelogCreateTime`	`string (Timestamp format)` 출력 전용입니다. 평가가 실행된 앱 버전의 변경사항 생성 시간입니다. 사용자가 최신/초안에서 평가를 실행하는 경우 이 값이 채워집니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`executionState`	`enum (ExecutionState)` 출력 전용입니다. 평가 결과 실행 상태입니다.
`evaluationMetricsThresholds`	`object (EvaluationMetricsThresholds)` 출력 전용입니다. 결과의 평가 기준입니다.
`config`	`object (EvaluationConfig)` 출력 전용입니다. 이 결과를 생성한 평가 실행에 사용된 구성입니다.
`goldenRunMethod`	`enum (GoldenRunMethod)` 출력 전용입니다. 골든 평가를 실행하는 데 사용된 방법입니다.
`rootSpan`	`object (Span)` 출력 전용입니다. 평가 실행의 루트 스팬으로, 평가의 각 단계에 관한 정보가 포함됩니다.
`outcomeMetadata`	`enum (OutcomeMetadata)` 출력 전용입니다. 평가의 결과 메타데이터입니다. execution_state가 COMPLETE인 경우에만 채워집니다.
통합 필드 `result`. 평가 결과입니다. execution_state가 COMPLETED인 경우에만 채워집니다. `result`은 다음 중 하나여야 합니다.
`goldenResult`	`object (GoldenResult)` 출력 전용입니다. 골든 평가의 결과입니다.
`scenarioResult`	`object (ScenarioResult)` 출력 전용입니다. 시나리오 평가 결과입니다.

GoldenResult

JSON 표현
{ "turnReplayResults": [ { object (`TurnReplayResult`) } ], "evaluationExpectationResults": [ { object (`EvaluationExpectationResult`) } ] }

필드

turnReplayResults[]

object (TurnReplayResult)

출력 전용입니다. 골든 대화의 각 차례를 실행한 결과입니다.

evaluationExpectationResults[]

object (EvaluationExpectationResult)

출력 전용입니다. 평가 기대치의 결과입니다.

TurnReplayResult

JSON 표현

{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}

필드
`conversation`	`string` 출력 전용입니다. 이 턴에 대해 생성된 대화입니다.
`expectationOutcome[]`	`object (GoldenExpectationOutcome)` 출력 전용입니다. 각 기대치의 결과입니다.
`hallucinationResult`	`object (HallucinationResult)` 출력 전용입니다. 과장된 표현 확인 결과입니다.
`toolInvocationScore (deprecated)`	`number` 이 항목은 지원 중단되었습니다. 출력 전용입니다. 지원 중단되었습니다. 대신 OverallToolInvocationResult를 사용하세요.
`turnLatency`	`string (Duration format)` 출력 전용입니다. 턴의 지속 시간입니다. 소수점 아래가 최대 9자리까지이고 '`s`'로 끝나는 초 단위 기간입니다. 예를 들면 `"3.5s"`입니다.
`toolCallLatencies[]`	`object (ToolCallLatency)` 출력 전용입니다. 턴의 각 도구 호출의 지연 시간입니다.
`semanticSimilarityResult`	`object (SemanticSimilarityResult)` 출력 전용입니다. 시맨틱 유사성 확인 결과입니다.
`overallToolInvocationResult`	`object (OverallToolInvocationResult)` 출력 전용입니다. 전체 도구 호출 확인 결과입니다.
`errorInfo`	`object (EvaluationErrorInfo)` 출력 전용입니다. 이 턴 중에 발생한 오류에 관한 정보입니다.
`spanLatencies[]`	`object (SpanLatency)` 출력 전용입니다. 턴의 스팬 지연 시간입니다.
통합 필드 `_tool_ordered_invocation_score`. `_tool_ordered_invocation_score`는 다음 중 하나여야 합니다.
`toolOrderedInvocationScore`	`number` 출력 전용입니다. 이 턴의 전체 도구 순서 지정 호출 점수입니다. 예상된 턴에서 실제로 호출된 도구의 전체 비율을 예상 순서대로 나타냅니다.

GoldenExpectationOutcome

JSON 표현

{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}

필드
`expectation`	`object (GoldenExpectation)` 출력 전용입니다. 평가된 기대치입니다.
`outcome`	`enum (Outcome)` 출력 전용입니다. 기대의 결과입니다.
`semanticSimilarityResult (deprecated)`	`object (SemanticSimilarityResult)` 이 항목은 지원 중단되었습니다. 출력 전용입니다. 시맨틱 유사성 확인 결과입니다.
`toolInvocationResult`	`object (ToolInvocationResult)` 출력 전용입니다. 도구 호출 확인 결과입니다.
통합 필드 `result`. 기대의 결과입니다. `result`은 다음 중 하나여야 합니다.
`observedToolCall`	`object (ToolCall)` 출력 전용입니다. 도구 호출 기대치의 결과입니다.
`observedToolResponse`	`object (ToolResponse)` 출력 전용입니다. 도구 응답 기대치의 결과입니다.
`observedAgentResponse`	`object (Message)` 출력 전용입니다. 상담사 응답 기대치의 결과입니다.
`observedAgentTransfer`	`object (AgentTransfer)` 출력 전용입니다. 상담사 트랜스퍼 기대치의 결과입니다.
`observedPayload`	`object (Struct format)` 출력 전용입니다. 관찰된 맞춤 페이로드입니다. 맞춤 페이로드에 대한 기대치는 없습니다. 측정항목 계산에만 사용됩니다. 결과는 항상 SKIPPED입니다.

SemanticSimilarityResult

JSON 표현

{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}

필드
`label`	`string` 출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 4: 완전히 일관됨 점수 3: 대부분 일관됨 점수 2: 부분적으로 일관됨 (사소한 누락) 점수 1: 대부분 일관되지 않음 (심각한 누락) 점수 0: 완전히 일관되지 않음 / 모순됨
`explanation`	`string` 출력 전용입니다. 의미 유사도 점수에 대한 설명입니다.
`outcome`	`enum (Outcome)` 출력 전용입니다. 시맨틱 유사성 확인 결과입니다. 이는 점수를 semantic_similarity_success_threshold와 비교하여 결정됩니다. 점수가 기준점 이상이면 결과는 PASS입니다. 그렇지 않으면 결과는 FAIL입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`integer` 출력 전용입니다. 의미론적 유사성 점수입니다. 0, 1, 2, 3, 4일 수 있습니다.

ToolInvocationResult

JSON 표현

{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}

필드
`outcome`	`enum (Outcome)` 출력 전용입니다. 도구 호출 확인 결과입니다. 이는 parameter_correctness_score를 기준과 비교하여 결정됩니다. 점수가 기준점 이상이면 결과는 PASS입니다. 그렇지 않으면 결과는 FAIL입니다.
`explanation`	`string` 출력 전용입니다. 도구 호출 결과에 대한 자유 텍스트 설명입니다.
통합 필드 `_parameter_correctness_score`. `_parameter_correctness_score`는 다음 중 하나여야 합니다.
`parameterCorrectnessScore`	`number` 출력 전용입니다. 도구 호출 파라미터 정확성 점수입니다. 이는 예상 도구 호출의 파라미터 중 실제 도구 호출에도 있는 파라미터의 비율을 나타냅니다.

HallucinationResult

JSON 표현
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

필드
`label`	`string` 출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 1: 근거 있음 점수 0: 근거 없음 점수 -1: 평가할 클레임 없음
`explanation`	`string` 출력 전용입니다. 할루시네이션 점수에 대한 설명입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`integer` 출력 전용입니다. 할루시네이션 점수입니다. -1, 0, 1일 수 있습니다.

ToolCallLatency

JSON 표현
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

필드
`tool`	`string` 출력 전용입니다. 실행된 도구의 이름입니다. 형식은 `projects/{project}/locations/{location}/apps/{app}/tools/{tool}`입니다.
`displayName`	`string` 출력 전용입니다. 도구의 표시 이름입니다.
`startTime`	`string (Timestamp format)` 출력 전용입니다. 도구 호출 실행의 시작 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`endTime`	`string (Timestamp format)` 출력 전용입니다. 도구 호출 실행의 종료 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`executionLatency`	`string (Duration format)` 출력 전용입니다. 도구 호출 실행의 지연 시간입니다. 소수점 아래가 최대 9자리까지이고 '`s`'로 끝나는 초 단위 기간입니다. 예를 들면 `"3.5s"`입니다.

OverallToolInvocationResult

JSON 표현

{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}

필드

outcome

enum (Outcome)

통합 필드 _tool_invocation_score.

_tool_invocation_score는 다음 중 하나여야 합니다.

toolInvocationScore

number

이 턴의 전체 도구 호출 점수입니다. 실제로 호출된 예상 턴의 도구의 전체 비율을 나타냅니다.

EvaluationErrorInfo

JSON 표현
{ "errorType": enum (`ErrorType`), "errorMessage": string, "sessionId": string, "userFacingErrorMessage": string }

필드
`errorType`	`enum (ErrorType)` 출력 전용입니다. 오류 유형입니다.
`errorMessage`	`string` 출력 전용입니다. 오류 메시지.
`sessionId`	`string` 출력 전용입니다. 오류를 일으킨 대화의 세션 ID입니다.
`userFacingErrorMessage`	`string` 출력 전용입니다. 사용자에게 표시되는 오류 메시지입니다.

SpanLatency

JSON 표현

{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}

필드
`type`	`enum (Type)` 출력 전용입니다. 스팬 유형입니다.
`displayName`	`string` 출력 전용입니다. 스팬의 표시 이름입니다. 도구 및 가드레일 범위에 적용됩니다.
`startTime`	`string (Timestamp format)` 출력 전용입니다. 스팬의 시작 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`endTime`	`string (Timestamp format)` 출력 전용입니다. 스팬의 종료 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 `"2014-10-02T15:01:23Z"`, `"2014-10-02T15:01:23.045123456Z"` 또는 `"2014-10-02T15:01:23+05:30"`입니다.
`executionLatency`	`string (Duration format)` 출력 전용입니다. 스팬의 지연 시간입니다. 소수점 아래가 최대 9자리까지이고 '`s`'로 끝나는 초 단위 기간입니다. 예를 들면 `"3.5s"`입니다.
통합 필드 `identifier`. 유형에 따른 특정 항목의 식별자입니다. `identifier`은 다음 중 하나여야 합니다.
`resource`	`string` 출력 전용입니다. 가드레일 또는 도구 스팬의 리소스 이름입니다.
`toolset`	`object (ToolsetTool)` 출력 전용입니다. 툴셋 도구 식별자입니다.
`model`	`string` 출력 전용입니다. LLM 스팬의 이름입니다.
`callback`	`string` 출력 전용입니다. 사용자 콜백 스팬의 이름입니다.

EvaluationExpectationResult

JSON 표현
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (`Outcome`), "explanation": string }

필드
`evaluationExpectation`	`string` 출력 전용입니다. 평가 기대치입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}`
`prompt`	`string` 출력 전용입니다. 평가에 사용된 프롬프트입니다.
`outcome`	`enum (Outcome)` 출력 전용입니다. 평가 기대치의 결과입니다.
`explanation`	`string` 출력 전용입니다. 결과에 대한 설명입니다.

ScenarioResult

JSON 표현

{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}

필드

conversation

string

출력 전용입니다. 시나리오에서 생성된 대화입니다.

task

string

출력 전용입니다. 이 결과의 시나리오를 실행할 때 사용된 작업입니다.

userFacts[]

object (UserFact)

출력 전용입니다. 이 결과에 대한 시나리오에서 사용된 사용자 사실입니다.

expectationOutcomes[]

object (ScenarioExpectationOutcome)

출력 전용입니다. 각 기대치의 결과입니다.

rubricOutcomes[]

object (ScenarioRubricOutcome)

출력 전용입니다. 기준표의 결과입니다.

hallucinationResult[]

object (HallucinationResult)

출력 전용입니다. 과장된 표현 확인 결과입니다. 대화의 각 턴에 대해 하나의 그릇된 정보 결과가 표시됩니다.

taskCompletionResult
(deprecated)

object (TaskCompletionResult)

출력 전용입니다. 작업 완료 확인 결과입니다.

toolCallLatencies[]

object (ToolCallLatency)

출력 전용입니다. 대화에서 각 도구 호출 실행의 지연 시간입니다.

userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

출력 전용입니다. 사용자 목표 만족도 확인 결과입니다.

spanLatencies[]

object (SpanLatency)

출력 전용입니다. 대화의 스팬 지연 시간입니다.

evaluationExpectationResults[]

object (EvaluationExpectationResult)

출력 전용입니다. 평가 기대치의 결과입니다.

통합 필드 _all_expectations_satisfied.

_all_expectations_satisfied는 다음 중 하나여야 합니다.

allExpectationsSatisfied

boolean

출력 전용입니다. 이 턴에 대한 모든 기대치가 충족되었는지 여부입니다.

통합 필드 _task_completed.

_task_completed는 다음 중 하나여야 합니다.

taskCompleted

boolean

출력 전용입니다. 이 턴에서 작업이 완료되었는지 여부입니다. 이는 충족된 모든 기대치, 환각 없음, 사용자 목표 만족도의 복합입니다.

ScenarioExpectationOutcome

JSON 표현

{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}

필드
`expectation`	`object (ScenarioExpectation)` 출력 전용입니다. 평가된 기대치입니다.
`outcome`	`enum (Outcome)` 출력 전용입니다. ScenarioExpectation의 결과입니다.
통합 필드 `result`. 기대의 결과입니다. `result`은 다음 중 하나여야 합니다.
`observedToolCall`	`object (ObservedToolCall)` 출력 전용입니다. 관찰된 도구 호출입니다.
`observedAgentResponse`	`object (Message)` 출력 전용입니다. 관찰된 에이전트 응답입니다.

ObservedToolCall

JSON 표현
{ "toolCall": { object (`ToolCall`) }, "toolResponse": { object (`ToolResponse`) } }

필드

toolCall

object (ToolCall)

출력 전용입니다. 관찰된 도구 호출입니다.

toolResponse

object (ToolResponse)

출력 전용입니다. 관찰된 도구 응답입니다.

ScenarioRubricOutcome

JSON 표현
{ "rubric": string, "scoreExplanation": string, // Union field `_score` can be only one of the following: "score": number // End of list of possible types for union field `_score`. }

필드
`rubric`	`string` 출력 전용입니다. 대화를 평가하는 데 사용된 기준표입니다.
`scoreExplanation`	`string` 출력 전용입니다. 평가자의 루브릭에 대한 응답입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`number` 출력 전용입니다. 기준표에 따른 대화 점수입니다.

TaskCompletionResult

JSON 표현
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

필드
`label`	`string` 출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 1: 작업 완료 점수 0: 작업 미완료 점수 -1: 사용자 목표가 정의되지 않음
`explanation`	`string` 출력 전용입니다. 작업 완료 점수에 대한 설명입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`integer` 출력 전용입니다. 작업 완료 점수입니다. -1, 0, 1일 수 있습니다.

UserGoalSatisfactionResult

JSON 표현
{ "label": string, "explanation": string, // Union field `_score` can be only one of the following: "score": integer // End of list of possible types for union field `_score`. }

필드
`label`	`string` 출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 2: 원활한 핸드오프 점수 1: 사용자 작업 만족 점수 0: 사용자 작업 불만족 점수 -1: 사용자 작업 미지정
`explanation`	`string` 출력 전용입니다. 사용자 작업 만족도 점수에 대한 설명입니다.
통합 필드 `_score`. `_score`는 다음 중 하나여야 합니다.
`score`	`integer` 출력 전용입니다. 사용자 작업 만족도 점수입니다. -1, 0, 1, 2일 수 있습니다.

EvaluationPersona

JSON 표현
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (`SpeechConfig`) } }

필드
`name`	`string` 필수 항목입니다. 페르소나의 고유 식별자입니다. 형식: `projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}`
`description`	`string` 선택사항입니다. 페르소나에 대한 설명입니다.
`displayName`	`string` 필수 항목입니다. 페르소나의 표시 이름입니다. 앱 내에서 고유합니다.
`personality`	`string` 필수 항목입니다. 평가에서 에이전트가 어떻게 행동해야 하는지에 관한 안내입니다.
`speechConfig`	`object (SpeechConfig)` 선택사항입니다. 페르소나의 음성 (TTS 설정) 구성

SpeechConfig

JSON 표현
{ "speakingRate": number, "environment": enum (`BackgroundEnvironment`), "voiceId": string }

필드

speakingRate

number

environment

enum (BackgroundEnvironment)

선택사항입니다. 시뮬레이션된 오디오 환경입니다.

voiceId

string

선택사항입니다. 사용할 특정 음성 식별자/억양입니다. 예: 'en-US-Wavenet-D' 또는 'en-GB-Standard-A'

상태

JSON 표현
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

필드

code

integer

상태 코드로, google.rpc.Code의 열거형 값이어야 합니다.

message

string

details[]

object

오류 세부정보를 설명하는 메시지 목록입니다. API에서 사용할 일반적인 메시지 유형 집합이 있습니다.

임의 유형의 필드를 포함하는 객체입니다. 추가 필드 "@type"은 유형을 식별하는 URI를 포함합니다. 예: { "id": 1234, "@type": "types.example.com/standard/id" }

모두

JSON 표현
{ "typeUrl": string, "value": string }

필드

typeUrl

string

슬래시로 끝나는 접두사와 정규화된 유형 이름으로 구성된 URI 참조를 사용하여 직렬화된 Protobuf 메시지의 유형을 식별합니다.

예: type.googleapis.com/google.protobuf.StringValue

value

string (bytes format)

type_url로 설명된 유형의 Protobuf 직렬화를 보유합니다.

base64 인코딩 문자열입니다.

EvaluationMetricsThresholds

JSON 표현

{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}

필드
`goldenEvaluationMetricsThresholds`	`object (GoldenEvaluationMetricsThresholds)` 선택사항입니다. 골든 평가 측정항목 기준입니다.
`hallucinationMetricBehavior (deprecated)`	`enum (HallucinationMetricBehavior)` 이 항목은 지원 중단되었습니다. 선택사항입니다. 지원 중단됨: 대신 `golden_hallucination_metric_behavior`을 사용하세요. 현재 골든 평가에는 허위 정보 측정항목 동작이 사용됩니다.
`goldenHallucinationMetricBehavior`	`enum (HallucinationMetricBehavior)` 선택사항입니다. 골든 평가의 허위 정보 측정항목 동작입니다.
`scenarioHallucinationMetricBehavior`	`enum (HallucinationMetricBehavior)` 선택사항입니다. 시나리오 평가의 허위 정보 측정항목 동작입니다.

GoldenEvaluationMetricsThresholds

JSON 표현

{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}

필드

turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

선택사항입니다. 턴 수준 측정항목 기준점입니다.

expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

선택사항입니다. 기대 수준 측정항목 기준점입니다.

toolMatchingSettings

object (ToolMatchingSettings)

선택사항입니다. 도구 매칭 설정입니다. 추가 도구 호출은 실행에 있지만 골든 기대치에 있는 도구 호출과 일치하지 않는 도구 호출입니다.

ToolMatchingSettings

JSON 표현
{ "extraToolCallBehavior": enum (`ExtraToolCallBehavior`) }

필드

extraToolCallBehavior

enum (ExtraToolCallBehavior)

선택사항입니다. 추가 도구 호출의 동작입니다. 기본값은 FAIL입니다.

EvaluationConfig

JSON 표현

{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}

필드
`inputAudioConfig`	`object (InputAudioConfig)` 선택사항입니다. 입력 오디오 처리 구성입니다.
`outputAudioConfig`	`object (OutputAudioConfig)` 선택사항입니다. 출력 오디오를 생성하기 위한 구성입니다.
`evaluationChannel`	`enum (EvaluationChannel)` 선택사항입니다. 평가할 채널입니다.
`toolCallBehaviour`	`enum (EvaluationToolCallBehaviour)` 선택사항입니다. 평가에서 실제 도구 호출을 사용할지 아니면 가짜 도구를 사용할지 지정합니다.

InputAudioConfig

JSON 표현
{ "audioEncoding": enum (`AudioEncoding`), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

필드

audioEncoding

enum (AudioEncoding)

필수 항목입니다. 입력 오디오 데이터의 인코딩입니다.

sampleRateHertz

integer

필수 항목입니다. 입력 오디오 데이터의 샘플링 레이트 (Hz)입니다.

noiseSuppressionLevel

string

선택사항입니다. 입력 오디오에서 노이즈 제거를 사용 설정할지 여부입니다. 사용 가능한 값은 'low', 'moderate', 'high', 'very_high'입니다.

OutputAudioConfig

JSON 표현
{ "audioEncoding": enum (`AudioEncoding`), "sampleRateHertz": integer }

필드

audioEncoding

enum (AudioEncoding)

필수 항목입니다. 출력 오디오 데이터의 인코딩입니다.

sampleRateHertz

integer

필수 항목입니다. 출력 오디오 데이터의 샘플링 레이트 (Hz)입니다.

EvaluationMetricsConfig

JSON 표현
{ "goldenMetricsConfig": { object (`GoldenMetricsConfig`) }, "scenarioMetricsConfig": { object (`ScenarioMetricsConfig`) } }

필드

goldenMetricsConfig

object (GoldenMetricsConfig)

선택사항입니다. 평가의 골든 측정항목 구성입니다.

scenarioMetricsConfig

object (ScenarioMetricsConfig)

선택사항입니다. 평가의 시나리오 측정항목 구성입니다.

GoldenMetricsConfig

JSON 표현

{
  "semanticSimilarityMetricsConfig": {
    object (SemanticSimilarityMetricsConfig)
  },
  "toolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  },
  "stepToolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  }
}

필드

semanticSimilarityMetricsConfig

object (SemanticSimilarityMetricsConfig)

선택사항입니다. 시맨틱 유사성 측정항목의 전역 구성입니다.

toolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

선택사항입니다. 턴 수준 도구 정확성 측정항목의 구성입니다.

stepToolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

선택사항입니다. 단계 수준 도구 정확성 측정항목의 구성입니다.

ToolCorrectnessMetricsConfig

JSON 표현
{ "enableToolCorrectnessMetrics": boolean }

필드

enableToolCorrectnessMetrics

boolean

선택사항입니다. 평가에서 도구 정확성 측정항목을 계산할지 여부입니다.

ScenarioMetricsConfig

JSON 표현
{ "userGoalMetMetricsConfig": { object (`UserGoalMetMetricsConfig`) }, "expectationsMetMetricsConfig": { object (`ExpectationsMetMetricsConfig`) } }

필드

userGoalMetMetricsConfig

object (UserGoalMetMetricsConfig)

선택사항입니다. 사용자 목표 달성 측정항목의 구성입니다.

expectationsMetMetricsConfig

object (ExpectationsMetMetricsConfig)

선택사항입니다. 기대 수준 측정항목의 구성입니다.

UserGoalMetMetricsConfig

JSON 표현
{ "enableUserGoalMetMetrics": boolean }

필드

enableUserGoalMetMetrics

boolean

선택사항입니다. 평가를 위해 사용자 목표 달성 측정항목을 계산할지 여부입니다.

ExpectationsMetMetricsConfig

JSON 표현
{ "enableExpectationsMetMetrics": boolean }

필드

enableExpectationsMetMetrics

boolean

선택사항입니다. 평가에 대한 기대치 수준 측정항목을 계산할지 여부입니다.

NullValue

JSON null를 나타냅니다.

NullValue는 Value 유형 결합의 null 값을 나타내기 위해 값이 하나만 있는 enum을 사용하는 센티널입니다.

열거형
`NULL_VALUE`	null 값입니다.

ComparisonType

에이전트의 대답을 확인하기 위해 지원되는 비교 유형입니다.

열거형
`COMPARISON_TYPE_UNSPECIFIED`	지정되지 않은 비교 유형입니다. 동작은 에이전트 응답 및 도구 호출에 대해 SEMANTIC_SIMILARITY로 기본 설정됩니다.
`EQUALS`	문자열이 완전히 일치합니다.
`CONTAINS`	하위 문자열 일치 (예상 문자열이 실제 응답에 포함되어 있는지 확인)
`SEMANTIC_SIMILARITY`	시맨틱 유사성 일치 (LLM을 사용하여 의미 유사성을 평가함)

SemanticSimilarityChannel

사용할 시맨틱 유사성 채널입니다.

열거형
`SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED`	측정항목이 지정되지 않았습니다. 기본값은 TEXT입니다.
`TEXT`	텍스트 시맨틱 유사성을 사용합니다.
`AUDIO`	오디오 시맨틱 유사성을 사용합니다.

HallucinationMetricBehavior

열거형
`HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED`	지정되지 않은 환각 측정항목 동작입니다.
`DISABLED`	환각 측정항목을 사용 중지합니다.
`ENABLED`	환각 측정항목을 사용 설정합니다.

TaskCompletionBehavior

사용자 작업의 예상 동작입니다. 이는 시나리오가 성공적인지 확인하는 데 사용됩니다.

열거형
`TASK_COMPLETION_BEHAVIOR_UNSPECIFIED`	동작이 지정되지 않았습니다. 기본값은 TASK_SATISFIED입니다.
`TASK_SATISFIED`	사용자 작업이 완료되어야 합니다.
`TASK_REJECTED`	사용자 작업이 거부되어야 합니다.

UserGoalBehavior

사용자 목표의 예상 동작입니다. 이는 시나리오가 성공적인지 확인하는 데 사용됩니다.

열거형
`USER_GOAL_BEHAVIOR_UNSPECIFIED`	동작이 지정되지 않았습니다. 기본값은 USER_GOAL_SATISFIED입니다.
`USER_GOAL_SATISFIED`	사용자 목표가 성공적으로 완료되어야 합니다.
`USER_GOAL_REJECTED`	사용자 목표는 거부되어야 합니다.
`USER_GOAL_IGNORED`	사용자 목표 상태를 무시합니다.

ScenarioExecutionMode

시나리오 평가의 실행 모드입니다.

열거형
`SCENARIO_EXECUTION_MODE_UNSPECIFIED`	지정되지 않은 실행 모드입니다. 기본값은 QUALITY_OPTIMIZED입니다.
`QUALITY_OPTIMIZED`	품질 최적화 모드입니다.
`SPEED_OPTIMIZED`	속도 최적화 모드입니다.

결과

평가 또는 기대치의 결과입니다.

열거형
`OUTCOME_UNSPECIFIED`	평가 결과가 지정되지 않았습니다.
`PASS`	평가/기대가 충족되었습니다. 평가의 경우 모든 기대치가 충족되었음을 의미합니다.
`FAIL`	평가/기대가 실패했습니다. 평가의 경우 하나 이상의 기대치가 충족되지 않았음을 의미합니다.
`SKIPPED`	평가/기대가 건너뛰었습니다.

ErrorType

오류 유형

열거형
`ERROR_TYPE_UNSPECIFIED`	지정되지 않은 오류 유형입니다.
`RUNTIME_FAILURE`	런타임 실행 중 오류가 발생했습니다.
`CONVERSATION_RETRIEVAL_FAILURE`	CES 런타임에서 대화를 가져오지 못함
`METRIC_CALCULATION_FAILURE`	측정항목 / 결과를 계산할 수 없습니다.
`EVALUATION_UPDATE_FAILURE`	평가를 업데이트할 수 없습니다.
`QUOTA_EXHAUSTED`	할당량이 소진되었습니다.
`USER_SIMULATION_FAILURE`	사용자 시뮬레이션 중 오류가 발생했습니다.

유형

스팬 유형입니다. 향후 값이 추가될 수 있습니다.

열거형
`TYPE_UNSPECIFIED`	기본값 이 값은 사용되지 않습니다.
`TOOL`	도구 호출 스팬입니다.
`USER_CALLBACK`	사용자 콜백 스팬입니다.
`GUARDRAIL`	가드레일 스팬입니다.
`LLM`	LLM 스팬입니다.

BackgroundEnvironment

시뮬레이션된 오디오 환경입니다.

열거형
`BACKGROUND_ENVIRONMENT_UNSPECIFIED`	백그라운드 환경이 지정되지 않았습니다.
`CALL_CENTER`	콜센터 환경
`TRAFFIC`	교통 소음 환경입니다.
`KIDS_NOISE`	아이들 소음 환경
`CAFE`	카페 환경

ExecutionState

평가 결과 실행 상태입니다.

열거형
`EXECUTION_STATE_UNSPECIFIED`	평가 결과 실행 상태가 지정되지 않았습니다.
`QUEUED`	평가 결과 실행이 대기열에 추가되었습니다.
`RUNNING`	평가 결과 실행이 실행 중입니다.
`COMPLETED`	평가 결과 실행이 완료되었습니다.
`ERROR`	내부 오류로 인해 평가 결과 실행이 실패했습니다.
`CANCELLED`	평가 결과 실행이 취소되었습니다.

ExtraToolCallBehavior

추가 도구 호출이 발생할 때의 동작을 정의합니다. 추가 도구 호출은 실행에 있지만 골든 기대치에 있는 도구 호출과 일치하지 않는 도구 호출입니다.

열거형
`EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED`	지정되지 않은 동작입니다. 기본값은 FAIL입니다.
`FAIL`	추가 도구 호출이 발견되면 평가를 실패합니다.
`ALLOW`	추가 도구 호출을 허용합니다.

AudioEncoding

AudioEncoding은 오디오 데이터의 인코딩 형식을 지정합니다.

열거형
`AUDIO_ENCODING_UNSPECIFIED`	지정되지 않은 오디오 인코딩입니다.
`LINEAR16`	16비트 선형 PCM 오디오 인코딩
`MULAW`	G.711 PCMU/mu-law를 사용하여 14비트 오디오 샘플을 압축하는 8비트 샘플입니다.
`ALAW`	G.711 PCMU/A-law를 사용하여 14비트 오디오 샘플을 압축하는 8비트 샘플입니다.

EvaluationChannel

평가할 채널입니다.

열거형
`EVALUATION_CHANNEL_UNSPECIFIED`	지정되지 않은 평가 채널입니다.
`TEXT`	텍스트 전용 평가 채널입니다.
`AUDIO`	오디오 평가 채널입니다.

EvaluationToolCallBehaviour

평가 실행의 도구 호출 동작을 구성합니다.

열거형
`EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED`	지정되지 않은 도구 호출 동작입니다. 실제 도구 호출이 기본값입니다.
`REAL`	실제 도구 호출을 사용합니다.
`FAKE`	가짜 도구 호출을 사용합니다.

GoldenRunMethod

평가를 실행하는 데 사용된 방법입니다.

열거형
`GOLDEN_RUN_METHOD_UNSPECIFIED`	실행 메서드가 지정되지 않았습니다.
`STABLE`	각 턴이 이전 예상 턴이 컨텍스트로 삽입된 고유 세션인 안정적인 리플레이로 평가를 실행합니다.
`NAIVE`	실행이 컨텍스트가 삽입되지 않은 단일 세션인 단순 리플레이로 평가를 실행합니다.

OutcomeMetadata

평가 결과에 관한 메타데이터입니다.

열거형
`OUTCOME_METADATA_UNSPECIFIED`	지정되지 않은 결과 메타데이터입니다.
`GRACEFUL_HANDOFF`	평가 결과 상담사에게 원활하게 전달되었습니다.

도구 주석

도구 주석은 특정 도구의 기본 위험을 설명하기 위해 MCP 클라이언트로 전송됩니다. 대부분의 클라이언트는 이러한 힌트를 신뢰할 수 없는 것으로 취급하지만, 사용자에게 확인 메시지를 전송할 시점을 결정하는 데 사용할 수 있습니다.

제목 문자열과 함께 다음 불리언 힌트가 다음과 같이 정의됩니다.

readOnlyHint: true인 경우 도구가 환경을 수정하지 않습니다. 기본값: false.
destructiveHint: true인 경우 도구가 파괴적인 작업을 실행할 수 있습니다. false인 경우 도구는 추가 작업만 실행할 수 있습니다. 기본값은 true입니다.
idempotentHint: true인 경우 동일한 인수로 도구를 반복적으로 호출해도 환경에 추가적인 영향을 미치지 않습니다. 기본값: false.
openWorldHint: true인 경우 도구가 외부 엔티티의 '오픈 월드'와 상호작용할 수 있습니다. false인 경우 도구는 내부 항목과만 상호작용할 수 있습니다. 예를 들어 웹 검색 도구는 오픈 월드이지만 메모리 도구는 오픈 월드가 아닙니다.

파괴적 힌트: ❌ | 동일한 힌트: ❌ | 읽기 전용 힌트: ❌ | 오픈 월드 힌트: ❌

MCP Tools Reference: ces.googleapis.com 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

도구: create_evaluation

입력 스키마

CreateEvaluationRequest

평가

골드

GoldenTurn

단계

SessionInput

ToolResponses

ToolResponse

ToolsetTool

구조체

FieldsEntry

값

ListValue

이미지

blob

이벤트

AgentTransfer

GoldenExpectation

ToolCall

메시지

Chunk

타임스탬프

ExpectationLevelMetricsThresholds

SemanticSimilarityMetricsConfig

HallucinationMetricsConfig

스팬

소요 시간

TurnLevelMetricsThresholds

시나리오

UserFact

ScenarioExpectation

ToolExpectation

AggregatedMetrics

MetricsByAppVersion

ToolMetrics

SemanticSimilarityMetrics

HallucinationMetrics

ToolCallLatencyMetrics

TurnLatencyMetrics

MetricsByTurn

EvaluationResult

GoldenResult

TurnReplayResult

GoldenExpectationOutcome

SemanticSimilarityResult

ToolInvocationResult

HallucinationResult

ToolCallLatency

OverallToolInvocationResult

EvaluationErrorInfo

SpanLatency

EvaluationExpectationResult

ScenarioResult

ScenarioExpectationOutcome

ObservedToolCall

ScenarioRubricOutcome

TaskCompletionResult

UserGoalSatisfactionResult

EvaluationPersona

SpeechConfig

상태

모두

EvaluationMetricsThresholds

GoldenEvaluationMetricsThresholds

ToolMatchingSettings

EvaluationConfig

InputAudioConfig

OutputAudioConfig

EvaluationMetricsConfig

GoldenMetricsConfig

ToolCorrectnessMetricsConfig

ScenarioMetricsConfig

UserGoalMetMetricsConfig

ExpectationsMetMetricsConfig

NullValue

ComparisonType

SemanticSimilarityChannel

MCP Tools Reference: ces.googleapis.com

도구: `create_evaluation`