MCP Tools Reference: ces.googleapis.com

도구: get_evaluation

지정된 평가의 세부정보를 가져옵니다.

다음 코드 샘플은 curl를 사용하여 get_evaluation MCP 도구를 호출하는 방법을 보여줍니다.

curl 요청 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "get_evaluation",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

입력 스키마

EvaluationService.GetEvaluation에 대한 요청 메시지입니다.

GetEvaluationRequest

JSON 표현 
{
  "name": string
}
필드
name

string

필수 항목입니다. 가져올 평가의 리소스 이름입니다.

출력 스키마

평가에는 에이전트를 시뮬레이션하고 평가하는 데 필요한 모든 정보가 포함됩니다.

평가

JSON 표현 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
필드
name

string

식별자. 이 평가의 고유 식별자입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

필수 항목입니다. 평가의 사용자 정의 표시 이름입니다. 앱 내에서 고유합니다.
description

string

선택사항입니다. 평가에 대한 사용자 정의 설명입니다.
tags[]

string

선택사항입니다. 평가를 분류하는 사용자 정의 태그입니다.
evaluationDatasets[]

string

출력 전용입니다. 평가가 속한 평가 데이터 세트 목록입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

출력 전용입니다. 평가가 생성된 타임스탬프입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
createdBy

string

출력 전용입니다. 평가를 만든 사용자입니다.
updateTime

string (Timestamp format)

출력 전용입니다. 평가가 마지막으로 업데이트된 타임스탬프입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
lastUpdatedBy

string

출력 전용입니다. 평가를 마지막으로 업데이트한 사용자입니다.
evaluationRuns[]

string

출력 전용입니다. 이 평가와 연결된 EvaluationRun입니다.
etag

string

출력 전용입니다. 읽기-수정-쓰기 작업 중에 객체가 변경되지 않았는지 확인하는 데 사용되는 Etag입니다. etag가 비어 있으면 업데이트가 동시에 발생하는 변경사항을 덮어씁니다.
aggregatedMetrics

object (AggregatedMetrics)

출력 전용입니다. 모든 실행에서 이 평가에 대해 집계된 측정항목입니다.
lastCompletedResult

object (EvaluationResult)

출력 전용입니다. 이 평가의 최신 평가 결과입니다.
invalid

boolean

출력 전용입니다. 평가가 유효하지 않은지 여부입니다. 이는 평가에서 삭제된 도구, 도구 모음 또는 에이전트를 참조하는 경우에 발생할 수 있습니다.
lastTenResults[]

object (EvaluationResult)

출력 전용입니다. 이 평가의 마지막 10개 평가 결과입니다. ListEvaluationsRequest 또는 GetEvaluationRequest에서 include_last_ten_results가 true로 설정된 경우에만 이 값이 채워집니다.
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

선택사항입니다. 이 특정 평가의 측정항목 기준점을 재정의합니다.
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

선택사항입니다. 이 특정 평가의 측정항목 구성을 재정의합니다.
통합 필드 inputs. 평가 inputs의 입력은 다음 중 하나여야 합니다.
golden

object (Golden)

선택사항입니다. 평가할 골든 단계입니다.
scenario

object (Scenario)

선택사항입니다. 시나리오의 구성입니다.

골드

JSON 표현 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
필드
turns[]

object (GoldenTurn)

필수 항목입니다. 골든 대화를 다시 재생하는 데 필요한 골든 턴입니다. 허용되는 최대 턴 수는 100개입니다.
evaluationExpectations[]

string

선택사항입니다. 리플레이된 대화를 평가할 평가 기대치입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

JSON 표현 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior)
}
필드
steps[]

object (Step)

필수 항목입니다. 골든 대화를 다시 재생하는 데 필요한 단계입니다.
rootSpan

object (Span)

선택사항입니다. 오디오 정보를 처리하고 유지하기 위한 골든 턴의 루트 스팬입니다. 오디오 URI에는 16kHz 샘플링 레이트로 저장된 오디오가 포함되어야 합니다.
turnLevelMetricsThresholdsOverride

object (TurnLevelMetricsThresholds)

선택사항입니다. 턴 수준 측정항목 기준의 재정의입니다.
hallucinationMetricBehaviorOverride

enum (HallucinationMetricBehavior)

선택사항입니다. 턴 수준 환각 측정항목 동작을 재정의합니다.

단계

JSON 표현 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
필드
통합 필드 step. 실행할 단계입니다. step은 다음 중 하나여야 합니다.
userInput

object (SessionInput)

선택사항입니다. 대화에 대한 사용자 입력입니다.
agentTransfer

object (AgentTransfer)

선택사항입니다. 대화를 다른 상담사에게 트랜스퍼합니다.
expectation

object (GoldenExpectation)

선택사항입니다. 현재 턴에서 기대치를 실행합니다.

SessionInput

JSON 표현 
{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
필드
willContinue

boolean

선택사항입니다. 현재 메시지가 bidi 스트리밍 세션에서 더 큰 입력의 프래그먼트인지 나타내는 플래그입니다.

true로 설정하면 에이전트는 will_continue이 false인 후속 메시지를 수신할 때까지 또는 시스템이 오디오 입력에서 엔드포인트를 감지할 때까지 처리를 지연합니다.

참고: 이 필드는 오디오 및 DTMF 입력에는 적용되지 않습니다. 엔드포인팅 신호에 따라 항상 자동으로 처리되기 때문입니다.
통합 필드 input_type. 입력의 유형입니다. input_type은 다음 중 하나여야 합니다.
text

string

선택사항입니다. 최종 사용자의 텍스트 데이터입니다.
dtmf

string

선택사항입니다. 최종 사용자의 DTMF 숫자입니다.
audio

string (bytes format)

선택사항입니다. 최종 사용자의 오디오 데이터입니다.

base64 인코딩 문자열입니다.
toolResponses

object (ToolResponses)

선택사항입니다. 클라이언트의 도구 호출 실행 결과입니다.
image

object (Image)

선택사항입니다. 최종 사용자의 이미지 데이터입니다.
blob

object (Blob)

선택사항입니다. 최종 사용자의 BLOB 데이터입니다.
variables

object (Struct format)

선택사항입니다. 세션의 컨텍스트 변수입니다. 이름으로 키가 지정됩니다. 앱에서 선언된 변수만 CES 에이전트에서 사용됩니다.

인식되지 않는 변수는 [Dialogflow 에이전트][Agent.RemoteDialogflowAgent] 에 추가 세션 매개변수로 전송됩니다.
event

object (Event)

선택사항입니다. 이벤트 입력입니다.

ToolResponses

JSON 표현 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
필드
toolResponses[]

object (ToolResponse)

선택사항입니다. 도구 실행 결과 목록입니다.

ToolResponse

JSON 표현 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
필드
id

string

선택사항입니다. 응답이 속한 tool call의 일치하는 ID입니다.
displayName

string

출력 전용입니다. 도구의 표시 이름입니다.
response

object (Struct format)

필수 항목입니다. JSON 객체 형식의 도구 실행 결과입니다. 'output' 키를 사용하여 도구 응답을 지정하고 'error' 키를 사용하여 오류 세부정보를 지정합니다 (있는 경우). 'output' 및 'error' 키가 지정되지 않은 경우 전체 'response'가 도구 실행 결과로 처리됩니다.
parentToolCallId

string

출력 전용입니다. 상위 호출을 대신하여 작업하는 하위 에이전트가 이 호출을 발행한 경우 이 호출을 유발한 도구 호출의 ID입니다. 최상위 호출의 경우 비어 있습니다. 클라이언트가 모든 단계를 형제로 렌더링하는 대신 시작된 통화 아래에 하위 에이전트의 작업을 그룹화할 수 있습니다.
agentName

string

출력 전용입니다. 이 통화를 발급한 상담사의 사람이 읽을 수 있는 이름입니다(예: '계약 설계사'). 루트 에이전트가 발급한 경우 비어 있습니다.
통합 필드 tool_identifier. 실행된 도구의 식별자입니다. 지속형 도구 또는 도구 세트의 도구일 수 있습니다. tool_identifier은 다음 중 하나여야 합니다.
tool

string

선택사항입니다. 실행할 도구의 이름입니다. 형식: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

선택사항입니다. 실행된 도구 세트 도구입니다.

ToolsetTool

JSON 표현 
{
  "toolset": string,
  "toolId": string
}
필드
toolset

string

필수 항목입니다. 이 도구가 파생된 도구 세트의 리소스 이름입니다. 형식: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

선택사항입니다. 스키마를 가져올 도구를 필터링할 도구 ID입니다.

구조체

JSON 표현 
{
  "fields": {
    string: value,
    ...
  }
}
필드
fields

map (key: string, value: value (Value format))

동적으로 입력된 값의 순서가 지정되지 않은 맵입니다.

"key": value 쌍 목록을 포함하는 객체입니다. 예: { "name": "wrench", "mass": "1.3kg", "count": "3" }

FieldsEntry

JSON 표현 
{
  "key": string,
  "value": value
}
필드
key

string
value

value (Value format)

값

JSON 표현 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
필드
통합 필드 kind. 값의 종류입니다. kind은 다음 중 하나여야 합니다.
nullValue

null

JSON null를 나타냅니다.
numberValue

number

JSON 숫자를 나타냅니다. JSON에서는 NaN, Infinity, -Infinity가 지원되지 않으므로 이러한 값은 사용할 수 없습니다. 또한 JSON 형식은 일반적으로 숫자 유형에서 큰 Int64 값을 지원하지 않으므로 이를 표현할 수 없습니다.
stringValue

string

JSON 문자열을 나타냅니다.
boolValue

boolean

JSON 불리언 (JSON의 true 또는 false 리터럴)을 나타냅니다.
structValue

object (Struct format)

JSON 객체를 나타냅니다.
listValue

array (ListValue format)

JSON 배열을 나타냅니다.

ListValue

JSON 표현 
{
  "values": [
    value
  ]
}
필드
values[]

value (Value format)

동적으로 입력된 값의 반복 필드입니다.

이미지

JSON 표현 
{
  "mimeType": string,
  "data": string
}
필드
mimeType

string

필수 항목입니다. 소스 데이터의 IANA 표준 MIME 유형입니다. 지원되는 이미지 유형은 다음과 같습니다. * image/png * image/jpeg * image/webp
data

string (bytes format)

필수 항목입니다. 이미지의 원시 바이트입니다.

base64 인코딩 문자열입니다.

blob

JSON 표현 
{
  "mimeType": string,
  "data": string
}
필드
mimeType

string

필수 항목입니다. 소스 데이터의 IANA 표준 MIME 유형입니다.
data

string (bytes format)

필수 항목입니다. blob의 원시 바이트입니다.

base64 인코딩 문자열입니다.

이벤트

JSON 표현 
{
  "event": string
}
필드
event

string

필수 항목입니다. 이벤트 이름입니다.

AgentTransfer

JSON 표현 
{
  "targetAgent": string,
  "displayName": string
}
필드
targetAgent

string

필수 항목입니다. 대화가 트랜스퍼되는 상담사입니다. 이 시점부터 상담사가 대화를 처리합니다. 형식: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

출력 전용입니다. 에이전트의 표시 이름입니다.

GoldenExpectation

JSON 표현 
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}
필드
note

string

선택사항입니다. 이 요구사항에 대한 메모로, 특정 검사가 실패할 때 보고하는 데 유용합니다. 예: "Check_Payment_Tool_Called".
skipEvaluation

boolean

선택사항입니다. true로 설정하면 이 특정 기대치가 평가되지 않습니다.
expectationLevelMetricsThresholdsOverride

object (ExpectationLevelMetricsThresholds)

선택사항입니다. 단계 수준에서 측정항목을 재정의합니다.
agentResponseSemanticSimilarityMetricsConfigOverride

object (SemanticSimilarityMetricsConfig)

선택사항입니다. agent_response 시맨틱 유사성 측정항목의 재정의입니다.
agentResponseHallucinationMetricsConfigOverride

object (HallucinationMetricsConfig)

선택사항입니다. agent_response 환각 측정항목의 재정의입니다.
comparisonType

enum (ComparisonType)

선택사항입니다. 예상 검사에 사용할 비교 유형입니다.
통합 필드 condition. 실제로 실행할 검사입니다. condition은 다음 중 하나여야 합니다.
toolCall

object (ToolCall)

선택사항입니다. 특정 도구가 매개변수와 함께 호출되었는지 확인합니다.
toolResponse

object (ToolResponse)

선택사항입니다. 특정 도구가 예상된 응답을 했는지 확인합니다.
agentResponse

object (Message)

선택사항입니다. 상담사가 올바른 대답을 했는지 확인합니다. 'agent' 역할이 암시됩니다.
agentTransfer

object (AgentTransfer)

선택사항입니다. 상담사가 대화를 다른 상담사에게 트랜스퍼했는지 확인합니다.
updatedVariables

object (Struct format)

선택사항입니다. 상담사가 세션 변수를 예상 값으로 업데이트했는지 확인합니다. 골든 평가를 위해 에이전트 변수 업데이트를 캡처하는 데도 사용됩니다.
mockToolResponse

object (ToolResponse)

선택사항입니다. 관심 있는 매개변수가 지정된 모의 도구 응답입니다. 지정되지 않은 매개변수는 LLM에 의해 환각됩니다.
noToolCalls

boolean

선택사항입니다. 이 턴에서 호출된 도구가 없는지 확인합니다.

ToolCall

JSON 표현 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
필드
id

string

선택사항입니다. 도구 호출의 고유 식별자입니다. 채워진 경우 클라이언트는 ToolResponse에서 일치하는 ID로 실행 결과를 반환해야 합니다.
displayName

string

출력 전용입니다. 도구의 표시 이름입니다.
args

object (Struct format)

선택사항입니다. JSON 객체 형식의 도구 입력 매개변수와 값입니다.
parentToolCallId

string

출력 전용입니다. 상위 호출을 대신하여 작업하는 하위 에이전트가 이 호출을 발행한 경우 이 호출을 유발한 도구 호출의 ID입니다. 최상위 호출의 경우 비어 있습니다. 클라이언트가 모든 단계를 형제로 렌더링하는 대신 시작된 통화 아래에 하위 에이전트의 작업을 그룹화할 수 있습니다.
agentName

string

출력 전용입니다. 이 통화를 발급한 상담사의 사람이 읽을 수 있는 이름입니다(예: '계약 설계사'). 루트 에이전트가 발급한 경우 비어 있습니다.
통합 필드 tool_identifier. 실행할 도구의 식별자입니다. 지속형 도구 또는 도구 세트의 도구일 수 있습니다. tool_identifier은 다음 중 하나여야 합니다.
tool

string

선택사항입니다. 실행할 도구의 이름입니다. 형식: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

선택사항입니다. 실행할 도구 세트 도구입니다.

메시지

JSON 표현 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
필드
role

string

선택사항입니다. 대화 내 역할입니다(예: 사용자, 상담사).
chunks[]

object (Chunk)

선택사항입니다. 메시지의 콘텐츠(청크 시리즈)입니다.
eventTime

string (Timestamp format)

선택사항입니다. 메일이 전송 또는 수신된 시점의 타임스탬프입니다. 메시지가 example의 일부인 경우에는 사용하면 안 됩니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.

Chunk

JSON 표현 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
필드
통합 필드 data. 청크 데이터입니다. data은 다음 중 하나여야 합니다.
text

string

선택사항입니다. 텍스트 데이터.
transcript

string

선택사항입니다. 오디오와 연결된 스크립트입니다.
blob

object (Blob)

선택사항입니다. BLOB 데이터입니다.
payload

object (Struct format)

선택사항입니다. 맞춤 페이로드 데이터입니다.
image

object (Image)

선택사항입니다. 이미지 데이터입니다.
toolCall

object (ToolCall)

선택사항입니다. 도구 실행 요청입니다.
toolResponse

object (ToolResponse)

선택사항입니다. 도구 실행 응답입니다.
agentTransfer

object (AgentTransfer)

선택사항입니다. 상담사 트랜스퍼 이벤트입니다.
updatedVariables

object (Struct format)

구조체는 대화에서 업데이트된 변수를 나타내며 변수 이름으로 키가 지정됩니다.
defaultVariables

object (Struct format)

구조체는 대화 시작 시 기본 변수를 나타내며 변수 이름으로 키가 지정됩니다.

타임스탬프

JSON 표현 
{
  "seconds": string,
  "nanos": integer
}
필드
seconds

string (int64 format)

Unix epoch 1970-01-01T00:00:00Z 이후 UTC 시간의 초 단위로 표현합니다. -62135596800~253402300799 (0001-01-01T00:00:00Z~9999-12-31T23:59:59Z) 사이여야 합니다.
nanos

integer

나노초 단위의 음수가 아닌 초수입니다. 이 필드는 기간의 나노초 부분이며 초의 대안이 아닙니다. 음수의 초수 값에는 시간에 반영되는 음수가 아닌 나노초 값이 있어야 합니다. 0~999,999,999(포함) 사이여야 합니다.

ExpectationLevelMetricsThresholds

JSON 표현 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
필드

통합 필드 _tool_invocation_parameter_correctness_threshold.

_tool_invocation_parameter_correctness_threshold는 다음 중 하나여야 합니다.
toolInvocationParameterCorrectnessThreshold

number

선택사항입니다. 개별 도구 호출 매개변수 정확성의 성공 기준입니다. 0과 1 사이의 부동 소수점이어야 합니다. 기본값은 1.0입니다.

SemanticSimilarityMetricsConfig

JSON 표현 
{
  "enableSemanticSimilarityMetrics": boolean
}
필드
enableSemanticSimilarityMetrics

boolean

선택사항입니다. 평가에 대한 의미 유사성 측정항목을 계산할지 여부입니다.

HallucinationMetricsConfig

JSON 표현 
{
  "enableHallucinationMetrics": boolean
}
필드
enableHallucinationMetrics

boolean

선택사항입니다. 평가에서 환각 측정항목을 계산할지 여부입니다.

스팬

JSON 표현 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
필드
name

string

출력 전용입니다. 스팬의 이름입니다.
startTime

string (Timestamp format)

출력 전용입니다. 스팬의 시작 시간입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
endTime

string (Timestamp format)

출력 전용입니다. 스팬의 종료 시간입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
duration

string (Duration format)

출력 전용입니다. 스팬의 지속 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.
attributes

object (Struct format)

출력 전용입니다. 스팬과 연결된 키-값 속성입니다.
childSpans[]

object (Span)

출력 전용입니다. 이 스팬 아래에 중첩된 하위 스팬입니다.

소요 시간

JSON 표현 
{
  "seconds": string,
  "nanos": integer
}
필드
seconds

string (int64 format)

시간 범위의 부호가 있는 초입니다. -315,576,000,000~+315,576,000,000(포함) 사이여야 합니다. 참고: 이 범위는 60초/분 * 60분/시간 * 24시간/일 * 365.25일/년 * 10,000년에서 계산됩니다.
nanos

integer

시간 범위의 나노초 단위로 된 부호가 있는 초수입니다. 1초 미만의 기간은 0 seconds 필드와 양수 또는 음수 nanos 필드로 표현됩니다. 1초 이상의 기간의 경우 nanos 필드의 0이 아닌 값은 seconds 필드와 부호가 같아야 합니다. -999,999,999~+999,999,999(포함) 사이여야 합니다.

TurnLevelMetricsThresholds

JSON 표현 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
필드
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

선택사항입니다. 평가에 사용할 시맨틱 유사성 채널입니다.

통합 필드 _semantic_similarity_success_threshold.

_semantic_similarity_success_threshold는 다음 중 하나여야 합니다.
semanticSimilaritySuccessThreshold

integer

선택사항입니다. 의미론적 유사성의 성공 기준입니다. 0에서 4 사이의 정수여야 합니다. 기본값은 3 이상입니다.

통합 필드 _overall_tool_invocation_correctness_threshold.

_overall_tool_invocation_correctness_threshold는 다음 중 하나여야 합니다.
overallToolInvocationCorrectnessThreshold

number

선택사항입니다. 전반적인 도구 호출 정확성의 성공 기준입니다. 0과 1 사이의 부동 소수점이어야 합니다. 기본값은 1.0입니다.

시나리오

JSON 표현 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (ScenarioExecutionMode)
}
필드
task

string

필수 항목입니다. 시나리오에서 타겟팅할 작업입니다.
userFacts[]

object (UserFact)

선택사항입니다. 시나리오에서 사용할 사용자 사실입니다.
maxTurns

integer

선택사항입니다. 시뮬레이션할 최대 턴 수입니다. 허용되는 최댓값은 100입니다. 기본값은 100입니다.
rubrics[]

string

필수 항목입니다. 시나리오를 평가할 기준표입니다.
scenarioExpectations[]

object (ScenarioExpectation)

필수 항목입니다. 사용자 시뮬레이션에서 생성된 대화를 평가하는 ScenarioExpectations입니다.
variableOverrides

object (Struct format)

선택사항입니다. 변수 이름으로 키가 지정된 세션의 컨텍스트로 사용되는 변수 / 세션 매개변수입니다. 이 구조체의 멤버는 시스템에서 설정한 기본값을 재정의합니다.

사용자가 알고 있는 사실인 사용자 사실과는 다릅니다. 변수는 상담사가 알고 있는 매개변수입니다. 즉, 전화 통신 시스템에서 전달하는 MDN (전화번호)입니다.
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

선택사항입니다. 지원 중단되었습니다. 대신 user_goal_behavior를 사용하세요.
userGoalBehavior

enum (UserGoalBehavior)

선택사항입니다. 사용자 목표의 예상 동작입니다.
evaluationExpectations[]

string

선택사항입니다. 시뮬레이션에서 생성된 대화를 평가할 평가 기대치입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode

enum (ScenarioExecutionMode)

선택사항입니다. 시나리오 평가의 실행 모드입니다.

UserFact

JSON 표현 
{
  "name": string,
  "value": string
}
필드
name

string

필수 항목입니다. 사용자 사실의 이름입니다.
value

string

필수 항목입니다. 사용자 사실의 값입니다.

ScenarioExpectation

JSON 표현 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
필드
통합 필드 expectation. 시뮬레이션에서 생성된 대화를 평가해야 합니다. expectation은 다음 중 하나여야 합니다.
toolExpectation

object (ToolExpectation)

선택사항입니다. 평가할 도구 호출 및 응답 쌍입니다.
agentResponse

object (Message)

선택사항입니다. 평가할 상담사 응답입니다.

ToolExpectation

JSON 표현 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
필드
expectedToolCall

object (ToolCall)

필수 항목입니다. 관심 있는 매개변수가 지정된 예상 도구 호출입니다. 지정되지 않은 매개변수는 LLM에 의해 환각됩니다.
mockToolResponse

object (ToolResponse)

필수 항목입니다. 관심 있는 매개변수가 지정된 모의 도구 응답입니다. 지정되지 않은 매개변수는 LLM에 의해 환각됩니다.

AggregatedMetrics

JSON 표현 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
필드
metricsByAppVersion[]

object (MetricsByAppVersion)

출력 전용입니다. 앱 버전 ID별로 그룹화된 집계 측정항목입니다.

MetricsByAppVersion

JSON 표현 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
필드
appVersionId

string

출력 전용입니다. 앱 버전 ID입니다.
toolMetrics[]

object (ToolMetrics)

출력 전용입니다. 이 앱 버전 내 각 도구의 측정항목입니다.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

출력 전용입니다. 이 앱 버전 내의 의미 유사성 측정항목입니다.
hallucinationMetrics[]

object (HallucinationMetrics)

출력 전용입니다. 이 앱 버전 내의 환각에 대한 측정항목입니다.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

출력 전용입니다. 이 앱 버전 내의 도구 호출 지연 시간 측정항목입니다.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

출력 전용입니다. 이 앱 버전 내의 턴 지연 시간 측정항목입니다.
passCount

integer

출력 전용입니다. 평가를 통과한 횟수입니다.
failCount

integer

출력 전용입니다. 평가에 실패한 횟수입니다.
metricsByTurn[]

object (MetricsByTurn)

출력 전용입니다. 이 앱 버전 내에서 턴별로 집계된 측정항목입니다.

ToolMetrics

JSON 표현 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
필드
tool

string

출력 전용입니다. 도구의 이름입니다.
passCount

integer

출력 전용입니다. 도구가 통과한 횟수입니다.
failCount

integer

출력 전용입니다. 도구가 실패한 횟수입니다.

SemanticSimilarityMetrics

JSON 표현 
{
  "score": number
}
필드
score

number

출력 전용입니다. 평균 시맨틱 유사도 점수 (0~4)입니다.

HallucinationMetrics

JSON 표현 
{
  "score": number
}
필드
score

number

출력 전용입니다. 평균 환각 점수 (0~1)입니다.

ToolCallLatencyMetrics

JSON 표현 
{
  "tool": string,
  "averageLatency": string
}
필드
tool

string

출력 전용입니다. 도구의 이름입니다.
averageLatency

string (Duration format)

출력 전용입니다. 도구 호출의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

TurnLatencyMetrics

JSON 표현 
{
  "averageLatency": string
}
필드
averageLatency

string (Duration format)

출력 전용입니다. 턴의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

MetricsByTurn

JSON 표현 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
필드
turnIndex

integer

출력 전용입니다. 턴 색인 (0부터 시작)입니다.
toolMetrics[]

object (ToolMetrics)

출력 전용입니다. 이 턴 내 각 도구의 측정항목입니다.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

출력 전용입니다. 이 턴 내의 의미 유사성 측정항목입니다.
hallucinationMetrics[]

object (HallucinationMetrics)

출력 전용입니다. 이 턴 내의 환각에 대한 측정항목입니다.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

출력 전용입니다. 이 턴 내의 도구 호출 지연 시간 측정항목입니다.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

출력 전용입니다. 이 턴 내의 턴 지연 시간 측정항목입니다.

EvaluationResult

JSON 표현 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
필드
name

string

식별자. 평가 결과의 고유 식별자입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

필수 항목입니다. 평가 결과의 표시 이름입니다. 평가 내에서 고유합니다. 기본적으로 형식은 ' 결과 - '입니다.
createTime

string (Timestamp format)

출력 전용입니다. 평가 결과가 생성된 타임스탬프입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
evaluationStatus

enum (Outcome)

출력 전용입니다. 평가 결과입니다. execution_state가 COMPLETE인 경우에만 채워집니다.
evaluationRun

string

출력 전용입니다. 이 결과를 생성한 평가 실행입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

출력 전용입니다. 평가 결과를 위한 대화를 생성하는 데 사용된 페르소나입니다.
errorInfo

object (EvaluationErrorInfo)

출력 전용입니다. 평가 결과의 오류 정보입니다.
error
(deprecated)

object (Status)

출력 전용입니다. 지원 중단됨: 대신 error_info을 사용하세요. 실행 중에 오류가 발생했습니다.
initiatedBy

string

출력 전용입니다. 이 결과를 초래한 평가 실행을 시작한 사용자입니다.
appVersion

string

출력 전용입니다. 이 결과를 생성한 대화에 사용된 앱 버전입니다. 형식: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

출력 전용입니다. 평가가 실행된 app_version의 표시 이름입니다.
changelog

string

출력 전용입니다. 평가가 실행된 앱 버전의 변경사항입니다. 사용자가 최신/초안에서 평가를 실행하는 경우 이 값이 채워집니다.
changelogCreateTime

string (Timestamp format)

출력 전용입니다. 평가가 실행된 앱 버전의 변경사항 생성 시간입니다. 사용자가 최신/초안에서 평가를 실행하는 경우 이 값이 채워집니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
executionState

enum (ExecutionState)

출력 전용입니다. 평가 결과 실행 상태입니다.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

출력 전용입니다. 결과의 평가 기준입니다.
config

object (EvaluationConfig)

출력 전용입니다. 이 결과를 생성한 평가 실행에 사용된 구성입니다.
goldenRunMethod

enum (GoldenRunMethod)

출력 전용입니다. 골든 평가를 실행하는 데 사용된 방법입니다.
rootSpan

object (Span)

출력 전용입니다. 평가 실행의 루트 스팬으로, 평가의 각 단계에 관한 정보가 포함됩니다.
outcomeMetadata

enum (OutcomeMetadata)

출력 전용입니다. 평가의 결과 메타데이터입니다. execution_state가 COMPLETE인 경우에만 채워집니다.
통합 필드 result. 평가 결과입니다. execution_state가 COMPLETED인 경우에만 채워집니다. result은 다음 중 하나여야 합니다.
goldenResult

object (GoldenResult)

출력 전용입니다. 골든 평가의 결과입니다.
scenarioResult

object (ScenarioResult)

출력 전용입니다. 시나리오 평가 결과입니다.

GoldenResult

JSON 표현 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
필드
turnReplayResults[]

object (TurnReplayResult)

출력 전용입니다. 골든 대화의 각 차례를 실행한 결과입니다.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

출력 전용입니다. 평가 기대치의 결과입니다.

TurnReplayResult

JSON 표현 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
필드
conversation

string

출력 전용입니다. 이 턴에 대해 생성된 대화입니다.
expectationOutcome[]

object (GoldenExpectationOutcome)

출력 전용입니다. 각 기대치의 결과입니다.
hallucinationResult

object (HallucinationResult)

출력 전용입니다. 과장된 표현 확인 결과입니다.
toolInvocationScore
(deprecated)

number

출력 전용입니다. 지원 중단되었습니다. 대신 OverallToolInvocationResult를 사용하세요.
turnLatency

string (Duration format)

출력 전용입니다. 턴의 지속 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.
toolCallLatencies[]

object (ToolCallLatency)

출력 전용입니다. 턴의 각 도구 호출의 지연 시간입니다.
semanticSimilarityResult

object (SemanticSimilarityResult)

출력 전용입니다. 시맨틱 유사성 확인 결과입니다.
overallToolInvocationResult

object (OverallToolInvocationResult)

출력 전용입니다. 전체 도구 호출 확인 결과입니다.
errorInfo

object (EvaluationErrorInfo)

출력 전용입니다. 이 턴 중에 발생한 오류에 관한 정보입니다.
spanLatencies[]

object (SpanLatency)

출력 전용입니다. 턴의 스팬 지연 시간입니다.

통합 필드 _tool_ordered_invocation_score.

_tool_ordered_invocation_score는 다음 중 하나여야 합니다.
toolOrderedInvocationScore

number

출력 전용입니다. 이 턴의 전체 도구 순서 지정 호출 점수입니다. 예상된 턴에서 실제로 호출된 도구의 전체 비율을 예상 순서대로 나타냅니다.

GoldenExpectationOutcome

JSON 표현 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}
필드
expectation

object (GoldenExpectation)

출력 전용입니다. 평가된 기대치입니다.
outcome

enum (Outcome)

출력 전용입니다. 기대의 결과입니다.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

출력 전용입니다. 시맨틱 유사성 확인 결과입니다.
toolInvocationResult

object (ToolInvocationResult)

출력 전용입니다. 도구 호출 확인 결과입니다.
통합 필드 result. 기대의 결과입니다. result은 다음 중 하나여야 합니다.
observedToolCall

object (ToolCall)

출력 전용입니다. 도구 호출 기대치의 결과입니다.
observedToolResponse

object (ToolResponse)

출력 전용입니다. 도구 응답 기대치의 결과입니다.
observedAgentResponse

object (Message)

출력 전용입니다. 상담사 응답 기대치의 결과입니다.
observedAgentTransfer

object (AgentTransfer)

출력 전용입니다. 상담사 트랜스퍼 기대치의 결과입니다.
observedPayload

object (Struct format)

출력 전용입니다. 관찰된 맞춤 페이로드입니다. 맞춤 페이로드에 대한 기대치는 없습니다. 측정항목 계산에만 사용됩니다. 결과는 항상 SKIPPED입니다.

SemanticSimilarityResult

JSON 표현 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
필드
label

string

출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 4: 완전히 일관됨 점수 3: 대부분 일관됨 점수 2: 부분적으로 일관됨 (사소한 누락) 점수 1: 대부분 일관되지 않음 (심각한 누락) 점수 0: 완전히 일관되지 않음 / 모순됨
explanation

string

출력 전용입니다. 의미 유사도 점수에 대한 설명입니다.
outcome

enum (Outcome)

출력 전용입니다. 시맨틱 유사성 확인 결과입니다. 이는 점수를 semantic_similarity_success_threshold와 비교하여 결정됩니다. 점수가 기준점 이상이면 결과는 PASS입니다. 그렇지 않으면 결과는 FAIL입니다.

통합 필드 _score.

_score는 다음 중 하나여야 합니다.
score

integer

출력 전용입니다. 의미론적 유사성 점수입니다. 0, 1, 2, 3, 4일 수 있습니다.

ToolInvocationResult

JSON 표현 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
필드
outcome

enum (Outcome)

출력 전용입니다. 도구 호출 확인 결과입니다. 이는 parameter_correctness_score를 기준과 비교하여 결정됩니다. 점수가 기준점 이상이면 결과는 PASS입니다. 그렇지 않으면 결과는 FAIL입니다.
explanation

string

출력 전용입니다. 도구 호출 결과에 대한 자유 텍스트 설명입니다.

통합 필드 _parameter_correctness_score.

_parameter_correctness_score는 다음 중 하나여야 합니다.
parameterCorrectnessScore

number

출력 전용입니다. 도구 호출 파라미터 정확성 점수입니다. 이는 예상 도구 호출의 파라미터 중 실제 도구 호출에도 있는 파라미터의 비율을 나타냅니다.

HallucinationResult

JSON 표현 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
필드
label

string

출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 1: 근거 있음 점수 0: 근거 없음 점수 -1: 평가할 클레임 없음
explanation

string

출력 전용입니다. 할루시네이션 점수에 대한 설명입니다.

통합 필드 _score.

_score는 다음 중 하나여야 합니다.
score

integer

출력 전용입니다. 할루시네이션 점수입니다. -1, 0, 1일 수 있습니다.

ToolCallLatency

JSON 표현 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
필드
tool

string

출력 전용입니다. 실행된 도구의 이름입니다. 형식은 projects/{project}/locations/{location}/apps/{app}/tools/{tool}입니다.
displayName

string

출력 전용입니다. 도구의 표시 이름입니다.
startTime

string (Timestamp format)

출력 전용입니다. 도구 호출 실행의 시작 시간입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
endTime

string (Timestamp format)

출력 전용입니다. 도구 호출 실행의 종료 시간입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
executionLatency

string (Duration format)

출력 전용입니다. 도구 호출 실행의 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

OverallToolInvocationResult

JSON 표현 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
필드
outcome

enum (Outcome)

출력 전용입니다. 도구 호출 확인 결과입니다. 이는 tool_invocation_score를 overall_tool_invocation_correctness_threshold와 비교하여 결정됩니다. 점수가 기준점 이상이면 결과는 PASS입니다. 그렇지 않으면 결과는 FAIL입니다.

통합 필드 _tool_invocation_score.

_tool_invocation_score는 다음 중 하나여야 합니다.
toolInvocationScore

number

이 턴의 전체 도구 호출 점수입니다. 실제로 호출된 예상 턴의 도구의 전체 비율을 나타냅니다.

EvaluationErrorInfo

JSON 표현 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string,
  "userFacingErrorMessage": string
}
필드
errorType

enum (ErrorType)

출력 전용입니다. 오류 유형입니다.
errorMessage

string

출력 전용입니다. 오류 메시지.
sessionId

string

출력 전용입니다. 오류를 일으킨 대화의 세션 ID입니다.
userFacingErrorMessage

string

출력 전용입니다. 사용자에게 표시되는 오류 메시지입니다.

SpanLatency

JSON 표현 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
필드
type

enum (Type)

출력 전용입니다. 스팬 유형입니다.
displayName

string

출력 전용입니다. 스팬의 표시 이름입니다. 도구 및 가드레일 범위에 적용됩니다.
startTime

string (Timestamp format)

출력 전용입니다. 스팬의 시작 시간입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
endTime

string (Timestamp format)

출력 전용입니다. 스팬의 종료 시간입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
executionLatency

string (Duration format)

출력 전용입니다. 스팬의 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.
통합 필드 identifier. 유형에 따른 특정 항목의 식별자입니다. identifier은 다음 중 하나여야 합니다.
resource

string

출력 전용입니다. 가드레일 또는 도구 스팬의 리소스 이름입니다.
toolset

object (ToolsetTool)

출력 전용입니다. 툴셋 도구 식별자입니다.
model

string

출력 전용입니다. LLM 스팬의 이름입니다.
callback

string

출력 전용입니다. 사용자 콜백 스팬의 이름입니다.

EvaluationExpectationResult

JSON 표현 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
필드
evaluationExpectation

string

출력 전용입니다. 평가 기대치입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

출력 전용입니다. 평가에 사용된 프롬프트입니다.
outcome

enum (Outcome)

출력 전용입니다. 평가 기대치의 결과입니다.
explanation

string

출력 전용입니다. 결과에 대한 설명입니다.

ScenarioResult

JSON 표현 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
필드
conversation

string

출력 전용입니다. 시나리오에서 생성된 대화입니다.
task

string

출력 전용입니다. 이 결과의 시나리오를 실행할 때 사용된 작업입니다.
userFacts[]

object (UserFact)

출력 전용입니다. 이 결과에 대한 시나리오에서 사용된 사용자 사실입니다.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

출력 전용입니다. 각 기대치의 결과입니다.
rubricOutcomes[]

object (ScenarioRubricOutcome)

출력 전용입니다. 기준표의 결과입니다.
hallucinationResult[]

object (HallucinationResult)

출력 전용입니다. 과장된 표현 확인 결과입니다. 대화의 각 턴에 대해 하나의 그릇된 정보 결과가 표시됩니다.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

출력 전용입니다. 작업 완료 확인 결과입니다.
toolCallLatencies[]

object (ToolCallLatency)

출력 전용입니다. 대화에서 각 도구 호출 실행의 지연 시간입니다.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

출력 전용입니다. 사용자 목표 만족도 확인 결과입니다.
spanLatencies[]

object (SpanLatency)

출력 전용입니다. 대화의 스팬 지연 시간입니다.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

출력 전용입니다. 평가 기대치의 결과입니다.

통합 필드 _all_expectations_satisfied.

_all_expectations_satisfied는 다음 중 하나여야 합니다.
allExpectationsSatisfied

boolean

출력 전용입니다. 이 턴에 대한 모든 기대치가 충족되었는지 여부입니다.

통합 필드 _task_completed.

_task_completed는 다음 중 하나여야 합니다.
taskCompleted

boolean

출력 전용입니다. 이 턴에서 작업이 완료되었는지 여부입니다. 이는 충족된 모든 기대치, 환각 없음, 사용자 목표 만족도의 복합입니다.

ScenarioExpectationOutcome

JSON 표현 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
필드
expectation

object (ScenarioExpectation)

출력 전용입니다. 평가된 기대치입니다.
outcome

enum (Outcome)

출력 전용입니다. ScenarioExpectation의 결과입니다.
통합 필드 result. 기대의 결과입니다. result은 다음 중 하나여야 합니다.
observedToolCall

object (ObservedToolCall)

출력 전용입니다. 관찰된 도구 호출입니다.
observedAgentResponse

object (Message)

출력 전용입니다. 관찰된 에이전트 응답입니다.

ObservedToolCall

JSON 표현 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
필드
toolCall

object (ToolCall)

출력 전용입니다. 관찰된 도구 호출입니다.
toolResponse

object (ToolResponse)

출력 전용입니다. 관찰된 도구 응답입니다.

ScenarioRubricOutcome

JSON 표현 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
필드
rubric

string

출력 전용입니다. 대화를 평가하는 데 사용된 기준표입니다.
scoreExplanation

string

출력 전용입니다. 평가자의 루브릭에 대한 응답입니다.

통합 필드 _score.

_score는 다음 중 하나여야 합니다.
score

number

출력 전용입니다. 기준표에 따른 대화 점수입니다.

TaskCompletionResult

JSON 표현 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
필드
label

string

출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 1: 작업 완료 점수 0: 작업 미완료 점수 -1: 사용자 목표가 정의되지 않음
explanation

string

출력 전용입니다. 작업 완료 점수에 대한 설명입니다.

통합 필드 _score.

_score는 다음 중 하나여야 합니다.
score

integer

출력 전용입니다. 작업 완료 점수입니다. -1, 0, 1일 수 있습니다.

UserGoalSatisfactionResult

JSON 표현 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
필드
label

string

출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 2: 원활한 핸드오프 점수 1: 사용자 작업 만족 점수 0: 사용자 작업 불만족 점수 -1: 사용자 작업 미지정
explanation

string

출력 전용입니다. 사용자 작업 만족도 점수에 대한 설명입니다.

통합 필드 _score.

_score는 다음 중 하나여야 합니다.
score

integer

출력 전용입니다. 사용자 작업 만족도 점수입니다. -1, 0, 1, 2일 수 있습니다.

EvaluationPersona

JSON 표현 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
필드
name

string

필수 항목입니다. 페르소나의 고유 식별자입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

선택사항입니다. 페르소나에 대한 설명입니다.
displayName

string

필수 항목입니다. 페르소나의 표시 이름입니다. 앱 내에서 고유합니다.
personality

string

필수 항목입니다. 평가에서 에이전트가 어떻게 행동해야 하는지에 관한 안내입니다.
speechConfig

object (SpeechConfig)

선택사항입니다. 페르소나의 음성 (TTS 설정) 구성

SpeechConfig

JSON 표현 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
필드
speakingRate

number

선택사항입니다. 말하기 속도입니다. 1.0이 일반적입니다. 낮은 값은 느리고 (예: 0.8) 높은 값은 빠릅니다 (예: 1.5). 에이전트가 빠른 대화자를 어떻게 처리하는지 테스트하는 데 유용합니다.
environment

enum (BackgroundEnvironment)

선택사항입니다. 시뮬레이션된 오디오 환경입니다.
voiceId

string

선택사항입니다. 사용할 특정 음성 식별자/억양입니다. 예: 'en-US-Wavenet-D' 또는 'en-GB-Standard-A'

상태

JSON 표현 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
필드
code

integer

상태 코드로, google.rpc.Code의 열거형 값이어야 합니다.
message

string

개발자에게 정보를 제공하는 오류 메시지로, 영어로 작성되어야 합니다. 사용자에게 표시되는 모든 오류 메시지는 현지화되어 google.rpc.Status.details 필드에 전송되거나, 클라이언트 측에서 현지화되어야 합니다.
details[]

object

오류 세부정보를 설명하는 메시지 목록입니다. API에서 사용할 일반적인 메시지 유형 집합이 있습니다.

임의 유형의 필드를 포함하는 객체입니다. 추가 필드 "@type"은 유형을 식별하는 URI를 포함합니다. 예: { "id": 1234, "@type": "types.example.com/standard/id" }

모두

JSON 표현 
{
  "typeUrl": string,
  "value": string
}
필드
typeUrl

string

슬래시로 끝나는 접두사와 정규화된 유형 이름으로 구성된 URI 참조를 사용하여 직렬화된 Protobuf 메시지의 유형을 식별합니다.

예: type.googleapis.com/google.protobuf.StringValue

이 문자열에는 / 문자가 하나 이상 포함되어야 하며, 마지막 / 뒤의 콘텐츠는 선행 점이 없는 표준 형식의 유형의 정규화된 이름이어야 합니다. 클라이언트가 연락을 시도하지 않도록 이러한 URI 참조에 스킴을 작성하지 마세요.

접두사는 임의적이며 Protobuf 구현은 유형을 식별하기 위해 마지막 /까지 포함한 모든 것을 삭제해야 합니다. type.googleapis.com/는 일부 기존 구현에 필요한 일반적인 기본 접두사입니다. 이 접두사는 유형의 출처를 나타내지 않으며, 이 접두사가 포함된 URI는 요청에 응답하지 않습니다.

모든 유형 URL 문자열은 참조의 콘텐츠가 영숫자, 퍼센트 인코딩된 이스케이프, 다음 집합의 문자(외부 백틱 제외)로만 구성되어야 한다는 추가 제한사항이 있는 합법적인 URI 참조여야 합니다. /-.~_!$&()*+,;= Google에서는 퍼센트 인코딩을 허용하지만 기존 파서와의 혼동을 방지하기 위해 구현에서 퍼센트 인코딩을 이스케이프 해제해서는 안 됩니다. 예를 들어 type.googleapis.com%2FFoo는 거부되어야 합니다.

Any의 원래 설계에서는 이러한 유형 URL에서 유형 확인 서비스를 실행할 가능성이 고려되었지만 Protobuf는 이를 구현하지 않았으며 이러한 URL에 연결하는 것을 문제이자 잠재적인 보안 문제로 간주합니다. 연락처 유형 URL을 시도하지 마세요.
value

string (bytes format)

type_url로 설명된 유형의 Protobuf 직렬화를 보유합니다.

base64 인코딩 문자열입니다.

EvaluationMetricsThresholds

JSON 표현 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
필드
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

선택사항입니다. 골든 평가 측정항목 기준입니다.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

선택사항입니다. 지원 중단됨: 대신 golden_hallucination_metric_behavior을 사용하세요. 현재 골든 평가에는 허위 정보 측정항목 동작이 사용됩니다.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

선택사항입니다. 골든 평가의 허위 정보 측정항목 동작입니다.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

선택사항입니다. 시나리오 평가의 허위 정보 측정항목 동작입니다.

GoldenEvaluationMetricsThresholds

JSON 표현 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
필드
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

선택사항입니다. 턴 수준 측정항목 기준점입니다.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

선택사항입니다. 기대 수준 측정항목 기준점입니다.
toolMatchingSettings

object (ToolMatchingSettings)

선택사항입니다. 도구 매칭 설정입니다. 추가 도구 호출은 실행에 있지만 골든 기대치에 있는 도구 호출과 일치하지 않는 도구 호출입니다.

ToolMatchingSettings

JSON 표현 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
필드
extraToolCallBehavior

enum (ExtraToolCallBehavior)

선택사항입니다. 추가 도구 호출의 동작입니다. 기본값은 FAIL입니다.

EvaluationConfig

JSON 표현 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
필드
inputAudioConfig

object (InputAudioConfig)

선택사항입니다. 입력 오디오 처리 구성입니다.
outputAudioConfig

object (OutputAudioConfig)

선택사항입니다. 출력 오디오를 생성하기 위한 구성입니다.
evaluationChannel

enum (EvaluationChannel)

선택사항입니다. 평가할 채널입니다.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

선택사항입니다. 평가에서 실제 도구 호출을 사용할지 아니면 가짜 도구를 사용할지 지정합니다.

InputAudioConfig

JSON 표현 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
필드
audioEncoding

enum (AudioEncoding)

필수 항목입니다. 입력 오디오 데이터의 인코딩입니다.
sampleRateHertz

integer

필수 항목입니다. 입력 오디오 데이터의 샘플링 레이트 (Hz)입니다.
noiseSuppressionLevel

string

선택사항입니다. 입력 오디오에서 노이즈 제거를 사용 설정할지 여부입니다. 사용 가능한 값은 'low', 'moderate', 'high', 'very_high'입니다.

OutputAudioConfig

JSON 표현 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
필드
audioEncoding

enum (AudioEncoding)

필수 항목입니다. 출력 오디오 데이터의 인코딩입니다.
sampleRateHertz

integer

필수 항목입니다. 출력 오디오 데이터의 샘플링 레이트 (Hz)입니다.

EvaluationMetricsConfig

JSON 표현 
{
  "goldenMetricsConfig": {
    object (GoldenMetricsConfig)
  },
  "scenarioMetricsConfig": {
    object (ScenarioMetricsConfig)
  }
}
필드
goldenMetricsConfig

object (GoldenMetricsConfig)

선택사항입니다. 평가의 골든 측정항목 구성입니다.
scenarioMetricsConfig

object (ScenarioMetricsConfig)

선택사항입니다. 평가의 시나리오 측정항목 구성입니다.

GoldenMetricsConfig

JSON 표현 
{
  "semanticSimilarityMetricsConfig": {
    object (SemanticSimilarityMetricsConfig)
  },
  "toolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  },
  "stepToolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  }
}
필드
semanticSimilarityMetricsConfig

object (SemanticSimilarityMetricsConfig)

선택사항입니다. 시맨틱 유사성 측정항목의 전역 구성입니다.
toolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

선택사항입니다. 턴 수준 도구 정확성 측정항목의 구성입니다.
stepToolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

선택사항입니다. 단계 수준 도구 정확성 측정항목의 구성입니다.

ToolCorrectnessMetricsConfig

JSON 표현 
{
  "enableToolCorrectnessMetrics": boolean
}
필드
enableToolCorrectnessMetrics

boolean

선택사항입니다. 평가에서 도구 정확성 측정항목을 계산할지 여부입니다.

ScenarioMetricsConfig

JSON 표현 
{
  "userGoalMetMetricsConfig": {
    object (UserGoalMetMetricsConfig)
  },
  "expectationsMetMetricsConfig": {
    object (ExpectationsMetMetricsConfig)
  }
}
필드
userGoalMetMetricsConfig

object (UserGoalMetMetricsConfig)

선택사항입니다. 사용자 목표 달성 측정항목의 구성입니다.
expectationsMetMetricsConfig

object (ExpectationsMetMetricsConfig)

선택사항입니다. 기대 수준 측정항목의 구성입니다.

UserGoalMetMetricsConfig

JSON 표현 
{
  "enableUserGoalMetMetrics": boolean
}
필드
enableUserGoalMetMetrics

boolean

선택사항입니다. 평가를 위해 사용자 목표 달성 측정항목을 계산할지 여부입니다.

ExpectationsMetMetricsConfig

JSON 표현 
{
  "enableExpectationsMetMetrics": boolean
}
필드
enableExpectationsMetMetrics

boolean

선택사항입니다. 평가에 대한 기대치 수준 측정항목을 계산할지 여부입니다.

NullValue

JSON null를 나타냅니다.

NullValue는 Value 유형 결합의 null 값을 나타내기 위해 값이 하나만 있는 enum을 사용하는 센티널입니다.

0 이외의 값이 있는 NullValue 유형의 필드는 잘못된 것으로 간주됩니다. 대부분의 ProtoJSON 직렬화 프로그램은 정수 값과 관계없이 null_value이 JSON null로 설정된 Value를 내보내므로 0 값으로 왕복합니다.

열거형
NULL_VALUE null 값입니다.

ComparisonType

에이전트의 대답을 확인하기 위해 지원되는 비교 유형입니다.

열거형
COMPARISON_TYPE_UNSPECIFIED 지정되지 않은 비교 유형입니다. 동작은 에이전트 응답 및 도구 호출에 대해 SEMANTIC_SIMILARITY로 기본 설정됩니다.
EQUALS 문자열이 완전히 일치합니다.
CONTAINS 하위 문자열 일치 (예상 문자열이 실제 응답에 포함되어 있는지 확인)
SEMANTIC_SIMILARITY 시맨틱 유사성 일치 (LLM을 사용하여 의미 유사성을 평가함)

SemanticSimilarityChannel

사용할 시맨틱 유사성 채널입니다.

열거형
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED 측정항목이 지정되지 않았습니다. 기본값은 TEXT입니다.
TEXT 텍스트 시맨틱 유사성을 사용합니다.
AUDIO 오디오 시맨틱 유사성을 사용합니다.

HallucinationMetricBehavior

과장된 표현 측정항목 동작입니다. 동작과 관계없이 측정항목은 항상 계산됩니다. 사용 중지된 경우 측정항목이 전체 평가 점수를 계산하는 데 사용되지 않는다는 점이 다릅니다.

열거형
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED 지정되지 않은 환각 측정항목 동작입니다.
DISABLED 환각 측정항목을 사용 중지합니다.
ENABLED 환각 측정항목을 사용 설정합니다.

TaskCompletionBehavior

사용자 작업의 예상 동작입니다. 이는 시나리오가 성공적인지 확인하는 데 사용됩니다.

열거형
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED 동작이 지정되지 않았습니다. 기본값은 TASK_SATISFIED입니다.
TASK_SATISFIED 사용자 작업이 완료되어야 합니다.
TASK_REJECTED 사용자 작업이 거부되어야 합니다.

UserGoalBehavior

사용자 목표의 예상 동작입니다. 이는 시나리오가 성공적인지 확인하는 데 사용됩니다.

열거형
USER_GOAL_BEHAVIOR_UNSPECIFIED 동작이 지정되지 않았습니다. 기본값은 USER_GOAL_SATISFIED입니다.
USER_GOAL_SATISFIED 사용자 목표가 성공적으로 완료되어야 합니다.
USER_GOAL_REJECTED 사용자 목표는 거부되어야 합니다.
USER_GOAL_IGNORED 사용자 목표 상태를 무시합니다.

ScenarioExecutionMode

시나리오 평가의 실행 모드입니다.

열거형
SCENARIO_EXECUTION_MODE_UNSPECIFIED 지정되지 않은 실행 모드입니다. 기본값은 QUALITY_OPTIMIZED입니다.
QUALITY_OPTIMIZED 품질 최적화 모드입니다.
SPEED_OPTIMIZED 속도 최적화 모드입니다.

결과

평가 또는 기대치의 결과입니다.

열거형
OUTCOME_UNSPECIFIED 평가 결과가 지정되지 않았습니다.
PASS 평가/기대가 충족되었습니다. 평가의 경우 모든 기대치가 충족되었음을 의미합니다.
FAIL 평가/기대가 실패했습니다. 평가의 경우 하나 이상의 기대치가 충족되지 않았음을 의미합니다.
SKIPPED 평가/기대가 건너뛰었습니다.

ErrorType

오류 유형

열거형
ERROR_TYPE_UNSPECIFIED 지정되지 않은 오류 유형입니다.
RUNTIME_FAILURE 런타임 실행 중 오류가 발생했습니다.
CONVERSATION_RETRIEVAL_FAILURE CES 런타임에서 대화를 가져오지 못함
METRIC_CALCULATION_FAILURE 측정항목 / 결과를 계산할 수 없습니다.
EVALUATION_UPDATE_FAILURE 평가를 업데이트할 수 없습니다.
QUOTA_EXHAUSTED 할당량이 소진되었습니다.
USER_SIMULATION_FAILURE 사용자 시뮬레이션 중 오류가 발생했습니다.

유형

스팬 유형입니다. 향후 값이 추가될 수 있습니다.

열거형
TYPE_UNSPECIFIED 기본값 이 값은 사용되지 않습니다.
TOOL 도구 호출 스팬입니다.
USER_CALLBACK 사용자 콜백 스팬입니다.
GUARDRAIL 가드레일 스팬입니다.
LLM LLM 스팬입니다.

BackgroundEnvironment

시뮬레이션된 오디오 환경입니다.

열거형
BACKGROUND_ENVIRONMENT_UNSPECIFIED 백그라운드 환경이 지정되지 않았습니다.
CALL_CENTER 콜센터 환경
TRAFFIC 교통 소음 환경입니다.
KIDS_NOISE 아이들 소음 환경
CAFE 카페 환경

ExecutionState

평가 결과 실행 상태입니다.

열거형
EXECUTION_STATE_UNSPECIFIED 평가 결과 실행 상태가 지정되지 않았습니다.
QUEUED 평가 결과 실행이 대기열에 추가되었습니다.
RUNNING 평가 결과 실행이 실행 중입니다.
COMPLETED 평가 결과 실행이 완료되었습니다.
ERROR 내부 오류로 인해 평가 결과 실행이 실패했습니다.
CANCELLED 평가 결과 실행이 취소되었습니다.

ExtraToolCallBehavior

추가 도구 호출이 발생할 때의 동작을 정의합니다. 추가 도구 호출은 실행에 있지만 골든 기대치에 있는 도구 호출과 일치하지 않는 도구 호출입니다.

열거형
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED 지정되지 않은 동작입니다. 기본값은 FAIL입니다.
FAIL 추가 도구 호출이 발견되면 평가를 실패합니다.
ALLOW 추가 도구 호출을 허용합니다.

AudioEncoding

AudioEncoding은 오디오 데이터의 인코딩 형식을 지정합니다.

열거형
AUDIO_ENCODING_UNSPECIFIED 지정되지 않은 오디오 인코딩입니다.
LINEAR16 16비트 선형 PCM 오디오 인코딩
MULAW G.711 PCMU/mu-law를 사용하여 14비트 오디오 샘플을 압축하는 8비트 샘플입니다.
ALAW G.711 PCMU/A-law를 사용하여 14비트 오디오 샘플을 압축하는 8비트 샘플입니다.

EvaluationChannel

평가할 채널입니다.

열거형
EVALUATION_CHANNEL_UNSPECIFIED 지정되지 않은 평가 채널입니다.
TEXT 텍스트 전용 평가 채널입니다.
AUDIO 오디오 평가 채널입니다.

EvaluationToolCallBehaviour

평가 실행의 도구 호출 동작을 구성합니다.

열거형
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED 지정되지 않은 도구 호출 동작입니다. 실제 도구 호출이 기본값입니다.
REAL 실제 도구 호출을 사용합니다.
FAKE 가짜 도구 호출을 사용합니다.

GoldenRunMethod

평가를 실행하는 데 사용된 방법입니다.

열거형
GOLDEN_RUN_METHOD_UNSPECIFIED 실행 메서드가 지정되지 않았습니다.
STABLE 각 턴이 이전 예상 턴이 컨텍스트로 삽입된 고유 세션인 안정적인 리플레이로 평가를 실행합니다.
NAIVE 실행이 컨텍스트가 삽입되지 않은 단일 세션인 단순 리플레이로 평가를 실행합니다.

OutcomeMetadata

평가 결과에 관한 메타데이터입니다.

열거형
OUTCOME_METADATA_UNSPECIFIED 지정되지 않은 결과 메타데이터입니다.
GRACEFUL_HANDOFF 평가 결과 상담사에게 원활하게 전달되었습니다.

도구 주석

도구 주석은 특정 도구의 기본 위험을 설명하기 위해 MCP 클라이언트로 전송됩니다. 대부분의 클라이언트는 이러한 힌트를 신뢰할 수 없는 것으로 취급하지만, 사용자에게 확인 메시지를 전송할 시점을 결정하는 데 사용할 수 있습니다.

제목 문자열과 함께 다음 불리언 힌트가 다음과 같이 정의됩니다.

  • readOnlyHint: true인 경우 도구가 환경을 수정하지 않습니다. 기본값: false.
  • destructiveHint: true인 경우 도구가 파괴적인 작업을 실행할 수 있습니다. false인 경우 도구는 추가 작업만 실행할 수 있습니다. 기본값은 true입니다.
  • idempotentHint: true인 경우 동일한 인수로 도구를 반복적으로 호출해도 환경에 추가적인 영향을 미치지 않습니다. 기본값: false.
  • openWorldHint: true인 경우 도구가 외부 엔티티의 '오픈 월드'와 상호작용할 수 있습니다. false인 경우 도구는 내부 항목과만 상호작용할 수 있습니다. 예를 들어 웹 검색 도구는 오픈 월드이지만 메모리 도구는 오픈 월드가 아닙니다.

파괴적 힌트: ❌ | 멱등성 힌트: ✅ | 읽기 전용 힌트: ✅ | 오픈 월드 힌트: ❌