MCP Tools Reference: ces.googleapis.com

도구: get_evaluation

지정된 평가의 세부정보를 가져옵니다.

다음 코드 샘플은 curl를 사용하여 get_evaluation MCP 도구를 호출하는 방법을 보여줍니다.

curl 요청 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "get_evaluation",
    "arguments": {
      // Provide these details according to the MCP tool specification.
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

입력 스키마

EvaluationService.GetEvaluation에 대한 요청 메시지입니다.

GetEvaluationRequest

JSON 표현 
{
  "name": string
}
필드
name

string

필수 항목입니다. 검색할 평가의 리소스 이름입니다.

출력 스키마

평가는 에이전트를 시뮬레이션하고 평가하는 데 필요한 모든 정보를 나타냅니다.

평가

JSON 표현 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
필드
name

string

식별자. 이 평가의 고유 식별자입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

필수 항목입니다. 사용자 정의 평가 표시 이름입니다. 앱 내에서 고유합니다.
description

string

선택사항입니다. 사용자 정의 평가 설명입니다.
tags[]

string

선택사항입니다. 평가를 분류하기 위한 사용자 정의 태그입니다.
evaluationDatasets[]

string

출력 전용입니다. 평가가 속한 평가 데이터 세트 목록입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

출력 전용입니다. 평가가 생성된 타임스탬프입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
createdBy

string

출력 전용입니다. 평가를 만든 사용자입니다.
updateTime

string (Timestamp format)

출력 전용입니다. 평가가 마지막으로 업데이트된 시점의 타임스탬프입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
lastUpdatedBy

string

출력 전용입니다. 평가를 마지막으로 업데이트한 사용자입니다.
evaluationRuns[]

string

출력 전용입니다. 이 평가와 연결된 EvaluationRuns입니다.
etag

string

출력 전용입니다. 읽기-수정-쓰기 작업 중에 객체가 변경되지 않았는지 확인하는 데 사용되는 Etag입니다. etag가 비어 있으면 업데이트가 동시 변경사항을 덮어씁니다.
aggregatedMetrics

object (AggregatedMetrics)

출력 전용입니다. 모든 실행에서 이 평가에 대해 집계된 측정항목입니다.
lastCompletedResult

object (EvaluationResult)

출력 전용입니다. 이 평가의 최신 평가 결과입니다.
invalid

boolean

출력 전용입니다. 평가가 잘못되었는지 여부입니다. 평가가 삭제된 도구, 도구 모음 또는 에이전트를 참조하는 경우에 발생할 수 있습니다.
lastTenResults[]

object (EvaluationResult)

출력 전용입니다. 이 평가의 최근 평가 결과 10개입니다. ListEvaluationsRequest 또는 GetEvaluationRequest에서 include_last_ten_results가 true로 설정된 경우에만 채워집니다.
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

선택사항입니다. 이 특정 평가의 측정항목 기준점을 재정의합니다.
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

선택사항입니다. 이 특정 평가의 측정항목 구성을 재정의합니다.
통합 필드 inputs. 평가 inputs의 입력은 다음 중 하나만 가능합니다.
golden

object (Golden)

선택사항입니다. 평가할 골든 단계입니다.
scenario

object (Scenario)

선택사항입니다. 시나리오의 구성입니다.

골드

JSON 표현 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
필드
turns[]

object (GoldenTurn)

필수 항목입니다. 골든 대화를 재생하는 데 필요한 골든 차례입니다. 허용되는 최대 대화 차례 수는 100회입니다.
evaluationExpectations[]

string

선택사항입니다. 재생된 대화를 평가할 평가 기대치입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

JSON 표현 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior)
}
필드
steps[]

object (Step)

필수 항목입니다. 모범 대화를 재생하는 데 필요한 단계
rootSpan

object (Span)

선택사항입니다. 오디오 정보를 처리하고 유지하는 골든 차례의 루트 스팬입니다. 오디오 URI에는 16Khz 샘플링 레이트로 저장된 오디오가 포함되어야 합니다.
turnLevelMetricsThresholdsOverride

object (TurnLevelMetricsThresholds)

선택사항입니다. 대화 수준 측정항목 기준에 대한 재정의입니다.
hallucinationMetricBehaviorOverride

enum (HallucinationMetricBehavior)

선택사항입니다. 대화 수준 할루시네이션 측정항목 동작을 재정의합니다.

단계

JSON 표현 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
필드
통합 필드 step. 수행할 단계입니다. step은 다음 중 하나여야 합니다.
userInput

object (SessionInput)

선택사항입니다. 대화에 대한 사용자 입력입니다.
agentTransfer

object (AgentTransfer)

선택사항입니다. 대화를 다른 상담사에게 트랜스퍼합니다.
expectation

object (GoldenExpectation)

선택사항입니다. 현재 차례에서 예상을 실행합니다.

SessionInput

JSON 표현 
{
  "willContinue": boolean,
  "recordingControl": enum (RecordingControl),

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
필드
willContinue

boolean

선택사항입니다. 현재 메시지가 양방향 스트리밍 세션에서 더 큰 입력의 일부인지 나타내는 플래그입니다.

true로 설정하면 에이전트는 will_continue가 false인 후속 메시지를 수신하거나 시스템이 오디오 입력에서 엔드포인트를 감지할 때까지 처리를 지연합니다.

참고: 이 필드는 오디오 및 DTMF 입력에 적용되지 않습니다. 엔드포인트 신호에 따라 항상 자동으로 처리되기 때문입니다.
recordingControl

enum (RecordingControl)

선택사항입니다. 지금부터 대화가 기록되고 로그에 남을 수 있는지 여부

상담사가 아닌 앱에서 보관할 수 있는 항목을 결정할 때 사용합니다. 예를 들어 통화에 관한 내용을 저장하기 전에 최종 사용자가 녹음에 동의해야 하는 경우입니다.

이 값은 클라이언트가 다른 값을 전송할 때까지 유효하므로 답변이 변경될 때만 전송하면 됩니다. 대화가 완료될 때 적용되는 설정에 따라 해당 대화의 오디오가 녹음 버킷에 도달하는지 여부와 스크립트가 대화 기록, BigQuery, Cloud Logging에 도달하는지 여부가 결정됩니다. 여기에는 에이전트 측의 차례와 최종 사용자 측의 차례가 포함됩니다.

클라이언트가 이 필드를 처음 전송하기 전에 완료된 차례는 필드가 존재하지 않는 것처럼 앱의 로깅 설정에 따라 기록됩니다.

동일한 요청에서 둘 이상의 입력이 이를 설정하는 경우 마지막 입력이 적용됩니다.
통합 필드 input_type. 입력 유형입니다. input_type은 다음 중 하나여야 합니다.
text

string

선택사항입니다. 최종 사용자의 텍스트 데이터입니다.
dtmf

string

선택사항입니다. 최종 사용자의 DTMF 숫자입니다.
audio

string (bytes format)

선택사항입니다. 최종 사용자의 오디오 데이터입니다.

base64 인코딩 문자열입니다.
toolResponses

object (ToolResponses)

선택사항입니다. 클라이언트의 도구 호출 실행 결과입니다.
image

object (Image)

선택사항입니다. 최종 사용자의 이미지 데이터입니다.
blob

object (Blob)

선택사항입니다. 최종 사용자의 blob 데이터입니다.
variables

object (Struct format)

선택사항입니다. 세션의 문맥 변수이며 이름으로 키가 지정됩니다. 앱에 선언된 변수만 CES 에이전트에서 사용됩니다.

인식되지 않는 변수는 추가 세션 매개변수로 [Dialogflow 에이전트][Agent.RemoteDialogflowAgent] 에 계속 전송됩니다.
event

object (Event)

선택사항입니다. 이벤트 입력입니다.

ToolResponses

JSON 표현 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
필드
toolResponses[]

object (ToolResponse)

선택사항입니다. 도구 실행 결과 목록입니다.

ToolResponse

JSON 표현 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,
  "targetApp": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
필드
id

string

선택사항입니다. 응답이 적용되는 tool call의 일치 ID입니다.
displayName

string

출력 전용입니다. 도구의 표시 이름입니다.
response

object (Struct format)

필수 항목입니다. JSON 객체 형식의 도구 실행 결과입니다. 'output' 키를 사용하여 도구 응답을 지정하고 'error' 키를 사용하여 오류 세부정보(있는 경우)를 지정합니다. 'output' 및 'error' 키가 지정되지 않으면 전체 'response'가 도구 실행 결과로 처리됩니다.
parentToolCallId

string

출력 전용입니다. 상위 호출을 대신하여 작업하는 하위 에이전트가 실행한 경우 이 호출을 발생시킨 도구 호출의 ID입니다. 최상위 호출의 경우 비어 있습니다. 클라이언트가 모든 단계를 동위 요소로 렌더링하는 대신 하위 에이전트의 작업을 시작한 호출 아래에 그룹화할 수 있습니다.
agentName

string

출력 전용입니다. 이 호출을 실행한 에이전트의 인간이 읽을 수 있는 이름입니다(예: '계약 설계자'). 루트 에이전트가 발급한 경우 비어 있습니다.
targetApp

string

출력 전용입니다. 실행된 도구가 타겟팅한 앱입니다. ToolCall.target_app를 미러링합니다.
통합 필드 tool_identifier. 실행된 도구의 식별자입니다. 지속 도구 또는 도구 모음의 도구일 수 있습니다. tool_identifier은 다음 중 하나여야 합니다.
tool

string

선택사항입니다. 실행할 도구의 이름입니다. 형식: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

선택사항입니다. 실행된 도구 세트 도구입니다.

ToolsetTool

JSON 표현 
{
  "toolset": string,
  "toolId": string
}
필드
toolset

string

필수 항목입니다. 이 도구가 파생된 도구 모음의 리소스 이름입니다. 형식: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

선택사항입니다. 스키마를 검색할 도구를 필터링하는 도구 ID입니다.

구조체

JSON 표현 
{
  "fields": {
    string: value,
    ...
  }
}
필드
fields

map (key: string, value: value (Value format))

동적으로 입력된 값의 정렬되지 않은 맵입니다.

"key": value 쌍 목록을 포함하는 객체입니다. 예: { "name": "wrench", "mass": "1.3kg", "count": "3" }

FieldsEntry

JSON 표현 
{
  "key": string,
  "value": value
}
필드
key

string
value

value (Value format)

값

JSON 표현 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
필드
통합 필드 kind. 값의 종류입니다. kind은 다음 중 하나여야 합니다.
nullValue

null

JSON null을 나타냅니다.
numberValue

number

JSON 숫자를 나타냅니다. JSON에서 지원되지 않으므로 NaN, Infinity 또는 -Infinity가 아니어야 합니다. 또한 JSON 형식은 일반적으로 숫자 유형에서 큰 Int64 값을 지원하지 않으므로 이를 표현할 수 없습니다.
stringValue

string

JSON 문자열을 나타냅니다.
boolValue

boolean

JSON 불리언(JSON의 true 또는 false 리터럴)을 나타냅니다.
structValue

object (Struct format)

JSON 객체를 나타냅니다.
listValue

array (ListValue format)

JSON 배열을 나타냅니다.

ListValue

JSON 표현 
{
  "values": [
    value
  ]
}
필드
values[]

value (Value format)

동적으로 입력된 값의 반복 필드입니다.

이미지

JSON 표현 
{
  "mimeType": string,
  "data": string,
  "altText": string
}
필드
mimeType

string

필수 항목입니다. 소스 데이터의 IANA 표준 MIME 유형입니다. 지원되는 이미지 유형은 다음과 같습니다. * image/png * image/jpeg * image/webp
data

string (bytes format)

필수 항목입니다. 이미지의 원시 바이트입니다.

base64 인코딩 문자열입니다.
altText

string

선택사항입니다. 이미지의 대체 텍스트입니다.

blob

JSON 표현 
{
  "mimeType": string,
  "data": string
}
필드
mimeType

string

필수 항목입니다. 소스 데이터의 IANA 표준 MIME 유형입니다.
data

string (bytes format)

필수 항목입니다. blob의 원시 바이트입니다.

base64 인코딩 문자열입니다.

이벤트

JSON 표현 
{
  "event": string,
  "variables": {
    object
  }
}
필드
event

string

필수 항목입니다. 이벤트 이름
variables

object (Struct format)

선택사항입니다. 이벤트와 연결된 추가 변수입니다.

AgentTransfer

JSON 표현 
{
  "targetAgent": string,
  "displayName": string
}
필드
targetAgent

string

필수 항목입니다. 대화가 전달되는 상담사입니다. 이 시점부터 상담사가 대화를 처리합니다. 형식: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

출력 전용입니다. 에이전트의 표시 이름입니다.

GoldenExpectation

JSON 표현 
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}
필드
note

string

선택사항입니다. 이 요구사항에 대한 메모로, 특정 검사가 실패할 때 보고하는 데 유용합니다. 예: "Check_Payment_Tool_Called".
skipEvaluation

boolean

선택사항입니다. true로 설정하면 이 특정 기대치가 평가되지 않습니다.
expectationLevelMetricsThresholdsOverride

object (ExpectationLevelMetricsThresholds)

선택사항입니다. 단계 수준에서 측정항목을 재정의합니다.
agentResponseSemanticSimilarityMetricsConfigOverride

object (SemanticSimilarityMetricsConfig)

선택사항입니다. agent_response 시맨틱 유사성 측정항목의 재정의입니다.
agentResponseHallucinationMetricsConfigOverride

object (HallucinationMetricsConfig)

선택사항입니다. agent_response 할루시네이션 측정항목의 재정의입니다.
comparisonType

enum (ComparisonType)

선택사항입니다. 예상 확인에 사용할 비교 유형입니다.
통합 필드 condition. 수행할 실제 검사입니다. condition은 다음 중 하나여야 합니다.
toolCall

object (ToolCall)

선택사항입니다. 특정 도구가 매개변수와 함께 호출되었는지 확인합니다.
toolResponse

object (ToolResponse)

선택사항입니다. 특정 도구에 예상되는 대답이 있는지 확인합니다.
agentResponse

object (Message)

선택사항입니다. 에이전트가 올바른 대답으로 응답했는지 확인합니다. 'agent' 역할이 암시됩니다.
agentTransfer

object (AgentTransfer)

선택사항입니다. 상담사가 대화를 다른 상담사에게 트랜스퍼했는지 확인합니다.
updatedVariables

object (Struct format)

선택사항입니다. 에이전트가 세션 변수를 예상 값으로 업데이트했는지 확인합니다. 골든 평가를 위한 에이전트 변수 업데이트를 캡처하는 데도 사용됩니다.
mockToolResponse

object (ToolResponse)

선택사항입니다. 관심 있는 매개변수가 지정된 모의 도구 응답입니다. 지정되지 않은 매개변수는 LLM에 의해 할루시네이션됩니다.
noToolCalls

boolean

선택사항입니다. 이 차례에 호출된 도구가 없는지 확인합니다.

ToolCall

JSON 표현 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,
  "targetApp": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
필드
id

string

선택사항입니다. 도구 호출의 고유 식별자입니다. 채워진 경우 클라이언트는 ToolResponse에서 일치하는 ID를 가진 실행 결과를 반환해야 합니다.
displayName

string

출력 전용입니다. 도구의 표시 이름입니다.
args

object (Struct format)

선택사항입니다. JSON 객체 형식의 도구 입력 파라미터와 값입니다.
parentToolCallId

string

출력 전용입니다. 상위 호출을 대신하여 작업하는 하위 에이전트가 실행한 경우 이 호출을 발생시킨 도구 호출의 ID입니다. 최상위 호출의 경우 비어 있습니다. 클라이언트가 모든 단계를 동위 요소로 렌더링하는 대신 하위 에이전트의 작업을 시작한 호출 아래에 그룹화할 수 있습니다.
agentName

string

출력 전용입니다. 이 호출을 실행한 에이전트의 인간이 읽을 수 있는 이름입니다(예: '계약 설계자'). 루트 에이전트가 발급한 경우 비어 있습니다.
targetApp

string

출력 전용입니다. 이 호출이 타겟팅하는 앱으로, 어시스턴트가 호출의 리소스 인수에서 파생합니다. 위치 범위 도구의 경우 앱 리소스 이름 PROJECT이고 세션 로컬 도구의 경우 비어 있습니다. 프로젝트 범위 어시스턴트 세션에서만 설정됩니다.
통합 필드 tool_identifier. 실행할 도구의 식별자입니다. 지속 도구 또는 도구 모음의 도구일 수 있습니다. tool_identifier은 다음 중 하나여야 합니다.
tool

string

선택사항입니다. 실행할 도구의 이름입니다. 형식: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

선택사항입니다. 실행할 도구 세트 도구입니다.

메시지

JSON 표현 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
필드
role

string

선택사항입니다. 대화 내 역할(예: 사용자, 에이전트)입니다.
chunks[]

object (Chunk)

선택사항입니다. 메시지 콘텐츠를 일련의 청크로 나타냅니다.
eventTime

string (Timestamp format)

선택사항입니다. 메일이 전송되거나 수신된 시점의 타임스탬프입니다. 메시지가 example의 일부인 경우 사용해서는 안 됩니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.

Chunk

JSON 표현 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
필드
통합 필드 data. 청크 데이터입니다. data은 다음 중 하나여야 합니다.
text

string

선택사항입니다. 텍스트 데이터.
transcript

string

선택사항입니다. 오디오와 연결된 스크립트입니다.
blob

object (Blob)

선택사항입니다. Blob 데이터
payload

object (Struct format)

선택사항입니다. 커스텀 페이로드 데이터입니다.
image

object (Image)

선택사항입니다. 이미지 데이터입니다.
toolCall

object (ToolCall)

선택사항입니다. 도구 실행 요청입니다.
toolResponse

object (ToolResponse)

선택사항입니다. 도구 실행 응답입니다.
agentTransfer

object (AgentTransfer)

선택사항입니다. 상담사 트랜스퍼 이벤트
updatedVariables

object (Struct format)

대화에서 업데이트된 변수를 나타내는 구조체로, 변수 이름으로 키가 지정됩니다.
defaultVariables

object (Struct format)

구조체는 대화 시작 시 변수 이름으로 키가 지정된 기본 변수를 나타냅니다.

타임스탬프

JSON 표현 
{
  "seconds": string,
  "nanos": integer
}
필드
seconds

string (int64 format)

유닉스 시간 1970-01-01T00:00:00Z 이후 경과된 UTC 시간을 초 단위로 나타냅니다. -62135596800~253402300799(양 끝값 포함) 사이여야 합니다(0001-01-01T00:00:00Z~9999-12-31T23:59:59Z에 해당).
nanos

integer

나노초 단위의 음수가 아닌 초수입니다. 이 필드는 기간의 나노초 부분이며 초를 대체하지 않습니다. 음수의 초수 값에는 시간에 반영되는 음수가 아닌 나노초 값이 있어야 합니다. 0~999,999,999(포함) 사이여야 합니다.

ExpectationLevelMetricsThresholds

JSON 표현 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
필드

통합 필드 _tool_invocation_parameter_correctness_threshold.

_tool_invocation_parameter_correctness_threshold는 다음 중 하나여야 합니다.
toolInvocationParameterCorrectnessThreshold

number

선택사항입니다. 개별 도구 호출 매개변수 정확성의 성공 기준점입니다. 0에서 1 사이의 부동 소수점 수여야 합니다. 기본값은 1.0입니다.

SemanticSimilarityMetricsConfig

JSON 표현 
{
  "enableSemanticSimilarityMetrics": boolean
}
필드
enableSemanticSimilarityMetrics

boolean

선택사항입니다. 평가를 위해 시맨틱 유사성 측정항목을 계산할지 여부입니다.

HallucinationMetricsConfig

JSON 표현 
{
  "enableHallucinationMetrics": boolean
}
필드
enableHallucinationMetrics

boolean

선택사항입니다. 평가를 위해 할루시네이션 측정항목을 계산할지 여부입니다.

스팬

JSON 표현 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
필드
name

string

출력 전용입니다. 스팬의 이름입니다.
startTime

string (Timestamp format)

출력 전용입니다. 스팬의 시작 시간입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
endTime

string (Timestamp format)

출력 전용입니다. 스팬의 종료 시간입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
duration

string (Duration format)

출력 전용입니다. 스팬의 지속 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.
attributes

object (Struct format)

출력 전용입니다. 스팬과 연결된 키-값 속성입니다.
childSpans[]

object (Span)

출력 전용입니다. 이 스팬 아래에 중첩된 하위 스팬입니다.

소요 시간

JSON 표현 
{
  "seconds": string,
  "nanos": integer
}
필드
seconds

string (int64 format)

기간의 부호 있는 초입니다. -315,576,000,000~+315,576,000,000(포함) 사이여야 합니다. 참고: 이 경계는 60초/분 * 60분/시간 * 24시간/일 * 365.25일/년 * 10,000년으로 계산됩니다.
nanos

integer

기간의 나노초 단위로 부호가 있는 초수입니다. 1초 미만의 기간은 0 seconds 필드와 양수 또는 음수 nanos 필드로 표시됩니다. 1초 이상의 기간의 경우 nanos 필드의 0이 아닌 값은 seconds 필드와 동일한 부호여야 합니다. -999,999,999~+999,999,999(끝값 포함) 사이여야 합니다.

TurnLevelMetricsThresholds

JSON 표현 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
필드
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

선택사항입니다. 평가에 사용할 시맨틱 유사성 채널입니다.

통합 필드 _semantic_similarity_success_threshold.

_semantic_similarity_success_threshold는 다음 중 하나여야 합니다.
semanticSimilaritySuccessThreshold

integer

선택사항입니다. 의미론적 유사도의 성공 기준입니다. 0에서 4 사이의 정수여야 합니다. 기본값은 3 이상입니다.

통합 필드 _overall_tool_invocation_correctness_threshold.

_overall_tool_invocation_correctness_threshold는 다음 중 하나여야 합니다.
overallToolInvocationCorrectnessThreshold

number

선택사항입니다. 전체 도구 호출 정확성의 성공 기준점입니다. 0에서 1 사이의 부동 소수점 수여야 합니다. 기본값은 1.0입니다.

시나리오

JSON 표현 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "milestones": [
    {
      object (Milestone)
    }
  ],
  "scenarioExecutionMode": enum (ScenarioExecutionMode)
}
필드
task

string

필수 항목입니다. 시나리오의 타겟팅 대상인 작업입니다.
userFacts[]

object (UserFact)

선택사항입니다. 시나리오에서 사용할 사용자 사실입니다.
maxTurns

integer

선택사항입니다. 시뮬레이션할 최대 대화 수입니다. 허용되는 최댓값은 100입니다. 기본값은 100입니다.
rubrics[]

string

필수 항목입니다. 시나리오를 평가하는 기준표입니다.
scenarioExpectations[]

object (ScenarioExpectation)

필수 항목입니다. 사용자 시뮬레이션에서 생성된 대화를 평가하는 ScenarioExpectations입니다.
variableOverrides

object (Struct format)

선택사항입니다. 세션의 컨텍스트로 사용되는 변수/세션 파라미터이며 변수 이름으로 키가 지정됩니다. 이 구조체의 멤버는 시스템에서 설정한 기본값을 재정의합니다.

이는 사용자가 알고 있는 사실인 사용자 사실과는 다릅니다. 변수는 상담사에게 알려진 매개변수입니다. 즉, 전화 시스템에서 전달하는 MDN(전화번호)입니다.
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

선택사항입니다. 지원 중단되었습니다. 대신 user_goal_behavior를 사용하세요.
userGoalBehavior

enum (UserGoalBehavior)

선택사항입니다. 사용자 목표의 예상 동작입니다.
evaluationExpectations[]

string

선택사항입니다. 시뮬레이션에서 생성된 대화를 평가하는 데 사용되는 평가 기대치입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
milestones[]

object (Milestone)

선택사항입니다. 이 시나리오의 마일스톤입니다.
scenarioExecutionMode

enum (ScenarioExecutionMode)

선택사항입니다. 시나리오 평가의 실행 모드입니다.

UserFact

JSON 표현 
{
  "name": string,
  "value": string
}
필드
name

string

필수 항목입니다. 사용자 사실의 이름입니다.
value

string

필수 항목입니다. 사용자 사실의 값입니다.

ScenarioExpectation

JSON 표현 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
필드
통합 필드 expectation. 시뮬레이션에서 생성된 대화를 평가하는 기대치입니다. expectation은 다음 중 하나여야 합니다.
toolExpectation

object (ToolExpectation)

선택사항입니다. 평가할 도구 호출 및 응답 쌍입니다.
agentResponse

object (Message)

선택사항입니다. 평가할 에이전트 응답입니다.

ToolExpectation

JSON 표현 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
필드
expectedToolCall

object (ToolCall)

필수 항목입니다. 관심 있는 파라미터가 지정된 예상 도구 호출입니다. 지정되지 않은 매개변수는 LLM에 의해 할루시네이션됩니다.
mockToolResponse

object (ToolResponse)

필수 항목입니다. 관심 있는 매개변수가 지정된 모의 도구 응답입니다. 지정되지 않은 매개변수는 LLM에 의해 할루시네이션됩니다.

마일스톤

JSON 표현 
{
  "goal": string,
  "maxTurnCount": integer,
  "successCriteria": string,
  "protocol": string,
  "staticUtterance": string,
  "event": {
    object (Event)
  }
}
필드
goal

string

필수 항목입니다. 마일스톤의 목표입니다.
maxTurnCount

integer

선택사항입니다. 이 마일스톤의 최대 대화 수입니다.
successCriteria

string

선택사항입니다. 마일스톤의 성공 기준입니다.
protocol

string

선택사항입니다. 대화 중에 에이전트가 따라야 하는 가이드라인입니다.
staticUtterance

string

선택사항입니다. 시뮬레이터가 사용자 입력을 동적으로 생성하는 대신 정확하게 전송하는 정적 발화입니다.
event

object (Event)

선택사항입니다. 동적 생성 대신 전송할 이벤트 입력입니다.

AggregatedMetrics

JSON 표현 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
필드
metricsByAppVersion[]

object (MetricsByAppVersion)

출력 전용입니다. 앱 버전 ID별로 그룹화된 집계 측정항목입니다.

MetricsByAppVersion

JSON 표현 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
필드
appVersionId

string

출력 전용입니다. 앱 버전 ID입니다.
toolMetrics[]

object (ToolMetrics)

출력 전용입니다. 이 앱 버전 내 각 도구의 측정항목입니다.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

출력 전용입니다. 이 앱 버전 내의 시맨틱 유사성 측정항목입니다.
hallucinationMetrics[]

object (HallucinationMetrics)

출력 전용입니다. 이 앱 버전 내의 할루시네이션 측정항목입니다.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

출력 전용입니다. 이 앱 버전 내 도구 호출 지연 시간의 측정항목입니다.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

출력 전용입니다. 이 앱 버전의 차례 지연 시간 측정항목입니다.
passCount

integer

출력 전용입니다. 평가가 통과된 횟수입니다.
failCount

integer

출력 전용입니다. 평가가 실패한 횟수입니다.
metricsByTurn[]

object (MetricsByTurn)

출력 전용입니다. 이 앱 버전 내에서 차례별로 집계된 측정항목입니다.

ToolMetrics

JSON 표현 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
필드
tool

string

출력 전용입니다. 도구의 이름입니다.
passCount

integer

출력 전용입니다. 도구가 통과한 횟수입니다.
failCount

integer

출력 전용입니다. 도구가 실패한 횟수입니다.

SemanticSimilarityMetrics

JSON 표현 
{
  "score": number
}
필드
score

number

출력 전용입니다. 평균 시맨틱 유사성 점수(0~4)입니다.

HallucinationMetrics

JSON 표현 
{
  "score": number
}
필드
score

number

출력 전용입니다. 평균 할루시네이션 점수(0~1)입니다.

ToolCallLatencyMetrics

JSON 표현 
{
  "tool": string,
  "averageLatency": string
}
필드
tool

string

출력 전용입니다. 도구의 이름입니다.
averageLatency

string (Duration format)

출력 전용입니다. 도구 호출의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

TurnLatencyMetrics

JSON 표현 
{
  "averageLatency": string
}
필드
averageLatency

string (Duration format)

출력 전용입니다. 대화의 평균 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

MetricsByTurn

JSON 표현 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
필드
turnIndex

integer

출력 전용입니다. 대화 색인(0부터 시작)입니다.
toolMetrics[]

object (ToolMetrics)

출력 전용입니다. 이 차례의 각 도구에 대한 측정항목입니다.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

출력 전용입니다. 이 차례의 시맨틱 유사성 측정항목입니다.
hallucinationMetrics[]

object (HallucinationMetrics)

출력 전용입니다. 이 차례의 할루시네이션 측정항목입니다.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

출력 전용입니다. 이 차례의 도구 호출 지연 시간 측정항목입니다.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

출력 전용입니다. 이 차례 내의 차례 지연 시간 측정항목입니다.

EvaluationResult

JSON 표현 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
필드
name

string

식별자. 평가 결과의 고유 식별자입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

필수 항목입니다. 평가 결과의 표시 이름입니다. 평가 내에서 고유합니다. 기본적으로 ' result - ' 형식입니다.
createTime

string (Timestamp format)

출력 전용입니다. 평가 결과가 생성된 타임스탬프입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
evaluationStatus

enum (Outcome)

출력 전용입니다. 평가 결과입니다. execution_state가 COMPLETE인 경우에만 채워집니다.
evaluationRun

string

출력 전용입니다. 이 결과를 생성한 평가 실행입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

출력 전용입니다. 평가 결과의 대화를 생성하는 데 사용되는 페르소나입니다.
errorInfo

object (EvaluationErrorInfo)

출력 전용입니다. 평가 결과의 오류 정보입니다.
error
(deprecated)

object (Status)

출력 전용입니다. 지원 중단됨: 대신 error_info를 사용하세요. 실행 중에 오류가 발생했습니다.
initiatedBy

string

출력 전용입니다. 이 결과를 생성한 평가 실행을 시작한 사용자입니다.
appVersion

string

출력 전용입니다. 이 결과를 생성한 대화를 생성하는 데 사용된 앱 버전입니다. 형식: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

출력 전용입니다. 평가가 실행된 app_version의 표시 이름입니다.
changelog

string

출력 전용입니다. 평가가 실행된 앱 버전의 변경 로그입니다. 사용자가 최신/초안에서 평가를 실행하는 경우 채워집니다.
changelogCreateTime

string (Timestamp format)

출력 전용입니다. 평가가 실행된 앱 버전의 변경 로그 생성 시간입니다. 사용자가 최신/초안에서 평가를 실행하는 경우 채워집니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
executionState

enum (ExecutionState)

출력 전용입니다. 평가 결과 실행 상태입니다.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

출력 전용입니다. 결과의 평가 기준입니다.
config

object (EvaluationConfig)

출력 전용입니다. 이 결과를 생성한 평가 실행에 사용된 구성입니다.
goldenRunMethod

enum (GoldenRunMethod)

출력 전용입니다. 골든 평가를 실행하는 데 사용되는 방법입니다.
rootSpan

object (Span)

출력 전용입니다. 평가의 각 단계에 대한 정보가 포함된 평가 실행의 루트 스팬입니다.
outcomeMetadata

enum (OutcomeMetadata)

출력 전용입니다. 평가의 결과 메타데이터입니다. execution_state가 COMPLETE인 경우에만 채워집니다.
통합 필드 result. 평가 결과입니다. execution_state가 COMPLETED인 경우에만 채워집니다. result은 다음 중 하나여야 합니다.
goldenResult

object (GoldenResult)

출력 전용입니다. 골든 평가의 결과입니다.
scenarioResult

object (ScenarioResult)

출력 전용입니다. 시나리오 평가 결과입니다.

GoldenResult

JSON 표현 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
필드
turnReplayResults[]

object (TurnReplayResult)

출력 전용입니다. 골든 대화의 각 차례를 실행한 결과입니다.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

출력 전용입니다. 평가 기대치 결과입니다.

TurnReplayResult

JSON 표현 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
필드
conversation

string

출력 전용입니다. 이 차례에 생성된 대화입니다.
expectationOutcome[]

object (GoldenExpectationOutcome)

출력 전용입니다. 각 기대치의 결과입니다.
hallucinationResult

object (HallucinationResult)

출력 전용입니다. 할루시네이션 검사 결과입니다.
toolInvocationScore
(deprecated)

number

출력 전용입니다. 지원 중단되었습니다. 대신 OverallToolInvocationResult를 사용하세요.
turnLatency

string (Duration format)

출력 전용입니다. 차례의 지속 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.
toolCallLatencies[]

object (ToolCallLatency)

출력 전용입니다. 차례의 각 도구 호출 지연 시간입니다.
semanticSimilarityResult

object (SemanticSimilarityResult)

출력 전용입니다. 시맨틱 유사성 검사 결과입니다.
overallToolInvocationResult

object (OverallToolInvocationResult)

출력 전용입니다. 전체 도구 호출 검사의 결과입니다.
errorInfo

object (EvaluationErrorInfo)

출력 전용입니다. 이 차례 중에 발생한 오류에 대한 정보입니다.
spanLatencies[]

object (SpanLatency)

출력 전용입니다. 차례의 스팬 지연 시간입니다.

통합 필드 _tool_ordered_invocation_score.

_tool_ordered_invocation_score는 다음 중 하나여야 합니다.
toolOrderedInvocationScore

number

출력 전용입니다. 이 차례의 전체 도구 순서 호출 점수입니다. 이는 예상 차례에서 실제로 예상 순서대로 호출된 도구의 전체 비율을 나타냅니다.

GoldenExpectationOutcome

JSON 표현 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}
필드
expectation

object (GoldenExpectation)

출력 전용입니다. 평가된 기대치입니다.
outcome

enum (Outcome)

출력 전용입니다. 기대 결과입니다.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

출력 전용입니다. 시맨틱 유사성 검사 결과입니다.
toolInvocationResult

object (ToolInvocationResult)

출력 전용입니다. 도구 호출 검사 결과입니다.
통합 필드 result. 기대 결과입니다. result은 다음 중 하나여야 합니다.
observedToolCall

object (ToolCall)

출력 전용입니다. 도구 호출 예상 결과입니다.
observedToolResponse

object (ToolResponse)

출력 전용입니다. 도구 응답 기대의 결과입니다.
observedAgentResponse

object (Message)

출력 전용입니다. 에이전트 응답 기대치의 결과입니다.
observedAgentTransfer

object (AgentTransfer)

출력 전용입니다. 에이전트 트랜스퍼 기대치 결과입니다.
observedPayload

object (Struct format)

출력 전용입니다. 관찰된 커스텀 페이로드입니다. 커스텀 페이로드에 대한 기대치는 없습니다. 이 값은 측정항목 계산에만 사용됩니다. 결과는 항상 SKIPPED입니다.

SemanticSimilarityResult

JSON 표현 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
필드
label

string

출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 4: 완전히 일관됨 점수 3: 대부분 일관됨 점수 2: 부분적으로 일관됨(사소한 누락) 점수 1: 대체로 일관되지 않음(주요 누락) 점수 0: 완전히 일관되지 않음/모순됨
explanation

string

출력 전용입니다. 시맨틱 유사성 점수에 대한 설명입니다.
outcome

enum (Outcome)

출력 전용입니다. 시맨틱 유사성 검사 결과입니다. 이는 점수를 semantic_similarity_success_threshold와 비교하여 결정됩니다. 점수가 기준점 이상이면 결과는 합격입니다. 그렇지 않으면 결과는 FAIL입니다.

통합 필드 _score.

_score는 다음 중 하나여야 합니다.
score

integer

출력 전용입니다. 시맨틱 유사성 점수입니다. 0, 1, 2, 3 또는 4일 수 있습니다.

ToolInvocationResult

JSON 표현 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
필드
outcome

enum (Outcome)

출력 전용입니다. 도구 호출 검사 결과입니다. 이는 parameter_correctness_score를 기준점과 비교하여 결정됩니다. 점수가 기준점 이상이면 결과는 합격입니다. 그렇지 않으면 결과는 FAIL입니다.
explanation

string

출력 전용입니다. 도구 호출 결과에 대한 자유 텍스트 설명입니다.

통합 필드 _parameter_correctness_score.

_parameter_correctness_score는 다음 중 하나여야 합니다.
parameterCorrectnessScore

number

출력 전용입니다. 도구 호출 파라미터 정확성 점수입니다. 이는 예상 도구 호출의 파라미터 중 실제 도구 호출에도 있는 파라미터의 비율을 나타냅니다.

HallucinationResult

JSON 표현 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
필드
label

string

출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 1: 타당함 점수 0: 타당하지 않음 점수 -1: 평가할 주장이 없음
explanation

string

출력 전용입니다. 할루시네이션 점수에 대한 설명입니다.

통합 필드 _score.

_score는 다음 중 하나여야 합니다.
score

integer

출력 전용입니다. 할루시네이션 점수입니다. -1, 0, 1일 수 있습니다.

ToolCallLatency

JSON 표현 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
필드
tool

string

출력 전용입니다. 실행된 도구의 이름입니다. 형식은 projects/{project}/locations/{location}/apps/{app}/tools/{tool}입니다.
displayName

string

출력 전용입니다. 도구의 표시 이름입니다.
startTime

string (Timestamp format)

출력 전용입니다. 도구 호출 실행의 시작 시간입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
endTime

string (Timestamp format)

출력 전용입니다. 도구 호출 실행의 종료 시간입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
executionLatency

string (Duration format)

출력 전용입니다. 도구 호출 실행의 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.

OverallToolInvocationResult

JSON 표현 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
필드
outcome

enum (Outcome)

출력 전용입니다. 도구 호출 검사 결과입니다. 이는 tool_invocation_score를 overall_tool_invocation_correctness_threshold와 비교하여 결정됩니다. 점수가 기준점 이상이면 결과는 합격입니다. 그렇지 않으면 결과는 FAIL입니다.

통합 필드 _tool_invocation_score.

_tool_invocation_score는 다음 중 하나여야 합니다.
toolInvocationScore

number

이 차례의 전체 도구 호출 점수입니다. 이는 예상 차례에서 실제로 호출된 도구의 전체 비율을 나타냅니다.

EvaluationErrorInfo

JSON 표현 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string,
  "userFacingErrorMessage": string
}
필드
errorType

enum (ErrorType)

출력 전용입니다. 오류 유형입니다.
errorMessage

string

출력 전용입니다. 오류 메시지.
sessionId

string

출력 전용입니다. 오류를 일으킨 대화의 세션 ID입니다.
userFacingErrorMessage

string

출력 전용입니다. 사용자 대상 오류 메시지입니다.

SpanLatency

JSON 표현 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
필드
type

enum (Type)

출력 전용입니다. 스팬 유형입니다.
displayName

string

출력 전용입니다. 스팬의 표시 이름입니다. 도구 및 가드레일 스팬에 적용됩니다.
startTime

string (Timestamp format)

출력 전용입니다. 스팬의 시작 시간입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
endTime

string (Timestamp format)

출력 전용입니다. 스팬의 종료 시간입니다.

생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" 또는 "2014-10-02T15:01:23+05:30"입니다.
executionLatency

string (Duration format)

출력 전용입니다. 스팬의 지연 시간입니다.

소수점 아래가 최대 9자리까지이고 's'로 끝나는 초 단위 기간입니다. 예를 들면 "3.5s"입니다.
통합 필드 identifier. 유형에 따른 특정 항목의 식별자입니다. identifier은 다음 중 하나여야 합니다.
resource

string

출력 전용입니다. 가드레일 또는 도구 스팬의 리소스 이름입니다.
toolset

object (ToolsetTool)

출력 전용입니다. 도구 모음 도구 식별자입니다.
model

string

출력 전용입니다. LLM 스팬의 이름입니다.
callback

string

출력 전용입니다. 사용자 콜백 스팬의 이름입니다.

EvaluationExpectationResult

JSON 표현 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
필드
evaluationExpectation

string

출력 전용입니다. 평가 기대치입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

출력 전용입니다. 평가에 사용된 프롬프트입니다.
outcome

enum (Outcome)

출력 전용입니다. 평가 기대치의 결과입니다.
explanation

string

출력 전용입니다. 결과에 대한 설명입니다.

ScenarioResult

JSON 표현 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],
  "milestoneResults": [
    {
      object (MilestoneResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
필드
conversation

string

출력 전용입니다. 시나리오에서 생성된 대화입니다.
task

string

출력 전용입니다. 이 결과의 시나리오를 실행할 때 사용된 작업입니다.
userFacts[]

object (UserFact)

출력 전용입니다. 이 결과의 시나리오에서 사용된 사용자 사실입니다.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

출력 전용입니다. 각 기대치의 결과입니다.
rubricOutcomes[]

object (ScenarioRubricOutcome)

출력 전용입니다. 기준표의 결과입니다.
hallucinationResult[]

object (HallucinationResult)

출력 전용입니다. 할루시네이션 검사 결과입니다. 대화의 각 차례에 대해 하나의 할루시네이션 결과가 있습니다.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

출력 전용입니다. 작업 완료 확인 결과입니다.
toolCallLatencies[]

object (ToolCallLatency)

출력 전용입니다. 대화에서 각 도구 호출 실행의 지연 시간입니다.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

출력 전용입니다. 사용자 목표 만족도 확인 결과입니다.
spanLatencies[]

object (SpanLatency)

출력 전용입니다. 대화의 스팬 지연 시간입니다.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

출력 전용입니다. 평가 기대치 결과입니다.
milestoneResults[]

object (MilestoneResult)

출력 전용입니다. 시나리오의 각 마일스톤 결과입니다.

통합 필드 _all_expectations_satisfied.

_all_expectations_satisfied는 다음 중 하나여야 합니다.
allExpectationsSatisfied

boolean

출력 전용입니다. 이 차례에서 모든 기대치가 충족되었는지 여부입니다.

통합 필드 _task_completed.

_task_completed는 다음 중 하나여야 합니다.
taskCompleted

boolean

출력 전용입니다. 이 차례에 작업이 완료되었는지 여부입니다. 이는 모든 기대치 충족, 할루시네이션 없음, 사용자 목표 만족도를 종합한 것입니다.

ScenarioExpectationOutcome

JSON 표현 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
필드
expectation

object (ScenarioExpectation)

출력 전용입니다. 평가된 기대치입니다.
outcome

enum (Outcome)

출력 전용입니다. ScenarioExpectation의 결과입니다.
통합 필드 result. 기대 결과입니다. result은 다음 중 하나여야 합니다.
observedToolCall

object (ObservedToolCall)

출력 전용입니다. 관찰된 도구 호출입니다.
observedAgentResponse

object (Message)

출력 전용입니다. 관찰된 에이전트 응답입니다.

ObservedToolCall

JSON 표현 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
필드
toolCall

object (ToolCall)

출력 전용입니다. 관찰된 도구 호출입니다.
toolResponse

object (ToolResponse)

출력 전용입니다. 관찰된 도구 응답입니다.

ScenarioRubricOutcome

JSON 표현 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
필드
rubric

string

출력 전용입니다. 대화를 평가하는 데 사용된 기준표입니다.
scoreExplanation

string

출력 전용입니다. 기준표에 대한 평가자의 응답입니다.

통합 필드 _score.

_score는 다음 중 하나여야 합니다.
score

number

출력 전용입니다. 기준표에 따른 대화 점수입니다.

TaskCompletionResult

JSON 표현 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
필드
label

string

출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 1: 작업 완료 점수 0: 작업 미완료 점수 -1: 사용자 목표 정의되지 않음
explanation

string

출력 전용입니다. 작업 완료 점수에 대한 설명입니다.

통합 필드 _score.

_score는 다음 중 하나여야 합니다.
score

integer

출력 전용입니다. 작업 완료 점수입니다. -1, 0, 1일 수 있습니다.

UserGoalSatisfactionResult

JSON 표현 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
필드
label

string

출력 전용입니다. 각 점수와 연결된 라벨입니다. 점수 2: 원활한 핸드오프 점수 1: 사용자 작업 충족 점수 0: 사용자 작업 불만족 점수 -1: 사용자 작업 지정되지 않음
explanation

string

출력 전용입니다. 사용자 작업 만족도 점수에 대한 설명입니다.

통합 필드 _score.

_score는 다음 중 하나여야 합니다.
score

integer

출력 전용입니다. 사용자 작업 만족도 점수입니다. -1, 0, 1, 2일 수 있습니다.

MilestoneResult

JSON 표현 
{
  "milestone": {
    object (Milestone)
  },
  "status": enum (MilestoneStatus),
  "justification": string
}
필드
milestone

object (Milestone)

출력 전용입니다. 추적 중인 마일스톤입니다.
status

enum (MilestoneStatus)

출력 전용입니다. 마일스톤의 현재 상태입니다.
justification

string

출력 전용입니다. 현재 상태에 대한 근거입니다.

EvaluationPersona

JSON 표현 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
필드
name

string

필수 항목입니다. 페르소나의 고유 식별자입니다. 형식: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

선택사항입니다. 페르소나에 대한 설명입니다.
displayName

string

필수 항목입니다. 페르소나의 표시 이름입니다. 앱 내에서 고유합니다.
personality

string

필수 항목입니다. 평가에서 에이전트가 어떻게 동작해야 하는지에 대한 지침입니다.
speechConfig

object (SpeechConfig)

선택사항입니다. 페르소나의 음성 구성(TTS 설정)

SpeechConfig

JSON 표현 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
필드
speakingRate

number

선택사항입니다. 말하기 속도입니다. 1.0은 정상입니다. 낮을수록 느리고(예: 0.8), 높을수록 빠릅니다(예: 1.5). 에이전트가 빠르게 말하는 사용자를 어떻게 처리하는지 테스트하는 데 유용합니다.
environment

enum (BackgroundEnvironment)

선택사항입니다. 시뮬레이션된 오디오 환경입니다.
voiceId

string

선택사항입니다. 사용할 특정 음성 식별자/억양입니다. 예: 'en-US-Wavenet-D' 또는 'en-GB-Standard-A'

상태

JSON 표현 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
필드
code

integer

상태 코드로, google.rpc.Code의 열거형 값이어야 합니다.
message

string

개발자에게 정보를 제공하는 오류 메시지로, 영어로 작성되어야 합니다. 사용자에게 표시되는 모든 오류 메시지는 현지화되어 google.rpc.Status.details 필드에 전송되거나, 클라이언트 측에서 현지화되어야 합니다.
details[]

object

오류 세부정보를 설명하는 메시지 목록입니다. API에서 사용할 일반적인 메시지 유형 집합이 있습니다.

임의 유형의 필드를 포함하는 객체입니다. 추가 필드 "@type"은 유형을 식별하는 URI를 포함합니다. 예: { "id": 1234, "@type": "types.example.com/standard/id" }

모두

JSON 표현 
{
  "typeUrl": string,
  "value": string
}
필드
typeUrl

string

슬래시로 끝나는 프리픽스와 정규화된 유형 이름으로 구성된 URI 참조를 사용하여 직렬화된 Protobuf 메시지의 유형을 식별합니다.

예: type.googleapis.com/google.protobuf.StringValue

이 문자열에는 / 문자가 하나 이상 포함되어야 하며 마지막 / 뒤의 콘텐츠는 선행 점이 없는 표준 형식의 정규화된 유형 이름이어야 합니다. 클라이언트가 이러한 URI 참조에 연결을 시도하지 않도록 스키마를 작성하지 마세요.

프리픽스는 임의적이며 Protobuf 구현은 마지막 /까지의 모든 항목을 삭제하여 유형을 식별합니다. type.googleapis.com/는 일부 기존 구현에 필요한 일반적인 기본 프리픽스입니다. 이 프리픽스는 유형의 출처를 나타내지 않으며, 이 프리픽스를 포함하는 URI는 요청에 응답하지 않습니다.

모든 유형 URL 문자열은 참조 콘텐츠가 영숫자 문자, 퍼센트 인코딩 이스케이프, 다음 집합의 문자 (외부 백틱 제외)로만 구성되어야 한다는 추가 제한사항 (텍스트 형식의 경우)이 있는 유효한 URI 참조여야 합니다. /-.~_!$&()*+,;= Google에서는 퍼센트 인코딩을 허용하지만, 기존 파서와의 혼동을 방지하기 위해 구현에서 이스케이프 처리를 해제해서는 안 됩니다. 예를 들어 type.googleapis.com%2FFoo는 거부되어야 합니다.

Any의 원래 설계에서는 이러한 유형 URL에서 유형 확인 서비스를 실행할 가능성이 고려되었지만 Protobuf는 이를 구현하지 않았으며 이러한 URL에 연결하는 것은 문제가 있고 잠재적인 보안 문제로 간주합니다. URL을 입력하지 마세요.
value

string (bytes format)

type_url에서 설명하는 유형의 Protobuf 직렬화를 보유합니다.

base64 인코딩 문자열입니다.

EvaluationMetricsThresholds

JSON 표현 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
필드
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

선택사항입니다. 골든 평가 측정항목 기준점입니다.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

선택사항입니다. 지원 중단됨: 대신 golden_hallucination_metric_behavior를 사용하세요. 할루시네이션 측정항목 동작은 현재 골든 평가에 사용됩니다.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

선택사항입니다. 골든 평가의 할루시네이션 측정항목 동작입니다.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

선택사항입니다. 시나리오 평가의 할루시네이션 측정항목 동작입니다.

GoldenEvaluationMetricsThresholds

JSON 표현 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
필드
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

선택사항입니다. 대화 수준 측정항목 기준입니다.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

선택사항입니다. 기대치 수준 측정항목 기준점입니다.
toolMatchingSettings

object (ToolMatchingSettings)

선택사항입니다. 도구 일치 설정입니다. 추가 도구 호출은 실행에 있지만 골든 기대치의 도구 호출과 일치하지 않는 도구 호출입니다.

ToolMatchingSettings

JSON 표현 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
필드
extraToolCallBehavior

enum (ExtraToolCallBehavior)

선택사항입니다. 추가 도구 호출의 동작입니다. 기본값은 FAIL입니다.

EvaluationConfig

JSON 표현 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
필드
inputAudioConfig

object (InputAudioConfig)

선택사항입니다. 입력 오디오를 처리하기 위한 구성입니다.
outputAudioConfig

object (OutputAudioConfig)

선택사항입니다. 출력 오디오를 생성하기 위한 구성입니다.
evaluationChannel

enum (EvaluationChannel)

선택사항입니다. 평가할 채널입니다.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

선택사항입니다. 평가에서 실제 도구 호출을 사용해야 하는지 아니면 가짜 도구를 사용해야 하는지 지정합니다.

InputAudioConfig

JSON 표현 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
필드
audioEncoding

enum (AudioEncoding)

필수 항목입니다. 입력 오디오 데이터의 인코딩입니다.
sampleRateHertz

integer

필수 항목입니다. 입력 오디오 데이터의 샘플링 레이트(Hz)입니다.
noiseSuppressionLevel

string

선택사항입니다. 입력 오디오에서 노이즈 제거를 사용 설정할지 여부입니다. 사용 가능한 값은 'low', 'moderate', 'high', 'very_high'입니다.

OutputAudioConfig

JSON 표현 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
필드
audioEncoding

enum (AudioEncoding)

필수 항목입니다. 출력 오디오 데이터의 인코딩입니다.
sampleRateHertz

integer

필수 항목입니다. 출력 오디오 데이터의 샘플링 레이트(Hz)입니다.

EvaluationMetricsConfig

JSON 표현 
{
  "goldenMetricsConfig": {
    object (GoldenMetricsConfig)
  },
  "scenarioMetricsConfig": {
    object (ScenarioMetricsConfig)
  }
}
필드
goldenMetricsConfig

object (GoldenMetricsConfig)

선택사항입니다. 평가를 위한 골든 측정항목 구성입니다.
scenarioMetricsConfig

object (ScenarioMetricsConfig)

선택사항입니다. 평가를 위한 시나리오 측정항목 구성입니다.

GoldenMetricsConfig

JSON 표현 
{
  "semanticSimilarityMetricsConfig": {
    object (SemanticSimilarityMetricsConfig)
  },
  "toolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  },
  "stepToolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  }
}
필드
semanticSimilarityMetricsConfig

object (SemanticSimilarityMetricsConfig)

선택사항입니다. 시맨틱 유사성 측정항목의 전역 구성입니다.
toolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

선택사항입니다. 대화 수준 도구 정확성 측정항목의 구성입니다.
stepToolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

선택사항입니다. 단계 수준 도구 정확성 측정항목의 구성입니다.

ToolCorrectnessMetricsConfig

JSON 표현 
{
  "enableToolCorrectnessMetrics": boolean
}
필드
enableToolCorrectnessMetrics

boolean

선택사항입니다. 평가를 위해 도구 정확성 측정항목을 계산할지 여부입니다.

ScenarioMetricsConfig

JSON 표현 
{
  "userGoalMetMetricsConfig": {
    object (UserGoalMetMetricsConfig)
  },
  "expectationsMetMetricsConfig": {
    object (ExpectationsMetMetricsConfig)
  }
}
필드
userGoalMetMetricsConfig

object (UserGoalMetMetricsConfig)

선택사항입니다. 사용자 목표 달성 측정항목의 구성입니다.
expectationsMetMetricsConfig

object (ExpectationsMetMetricsConfig)

선택사항입니다. 기대치 수준 측정항목의 구성입니다.

UserGoalMetMetricsConfig

JSON 표현 
{
  "enableUserGoalMetMetrics": boolean
}
필드
enableUserGoalMetMetrics

boolean

선택사항입니다. 평가를 위해 사용자 목표 달성 측정항목을 계산할지 여부입니다.

ExpectationsMetMetricsConfig

JSON 표현 
{
  "enableExpectationsMetMetrics": boolean
}
필드
enableExpectationsMetMetrics

boolean

선택사항입니다. 평가를 위해 기대 수준 측정항목을 계산할지 여부입니다.

NullValue

JSON null을 나타냅니다.

NullValue는 센티널로, 값이 하나만 있는 enum을 사용하여 Value 유형 공용체의 null 값을 나타냅니다.

0 이외의 값이 있는 NullValue 유형의 필드는 잘못된 것으로 간주됩니다. 대부분의 ProtoJSON 직렬 변환기는 정수 값과 관계없이 JSON null로 설정된 null_value가 있는 Value를 내보내므로 0 값으로 왕복합니다.

열거형
NULL_VALUE null 값입니다.

RecordingControl

앱에서 결정한 사항은 기록되고 로깅될 수 있습니다.

이 enum은 확장 가능하며 향후 새 값이 추가될 수 있습니다.

열거형
RECORDING_CONTROL_UNSPECIFIED 앱이 녹화를 제어하지 않습니다. 이 필드를 설정하지 않는 모든 세션과 마찬가지로 앱의 로깅 설정에 따라 결정됩니다.
RECORDING_ENABLED 지금부터 대화가 기록될 수 있습니다.
RECORDING_DISABLED 지금부터는 대화가 녹음되거나 기록되지 않을 수 있습니다.

ComparisonType

에이전트의 대답을 확인하는 데 지원되는 비교 유형입니다.

열거형
COMPARISON_TYPE_UNSPECIFIED 지정되지 않은 비교 유형입니다. 동작은 에이전트 응답 및 도구 호출의 경우 SEMANTIC_SIMILARITY로 기본 설정됩니다.
EQUALS 정확히 일치하는 문자열입니다.
CONTAINS 하위 문자열 일치(예상 문자열이 실제 응답에 포함되어 있는지 확인)
SEMANTIC_SIMILARITY 시맨틱 유사성 일치(LLM을 사용하여 의미 유사성 평가)

SemanticSimilarityChannel

사용할 시맨틱 유사성 채널입니다.

열거형
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED 측정항목이 지정되지 않았습니다. 기본값은 TEXT입니다.
TEXT 텍스트 시맨틱 유사성을 사용합니다.
AUDIO 오디오 시맨틱 유사성을 사용합니다.

HallucinationMetricBehavior

할루시네이션 측정항목 동작입니다. 동작과 관계없이 측정항목은 항상 계산됩니다. 차이점은 사용 중지하면 측정항목이 전체 평가 점수를 계산하는 데 사용되지 않는다는 것입니다.

열거형
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED 지정되지 않은 할루시네이션 측정항목 동작입니다.
DISABLED 할루시네이션 측정항목을 사용 중지합니다.
ENABLED 할루시네이션 측정항목을 사용 설정합니다.

TaskCompletionBehavior

사용자 작업의 예상 동작입니다. 이 값은 시나리오의 성공 여부를 판단하는 데 사용됩니다.

열거형
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED 동작이 지정되지 않았습니다. 기본값은 TASK_SATISFIED입니다.
TASK_SATISFIED 사용자 태스크가 성공적으로 완료됩니다.
TASK_REJECTED 사용자 작업은 거부되어야 합니다.

UserGoalBehavior

사용자 목표의 예상 동작입니다. 이 값은 시나리오의 성공 여부를 판단하는 데 사용됩니다.

열거형
USER_GOAL_BEHAVIOR_UNSPECIFIED 동작이 지정되지 않았습니다. 기본값은 USER_GOAL_SATISFIED입니다.
USER_GOAL_SATISFIED 사용자 목표가 성공적으로 완료되어야 합니다.
USER_GOAL_REJECTED 사용자 목표는 거부되어야 합니다.
USER_GOAL_IGNORED 사용자 목표 상태를 무시합니다.

ScenarioExecutionMode

시나리오 평가의 실행 모드입니다.

열거형
SCENARIO_EXECUTION_MODE_UNSPECIFIED 지정되지 않은 실행 모드입니다. 기본값은 QUALITY_OPTIMIZED입니다.
QUALITY_OPTIMIZED 품질 최적화 모드입니다.
SPEED_OPTIMIZED 속도 최적화 모드입니다.

결과

평가 또는 기대의 결과입니다.

열거형
OUTCOME_UNSPECIFIED 평가 결과가 지정되지 않았습니다.
PASS 평가/기대치가 통과되었습니다. 평가의 경우 모든 기대치가 충족되었음을 의미합니다.
FAIL 평가/기대치 충족에 실패했습니다. 평가의 경우 하나 이상의 기대치가 충족되지 않았음을 의미합니다.
SKIPPED 평가/기대가 건너뛰어졌습니다.

ErrorType

오류 유형

열거형
ERROR_TYPE_UNSPECIFIED 지정되지 않은 오류 유형입니다.
RUNTIME_FAILURE 런타임 실행 중 오류가 발생했습니다.
CONVERSATION_RETRIEVAL_FAILURE CES 런타임에서 대화를 가져올 수 없습니다.
METRIC_CALCULATION_FAILURE 측정항목/결과를 계산할 수 없음
EVALUATION_UPDATE_FAILURE 평가를 업데이트할 수 없습니다.
QUOTA_EXHAUSTED 할당량이 소진되었습니다.
USER_SIMULATION_FAILURE 사용자 시뮬레이션 중 오류가 발생했습니다.

유형

스팬 유형입니다. 향후 값이 추가될 수 있습니다.

열거형
TYPE_UNSPECIFIED 기본값 이 값은 사용되지 않습니다.
TOOL 도구 호출 스팬
USER_CALLBACK 사용자 콜백 기간입니다.
GUARDRAIL 가드레일 범위입니다.
LLM LLM 스팬

MilestoneStatus

마일스톤의 상태입니다.

열거형
MILESTONE_STATUS_UNSPECIFIED 미지정 상태입니다.
NOT_STARTED 마일스톤이 아직 시작되지 않았습니다.
IN_PROGRESS 현재 진행 중인 마일스톤입니다.
COMPLETED 목표가 완료되었습니다.

BackgroundEnvironment

시뮬레이션된 오디오 환경

열거형
BACKGROUND_ENVIRONMENT_UNSPECIFIED 배경 환경이 지정되지 않았습니다.
CALL_CENTER 콜 센터 환경
TRAFFIC 교통 소음 환경
KIDS_NOISE 아동 소음 환경
CAFE 카페 환경

ExecutionState

평가 결과 실행 상태입니다.

열거형
EXECUTION_STATE_UNSPECIFIED 평가 결과 실행 상태가 지정되지 않았습니다.
QUEUED 평가 결과 실행이 큐에 추가되었습니다.
RUNNING 평가 결과 실행이 진행 중입니다.
COMPLETED 평가 결과 실행이 완료되었습니다.
ERROR 내부 오류로 인해 평가 결과 실행에 실패했습니다.
CANCELLED 평가 결과 실행이 취소되었습니다.

ExtraToolCallBehavior

추가 도구 호출이 발생할 때의 동작을 정의합니다. 추가 도구 호출은 실행에 있지만 골든 기대치의 도구 호출과 일치하지 않는 도구 호출입니다.

열거형
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED 지정되지 않은 동작입니다. 기본값은 FAIL입니다.
FAIL 추가 도구 호출이 발생하면 평가에 실패합니다.
ALLOW 추가 도구 호출을 허용합니다.

AudioEncoding

AudioEncoding은 오디오 데이터의 인코딩 형식을 지정합니다.

열거형
AUDIO_ENCODING_UNSPECIFIED 지정되지 않은 오디오 인코딩입니다.
LINEAR16 16비트 선형 PCM 오디오 인코딩
MULAW G.711 PCMU/mu-law를 사용하여 14비트 오디오 샘플을 압축하는 8비트 샘플입니다.
ALAW G.711 PCMU/A-law를 사용하여 14비트 오디오 샘플을 압축하는 8비트 샘플입니다.

EvaluationChannel

평가할 채널입니다.

열거형
EVALUATION_CHANNEL_UNSPECIFIED 지정되지 않은 평가 채널입니다.
TEXT 텍스트 전용 평가 채널입니다.
AUDIO 오디오 평가 채널입니다.

EvaluationToolCallBehaviour

평가 실행의 도구 호출 동작을 구성합니다.

열거형
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED 지정되지 않은 도구 호출 동작입니다. 기본값은 실제 도구 호출입니다.
REAL 실제 도구 호출을 사용합니다.
FAKE 가짜 도구 호출을 사용합니다.

GoldenRunMethod

평가를 실행하는 데 사용되는 방법입니다.

열거형
GOLDEN_RUN_METHOD_UNSPECIFIED 실행 메서드가 지정되지 않았습니다.
STABLE 각 차례가 이전 예상 차례가 컨텍스트로 삽입된 고유한 세션인 안정적인 재생으로 평가를 실행합니다.
NAIVE 평가를 단순 재생으로 실행합니다. 여기서 실행은 컨텍스트가 삽입되지 않은 단일 세션입니다.

OutcomeMetadata

평가 결과에 대한 메타데이터입니다.

열거형
OUTCOME_METADATA_UNSPECIFIED 지정되지 않은 결과 메타데이터입니다.
GRACEFUL_HANDOFF 평가 결과, 상담사에게 원활하게 전달되었습니다.

도구 주석

도구 주석은 특정 도구의 기본 위험을 설명하기 위해 MCP 클라이언트에 전송됩니다. 대부분의 클라이언트는 이러한 힌트를 신뢰할 수 없는 것으로 취급하지만, 사용자에게 확인 메시지를 보낼 시점을 결정하는 데 사용할 수 있습니다.

제목 문자열과 함께 다음 불리언 힌트가 정의됩니다.

  • readOnlyHint: true인 경우 도구가 환경을 수정하지 않습니다. 기본값: false.
  • destructiveHint: true인 경우 도구에서 파괴적인 작업을 수행할 수 있습니다. false이면 도구는 추가 작업만 수행할 수 있습니다. 기본값은 true입니다.
  • idempotentHint: true인 경우 동일한 인수로 도구를 반복적으로 호출해도 환경에 추가적인 영향을 미치지 않습니다. 기본값: false.
  • openWorldHint: true인 경우 도구는 외부 항목의 '오픈 월드'와 상호작용할 수 있습니다. false이면 도구는 내부 항목과만 상호작용할 수 있습니다. 예를 들어 웹 검색 도구는 오픈 월드이지만 메모리 도구는 오픈 월드가 아닙니다.

Destructive Hint: ❌ | Idempotent Hint: ✅ | Read Only Hint: ✅ | Open World Hint: ❌