Evaluation.GoldenExpectation

확인 가능한 단일 요구사항을 나타냅니다.

JSON 표현 
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (EvaluationMetricsConfig.SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (EvaluationMetricsConfig.HallucinationMetricsConfig)
  },
  "comparisonType": enum (EvaluationMetricsConfig.ComparisonType),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of mutually exclusive fields.
}
필드
note

string

(선택사항) 특정 검사가 실패할 때 보고에 유용한 이 요구사항에 대한 참고사항입니다. 예: "Check_Payment_Tool_Called".
skipEvaluation

boolean

(선택사항) true로 설정하면 이 특정 기대치는 평가되지 않습니다.
expectationLevelMetricsThresholdsOverride

object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.ExpectationLevelMetricsThresholds)

(선택사항) 단계 수준에서 측정항목을 재정의합니다.
agentResponseSemanticSimilarityMetricsConfigOverride

object (EvaluationMetricsConfig.SemanticSimilarityMetricsConfig)

(선택사항) agentResponse 시맨틱 유사성 측정항목의 재정의입니다.
agentResponseHallucinationMetricsConfigOverride

object (EvaluationMetricsConfig.HallucinationMetricsConfig)

(선택사항) agentResponse 할루시네이션 측정항목의 재정의입니다.
comparisonType

enum (EvaluationMetricsConfig.ComparisonType)

(선택사항) 예상 검사에 사용할 비교 유형입니다.
실제로 실행할 검사입니다. 다음은 상호 배타적인 필드의 목록입니다. 응답에는 다음 필드 중 최대 하나가 설정됩니다.
toolCall

object (ToolCall)

(선택사항) 특정 도구가 매개변수와 함께 호출되었는지 확인합니다.
toolResponse

object (ToolResponse)

(선택사항) 특정 도구가 예상대로 응답했는지 확인합니다.
agentResponse

object (Message)

(선택사항) 상담사가 올바른 대답을 했는지 확인합니다. 'agent' 역할이 암시됩니다.
agentTransfer

object (AgentTransfer)

(선택사항) 상담사가 대화를 다른 상담사에게 트랜스퍼했는지 확인합니다.
updatedVariables

object (Struct format)

(선택사항) 상담사가 세션 변수를 예상 값으로 업데이트했는지 확인합니다. 골든 평가를 위해 에이전트 변수 업데이트를 캡처하는 데도 사용됩니다.
mockToolResponse

object (ToolResponse)

(선택사항) 관심 있는 매개변수가 지정된 모의 도구 응답입니다. 지정되지 않은 매개변수는 LLM에 의해 환각됩니다.
noToolCalls

boolean

(선택사항) 이 턴에서 호출된 도구가 없는지 확인합니다.
상호 배타적 필드의 끝입니다.

EvaluationMetricsConfig.HallucinationMetricsConfig

평가를 위한 환각 측정항목의 구성입니다. 측정항목을 사용 중지하려면 메시지를 설정하되 enableHallucinationMetrics 필드를 true로 설정하지 마세요 (또는 명시적으로 false로 설정). 구성을 설정 해제하고 기본 동작으로 대체하려면 메시지를 완전히 생략하세요.

JSON 표현 
{
  "enableHallucinationMetrics": boolean
}
필드
enableHallucinationMetrics

boolean

(선택사항) 평가에서 환각 측정항목을 계산할지 여부입니다.

EvaluationMetricsConfig.ComparisonType

에이전트의 대답을 확인하기 위해 지원되는 비교 유형입니다.

열거형
COMPARISON_TYPE_UNSPECIFIED 지정되지 않은 비교 유형입니다. 동작은 에이전트 응답 및 도구 호출에 대해 SEMANTIC_SIMILARITY로 기본 설정됩니다.
EQUALS 정확히 일치하는 문자열입니다.
CONTAINS 하위 문자열 일치 (예상 문자열이 실제 대답에 포함되어 있는지 확인)
SEMANTIC_SIMILARITY 시맨틱 유사성 일치 (LLM을 사용하여 의미 유사성을 평가함)