- 리소스: EvaluationCaseResult
- 상태
- MatcherResult
- OrderResultMatcherResult
- AgentUtteranceStringMatcherResult
- LLMJudgementMatcherResult
- 메서드
리소스: EvaluationCaseResult
평가 케이스 결과입니다.
| JSON 표현 |
|---|
{ "name": string, "evaluationCase": { object ( |
| 필드 | |
|---|---|
name |
식별자. 평가 케이스 결과의 리소스 이름입니다. 형식: projects/{project}/locations/{location}/brands/{brand}/evaluationCaseResults/{evaluationCaseResult} |
evaluationCase |
출력 전용입니다. 이 결과와 연결된 평가 케이스입니다. |
evaluationContext |
출력 전용입니다. 이 결과와 연결된 평가 컨텍스트입니다. |
evaluationDataset |
출력 전용입니다. 이 결과와 연결된 평가 데이터 세트 참조입니다. 설정하지 않으면 테스트 사례가 평가 데이터 세트의 일부가 아닌 독립형 테스트로 실행됩니다. 형식: projects/{project}/locations/{location}/brands/{brand}/evaluationDatasets/{evaluationDataset} |
sessionRecord |
출력 전용입니다. 이 결과와 연결된 세션 기록의 리소스 이름입니다. 형식: projects/{project}/locations/{location}/brands/{brand}/sessionRecords/{sessionRecord} |
status |
출력 전용입니다. 평가 케이스의 상태입니다. |
matcherResults[] |
출력 전용입니다. 평가 케이스의 평가 일치자 결과 목록입니다. 평가 일치자의 결과입니다. |
createTime |
출력 전용입니다. 평가 케이스 결과의 생성 시간입니다. 생성된 출력은 항상 Z-정규화되고 소수점 이하 0, 3, 6 또는 9자리인 RFC 3339를 사용합니다. 'Z' 이외의 오프셋도 허용됩니다. 예를 들면 |
상태
평가 케이스의 상태입니다.
| 열거형 | |
|---|---|
STATUS_UNSPECIFIED |
상태가 잘못되었습니다. |
PASS |
모든 평가 일치자가 충족됩니다. |
FAIL |
평가 일치자 중 하나 이상이 충족되지 않습니다. |
ERROR |
BidiProcessOrder 세션이 예기치 않게 종료되어 평가를 완료할 수 없다는 오류가 발생했습니다. |
MatcherResult
평가 매처의 결과입니다.
| JSON 표현 |
|---|
{ "evaluationMatcher": { object ( |
| 필드 | |
|---|---|
evaluationMatcher |
출력 전용입니다. 이 결과와 연결된 평가 매처입니다. |
통합 필드 result. 평가 일치자의 결과입니다. result은 다음 중 하나여야 합니다. |
|
orderResultMatcherResult |
출력 전용입니다. 주문 결과 일치자의 결과입니다. |
agentUtteranceStringMatcherResult |
출력 전용입니다. 에이전트 발화 문자열 일치자의 결과입니다. |
llmJudgementMatcherResult |
출력 전용입니다. 에이전트 발화 LLM 판단 매처의 결과입니다. |
OrderResultMatcherResult
주문 결과 일치자의 결과입니다.
| JSON 표현 |
|---|
{ "match": boolean, "difference": string } |
| 필드 | |
|---|---|
match |
출력 전용입니다. 주문 결과 일치자가 통과했는지 여부입니다. |
difference |
출력 전용입니다. (-want +got) 형식의 주문 결과 일치자에서 예상 주문과 실제 주문 간의 차이를 pretty print 적용한 것입니다. |
AgentUtteranceStringMatcherResult
에이전트 발화 문자열 일치자의 결과입니다.
| JSON 표현 |
|---|
{ "match": boolean } |
| 필드 | |
|---|---|
match |
출력 전용입니다. 에이전트 발화 문자열 일치자가 통과했는지 여부입니다. |
LLMJudgementMatcherResult
에이전트 발화 LLM 판단 일치자의 결과입니다.
| JSON 표현 |
|---|
{ "match": boolean, "reasoning": string } |
| 필드 | |
|---|---|
match |
출력 전용입니다. Determines whether the agent utterance LLM judgment matcher passed or not. |
reasoning |
출력 전용입니다. LLM 판단이 일치하거나 실패한 이유를 설명합니다. |
메서드 |
|
|---|---|
|
지정된 EvaluationCaseResult를 삭제합니다. |
|
EvaluationCaseResult를 가져옵니다. |
|
EvaluationCaseResults를 나열합니다. |