리소스: EvaluationCase
개별 평가 케이스입니다.
| JSON 표현 |
|---|
{ "name": string, "displayName": string, "description": string, "evaluationContext": string, "evaluationMatchers": [ string ], // Union field |
| 필드 | |
|---|---|
name |
식별자. 평가 케이스의 리소스 이름입니다. 형식: projects/{project}/locations/{location}/brands/{brand}/evaluationCases/{evaluationCase} |
displayName |
필수 항목입니다. 인간이 읽을 수 있는 평가 케이스 이름입니다. |
description |
(선택사항) 평가 사례에 대한 설명입니다. |
evaluationContext |
필수 항목입니다. 이 케이스와 연결된 평가 컨텍스트의 리소스 이름입니다. 형식: projects/{project}/locations/{location}/brands/{brand}/evaluationContexts/{evaluationContext} |
evaluationMatchers[] |
(선택사항) 평가 사례에 사용할 평가 일치자 목록입니다. 평가는 BidiProcessOrder 세션이 끝날 때 한 번 수행됩니다. 각 매처는 평가 매처가 통과했는지 실패했는지를 나타내는 불리언 결과를 생성합니다. |
통합 필드 test_case. 평가 사례에 사용할 테스트 사례입니다. test_case은 다음 중 하나여야 합니다. |
|
staticTextTurnCase |
(선택사항) 사용자 및 에이전트 텍스트 차례가 정적인 테스트 사례입니다. |
dynamicTextTurnCase |
(선택사항) 주문 지침과 함께 LLM을 사용하여 사용자 텍스트 입력이 동적으로 생성되는 테스트 사례입니다. |
StaticTextTurnCase
사용자 입력이 정적 텍스트 입력인 평가 사례입니다.
| JSON 표현 |
|---|
{
"textTurns": [
{
object ( |
| 필드 | |
|---|---|
textTurns[] |
필수 항목입니다. 평가 케이스의 텍스트 대화 목록입니다. |
TextTurn
평가 케이스의 단일 텍스트 차례로, 사용자 입력과 에이전트 응답으로 구성됩니다.
| JSON 표현 |
|---|
{ "userTextInput": string, "exampleAgentResponse": string } |
| 필드 | |
|---|---|
userTextInput |
필수 항목입니다. 이 차례의 사용자 텍스트 입력입니다. |
exampleAgentResponse |
(선택사항) 이 차례의 에이전트 응답 예시입니다. 이는 실제 상담사 응답이 아닙니다. 실제 상담사 응답은 이 예시 응답과 다를 수 있습니다. 예시 대답은 평가에 사용되지 않으며 평가 사례를 더 쉽게 이해할 수 있도록 표시 목적으로만 사용됩니다. |
DynamicTextTurnCase
주문 지침과 함께 LLM을 사용하여 사용자 입력이 동적으로 생성되는 평가 사례입니다.
| JSON 표현 |
|---|
{ "orderingInstruction": string } |
| 필드 | |
|---|---|
orderingInstruction |
필수 항목입니다. 사용자가 음식 주문 에이전트와 상호작용하기 위한 주문 지침입니다. LLM은 주문 요청 사항을 기반으로 사용자 텍스트 입력을 동적으로 생성합니다. 여기에는 주문할 대상 항목, 사용자의 선호사항 및 제약 조건, 사용자가 주문 에이전트에게 알려야 하는 특정 작업이 포함될 수 있습니다. |
메서드 |
|
|---|---|
|
EvaluationCase를 일괄 생성합니다. |
|
EvaluationCases를 일괄 업데이트합니다. |
|
EvaluationCase를 만듭니다. |
|
지정된 EvaluationCase를 삭제합니다. |
|
EvaluationCase를 가져옵니다. |
|
EvaluationCases를 나열합니다. |
|
지정된 EvaluationCase를 업데이트합니다. |
|
평가 사례를 실행합니다. |