리소스: EvaluationMatcher
평가 매처입니다.
| JSON 표현 |
|---|
{ "name": string, "displayName": string, "description": string, // Union field |
| 필드 | |
|---|---|
name |
식별자. 평가 일치자의 리소스 이름입니다. |
displayName |
필수 항목입니다. 평가 일치자의 인간이 읽을 수 있는 이름입니다. |
description |
(선택사항) 평가 매처에 대한 설명입니다. |
통합 필드 matcher. 평가 매처에 사용할 매처입니다. 매처는 평가 매처가 통과했는지 여부를 나타내는 불리언 결과를 생성해야 합니다. matcher은 다음 중 하나여야 합니다. |
|
orderResultMatcher |
(선택사항) 주문 결과의 평가 일치자입니다. |
agentUtteranceStringMatcher |
(선택사항) 에이전트 발화 문자열의 평가 일치자입니다. |
llmJudgementMatcher |
(선택사항) LLM 판단을 사용하는 평가 일치자입니다. |
OrderResultMatcher
주문 결과의 평가 일치자입니다.
| JSON 표현 |
|---|
{
"expectedOrder": {
object ( |
| 필드 | |
|---|---|
expectedOrder |
필수 항목입니다. 일치시킬 예상 순서입니다. 정규화 후 실제 순서가 이 예상 순서와 일치해야 합니다. 모든 필드와 수량이 일치하면 평가를 통과합니다. 필드 누락을 일관되게 처리하기 위해 비교 중에 기본 수량 1은 무시됩니다. |
expectedLegacyOrder |
(선택사항) 일치시킬 예상 기존 주문 상태입니다. 평가 컨텍스트에서 useLegacyOrderState가 true로 설정된 경우에 사용됩니다. |
AgentUtteranceStringMatcher
에이전트 발화 문자열의 평가 일치자입니다.
| JSON 표현 |
|---|
{ "invert": boolean, // Union field |
| 필드 | |
|---|---|
invert |
(선택사항) true인 경우 일치 조건이 반전됩니다 (예: '포함하지 않음' 또는 '일치하지 않음'). |
통합 필드
|
|
contains |
(선택사항) 에이전트 발화에 이 하위 문자열이 포함되어야 합니다. |
regex |
(선택사항) 에이전트 발화는 이 정규식과 일치해야 합니다. |
LLMJudgementMatcher
다음 프롬프트와 함께 LLM 판단을 사용하는 평가 매처: "너는 사용자가 식당에서 음식을 주문하도록 돕는 유용한 어시스턴트야. 사용자 입력과 에이전트 대답이 제공됩니다. 네 과제는 에이전트 응답이 다음 기준을 충족하는지 확인하는 거야. {criteria}"
| JSON 표현 |
|---|
{ "criteria": string, "invert": boolean } |
| 필드 | |
|---|---|
criteria |
필수 항목입니다. 에이전트 대답이 검사를 통과하는지 여부를 LLM이 고려하는 기준입니다. |
invert |
(선택사항) true인 경우 일치 조건이 반전됩니다 (예: '포함하지 않음'). |
메서드 |
|
|---|---|
|
EvaluationMatcher를 만듭니다. |
|
지정된 EvaluationMatcher를 삭제합니다. |
|
EvaluationMatcher를 가져옵니다. |
|
EvaluationMatchers를 나열합니다. |
|
지정된 EvaluationMatcher를 업데이트합니다. |