Risorsa: EvaluationMatcher
Un matcher di valutazione.
| Rappresentazione JSON |
|---|
{ "name": string, "displayName": string, "description": string, // Union field |
| Campi | |
|---|---|
name |
Identificatore. Il nome della risorsa del matcher di valutazione. |
displayName |
Obbligatorio. Il nome leggibile del matcher di valutazione. |
description |
Facoltativo. La descrizione del matcher di valutazione. |
Campo unione matcher. Il matcher da utilizzare per il matcher di valutazione. Il matcher deve produrre un risultato booleano che indica se il matcher di valutazione ha superato o meno il test. matcher può essere solo uno dei seguenti tipi: |
|
orderResultMatcher |
Facoltativo. Un matcher di valutazione per un risultato dell'ordine. |
agentUtteranceStringMatcher |
Facoltativo. Un matcher di valutazione per una stringa di utterance dell'agente. |
llmJudgementMatcher |
Facoltativo. Un matcher di valutazione che utilizza il giudizio LLM. |
OrderResultMatcher
Un matcher di valutazione per un risultato dell'ordine.
| Rappresentazione JSON |
|---|
{
"expectedOrder": {
object ( |
| Campi | |
|---|---|
expectedOrder |
Obbligatorio. L'ordine previsto con cui eseguire la corrispondenza. L'ordine effettivo deve corrispondere a questo ordine previsto dopo la normalizzazione. La valutazione ha esito positivo se tutti i campi e le quantità corrispondono. Le quantità predefinite pari a 1 vengono ignorate durante il confronto per gestire l'omissione dei campi in modo coerente. |
expectedLegacyOrder |
Facoltativo. Lo stato dell'ordine legacy previsto con cui eseguire la corrispondenza. Utilizzato quando il contesto di valutazione ha useLegacyOrderState impostato su true. |
AgentUtteranceStringMatcher
Un matcher di valutazione per una stringa di utterance dell'agente.
| Rappresentazione JSON |
|---|
{ "invert": boolean, // Union field |
| Campi | |
|---|---|
invert |
Facoltativo. Se true, la condizione di corrispondenza viene invertita (ad es. "non contiene" o "non corrisponde"). |
Campo unione
|
|
contains |
Facoltativo. L'enunciato dell'agente deve contenere questa sottostringa. |
regex |
Facoltativo. L'enunciato dell'agente deve corrispondere a questa espressione regolare. |
LLMJudgementMatcher
Un matcher di valutazione che utilizza il giudizio dell'LLM con il seguente prompt: "Sei un assistente utile che aiuta gli utenti a effettuare ordinazioni di cibo in un ristorante. Ti verranno forniti gli input dell'utente e le risposte dell'agente. Il tuo compito è determinare se la risposta dell'agente soddisfa i seguenti criteri: {criteria}"
| Rappresentazione JSON |
|---|
{ "criteria": string, "invert": boolean } |
| Campi | |
|---|---|
criteria |
Obbligatorio. I criteri che l'LLM deve considerare per stabilire se una risposta dell'agente supera il controllo. |
invert |
Facoltativo. Se true, la condizione di corrispondenza viene invertita (ad es. "non contiene"). |
Metodi |
|
|---|---|
|
Crea un EvaluationMatcher. |
|
Elimina l'EvaluationMatcher specificato. |
|
Recupera un EvaluationMatcher. |
|
Elenca gli EvaluationMatcher. |
|
Aggiorna l'EvaluationMatcher specificato. |