Ressource: EvaluationCase
Ein einzelner Bewertungsfall.
| JSON-Darstellung |
|---|
{ "name": string, "displayName": string, "description": string, "evaluationContext": string, "evaluationMatchers": [ string ], // Union field |
| Felder | |
|---|---|
name |
ID. Der Ressourcenname des Testlaufs. Format: projects/{project}/locations/{location}/brands/{brand}/evaluationCases/{evaluationCase} |
displayName |
Erforderlich. Der für Menschen lesbare Name des Testlaufs. |
description |
Optional. Die Beschreibung des Bewertungsfalls. |
evaluationContext |
Erforderlich. Der Ressourcenname des Bewertungskontexts, dem dieser Fall zugeordnet ist. Format: projects/{project}/locations/{location}/brands/{brand}/evaluationContexts/{evaluationContext} |
evaluationMatchers[] |
Optional. Die Liste der Bewertungsabgleichstypen, die für den Bewertungsfall verwendet werden sollen. Die Auswertung wird einmal am Ende der BidiProcessOrder-Sitzung durchgeführt. Jeder Abgleich liefert ein boolesches Ergebnis, das angibt, ob der Bewertungsabgleich bestanden oder fehlgeschlagen ist. |
Union-Feld test_case. Der Testlauf, der für den Bewertungsfall verwendet werden soll. Für test_case ist nur einer der folgenden Werte zulässig: |
|
staticTextTurnCase |
Optional. Ein Testlauf, bei dem die Textabschnitte von Nutzer und Agent statisch sind. |
dynamicTextTurnCase |
Optional. Ein Testlauf, bei dem die Texteingaben des Nutzers dynamisch mit einem LLM und einer Sortieranweisung generiert werden. |
StaticTextTurnCase
Ein Testlauf, bei dem die Nutzereingaben statische Texteingaben sind.
| JSON-Darstellung |
|---|
{
"textTurns": [
{
object ( |
| Felder | |
|---|---|
textTurns[] |
Erforderlich. Die Liste der Textbeiträge im Testlauf. |
TextTurn
Eine einzelne Textrunde im Bewertungsfall, bestehend aus Nutzereingabe und Agent-Antwort.
| JSON-Darstellung |
|---|
{ "userTextInput": string, "exampleAgentResponse": string } |
| Felder | |
|---|---|
userTextInput |
Erforderlich. Die Texteingabe des Nutzers für diese Äußerung. |
exampleAgentResponse |
Optional. Die Beispielantwort des KI-Agents für diesen Zug. Hinweis: Dies ist nicht die tatsächliche Antwort des Kundenservicemitarbeiters. Die tatsächliche Antwort des Kundenservicemitarbeiters kann von dieser Beispielantwort abweichen. Die Beispielantwort wird NICHT für die Bewertung verwendet, sondern nur zur Veranschaulichung, um den Bewertungsfall leichter verständlich zu machen. |
DynamicTextTurnCase
Ein Testlauf, bei dem die Nutzereingaben dynamisch mit einem LLM und einer Sortieranweisung generiert werden.
| JSON-Darstellung |
|---|
{ "orderingInstruction": string } |
| Felder | |
|---|---|
orderingInstruction |
Erforderlich. Die Bestellanleitung für den Nutzer zur Interaktion mit dem Food Ordering-Agenten. Das LLM generiert die Nutzereingaben dynamisch auf Grundlage der Sortieranweisung. Dazu können die zu bestellenden Artikel, die Vorlieben und Einschränkungen des Nutzers sowie bestimmte Aktionen gehören, über die der Nutzer den Bestell-Agenten informieren sollte. |
Methoden |
|
|---|---|
|
Erstellt EvaluationCases im Batch-Verfahren. |
|
Aktualisiert EvaluationCases im Batch. |
|
Erstellt einen EvaluationCase. |
|
Löscht den angegebenen EvaluationCase. |
|
Ruft einen EvaluationCase ab. |
|
Listet EvaluationCases auf. |
|
Aktualisiert den angegebenen EvaluationCase. |
|
Führt einen Bewertungsfall aus. |