- Ressource: EvaluationCaseResult
- Status
- MatcherResult
- OrderResultMatcherResult
- AgentUtteranceStringMatcherResult
- LLMJudgementMatcherResult
- Methoden
Ressource: EvaluationCaseResult
Ein Ergebnis eines Bewertungsfalls.
| JSON-Darstellung |
|---|
{ "name": string, "evaluationCase": { object ( |
| Felder | |
|---|---|
name |
ID. Der Ressourcenname des Ergebnisses des Bewertungsfalls. Format: projects/{project}/locations/{location}/brands/{brand}/evaluationCaseResults/{evaluationCaseResult} |
evaluationCase |
Nur Ausgabe. Der Bewertungsfall, mit dem dieses Ergebnis verknüpft ist. |
evaluationContext |
Nur Ausgabe. Der Bewertungskontext, mit dem dieses Ergebnis verknüpft ist. |
evaluationDataset |
Nur Ausgabe. Die Referenz des Bewertungs-Datasets, mit dem dieses Ergebnis verknüpft ist. Wenn nicht festgelegt, wird der Testlauf als eigenständiger Test und nicht als Teil eines Bewertungs-Datasets ausgeführt. Format: projects/{project}/locations/{location}/brands/{brand}/evaluationDatasets/{evaluationDataset} |
sessionRecord |
Nur Ausgabe. Der Ressourcenname des Sitzungseintrags, mit dem dieses Ergebnis verknüpft ist. Format: projects/{project}/locations/{location}/brands/{brand}/sessionRecords/{sessionRecord} |
status |
Nur Ausgabe. Der Status des Bewertungsfalls. |
matcherResults[] |
Nur Ausgabe. Die Liste der Ergebnisse des Bewertungsabgleichs für den Bewertungsfall. Die Ergebnisse der Bewertungsmatcher. |
createTime |
Nur Ausgabe. Der Erstellungszeitpunkt des Ergebnisses des Bewertungsfalls. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: |
Status
Der Status des Bewertungsfalls.
| Enums | |
|---|---|
STATUS_UNSPECIFIED |
Ungültiger Status. |
PASS |
Alle Bewertungsmatcher sind erfüllt. |
FAIL |
Mindestens einer der Bewertungsmatcher ist nicht erfüllt. |
ERROR |
Es ist ein Fehler aufgetreten, weil die BidiProcessOrder-Sitzung unerwartet beendet wurde und die Bewertung nicht abgeschlossen werden konnte. |
MatcherResult
Ein Ergebnis eines Bewertungsabgleichs.
| JSON-Darstellung |
|---|
{ "evaluationMatcher": { object ( |
| Felder | |
|---|---|
evaluationMatcher |
Nur Ausgabe. Der Bewertungs-Matcher, mit dem dieses Ergebnis verknüpft ist. |
Union-Feld result. Das Ergebnis des Bewertungsabgleichs. Für result ist nur einer der folgenden Werte zulässig: |
|
orderResultMatcherResult |
Nur Ausgabe. Das Ergebnis eines Abgleichs von Bestellungen. |
agentUtteranceStringMatcherResult |
Nur Ausgabe. Das Ergebnis eines String-Matchers für Agentenäußerungen. |
llmJudgementMatcherResult |
Nur Ausgabe. Das Ergebnis eines LLM-Urteilsabgleichs für eine Agentenäußerung. |
OrderResultMatcherResult
Das Ergebnis eines Abgleichs von Bestellungen.
| JSON-Darstellung |
|---|
{ "match": boolean, "difference": string } |
| Felder | |
|---|---|
match |
Nur Ausgabe. Gibt an, ob der Abgleich des Bestell-Ergebnisses erfolgreich war oder nicht. |
difference |
Nur Ausgabe. Die formatierte Differenz zwischen der erwarteten und der tatsächlichen Reihenfolge im Abgleich für die Reihenfolge der Ergebnisse im Format (-want +got). |
AgentUtteranceStringMatcherResult
Das Ergebnis eines String-Matchers für Agentenäußerungen.
| JSON-Darstellung |
|---|
{ "match": boolean } |
| Felder | |
|---|---|
match |
Nur Ausgabe. Gibt an, ob der String-Matcher für die Äußerung des KI-Agenten erfolgreich war oder nicht. |
LLMJudgementMatcherResult
Das Ergebnis eines LLM-Bewertungsabgleichs für eine Agentenäußerung.
| JSON-Darstellung |
|---|
{ "match": boolean, "reasoning": string } |
| Felder | |
|---|---|
match |
Nur Ausgabe. Gibt an, ob der LLM-Beurteilungsabgleich für die Äußerung des KI-Agenten erfolgreich war oder nicht. |
reasoning |
Nur Ausgabe. Beschreibt die Begründung, warum die LLM-Bewertung übereinstimmte oder nicht. |
Methoden |
|
|---|---|
|
Löscht das angegebene EvaluationCaseResult. |
|
Ruft ein EvaluationCaseResult ab. |
|
Listet EvaluationCaseResults auf. |