Ressource: EvaluationMatcher
Ein Bewertungsmatcher.
| JSON-Darstellung |
|---|
{ "name": string, "displayName": string, "description": string, // Union field |
| Felder | |
|---|---|
name |
ID. Der Ressourcenname des Bewertungs-Matchers. |
displayName |
Erforderlich. Der menschenlesbare Name des Bewertungsabgleichs. |
description |
Optional. Die Beschreibung des Bewertungsabgleichs. |
Union-Feld matcher. Der Abgleich, der für den Bewertungsabgleich verwendet werden soll. Der Matcher muss ein boolesches Ergebnis erzeugen, das angibt, ob der Bewertungs-Matcher erfolgreich war oder nicht. Für matcher ist nur einer der folgenden Werte zulässig: |
|
orderResultMatcher |
Optional. Ein Auswertungs-Matcher für ein Auftragsergebnis. |
agentUtteranceStringMatcher |
Optional. Ein Bewertungs-Matcher für einen String mit einer Agentenäußerung. |
llmJudgementMatcher |
Optional. Ein Bewertungs-Matcher, der ein LLM-Urteil verwendet. |
OrderResultMatcher
Ein Auswertungs-Matcher für ein Auftragsergebnis.
| JSON-Darstellung |
|---|
{
"expectedOrder": {
object ( |
| Felder | |
|---|---|
expectedOrder |
Erforderlich. Die erwartete Reihenfolge für den Abgleich. Die tatsächliche Reihenfolge muss nach der Normalisierung mit dieser erwarteten Reihenfolge übereinstimmen. Die Bewertung ist erfolgreich, wenn alle Felder und Mengen übereinstimmen. Standardmengen von 1 werden beim Vergleich ignoriert, damit das Auslassen von Feldern einheitlich gehandhabt wird. |
expectedLegacyOrder |
Optional. Der erwartete Legacy-Bestellstatus, mit dem abgeglichen werden soll. Wird verwendet, wenn im Auswertungskontext „useLegacyOrderState“ auf „true“ gesetzt ist. |
AgentUtteranceStringMatcher
Ein Bewertungs-Matcher für einen String mit einer Agentenäußerung.
| JSON-Darstellung |
|---|
{ "invert": boolean, // Union field |
| Felder | |
|---|---|
invert |
Optional. Wenn „true“, wird die Übereinstimmungsbedingung umgekehrt (z.B. „enthält nicht“ oder „stimmt nicht überein“). |
Union-Feld Für |
|
contains |
Optional. Die Agent-Äußerung sollte diesen Teilstring enthalten. |
regex |
Optional. Die Äußerung des KI-Agenten sollte mit diesem regulären Ausdruck übereinstimmen. |
LLMJudgementMatcher
Ein Bewertungs-Matcher, der LLM-Beurteilung mit dem folgenden Prompt verwendet: „Sie sind ein hilfreicher Assistent, der Nutzern hilft, Essen in einem Restaurant zu bestellen. Ihnen werden Nutzereingaben und Antworten des KI-Agenten zur Verfügung gestellt. Ihre Aufgabe ist es, festzustellen, ob die Antwort des Agenten die folgenden Kriterien erfüllt: {criteria}"
| JSON-Darstellung |
|---|
{ "criteria": string, "invert": boolean } |
| Felder | |
|---|---|
criteria |
Erforderlich. Die Kriterien, die das LLM berücksichtigen muss, um zu entscheiden, ob eine Antwort des KI-Agenten die Prüfung besteht. |
invert |
Optional. Wenn „true“, wird die Übereinstimmungsbedingung umgekehrt (z.B. „enthält nicht“). |
Methoden |
|
|---|---|
|
Erstellt einen EvaluationMatcher. |
|
Löscht den angegebenen EvaluationMatcher. |
|
Ruft einen EvaluationMatcher ab. |
|
Listet EvaluationMatchers auf. |
|
Aktualisiert den angegebenen EvaluationMatcher. |