REST Resource: projects.locations.apps.evaluations

Ressource: Evaluation

Eine Evaluierung umfasst alle Informationen, die zum Simulieren und Bewerten eines KI-Agenten erforderlich sind.

JSON-Darstellung 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "golden": {
    object (Evaluation.Golden)
  },
  "scenario": {
    object (Evaluation.Scenario)
  }
  // End of mutually exclusive fields.
}
Felder
name

string

ID. Die eindeutige Kennung dieser Auswertung. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

Erforderlich. Benutzerdefinierter Anzeigename der Auswertung. Eindeutig innerhalb einer App.
description

string

Optional. Benutzerdefinierte Beschreibung der Auswertung.
tags[]

string

Optional. Benutzerdefinierte Tags zum Kategorisieren der Auswertung.
evaluationDatasets[]

string

Nur Ausgabe. Liste der Bewertungs-Datasets, zu denen die Bewertung gehört. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung der Bewertung.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
createdBy

string

Nur Ausgabe. Der Nutzer, der die Bewertung erstellt hat.
updateTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel der letzten Aktualisierung der Auswertung.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
lastUpdatedBy

string

Nur Ausgabe. Der Nutzer, der die Auswertung zuletzt aktualisiert hat.
evaluationRuns[]

string

Nur Ausgabe. Die EvaluationRuns, mit denen diese Evaluation verknüpft ist.
etag

string

Nur Ausgabe. ETag, mit dem sichergestellt wird, dass sich das Objekt während eines Read-Modify-Write-Vorgangs nicht geändert hat. Wenn das ETag leer ist, werden durch das Update alle gleichzeitigen Änderungen überschrieben.
aggregatedMetrics

object (AggregatedMetrics)

Nur Ausgabe. Die aggregierten Messwerte für diese Bewertung über alle Ausführungen hinweg.
lastCompletedResult

object (EvaluationResult)

Nur Ausgabe. Das letzte Bewertungsergebnis für diese Bewertung.
invalid

boolean

Nur Ausgabe. Gibt an, ob die Auswertung ungültig ist. Das kann passieren, wenn in einer Bewertung auf ein Tool, ein Toolset oder einen Agenten verwiesen wird, die inzwischen gelöscht wurden.
lastTenResults[]

object (EvaluationResult)

Nur Ausgabe. Die letzten 10 Bewertungsergebnisse für diese Bewertung. Dieses Feld wird nur ausgefüllt, wenn „include_last_ten_results“ in „ListEvaluationsRequest“ oder „GetEvaluationRequest“ auf „true“ gesetzt ist.
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

Optional. Überschreibt die Messwertschwellenwerte für diese spezifische Bewertung.
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

Optional. Überschreibt die Messwertekonfiguration für diese spezifische Bewertung.
Die Eingaben für die Auswertung. Nachfolgend finden Sie eine Liste mit sich gegenseitig ausschließenden Feldern. In einer Antwort wird höchstens eines der Felder festgelegt:
golden

object (Evaluation.Golden)

Optional. Die zu bewertenden goldenen Schritte.
scenario

object (Evaluation.Scenario)

Optional. Die Konfiguration für ein Szenario.
Ende der sich gegenseitig ausschließenden Felder.

Evaluation.Golden

Die Schritte, die erforderlich sind, um eine goldene Unterhaltung noch einmal abzuspielen.

JSON-Darstellung 
{
  "turns": [
    {
      object (Evaluation.GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
Felder
turns[]

object (Evaluation.GoldenTurn)

Erforderlich. Die Anzahl der goldenen Turns, die zum Wiederholen einer goldenen Unterhaltung erforderlich sind. Die maximal zulässige Anzahl von Zügen beträgt 100.
evaluationExpectations[]

string

Optional. Die Erwartungen an die Bewertung, anhand derer die wiedergegebene Unterhaltung bewertet werden soll. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

Evaluation.GoldenTurn

Eine „Golden Turn“ ist eine einzelne Runde in einer „Golden Conversation“.

JSON-Darstellung 
{
  "steps": [
    {
      object (Evaluation.Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (EvaluationMetricsThresholds.HallucinationMetricBehavior)
}
Felder
steps[]

object (Evaluation.Step)

Erforderlich. Die Schritte, die erforderlich sind, um eine goldene Unterhaltung noch einmal abzuspielen.
rootSpan

object (Span)

Optional. Der Stamm-Spanne des goldenen Turns für die Verarbeitung und Verwaltung von Audioinformationen. Der URI für das Audio muss Audio enthalten, das mit einer Abtastrate von 16 kHz gespeichert wurde.
turnLevelMetricsThresholdsOverride

object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.TurnLevelMetricsThresholds)

Optional. Überschreibungen für Messwertgrenzwerte auf Turn-Ebene.
hallucinationMetricBehaviorOverride

enum (EvaluationMetricsThresholds.HallucinationMetricBehavior)

Optional. Überschreibung für das Verhalten des Messwerts für Halluzinationen auf Turn-Ebene.

Evaluation.Step

Ein Schritt definiert eine einzelne Aktion, die während der Bewertung ausgeführt wird.

JSON-Darstellung 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (Evaluation.GoldenExpectation)
  }
  // End of mutually exclusive fields.
}
Felder
Der auszuführende Schritt. Im Folgenden finden Sie eine Liste von sich gegenseitig ausschließenden Feldern. In einer Antwort wird höchstens eines der Felder festgelegt:
userInput

object (SessionInput)

Optional. Nutzereingabe für die Unterhaltung.
agentTransfer

object (AgentTransfer)

Optional. Leiten Sie das Gespräch an einen anderen Kundenservicemitarbeiter weiter.
expectation

object (Evaluation.GoldenExpectation)

Optional. Führt eine Erwartung im aktuellen Zug aus.
Ende der sich gegenseitig ausschließenden Felder.

SessionInput

Eingabe für die Sitzung.

JSON-Darstellung 
{
  "willContinue": boolean,

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of mutually exclusive fields.
}
Felder
willContinue

boolean

Optional. Ein Flag, das angibt, ob die aktuelle Nachricht ein Fragment einer größeren Eingabe in der bidirektionalen Streaming-Sitzung ist.

Wenn true festgelegt ist, verschiebt der Agent die Verarbeitung, bis er eine nachfolgende Nachricht mit willContinue = false empfängt oder das System einen Endpunkt in der Audioeingabe erkennt.

HINWEIS: Dieses Feld gilt nicht für Audio- und DTMF-Eingaben, da diese immer automatisch auf Grundlage des Endpunkt-Signals verarbeitet werden.
Der Typ der Eingabe. Im Folgenden finden Sie eine Liste von sich gegenseitig ausschließenden Feldern. In einer Antwort wird höchstens eines der Felder festgelegt:
text

string

Optional. Textdaten vom Endnutzer.
dtmf

string

Optional. DTMF-Ziffern vom Endnutzer.
audio

string (bytes format)

Optional. Audiodaten des Endnutzers.

Ein base64-codierter String.
toolResponses

object (ToolResponses)

Optional. Ausführungsergebnisse für die Tool-Aufrufe vom Client.
image

object (Image)

Optional. Bilddaten des Endnutzers.
blob

object (Blob)

Optional. Blob-Daten vom Endnutzer.
variables

object (Struct format)

Optional. Kontextbezogene Variablen für die Sitzung, nach Namen sortiert. Der CES-Kundenservicemitarbeiter verwendet nur Variablen, die in der App deklariert sind.

Nicht erkannte Variablen werden weiterhin als zusätzliche Sitzungsparameter an den [Dialogflow-Agent][Agent.RemoteDialogflowAgent] gesendet.
event

object (Event)

Optional. Ereigniseingabe
Ende der sich gegenseitig ausschließenden Felder.

ToolResponses

Ausführungsergebnisse für die angeforderten Tool-Aufrufe vom Client.

JSON-Darstellung 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
Felder
toolResponses[]

object (ToolResponse)

Optional. Die Liste der Ergebnisse der Tool-Ausführung.

Ereignis

Ereigniseingabe

JSON-Darstellung 
{
  "event": string,
  "variables": {
    object
  }
}
Felder
event

string

Erforderlich. Der Name des Ereignisses.
variables

object (Struct format)

Optional. Zusätzliche Variablen, die mit dem Ereignis verknüpft sind.

Evaluation.Scenario

Die Konfiguration für ein Szenario

JSON-Darstellung 
{
  "task": string,
  "userFacts": [
    {
      object (Evaluation.Scenario.UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (Evaluation.ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (Evaluation.Scenario.TaskCompletionBehavior),
  "userGoalBehavior": enum (Evaluation.Scenario.UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (EvaluationSettings.ScenarioExecutionMode)
}
Felder
task

string

Erforderlich. Die Aufgabe, auf die sich das Szenario bezieht.
userFacts[]

object (Evaluation.Scenario.UserFact)

Optional. Die Nutzerfakten, die vom Szenario verwendet werden sollen.
maxTurns

integer

Optional. Die maximale Anzahl der zu simulierenden Züge. Der maximal zulässige Wert ist 100. Der Standardwert ist 100.
rubrics[]

string

Erforderlich. Die Rubriken, anhand derer das Szenario bewertet wird.
scenarioExpectations[]

object (Evaluation.ScenarioExpectation)

Erforderlich. Die ScenarioExpectations zum Bewerten der von der Nutzersimulation erstellten Unterhaltung.
variableOverrides

object (Struct format)

Optional. Variablen / Sitzungsparameter als Kontext für die Sitzung, mit Variablennamen als Schlüssel. Mit den Mitgliedern dieser Struktur werden alle vom System festgelegten Standardwerte überschrieben.

Diese unterscheiden sich von Nutzerfakten, die dem Nutzer bekannt sind. Variablen sind Parameter, die dem Agent bekannt sind, z.B. die vom Telefonsystem übergebene MDN (Telefonnummer).
taskCompletionBehavior
(deprecated)

enum (Evaluation.Scenario.TaskCompletionBehavior)

Optional. Verworfen Verwenden Sie stattdessen „userGoalBehavior“.
userGoalBehavior

enum (Evaluation.Scenario.UserGoalBehavior)

Optional. Das erwartete Verhalten des Nutzerziels.
evaluationExpectations[]

string

Optional. Die Erwartungen an die Bewertung, anhand derer die von der Simulation erstellte Unterhaltung bewertet wird. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode

enum (EvaluationSettings.ScenarioExecutionMode)

Optional. Der Ausführungsmodus für Szenariobewertungen.

Evaluation.Scenario.TaskCompletionBehavior

Das erwartete Verhalten der Nutzeraufgabe. Damit wird ermittelt, ob das Szenario erfolgreich ist.

Enums
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED Verhalten nicht angegeben. Die Standardeinstellung ist TASK_SATISFIED.
TASK_SATISFIED Die Nutzeraufgabe sollte erfolgreich abgeschlossen werden.
TASK_REJECTED Die Nutzeraufgabe sollte abgelehnt werden.

Evaluation.Scenario.UserGoalBehavior

Das erwartete Verhalten des Nutzerziels. Damit wird ermittelt, ob das Szenario erfolgreich ist.

Enums
USER_GOAL_BEHAVIOR_UNSPECIFIED Verhalten nicht angegeben. Die Standardeinstellung ist USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED Das Nutzerziel sollte erfolgreich erreicht werden.
USER_GOAL_REJECTED Das Nutzerziel sollte abgelehnt werden.
USER_GOAL_IGNORED Ignoriere den Status des Nutzerziels.

Methoden

create

 Erstellt eine Bewertung.

delete

 Löscht eine Bewertung.

export

 Exportiert Bewertungen.

get

 Ruft Details zur angegebenen Auswertung ab.

list

 Listet alle Bewertungen in der angegebenen App auf.

patch

 Aktualisiert eine Bewertung.

uploadEvaluationAudio

 Lädt Audio für die Verwendung in Golden Evaluations hoch.