MCP Tools Reference: ces.googleapis.com

Tool: create_evaluation

Erstellt eine neue Auswertung.

Im folgenden Beispiel wird gezeigt, wie Sie mit curl das MCP-Tool create_evaluation aufrufen.

Curl-Anfrage 
                  
curl --location 'https://ces.[REGION].rep.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "create_evaluation",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Eingabeschema

Anfragenachricht für EvaluationService.CreateEvaluation.

CreateEvaluationRequest

JSON-Darstellung 
{
  "parent": string,
  "evaluationId": string,
  "evaluation": {
    object (Evaluation)
  }
}
Felder
parent

string

Erforderlich. Die App, für die die Bewertung erstellt werden soll. Format: projects/{project}/locations/{location}/apps/{app}
evaluationId

string

Optional. Die für die Bewertung zu verwendende ID, die als letzte Komponente des Ressourcennamens der Bewertung verwendet wird. Wenn nicht angegeben, wird der Auswertung automatisch eine eindeutige ID zugewiesen.
evaluation

object (Evaluation)

Erforderlich. Die zu erstellende Bewertung.

Bewertung

JSON-Darstellung 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
Felder
name

string

ID. Die eindeutige Kennung dieser Auswertung. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

Erforderlich. Benutzerdefinierter Anzeigename der Auswertung. Eindeutig innerhalb einer App.
description

string

Optional. Benutzerdefinierte Beschreibung der Auswertung.
tags[]

string

Optional. Benutzerdefinierte Tags zum Kategorisieren der Auswertung.
evaluationDatasets[]

string

Nur Ausgabe. Liste der Bewertungs-Datasets, zu denen die Bewertung gehört. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung der Bewertung.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
createdBy

string

Nur Ausgabe. Der Nutzer, der die Auswertung erstellt hat.
updateTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel der letzten Aktualisierung der Auswertung.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
lastUpdatedBy

string

Nur Ausgabe. Der Nutzer, der die Auswertung zuletzt aktualisiert hat.
evaluationRuns[]

string

Nur Ausgabe. Die EvaluationRuns, mit denen diese Evaluation verknüpft ist.
etag

string

Nur Ausgabe. Etag, das verwendet wird, um sicherzustellen, dass sich das Objekt während eines Read-Modify-Write-Vorgangs nicht geändert hat. Wenn das ETag leer ist, werden alle gleichzeitigen Änderungen durch das Update überschrieben.
aggregatedMetrics

object (AggregatedMetrics)

Nur Ausgabe. Die aggregierten Messwerte für diese Auswertung über alle Läufe hinweg.
lastCompletedResult

object (EvaluationResult)

Nur Ausgabe. Das letzte Bewertungsergebnis für diese Bewertung.
invalid

boolean

Nur Ausgabe. Gibt an, ob die Auswertung ungültig ist. Das kann passieren, wenn in einer Bewertung auf ein Tool, Toolset oder einen Agent verwiesen wird, das bzw. der inzwischen gelöscht wurde.
lastTenResults[]

object (EvaluationResult)

Nur Ausgabe. Die letzten zehn Auswertungsergebnisse für diese Auswertung. Dieses Feld wird nur ausgefüllt, wenn „include_last_ten_results“ in „ListEvaluationsRequest“ oder „GetEvaluationRequest“ auf „true“ gesetzt ist.
Union-Feld inputs. Für die Eingaben für die Auswertung inputs ist nur einer der folgenden Werte zulässig:
golden

object (Golden)

Optional. Die zu bewertenden goldenen Schritte.
scenario

object (Scenario)

Optional. Die Konfiguration für ein Szenario.

Golden

JSON-Darstellung 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
Felder
turns[]

object (GoldenTurn)

Erforderlich. Die Anzahl der goldenen Runden, die zum Wiederholen einer goldenen Unterhaltung erforderlich sind.
evaluationExpectations[]

string

Optional. Die Erwartungen an die Bewertung, anhand derer das wiedergegebene Gespräch bewertet werden soll. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

JSON-Darstellung 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  }
}
Felder
steps[]

object (Step)

Erforderlich. Die erforderlichen Schritte zum Wiederholen einer goldenen Unterhaltung.
rootSpan

object (Span)

Optional. Der Stamm-Spanne für die Verarbeitung und Verwaltung von Audioinformationen.

Schritt

JSON-Darstellung 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
Felder
Union-Feld step. Der auszuführende Schritt. Für step ist nur einer der folgenden Werte zulässig:
userInput

object (SessionInput)

Optional. Nutzereingabe für die Unterhaltung.
agentTransfer

object (AgentTransfer)

Optional. Leiten Sie die Unterhaltung an einen anderen Kundenservicemitarbeiter weiter.
expectation

object (GoldenExpectation)

Optional. Führt eine Erwartung für den aktuellen Zug aus.

SessionInput

JSON-Darstellung 
{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
Felder
willContinue

boolean

Optional. Ein Flag, das angibt, ob die aktuelle Nachricht ein Fragment einer größeren Eingabe in der bidirektionalen Streaming-Sitzung ist.

Wenn true festgelegt ist, verschiebt der Agent die Verarbeitung, bis er eine nachfolgende Nachricht mit will_continue = false empfängt oder das System einen Endpunkt in der Audioeingabe erkennt.

HINWEIS: Dieses Feld gilt nicht für Audio- und DTMF-Eingaben, da diese immer automatisch auf Grundlage des Endpunkt-Signals verarbeitet werden.
Union-Feld input_type. Der Typ der Eingabe. Für input_type ist nur einer der folgenden Werte zulässig:
text

string

Optional. Textdaten vom Endnutzer.
dtmf

string

Optional. DTMF-Ziffern vom Endnutzer.
audio

string (bytes format)

Optional. Audiodaten des Endnutzers.

Ein base64-codierter String.
toolResponses

object (ToolResponses)

Optional. Ausführungsergebnisse für die Tool-Aufrufe vom Client.
image

object (Image)

Optional. Bilddaten vom Endnutzer.
blob

object (Blob)

Optional. Blob-Daten vom Endnutzer.
variables

object (Struct format)

Optional. Kontextvariablen für die Sitzung, nach Namen sortiert. Der CES-Kundenservicemitarbeiter verwendet nur Variablen, die in der App deklariert sind.

Nicht erkannte Variablen werden weiterhin als zusätzliche Sitzungsparameter an den [Dialogflow-Agent][Agent.RemoteDialogflowAgent] gesendet.
event

object (Event)

Optional. Eingabe von Ereignissen

ToolResponses

JSON-Darstellung 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
Felder
toolResponses[]

object (ToolResponse)

Optional. Die Liste der Ergebnisse der Tool-Ausführung.

ToolResponse

JSON-Darstellung 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Felder
id

string

Optional. Die übereinstimmende ID des tool call, auf das sich die Antwort bezieht.
displayName

string

Nur Ausgabe. Anzeigename des Tools.
response

object (Struct format)

Erforderlich. Das Ergebnis der Tool-Ausführung im JSON-Objektformat. Verwenden Sie den Schlüssel „output“, um die Tool-Antwort anzugeben, und den Schlüssel „error“, um Fehlerdetails anzugeben (falls vorhanden). Wenn die Schlüssel „output“ und „error“ nicht angegeben sind, wird die gesamte „response“ als Ergebnis der Tool-Ausführung behandelt.
Union-Feld tool_identifier. Die Kennung des ausgeführten Tools. Es kann sich entweder um ein dauerhaftes Tool oder um ein Tool aus einem Toolset handeln. Für tool_identifier ist nur einer der folgenden Werte zulässig:
tool

string

Optional. Der Name des auszuführenden Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Optional. Das Toolset-Tool, das ausgeführt wurde.

ToolsetTool

JSON-Darstellung 
{
  "toolset": string,
  "toolId": string
}
Felder
toolset

string

Erforderlich. Der Ressourcenname des Toolsets, aus dem dieses Tool abgeleitet wird. Format: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Optional. Die Tool-ID, nach der die Tools gefiltert werden sollen, um das Schema abzurufen.

Struct

JSON-Darstellung 
{
  "fields": {
    string: value,
    ...
  }
}
Felder
fields

map (key: string, value: value (Value format))

Ungeordnete Zuordnung von dynamisch typisierten Werten.

Ein Objekt, das eine Liste von "key": value-Paaren enthält. Beispiel: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

JSON-Darstellung 
{
  "key": string,
  "value": value
}
Felder
key

string
value

value (Value format)

Wert

JSON-Darstellung 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Felder
Union-Feld kind. Die Art des Werts. Für kind ist nur einer der folgenden Werte zulässig:
nullValue

null

Stellt einen Nullwert dar.
numberValue

number

Stellt einen Double-Wert dar.
stringValue

string

Stellt einen Stringwert dar.
boolValue

boolean

Stellt einen booleschen Wert dar.
structValue

object (Struct format)

Stellt einen strukturierten Wert dar.
listValue

array (ListValue format)

Stellt eine wiederholte Value dar.

ListValue

JSON-Darstellung 
{
  "values": [
    value
  ]
}
Felder
values[]

value (Value format)

Wiederholtes Feld mit dynamisch typisierten Werten.

Bild

JSON-Darstellung 
{
  "mimeType": string,
  "data": string
}
Felder
mimeType

string

Erforderlich. Der IANA-Standard-MIME-Typ der Quelldaten. Unterstützte Bildtypen: * image/png * image/jpeg * image/webp
data

string (bytes format)

Erforderlich. Rohbyte des Bildes.

Ein base64-codierter String.

Blob

JSON-Darstellung 
{
  "mimeType": string,
  "data": string
}
Felder
mimeType

string

Erforderlich. Der IANA-Standard-MIME-Typ der Quelldaten.
data

string (bytes format)

Erforderlich. Rohbyte des Blobs.

Ein base64-codierter String.

Ereignis

JSON-Darstellung 
{
  "event": string
}
Felder
event

string

Erforderlich. Der Name des Ereignisses.

AgentTransfer

JSON-Darstellung 
{
  "targetAgent": string,
  "displayName": string
}
Felder
targetAgent

string

Erforderlich. Der Kundenservicemitarbeiter, an den die Unterhaltung weitergeleitet wird. Der Kundenservicemitarbeiter übernimmt die Unterhaltung ab diesem Punkt. Format: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

Nur Ausgabe. Anzeigename des KI-Agenten.

GoldenExpectation

JSON-Darstellung 
{
  "note": string,

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
  // End of list of possible types for union field condition.
}
Felder
note

string

Optional. Eine Anmerkung zu dieser Anforderung, die beim Melden hilfreich ist, wenn bestimmte Prüfungen fehlschlagen. Beispiel: "Check_Payment_Tool_Called".
Union-Feld condition. Die tatsächlich durchzuführende Prüfung. Für condition ist nur einer der folgenden Werte zulässig:
toolCall

object (ToolCall)

Optional. Prüfen Sie, ob ein bestimmtes Tool mit den Parametern aufgerufen wurde.
toolResponse

object (ToolResponse)

Optional. Prüfen Sie, ob ein bestimmtes Tool die erwartete Antwort gegeben hat.
agentResponse

object (Message)

Optional. Prüfen Sie, ob der Agent mit der richtigen Antwort reagiert hat. Die Rolle „Agent“ ist impliziert.
agentTransfer

object (AgentTransfer)

Optional. Prüfen Sie, ob der Kundenservicemitarbeiter die Unterhaltung an einen anderen Kundenservicemitarbeiter weitergeleitet hat.
updatedVariables

object (Struct format)

Optional. Prüfen Sie, ob der Agent die Sitzungsvariablen auf die erwarteten Werte aktualisiert hat. Wird verwendet, um auch Agent-Variablen-Updates für Golden Evals zu erfassen.
mockToolResponse

object (ToolResponse)

Optional. Die Tool-Antwort auf den Mock mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM erfunden.

ToolCall

JSON-Darstellung 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Felder
id

string

Optional. Die eindeutige ID des Tool-Aufrufs. Wenn das Feld ausgefüllt ist, sollte der Client das Ausführungsergebnis mit der entsprechenden ID in ToolResponse zurückgeben.
displayName

string

Nur Ausgabe. Anzeigename des Tools.
args

object (Struct format)

Optional. Die Eingabeparameter und ‑werte für das Tool im JSON-Objektformat.
Union-Feld tool_identifier. Die Kennung des auszuführenden Tools. Es kann sich entweder um ein dauerhaftes Tool oder um ein Tool aus einem Toolset handeln. Für tool_identifier ist nur einer der folgenden Werte zulässig:
tool

string

Optional. Der Name des auszuführenden Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Optional. Das Toolset-Tool, das ausgeführt werden soll.

Nachricht

JSON-Darstellung 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
Felder
role

string

Optional. Die Rolle in der Unterhaltung, z.B. „Nutzer“ oder „Agent“.
chunks[]

object (Chunk)

Optional. Inhalt der Nachricht als Reihe von Chunks.
eventTime

string (Timestamp format)

Optional. Zeitstempel für das Senden oder Empfangen der Nachricht. Sollte nicht verwendet werden, wenn die Nachricht Teil einer example ist.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30".

Chunk

JSON-Darstellung 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
Felder
Union-Feld data. Daten in Blöcke aufteilen. Für data ist nur einer der folgenden Werte zulässig:
text

string

Optional. Textdaten.
transcript

string

Optional. Transkript, das mit dem Audio verknüpft ist.
blob

object (Blob)

Optional. Blob-Daten.
payload

object (Struct format)

Optional. Benutzerdefinierte Nutzlastdaten.
image

object (Image)

Optional. Bilddaten.
toolCall

object (ToolCall)

Optional. Anfrage zur Tool-Ausführung.
toolResponse

object (ToolResponse)

Optional. Antwort auf die Tool-Ausführung.
agentTransfer

object (AgentTransfer)

Optional. Ereignis für die Übertragung von Agenten.
updatedVariables

object (Struct format)

Ein Struct stellt Variablen dar, die in der Unterhaltung aktualisiert wurden, wobei die Variablennamen als Schlüssel verwendet werden.
defaultVariables

object (Struct format)

Ein Struct stellt Standardvariablen zu Beginn der Unterhaltung dar, die nach Variablennamen sortiert sind.

Zeitstempel

JSON-Darstellung 
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Stellt Sekunden der UTC-Zeit seit Unix-Epoche 1970-01-01T00:00:00Z dar. Muss einschließlich zwischen -62135596800 und 253402300799 liegen (entspricht 0001-01-01T00:00:00Z bis 9999-12-31T23:59:59Z).
nanos

integer

Nicht negative Sekundenbruchteile Nanosekunden-Auflösung. Dieses Feld enthält den Nanosekundenanteil der Dauer und ist keine Alternative zu Sekunden. Negative Sekundenwerte mit Bruchteilen müssen weiterhin nicht negative Nano-Werte haben, die zeitlich vorwärts gezählt werden. Muss zwischen 0 und 999.999.999 liegen.

Span

JSON-Darstellung 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
Felder
name

string

Nur Ausgabe. Der Name des Spans.
startTime

string (Timestamp format)

Nur Ausgabe. Die Startzeit des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Die Endzeit des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
duration

string (Duration format)

Nur Ausgabe. Die Dauer des Zeitraums.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
attributes

object (Struct format)

Nur Ausgabe. Schlüssel/Wert-Attribute, die dem Bereich zugeordnet sind.
childSpans[]

object (Span)

Nur Ausgabe. Die untergeordneten Spannen, die unter dieser Spanne verschachtelt sind.

Dauer

JSON-Darstellung 
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Vorzeichenbehaftete Sekunden des Zeitraums. Muss zwischen -315.576.000.000 und +315.576.000.000 (einschließlich) liegen. Hinweis: Diese Grenzen werden so berechnet: 60 Sek./Min. × 60 Min./Std. × 24 Std./Tag × 365,25 Tage/Jahr × 10.000 Jahre
nanos

integer

Signierte Sekundenbruchteile mit Nanosekunden-Auflösung des Zeitraums. Dauern von weniger als einer Sekunde werden mit dem Feld seconds = 0 und einem positiven oder negativen Feld nanos dargestellt. Bei Zeiträumen von einer Sekunde oder mehr muss ein Wert ungleich null für das Feld nanos dasselbe Vorzeichen wie das Feld seconds haben. Muss zwischen -999.999.999 und +999.999.999 liegen (einschließlich).

Szenario

JSON-Darstellung 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ]
}
Felder
task

string

Erforderlich. Die Aufgabe, auf die sich das Szenario bezieht.
userFacts[]

object (UserFact)

Optional. Die Nutzerfakten, die vom Szenario verwendet werden sollen.
maxTurns

integer

Optional. Die maximale Anzahl der zu simulierenden Züge. Wenn nichts angegeben ist, wird die Simulation fortgesetzt, bis die Aufgabe abgeschlossen ist.
rubrics[]

string

Erforderlich. Die Rubriken, anhand derer das Szenario bewertet wird.
scenarioExpectations[]

object (ScenarioExpectation)

Erforderlich. Die ScenarioExpectations zum Bewerten der von der Nutzersimulation erstellten Unterhaltung.
variableOverrides

object (Struct format)

Optional. Variablen / Sitzungsparameter als Kontext für die Sitzung, nach Variablennamen sortiert. Mit den Mitgliedern dieser Struktur werden alle vom System festgelegten Standardwerte überschrieben.

Diese unterscheiden sich von Nutzerfakten, die dem Nutzer bekannt sind. Variablen sind Parameter, die dem Agent bekannt sind, z.B. die vom Telefonsystem übergebene MDN (Telefonnummer).
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

Optional. Verworfen Verwenden Sie stattdessen „user_goal_behavior“.
userGoalBehavior

enum (UserGoalBehavior)

Optional. Das erwartete Verhalten des Nutzerziels.
evaluationExpectations[]

string

Optional. Die Erwartungen an die Bewertung, anhand derer die von der Simulation erstellte Unterhaltung bewertet wird. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

UserFact

JSON-Darstellung 
{
  "name": string,
  "value": string
}
Felder
name

string

Erforderlich. Der Name der Nutzerinformation.
value

string

Erforderlich. Der Wert der Nutzerinformation.

ScenarioExpectation

JSON-Darstellung 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
Felder
Union-Feld expectation. Die Erwartung, die durch die Simulation erzeugte Unterhaltung zu bewerten. Für expectation ist nur einer der folgenden Werte zulässig:
toolExpectation

object (ToolExpectation)

Optional. Das zu bewertende Tool-Aufruf- und Antwortpaar.
agentResponse

object (Message)

Optional. Die zu bewertende Antwort des Agents.

ToolExpectation

JSON-Darstellung 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
Felder
expectedToolCall

object (ToolCall)

Erforderlich. Der erwartete Tool-Aufruf mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM erfunden.
mockToolResponse

object (ToolResponse)

Erforderlich. Die Tool-Antwort auf den Mock mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM erfunden.

AggregatedMetrics

JSON-Darstellung 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
Felder
metricsByAppVersion[]

object (MetricsByAppVersion)

Nur Ausgabe. Zusammengefasste Messwerte, gruppiert nach App-Versions-ID.

MetricsByAppVersion

JSON-Darstellung 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
Felder
appVersionId

string

Nur Ausgabe. Die App-Versions-ID.
toolMetrics[]

object (ToolMetrics)

Nur Ausgabe. Messwerte für jedes Tool in dieser App-Version.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Nur Ausgabe. Messwerte für die semantische Ähnlichkeit in dieser App-Version.
hallucinationMetrics[]

object (HallucinationMetrics)

Nur Ausgabe. Messwerte für Halluzinationen in dieser App-Version.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Nur Ausgabe. Messwerte für die Latenz von Tool-Aufrufen in dieser App-Version.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Nur Ausgabe. Messwerte für die Zuglatenz in dieser App-Version.
passCount

integer

Nur Ausgabe. Die Anzahl der bestandenen Auswertungen.
failCount

integer

Nur Ausgabe. Die Anzahl der fehlgeschlagenen Auswertungen.
metricsByTurn[]

object (MetricsByTurn)

Nur Ausgabe. Messwerte, die pro Zug in dieser App-Version zusammengefasst werden.

ToolMetrics

JSON-Darstellung 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
Felder
tool

string

Nur Ausgabe. Der Name des Tools.
passCount

integer

Nur Ausgabe. Die Anzahl der bestandenen Tests.
failCount

integer

Nur Ausgabe. Die Anzahl der fehlgeschlagenen Versuche.

SemanticSimilarityMetrics

JSON-Darstellung 
{
  "score": number
}
Felder
score

number

Nur Ausgabe. Der durchschnittliche Wert für die semantische Ähnlichkeit (0–4).

HallucinationMetrics

JSON-Darstellung 
{
  "score": number
}
Felder
score

number

Nur Ausgabe. Der durchschnittliche Halluzinationswert (0 bis 1).

ToolCallLatencyMetrics

JSON-Darstellung 
{
  "tool": string,
  "averageLatency": string
}
Felder
tool

string

Nur Ausgabe. Der Name des Tools.
averageLatency

string (Duration format)

Nur Ausgabe. Die durchschnittliche Latenz der Tool-Aufrufe.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

TurnLatencyMetrics

JSON-Darstellung 
{
  "averageLatency": string
}
Felder
averageLatency

string (Duration format)

Nur Ausgabe. Die durchschnittliche Latenz der Züge.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

MetricsByTurn

JSON-Darstellung 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
Felder
turnIndex

integer

Nur Ausgabe. Der Zugindex (0-basiert).
toolMetrics[]

object (ToolMetrics)

Nur Ausgabe. Messwerte für jedes Tool in diesem Zug.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Nur Ausgabe. Messwerte für die semantische Ähnlichkeit in diesem Turn.
hallucinationMetrics[]

object (HallucinationMetrics)

Nur Ausgabe. Messwerte für Halluzinationen in diesem Turn.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Nur Ausgabe. Messwerte für die Latenz von Tool-Aufrufen in diesem Zug.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Nur Ausgabe. Messwerte für die Antwortlatenz in diesem Zug.

EvaluationResult

JSON-Darstellung 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
Felder
name

string

ID. Die eindeutige Kennung des Auswertungsergebnisses. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

Erforderlich. Anzeigename des Bewertungsergebnisses. Eindeutig innerhalb einer Bewertung. Standardmäßig hat sie das folgende Format: „ result – “.
createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung des Bewertungsergebnisses.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
evaluationStatus

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn „execution_state“ COMPLETE ist.
evaluationRun

string

Nur Ausgabe. Der Bewertungsdurchlauf, der dieses Ergebnis erzeugt hat. Format: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

Nur Ausgabe. Die Persona, die zum Generieren der Unterhaltung für das Bewertungsergebnis verwendet wurde.
errorInfo

object (EvaluationErrorInfo)

Nur Ausgabe. Fehlerinformationen für das Bewertungsergebnis.
error
(deprecated)

object (Status)

Nur Ausgabe. Nicht mehr unterstützt: Verwenden Sie stattdessen error_info. Bei der Ausführung sind Fehler aufgetreten.
initiatedBy

string

Nur Ausgabe. Der Nutzer, der den Testlauf initiiert hat, der zu diesem Ergebnis geführt hat.
appVersion

string

Nur Ausgabe. Die App-Version, die zum Generieren der Konversation verwendet wurde, die zu diesem Ergebnis geführt hat. Format: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Nur Ausgabe. Der Anzeigename von app_version, für die die Auswertung durchgeführt wurde.
changelog

string

Nur Ausgabe. Das Änderungsprotokoll der App-Version, für die die Überprüfung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer eine Auswertung für die aktuelle Version oder den Entwurf ausführt.
changelogCreateTime

string (Timestamp format)

Nur Ausgabe. Die Erstellungszeit des Changelogs der App-Version, für die die Bewertung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer eine Auswertung für die aktuelle Version oder den Entwurf ausführt.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionState

enum (ExecutionState)

Nur Ausgabe. Der Status der Ausführung des Bewertungsergebnisses.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Nur Ausgabe. Die Auswertungsschwellen für das Ergebnis.
config

object (EvaluationConfig)

Nur Ausgabe. Die Konfiguration, die im Auswertungsdurchlauf verwendet wurde, der zu diesem Ergebnis geführt hat.
goldenRunMethod

enum (GoldenRunMethod)

Nur Ausgabe. Die Methode, mit der die Golden-Bewertung durchgeführt wurde.
Union-Feld result. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn der execution_state COMPLETED ist. Für result ist nur einer der folgenden Werte zulässig:
goldenResult

object (GoldenResult)

Nur Ausgabe. Das Ergebnis einer Golden-Evaluation.
scenarioResult

object (ScenarioResult)

Nur Ausgabe. Das Ergebnis einer Szenariobewertung.

GoldenResult

JSON-Darstellung 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
Felder
turnReplayResults[]

object (TurnReplayResult)

Nur Ausgabe. Das Ergebnis der Ausführung jeder Runde der Golden-Unterhaltung.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Nur Ausgabe. Die Ergebnisse der erwarteten Auswertung.

TurnReplayResult

JSON-Darstellung 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
Felder
conversation

string

Nur Ausgabe. Die Unterhaltung, die für diesen Zug generiert wurde.
expectationOutcome[]

object (GoldenExpectationOutcome)

Nur Ausgabe. Das Ergebnis jeder Erwartung.
hallucinationResult

object (HallucinationResult)

Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung.
toolInvocationScore
(deprecated)

number

Nur Ausgabe. Verworfen Verwenden Sie stattdessen „OverallToolInvocationResult“.
turnLatency

string (Duration format)

Nur Ausgabe. Dauer des Zugs.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
toolCallLatencies[]

object (ToolCallLatency)

Nur Ausgabe. Die Latenz jedes Tool-Aufrufs in der Runde.
semanticSimilarityResult

object (SemanticSimilarityResult)

Nur Ausgabe. Das Ergebnis der Prüfung der semantischen Ähnlichkeit.
overallToolInvocationResult

object (OverallToolInvocationResult)

Nur Ausgabe. Das Ergebnis der Prüfung des gesamten Tool-Aufrufs.
errorInfo

object (EvaluationErrorInfo)

Nur Ausgabe. Informationen zum Fehler, der während dieses Zuges aufgetreten ist.
spanLatencies[]

object (SpanLatency)

Nur Ausgabe. Die Latenz von Spans im Turn.

Union-Feld _tool_ordered_invocation_score.

Für _tool_ordered_invocation_score ist nur einer der folgenden Werte zulässig:
toolOrderedInvocationScore

number

Nur Ausgabe. Die Gesamtbewertung für den Toolaufruf für diesen Zug. Dieser Wert gibt den Gesamtprozentsatz der Tools aus dem erwarteten Zug an, die tatsächlich in der erwarteten Reihenfolge aufgerufen wurden.

GoldenExpectationOutcome

JSON-Darstellung 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  }
  // End of list of possible types for union field result.
}
Felder
expectation

object (GoldenExpectation)

Nur Ausgabe. Die Erwartung, die ausgewertet wurde.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Erwartung.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

Nur Ausgabe. Das Ergebnis der Prüfung der semantischen Ähnlichkeit.
toolInvocationResult

object (ToolInvocationResult)

Nur Ausgabe. Das Ergebnis der Überprüfung des Tool-Aufrufs.
Union-Feld result. Das Ergebnis der Erwartung. Für result ist nur einer der folgenden Werte zulässig:
observedToolCall

object (ToolCall)

Nur Ausgabe. Das Ergebnis der Erwartung für den Tool-Aufruf.
observedToolResponse

object (ToolResponse)

Nur Ausgabe. Das Ergebnis der Erwartung der Tool-Antwort.
observedAgentResponse

object (Message)

Nur Ausgabe. Das Ergebnis der Erwartung der Agentenantwort.
observedAgentTransfer

object (AgentTransfer)

Nur Ausgabe. Das Ergebnis der Erwartung der Agentenübertragung.

SemanticSimilarityResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punktzahl 4: Vollständig konsistent Punktzahl 3: Weitgehend konsistent Punktzahl 2: Teilweise konsistent (geringfügige Auslassungen) Punktzahl 1: Weitgehend inkonsistent (erhebliche Auslassungen) Punktzahl 0: Völlig inkonsistent / widersprüchlich
explanation

string

Nur Ausgabe. Die Erklärung für den Wert für die semantische Ähnlichkeit.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Prüfung der semantischen Ähnlichkeit. Dazu wird der Wert mit dem semantic_similarity_success_threshold verglichen. Wenn der Wert gleich oder höher als der Schwellenwert ist, lautet das Ergebnis „Bestanden“. Andernfalls lautet das Ergebnis FAIL.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Der Wert für die semantische Ähnlichkeit. Kann 0, 1, 2, 3 oder 4 sein.

ToolInvocationResult

JSON-Darstellung 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
Felder
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Prüfung des Tool-Aufrufs. Dies wird durch den Vergleich des parameter_correctness_score mit dem Schwellenwert bestimmt. Wenn der Wert gleich oder höher als der Schwellenwert ist, lautet das Ergebnis „Bestanden“. Andernfalls lautet das Ergebnis FAIL.
explanation

string

Nur Ausgabe. Eine Freitext-Erklärung für das Ergebnis des Tool-Aufrufs.

Union-Feld _parameter_correctness_score.

Für _parameter_correctness_score ist nur einer der folgenden Werte zulässig:
parameterCorrectnessScore

number

Nur Ausgabe. Die Korrektheitsbewertung für den Parameteraufruf des Tools. Dies gibt den Prozentsatz der Parameter aus dem erwarteten Tool-Aufruf an, die auch im tatsächlichen Tool-Aufruf vorhanden waren.

HallucinationResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punktzahl 1: Berechtigte Punktzahl 0: Nicht berechtigte Punktzahl –1: Kein Anspruch zur Bewertung
explanation

string

Nur Ausgabe. Die Erklärung für den Halluzinationswert.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Der Halluzinationswert. Kann -1, 0 oder 1 sein.

ToolCallLatency

JSON-Darstellung 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Felder
tool

string

Nur Ausgabe. Der Name des ausgeführten Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName

string

Nur Ausgabe. Der Anzeigename des Tools
startTime

string (Timestamp format)

Nur Ausgabe. Der Beginn der Ausführung des Tool-Aufrufs.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Die Endzeit der Ausführung des Tool-Aufrufs.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionLatency

string (Duration format)

Nur Ausgabe. Die Latenz der Tool-Aufrufausführung.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

OverallToolInvocationResult

JSON-Darstellung 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
Felder
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Prüfung des Tool-Aufrufs. Dies wird durch den Vergleich des tool_invocation_score mit dem overall_tool_invocation_correctness_threshold bestimmt. Wenn der Wert gleich oder höher als der Schwellenwert ist, lautet das Ergebnis „Bestanden“. Andernfalls lautet das Ergebnis FAIL.

Union-Feld _tool_invocation_score.

Für _tool_invocation_score ist nur einer der folgenden Werte zulässig:
toolInvocationScore

number

Die Gesamtbewertung für den Toolaufruf für diesen Turn. Dies gibt den Gesamtprozentsatz der Tools an, die tatsächlich aufgerufen wurden, im Vergleich zu den erwarteten Tools.

EvaluationErrorInfo

JSON-Darstellung 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string
}
Felder
errorType

enum (ErrorType)

Nur Ausgabe. Der Fehlertyp.
errorMessage

string

Nur Ausgabe. Die Fehlermeldung.
sessionId

string

Nur Ausgabe. Die Sitzungs-ID für die Unterhaltung, die den Fehler verursacht hat.

SpanLatency

JSON-Darstellung 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
Felder
type

enum (Type)

Nur Ausgabe. Der Typ des Zeitraums.
displayName

string

Nur Ausgabe. Der Anzeigename des Spans. Gilt für Tool- und Schutzmaßnahmenbereiche.
startTime

string (Timestamp format)

Nur Ausgabe. Die Startzeit des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Die Endzeit des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionLatency

string (Duration format)

Nur Ausgabe. Die Latenz des Spans.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
Union-Feld identifier. Die Kennzeichnung des jeweiligen Artikels basierend auf seinem Typ. Für identifier ist nur einer der folgenden Werte zulässig:
resource

string

Nur Ausgabe. Der Ressourcenname der Guardrail- oder Tool-Spans.
toolset

object (ToolsetTool)

Nur Ausgabe. Die Tool-ID des Toolsets.
model

string

Nur Ausgabe. Der Name des LLM-Spans.
callback

string

Nur Ausgabe. Der Name des Zeitraums für den Nutzer-Callback.

EvaluationExpectationResult

JSON-Darstellung 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
Felder
evaluationExpectation

string

Nur Ausgabe. Die Erwartung an die Bewertung. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

Nur Ausgabe. Der Prompt, der für die Auswertung verwendet wurde.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der erwarteten Bewertung.
explanation

string

Nur Ausgabe. Die Erklärung für das Ergebnis.

ScenarioResult

JSON-Darstellung 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
Felder
conversation

string

Nur Ausgabe. Die Unterhaltung, die im Szenario generiert wurde.
task

string

Nur Ausgabe. Die Aufgabe, die beim Ausführen des Szenarios für dieses Ergebnis verwendet wurde.
userFacts[]

object (UserFact)

Nur Ausgabe. Die Nutzerinformationen, die vom Szenario für dieses Ergebnis verwendet wurden.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

Nur Ausgabe. Das Ergebnis jeder Erwartung.
rubricOutcomes[]

object (ScenarioRubricOutcome)

Nur Ausgabe. Das Ergebnis des Bewertungsschemas.
hallucinationResult[]

object (HallucinationResult)

Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung. Für jede Runde in der Unterhaltung wird ein Halluzinationsergebnis angezeigt.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

Nur Ausgabe. Das Ergebnis der Überprüfung des Aufgabenabschlusses.
toolCallLatencies[]

object (ToolCallLatency)

Nur Ausgabe. Die Latenz der Ausführung jedes Tool-Aufrufs in der Unterhaltung.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

Nur Ausgabe. Das Ergebnis der Prüfung der Nutzerzielerreichung.
spanLatencies[]

object (SpanLatency)

Nur Ausgabe. Die Latenz von Spans in der Unterhaltung.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Nur Ausgabe. Die Ergebnisse der erwarteten Auswertung.

Union-Feld _all_expectations_satisfied.

Für _all_expectations_satisfied ist nur einer der folgenden Werte zulässig:
allExpectationsSatisfied

boolean

Nur Ausgabe. Gibt an, ob alle Erwartungen für diesen Zug erfüllt wurden.

Union-Feld _task_completed.

Für _task_completed ist nur einer der folgenden Werte zulässig:
taskCompleted

boolean

Nur Ausgabe. Gibt an, ob die Aufgabe in dieser Runde erledigt wurde. Dies ist eine Kombination aus allen erfüllten Erwartungen, keinen Halluzinationen und der Erfüllung des Nutzerziels.

ScenarioExpectationOutcome

JSON-Darstellung 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
Felder
expectation

object (ScenarioExpectation)

Nur Ausgabe. Die Erwartung, die ausgewertet wurde.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der ScenarioExpectation.
Union-Feld result. Das Ergebnis der Erwartung. Für result ist nur einer der folgenden Werte zulässig:
observedToolCall

object (ObservedToolCall)

Nur Ausgabe. Der beobachtete Toolaufruf.
observedAgentResponse

object (Message)

Nur Ausgabe. Die beobachtete Antwort des Agents.

ObservedToolCall

JSON-Darstellung 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Felder
toolCall

object (ToolCall)

Nur Ausgabe. Der beobachtete Toolaufruf.
toolResponse

object (ToolResponse)

Nur Ausgabe. Die beobachtete Tool-Antwort.

ScenarioRubricOutcome

JSON-Darstellung 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
Felder
rubric

string

Nur Ausgabe. Das Bewertungsschema, das zur Bewertung des Gesprächs verwendet wurde.
scoreExplanation

string

Nur Ausgabe. Die Antwort des Bewerters auf das Bewertungsschema.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

number

Nur Ausgabe. Die Punktzahl der Unterhaltung im Vergleich zum Bewertungsschema.

TaskCompletionResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punktzahl 1: Aufgabe erledigt Punktzahl 0: Aufgabe nicht erledigt Punktzahl –1: Nutzerziel nicht definiert
explanation

string

Nur Ausgabe. Die Erklärung für den Wert für die Aufgabenerledigung.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Die Punktzahl für die Erledigung der Aufgabe. Kann -1, 0 oder 1 sein

UserGoalSatisfactionResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punkt 1: User Task Satisfied Punkt 0: User Task Not Satisfied Punkt –1: User Task Unspecified
explanation

string

Nur Ausgabe. Die Erklärung für den Zufriedenheitswert der Nutzeraufgabe.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Der Zufriedenheitswert für die Nutzeraufgabe. Kann -1, 0 oder 1 sein.

EvaluationPersona

JSON-Darstellung 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
Felder
name

string

Erforderlich. Die eindeutige ID der Persona. Format: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

Optional. Die Beschreibung der Persona.
displayName

string

Erforderlich. Der Anzeigename der Persona. Eindeutig innerhalb einer App.
personality

string

Erforderlich. Eine Anleitung für den Agenten, wie er sich bei der Bewertung verhalten soll.
speechConfig

object (SpeechConfig)

Optional. Konfiguration für die Stimme der Persona (TTS-Einstellungen).

SpeechConfig

JSON-Darstellung 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
Felder
speakingRate

number

Optional. Die Sprechgeschwindigkeit. 1,0 ist normal. Je niedriger der Wert, desto langsamer (z.B. 0,8) – je höher, desto schneller (z. B. 1.5). Nützlich, um zu testen, wie der Kundenservicemitarbeiter mit schnellen Sprechern umgeht.
environment

enum (BackgroundEnvironment)

Optional. Die simulierte Audio-Umgebung.
voiceId

string

Optional. Die spezifische Sprach-ID/der Akzent, der verwendet werden soll. Beispiel: „en-US-Wavenet-D“ oder „en-GB-Standard-A“

Status

JSON-Darstellung 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Felder
code

integer

Der Statuscode, der idealerweise ein ENUM-Wert von google.rpc.Code ist.
message

string

Eine an Entwickler gerichtete Fehlermeldung, die englischsprachig sein sollte. Jede für Nutzer sichtbare Fehlermeldung sollte lokalisiert und im Feld google.rpc.Status.details gesendet werden. Sie kann auch clientseitig lokalisiert werden.
details[]

object

Eine Auflistung aller Meldungen, die die Fehlerdetails enthalten. Es gibt einen gemeinsamen Satz von Nachrichtentypen, die APIs verwenden können.

Ein Objekt, das Felder eines beliebigen Typs enthält. Ein zusätzliches Feld "@type" enthält einen URI zur Identifizierung des Typs. Beispiel: { "id": 1234, "@type": "types.example.com/standard/id" }.

Beliebig

JSON-Darstellung 
{
  "typeUrl": string,
  "value": string
}
Felder
typeUrl

string

Gibt den Typ der serialisierten Protobuf-Nachricht mit einem URI-Verweis an, der aus einem Präfix, das mit einem Schrägstrich endet, und dem vollständig qualifizierten Typnamen besteht.

Beispiel: type.googleapis.com/google.protobuf.StringValue

Dieser String muss mindestens ein /-Zeichen enthalten. Der Inhalt nach dem letzten / muss der vollständig qualifizierte Name des Typs in kanonischer Form ohne führenden Punkt sein. Schreiben Sie kein Schema für diese URI-Referenzen, damit Clients nicht versuchen, sie zu kontaktieren.

Das Präfix ist beliebig und Protobuf-Implementierungen sollen einfach alles bis zum letzten / (einschließlich) entfernen, um den Typ zu ermitteln. type.googleapis.com/ ist ein häufiges Standardpräfix, das für einige ältere Implementierungen erforderlich ist. Dieses Präfix gibt nicht den Ursprung des Typs an und URIs, die es enthalten, werden voraussichtlich nicht auf Anfragen reagieren.

Alle Typ-URL-Strings müssen gültige URI-Referenzen sein. Für das Textformat gilt die zusätzliche Einschränkung, dass der Inhalt der Referenz nur aus alphanumerischen Zeichen, prozentual codierten Escape-Sequenzen und Zeichen aus der folgenden Menge bestehen darf (ohne die äußeren Backticks): /-.~_!$&()*+,;=. Obwohl wir Prozentcodierungen zulassen, sollten Implementierungen sie nicht dekodieren, um Verwechslungen mit vorhandenen Parsern zu vermeiden. Beispiel: type.googleapis.com%2FFoo sollte abgelehnt werden.

Im ursprünglichen Design von Any wurde die Möglichkeit in Betracht gezogen, einen Dienst zur Typauflösung unter diesen Typ-URLs zu starten. Protobuf hat jedoch nie einen solchen Dienst implementiert und betrachtet das Kontaktieren dieser URLs als problematisch und als potenzielles Sicherheitsproblem. Versuchen Sie nicht, URLs vom Typ „Kontakt“ aufzurufen.
value

string (bytes format)

Enthält eine Protobuf-Serialisierung des Typs, der durch „type_url“ beschrieben wird.

Ein base64-codierter String.

EvaluationMetricsThresholds

JSON-Darstellung 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
Felder
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

Optional. Die Grenzwerte für die Golden-Bewertungsmesswerte.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

Optional. Nicht mehr unterstützt: Verwenden Sie stattdessen golden_hallucination_metric_behavior. Das Verhalten des Halluzinationsmesswerts wird derzeit für Golden Evaluations verwendet.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Optional. Das Verhalten des Messwerts für Halluzinationen bei Golden Evaluations.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Optional. Das Verhalten des Messwerts für Halluzinationen bei Szenariobewertungen.

GoldenEvaluationMetricsThresholds

JSON-Darstellung 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
Felder
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

Optional. Die Schwellenwerte für Messwerte auf Kampagnenebene.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

Optional. Die Grenzwerte für die Messwerte für das Erwartungsniveau.
toolMatchingSettings

object (ToolMatchingSettings)

Optional. Die Einstellungen für den Tool-Abgleich. Ein zusätzlicher Tool-Aufruf ist ein Tool-Aufruf, der in der Ausführung vorhanden ist, aber nicht mit einem Tool-Aufruf in der Golden-Erwartung übereinstimmt.

TurnLevelMetricsThresholds

JSON-Darstellung 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
Felder
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

Optional. Der Channel für semantische Ähnlichkeit, der für die Bewertung verwendet werden soll.

Union-Feld _semantic_similarity_success_threshold.

Für _semantic_similarity_success_threshold ist nur einer der folgenden Werte zulässig:
semanticSimilaritySuccessThreshold

integer

Optional. Der Erfolgsschwellenwert für die semantische Ähnlichkeit. Muss eine Ganzzahl zwischen 0 und 4 sein. Der Standardwert ist >= 3.

Union-Feld _overall_tool_invocation_correctness_threshold.

Für _overall_tool_invocation_correctness_threshold ist nur einer der folgenden Werte zulässig:
overallToolInvocationCorrectnessThreshold

number

Optional. Der Schwellenwert für die korrekte Tool-Aufrufe insgesamt. Muss eine Gleitkommazahl zwischen 0 und 1 sein. Der Standardwert ist 1,0.

ExpectationLevelMetricsThresholds

JSON-Darstellung 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
Felder

Union-Feld _tool_invocation_parameter_correctness_threshold.

Für _tool_invocation_parameter_correctness_threshold ist nur einer der folgenden Werte zulässig:
toolInvocationParameterCorrectnessThreshold

number

Optional. Der Erfolgsschwellenwert für die Richtigkeit einzelner Parameter für den Tool-Aufruf. Muss eine Gleitkommazahl zwischen 0 und 1 sein. Der Standardwert ist 1,0.

ToolMatchingSettings

JSON-Darstellung 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
Felder
extraToolCallBehavior

enum (ExtraToolCallBehavior)

Optional. Verhalten bei zusätzlichen Tool-Aufrufen. Die Standardeinstellung ist FAIL.

EvaluationConfig

JSON-Darstellung 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Felder
inputAudioConfig
(deprecated)

object (InputAudioConfig)

Optional. Konfiguration für die Verarbeitung des Audioeingangs.
outputAudioConfig
(deprecated)

object (OutputAudioConfig)

Optional. Konfiguration zum Generieren der Audioausgabe.
evaluationChannel

enum (EvaluationChannel)

Optional. Der auszuwertende Channel.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Optional. Gibt an, ob bei der Auswertung echte Tool-Aufrufe oder gefälschte Tools verwendet werden sollen.

InputAudioConfig

JSON-Darstellung 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Felder
audioEncoding

enum (AudioEncoding)

Erforderlich. Die Codierung der Audioeingabedaten.
sampleRateHertz

integer

Erforderlich. Die Abtastrate (in Hertz) der Audioeingabedaten.
noiseSuppressionLevel

string

Optional. Gibt an, ob die Rauschunterdrückung für das eingegebene Audio aktiviert werden soll. Verfügbare Werte sind „low“, „moderate“, „high“ und „very_high“.

OutputAudioConfig

JSON-Darstellung 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Felder
audioEncoding

enum (AudioEncoding)

Erforderlich. Die Codierung der Audioausgabedaten.
sampleRateHertz

integer

Erforderlich. Die Abtastrate (in Hertz) der Ausgabedaten.

Ausgabeschema

Eine Bewertung umfasst alle Informationen, die zum Simulieren und Bewerten eines Agenten erforderlich sind.

Bewertung

JSON-Darstellung 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
Felder
name

string

ID. Die eindeutige Kennung dieser Auswertung. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

Erforderlich. Benutzerdefinierter Anzeigename der Auswertung. Eindeutig innerhalb einer App.
description

string

Optional. Benutzerdefinierte Beschreibung der Auswertung.
tags[]

string

Optional. Benutzerdefinierte Tags zum Kategorisieren der Auswertung.
evaluationDatasets[]

string

Nur Ausgabe. Liste der Bewertungs-Datasets, zu denen die Bewertung gehört. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung der Bewertung.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
createdBy

string

Nur Ausgabe. Der Nutzer, der die Auswertung erstellt hat.
updateTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel der letzten Aktualisierung der Auswertung.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
lastUpdatedBy

string

Nur Ausgabe. Der Nutzer, der die Auswertung zuletzt aktualisiert hat.
evaluationRuns[]

string

Nur Ausgabe. Die EvaluationRuns, mit denen diese Evaluation verknüpft ist.
etag

string

Nur Ausgabe. Etag, das verwendet wird, um sicherzustellen, dass sich das Objekt während eines Read-Modify-Write-Vorgangs nicht geändert hat. Wenn das ETag leer ist, werden alle gleichzeitigen Änderungen durch das Update überschrieben.
aggregatedMetrics

object (AggregatedMetrics)

Nur Ausgabe. Die aggregierten Messwerte für diese Auswertung über alle Läufe hinweg.
lastCompletedResult

object (EvaluationResult)

Nur Ausgabe. Das letzte Bewertungsergebnis für diese Bewertung.
invalid

boolean

Nur Ausgabe. Gibt an, ob die Auswertung ungültig ist. Das kann passieren, wenn in einer Bewertung auf ein Tool, Toolset oder einen Agent verwiesen wird, das bzw. der inzwischen gelöscht wurde.
lastTenResults[]

object (EvaluationResult)

Nur Ausgabe. Die letzten zehn Auswertungsergebnisse für diese Auswertung. Dieses Feld wird nur ausgefüllt, wenn „include_last_ten_results“ in „ListEvaluationsRequest“ oder „GetEvaluationRequest“ auf „true“ gesetzt ist.
Union-Feld inputs. Für die Eingaben für die Auswertung inputs ist nur einer der folgenden Werte zulässig:
golden

object (Golden)

Optional. Die zu bewertenden goldenen Schritte.
scenario

object (Scenario)

Optional. Die Konfiguration für ein Szenario.

Golden

JSON-Darstellung 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
Felder
turns[]

object (GoldenTurn)

Erforderlich. Die Anzahl der goldenen Runden, die zum Wiederholen einer goldenen Unterhaltung erforderlich sind.
evaluationExpectations[]

string

Optional. Die Erwartungen an die Bewertung, anhand derer das wiedergegebene Gespräch bewertet werden soll. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

JSON-Darstellung 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  }
}
Felder
steps[]

object (Step)

Erforderlich. Die erforderlichen Schritte zum Wiederholen einer goldenen Unterhaltung.
rootSpan

object (Span)

Optional. Der Stamm-Spanne für die Verarbeitung und Verwaltung von Audioinformationen.

Schritt

JSON-Darstellung 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
Felder
Union-Feld step. Der auszuführende Schritt. Für step ist nur einer der folgenden Werte zulässig:
userInput

object (SessionInput)

Optional. Nutzereingabe für die Unterhaltung.
agentTransfer

object (AgentTransfer)

Optional. Leiten Sie die Unterhaltung an einen anderen Kundenservicemitarbeiter weiter.
expectation

object (GoldenExpectation)

Optional. Führt eine Erwartung für den aktuellen Zug aus.

SessionInput

JSON-Darstellung 
{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
Felder
willContinue

boolean

Optional. Ein Flag, das angibt, ob die aktuelle Nachricht ein Fragment einer größeren Eingabe in der bidirektionalen Streaming-Sitzung ist.

Wenn true festgelegt ist, verschiebt der Agent die Verarbeitung, bis er eine nachfolgende Nachricht mit will_continue = false empfängt oder das System einen Endpunkt in der Audioeingabe erkennt.

HINWEIS: Dieses Feld gilt nicht für Audio- und DTMF-Eingaben, da diese immer automatisch auf Grundlage des Endpunkt-Signals verarbeitet werden.
Union-Feld input_type. Der Typ der Eingabe. Für input_type ist nur einer der folgenden Werte zulässig:
text

string

Optional. Textdaten vom Endnutzer.
dtmf

string

Optional. DTMF-Ziffern vom Endnutzer.
audio

string (bytes format)

Optional. Audiodaten des Endnutzers.

Ein base64-codierter String.
toolResponses

object (ToolResponses)

Optional. Ausführungsergebnisse für die Tool-Aufrufe vom Client.
image

object (Image)

Optional. Bilddaten vom Endnutzer.
blob

object (Blob)

Optional. Blob-Daten vom Endnutzer.
variables

object (Struct format)

Optional. Kontextvariablen für die Sitzung, nach Namen sortiert. Der CES-Kundenservicemitarbeiter verwendet nur Variablen, die in der App deklariert sind.

Nicht erkannte Variablen werden weiterhin als zusätzliche Sitzungsparameter an den [Dialogflow-Agent][Agent.RemoteDialogflowAgent] gesendet.
event

object (Event)

Optional. Eingabe von Ereignissen

ToolResponses

JSON-Darstellung 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
Felder
toolResponses[]

object (ToolResponse)

Optional. Die Liste der Ergebnisse der Tool-Ausführung.

ToolResponse

JSON-Darstellung 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Felder
id

string

Optional. Die übereinstimmende ID des tool call, auf das sich die Antwort bezieht.
displayName

string

Nur Ausgabe. Anzeigename des Tools.
response

object (Struct format)

Erforderlich. Das Ergebnis der Tool-Ausführung im JSON-Objektformat. Verwenden Sie den Schlüssel „output“, um die Tool-Antwort anzugeben, und den Schlüssel „error“, um Fehlerdetails anzugeben (falls vorhanden). Wenn die Schlüssel „output“ und „error“ nicht angegeben sind, wird die gesamte „response“ als Ergebnis der Tool-Ausführung behandelt.
Union-Feld tool_identifier. Die Kennung des ausgeführten Tools. Es kann sich entweder um ein dauerhaftes Tool oder um ein Tool aus einem Toolset handeln. Für tool_identifier ist nur einer der folgenden Werte zulässig:
tool

string

Optional. Der Name des auszuführenden Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Optional. Das Toolset-Tool, das ausgeführt wurde.

ToolsetTool

JSON-Darstellung 
{
  "toolset": string,
  "toolId": string
}
Felder
toolset

string

Erforderlich. Der Ressourcenname des Toolsets, aus dem dieses Tool abgeleitet wird. Format: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Optional. Die Tool-ID, nach der die Tools gefiltert werden sollen, um das Schema abzurufen.

Struct

JSON-Darstellung 
{
  "fields": {
    string: value,
    ...
  }
}
Felder
fields

map (key: string, value: value (Value format))

Ungeordnete Zuordnung von dynamisch typisierten Werten.

Ein Objekt, das eine Liste von "key": value-Paaren enthält. Beispiel: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

JSON-Darstellung 
{
  "key": string,
  "value": value
}
Felder
key

string
value

value (Value format)

Wert

JSON-Darstellung 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Felder
Union-Feld kind. Die Art des Werts. Für kind ist nur einer der folgenden Werte zulässig:
nullValue

null

Stellt einen Nullwert dar.
numberValue

number

Stellt einen Double-Wert dar.
stringValue

string

Stellt einen Stringwert dar.
boolValue

boolean

Stellt einen booleschen Wert dar.
structValue

object (Struct format)

Stellt einen strukturierten Wert dar.
listValue

array (ListValue format)

Stellt eine wiederholte Value dar.

ListValue

JSON-Darstellung 
{
  "values": [
    value
  ]
}
Felder
values[]

value (Value format)

Wiederholtes Feld mit dynamisch typisierten Werten.

Bild

JSON-Darstellung 
{
  "mimeType": string,
  "data": string
}
Felder
mimeType

string

Erforderlich. Der IANA-Standard-MIME-Typ der Quelldaten. Unterstützte Bildtypen: * image/png * image/jpeg * image/webp
data

string (bytes format)

Erforderlich. Rohbyte des Bildes.

Ein base64-codierter String.

Blob

JSON-Darstellung 
{
  "mimeType": string,
  "data": string
}
Felder
mimeType

string

Erforderlich. Der IANA-Standard-MIME-Typ der Quelldaten.
data

string (bytes format)

Erforderlich. Rohbyte des Blobs.

Ein base64-codierter String.

Ereignis

JSON-Darstellung 
{
  "event": string
}
Felder
event

string

Erforderlich. Der Name des Ereignisses.

AgentTransfer

JSON-Darstellung 
{
  "targetAgent": string,
  "displayName": string
}
Felder
targetAgent

string

Erforderlich. Der Kundenservicemitarbeiter, an den die Unterhaltung weitergeleitet wird. Der Kundenservicemitarbeiter übernimmt die Unterhaltung ab diesem Punkt. Format: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

Nur Ausgabe. Anzeigename des KI-Agenten.

GoldenExpectation

JSON-Darstellung 
{
  "note": string,

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
  // End of list of possible types for union field condition.
}
Felder
note

string

Optional. Eine Anmerkung zu dieser Anforderung, die beim Melden hilfreich ist, wenn bestimmte Prüfungen fehlschlagen. Beispiel: "Check_Payment_Tool_Called".
Union-Feld condition. Die tatsächlich durchzuführende Prüfung. Für condition ist nur einer der folgenden Werte zulässig:
toolCall

object (ToolCall)

Optional. Prüfen Sie, ob ein bestimmtes Tool mit den Parametern aufgerufen wurde.
toolResponse

object (ToolResponse)

Optional. Prüfen Sie, ob ein bestimmtes Tool die erwartete Antwort gegeben hat.
agentResponse

object (Message)

Optional. Prüfen Sie, ob der Agent mit der richtigen Antwort reagiert hat. Die Rolle „Agent“ ist impliziert.
agentTransfer

object (AgentTransfer)

Optional. Prüfen Sie, ob der Kundenservicemitarbeiter die Unterhaltung an einen anderen Kundenservicemitarbeiter weitergeleitet hat.
updatedVariables

object (Struct format)

Optional. Prüfen Sie, ob der Agent die Sitzungsvariablen auf die erwarteten Werte aktualisiert hat. Wird verwendet, um auch Agent-Variablen-Updates für Golden Evals zu erfassen.
mockToolResponse

object (ToolResponse)

Optional. Die Tool-Antwort auf den Mock mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM erfunden.

ToolCall

JSON-Darstellung 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Felder
id

string

Optional. Die eindeutige ID des Tool-Aufrufs. Wenn das Feld ausgefüllt ist, sollte der Client das Ausführungsergebnis mit der entsprechenden ID in ToolResponse zurückgeben.
displayName

string

Nur Ausgabe. Anzeigename des Tools.
args

object (Struct format)

Optional. Die Eingabeparameter und ‑werte für das Tool im JSON-Objektformat.
Union-Feld tool_identifier. Die Kennung des auszuführenden Tools. Es kann sich entweder um ein dauerhaftes Tool oder um ein Tool aus einem Toolset handeln. Für tool_identifier ist nur einer der folgenden Werte zulässig:
tool

string

Optional. Der Name des auszuführenden Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Optional. Das Toolset-Tool, das ausgeführt werden soll.

Nachricht

JSON-Darstellung 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
Felder
role

string

Optional. Die Rolle in der Unterhaltung, z.B. „Nutzer“ oder „Agent“.
chunks[]

object (Chunk)

Optional. Inhalt der Nachricht als Reihe von Chunks.
eventTime

string (Timestamp format)

Optional. Zeitstempel für das Senden oder Empfangen der Nachricht. Sollte nicht verwendet werden, wenn die Nachricht Teil einer example ist.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30".

Chunk

JSON-Darstellung 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
Felder
Union-Feld data. Daten in Blöcke aufteilen. Für data ist nur einer der folgenden Werte zulässig:
text

string

Optional. Textdaten.
transcript

string

Optional. Transkript, das mit dem Audio verknüpft ist.
blob

object (Blob)

Optional. Blob-Daten.
payload

object (Struct format)

Optional. Benutzerdefinierte Nutzlastdaten.
image

object (Image)

Optional. Bilddaten.
toolCall

object (ToolCall)

Optional. Anfrage zur Tool-Ausführung.
toolResponse

object (ToolResponse)

Optional. Antwort auf die Tool-Ausführung.
agentTransfer

object (AgentTransfer)

Optional. Ereignis für die Übertragung von Agenten.
updatedVariables

object (Struct format)

Ein Struct stellt Variablen dar, die in der Unterhaltung aktualisiert wurden, wobei die Variablennamen als Schlüssel verwendet werden.
defaultVariables

object (Struct format)

Ein Struct stellt Standardvariablen zu Beginn der Unterhaltung dar, die nach Variablennamen sortiert sind.

Zeitstempel

JSON-Darstellung 
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Stellt Sekunden der UTC-Zeit seit Unix-Epoche 1970-01-01T00:00:00Z dar. Muss einschließlich zwischen -62135596800 und 253402300799 liegen (entspricht 0001-01-01T00:00:00Z bis 9999-12-31T23:59:59Z).
nanos

integer

Nicht negative Sekundenbruchteile Nanosekunden-Auflösung. Dieses Feld enthält den Nanosekundenanteil der Dauer und ist keine Alternative zu Sekunden. Negative Sekundenwerte mit Bruchteilen müssen weiterhin nicht negative Nano-Werte haben, die zeitlich vorwärts gezählt werden. Muss zwischen 0 und 999.999.999 liegen.

Span

JSON-Darstellung 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
Felder
name

string

Nur Ausgabe. Der Name des Spans.
startTime

string (Timestamp format)

Nur Ausgabe. Die Startzeit des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Die Endzeit des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
duration

string (Duration format)

Nur Ausgabe. Die Dauer des Zeitraums.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
attributes

object (Struct format)

Nur Ausgabe. Schlüssel/Wert-Attribute, die dem Bereich zugeordnet sind.
childSpans[]

object (Span)

Nur Ausgabe. Die untergeordneten Spannen, die unter dieser Spanne verschachtelt sind.

Dauer

JSON-Darstellung 
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Vorzeichenbehaftete Sekunden des Zeitraums. Muss zwischen -315.576.000.000 und +315.576.000.000 (einschließlich) liegen. Hinweis: Diese Grenzen werden so berechnet: 60 Sek./Min. × 60 Min./Std. × 24 Std./Tag × 365,25 Tage/Jahr × 10.000 Jahre
nanos

integer

Signierte Sekundenbruchteile mit Nanosekunden-Auflösung des Zeitraums. Dauern von weniger als einer Sekunde werden mit dem Feld seconds = 0 und einem positiven oder negativen Feld nanos dargestellt. Bei Zeiträumen von einer Sekunde oder mehr muss ein Wert ungleich null für das Feld nanos dasselbe Vorzeichen wie das Feld seconds haben. Muss zwischen -999.999.999 und +999.999.999 liegen (einschließlich).

Szenario

JSON-Darstellung 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ]
}
Felder
task

string

Erforderlich. Die Aufgabe, auf die sich das Szenario bezieht.
userFacts[]

object (UserFact)

Optional. Die Nutzerfakten, die vom Szenario verwendet werden sollen.
maxTurns

integer

Optional. Die maximale Anzahl der zu simulierenden Züge. Wenn nichts angegeben ist, wird die Simulation fortgesetzt, bis die Aufgabe abgeschlossen ist.
rubrics[]

string

Erforderlich. Die Rubriken, anhand derer das Szenario bewertet wird.
scenarioExpectations[]

object (ScenarioExpectation)

Erforderlich. Die ScenarioExpectations zum Bewerten der von der Nutzersimulation erstellten Unterhaltung.
variableOverrides

object (Struct format)

Optional. Variablen / Sitzungsparameter als Kontext für die Sitzung, nach Variablennamen sortiert. Mit den Mitgliedern dieser Struktur werden alle vom System festgelegten Standardwerte überschrieben.

Diese unterscheiden sich von Nutzerfakten, die dem Nutzer bekannt sind. Variablen sind Parameter, die dem Agent bekannt sind, z.B. die vom Telefonsystem übergebene MDN (Telefonnummer).
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

Optional. Verworfen Verwenden Sie stattdessen „user_goal_behavior“.
userGoalBehavior

enum (UserGoalBehavior)

Optional. Das erwartete Verhalten des Nutzerziels.
evaluationExpectations[]

string

Optional. Die Erwartungen an die Bewertung, anhand derer die von der Simulation erstellte Unterhaltung bewertet wird. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

UserFact

JSON-Darstellung 
{
  "name": string,
  "value": string
}
Felder
name

string

Erforderlich. Der Name der Nutzerinformation.
value

string

Erforderlich. Der Wert der Nutzerinformation.

ScenarioExpectation

JSON-Darstellung 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
Felder
Union-Feld expectation. Die Erwartung, die durch die Simulation erzeugte Unterhaltung zu bewerten. Für expectation ist nur einer der folgenden Werte zulässig:
toolExpectation

object (ToolExpectation)

Optional. Das zu bewertende Tool-Aufruf- und Antwortpaar.
agentResponse

object (Message)

Optional. Die zu bewertende Antwort des Agents.

ToolExpectation

JSON-Darstellung 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
Felder
expectedToolCall

object (ToolCall)

Erforderlich. Der erwartete Tool-Aufruf mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM erfunden.
mockToolResponse

object (ToolResponse)

Erforderlich. Die Tool-Antwort auf den Mock mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM erfunden.

AggregatedMetrics

JSON-Darstellung 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
Felder
metricsByAppVersion[]

object (MetricsByAppVersion)

Nur Ausgabe. Zusammengefasste Messwerte, gruppiert nach App-Versions-ID.

MetricsByAppVersion

JSON-Darstellung 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
Felder
appVersionId

string

Nur Ausgabe. Die App-Versions-ID.
toolMetrics[]

object (ToolMetrics)

Nur Ausgabe. Messwerte für jedes Tool in dieser App-Version.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Nur Ausgabe. Messwerte für die semantische Ähnlichkeit in dieser App-Version.
hallucinationMetrics[]

object (HallucinationMetrics)

Nur Ausgabe. Messwerte für Halluzinationen in dieser App-Version.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Nur Ausgabe. Messwerte für die Latenz von Tool-Aufrufen in dieser App-Version.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Nur Ausgabe. Messwerte für die Zuglatenz in dieser App-Version.
passCount

integer

Nur Ausgabe. Die Anzahl der bestandenen Auswertungen.
failCount

integer

Nur Ausgabe. Die Anzahl der fehlgeschlagenen Auswertungen.
metricsByTurn[]

object (MetricsByTurn)

Nur Ausgabe. Messwerte, die pro Zug in dieser App-Version zusammengefasst werden.

ToolMetrics

JSON-Darstellung 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
Felder
tool

string

Nur Ausgabe. Der Name des Tools.
passCount

integer

Nur Ausgabe. Die Anzahl der bestandenen Tests.
failCount

integer

Nur Ausgabe. Die Anzahl der fehlgeschlagenen Versuche.

SemanticSimilarityMetrics

JSON-Darstellung 
{
  "score": number
}
Felder
score

number

Nur Ausgabe. Der durchschnittliche Wert für die semantische Ähnlichkeit (0–4).

HallucinationMetrics

JSON-Darstellung 
{
  "score": number
}
Felder
score

number

Nur Ausgabe. Der durchschnittliche Halluzinationswert (0 bis 1).

ToolCallLatencyMetrics

JSON-Darstellung 
{
  "tool": string,
  "averageLatency": string
}
Felder
tool

string

Nur Ausgabe. Der Name des Tools.
averageLatency

string (Duration format)

Nur Ausgabe. Die durchschnittliche Latenz der Tool-Aufrufe.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

TurnLatencyMetrics

JSON-Darstellung 
{
  "averageLatency": string
}
Felder
averageLatency

string (Duration format)

Nur Ausgabe. Die durchschnittliche Latenz der Züge.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

MetricsByTurn

JSON-Darstellung 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
Felder
turnIndex

integer

Nur Ausgabe. Der Zugindex (0-basiert).
toolMetrics[]

object (ToolMetrics)

Nur Ausgabe. Messwerte für jedes Tool in diesem Zug.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Nur Ausgabe. Messwerte für die semantische Ähnlichkeit in diesem Turn.
hallucinationMetrics[]

object (HallucinationMetrics)

Nur Ausgabe. Messwerte für Halluzinationen in diesem Turn.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Nur Ausgabe. Messwerte für die Latenz von Tool-Aufrufen in diesem Zug.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Nur Ausgabe. Messwerte für die Antwortlatenz in diesem Zug.

EvaluationResult

JSON-Darstellung 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
Felder
name

string

ID. Die eindeutige Kennung des Auswertungsergebnisses. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

Erforderlich. Anzeigename des Bewertungsergebnisses. Eindeutig innerhalb einer Bewertung. Standardmäßig hat sie das folgende Format: „ result – “.
createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung des Bewertungsergebnisses.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
evaluationStatus

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn „execution_state“ COMPLETE ist.
evaluationRun

string

Nur Ausgabe. Der Bewertungsdurchlauf, der dieses Ergebnis erzeugt hat. Format: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

Nur Ausgabe. Die Persona, die zum Generieren der Unterhaltung für das Bewertungsergebnis verwendet wurde.
errorInfo

object (EvaluationErrorInfo)

Nur Ausgabe. Fehlerinformationen für das Bewertungsergebnis.
error
(deprecated)

object (Status)

Nur Ausgabe. Nicht mehr unterstützt: Verwenden Sie stattdessen error_info. Bei der Ausführung sind Fehler aufgetreten.
initiatedBy

string

Nur Ausgabe. Der Nutzer, der den Testlauf initiiert hat, der zu diesem Ergebnis geführt hat.
appVersion

string

Nur Ausgabe. Die App-Version, die zum Generieren der Konversation verwendet wurde, die zu diesem Ergebnis geführt hat. Format: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Nur Ausgabe. Der Anzeigename von app_version, für die die Auswertung durchgeführt wurde.
changelog

string

Nur Ausgabe. Das Änderungsprotokoll der App-Version, für die die Überprüfung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer eine Auswertung für die aktuelle Version oder den Entwurf ausführt.
changelogCreateTime

string (Timestamp format)

Nur Ausgabe. Die Erstellungszeit des Changelogs der App-Version, für die die Bewertung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer eine Auswertung für die aktuelle Version oder den Entwurf ausführt.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionState

enum (ExecutionState)

Nur Ausgabe. Der Status der Ausführung des Bewertungsergebnisses.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Nur Ausgabe. Die Auswertungsschwellen für das Ergebnis.
config

object (EvaluationConfig)

Nur Ausgabe. Die Konfiguration, die im Auswertungsdurchlauf verwendet wurde, der zu diesem Ergebnis geführt hat.
goldenRunMethod

enum (GoldenRunMethod)

Nur Ausgabe. Die Methode, mit der die Golden-Bewertung durchgeführt wurde.
Union-Feld result. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn der execution_state COMPLETED ist. Für result ist nur einer der folgenden Werte zulässig:
goldenResult

object (GoldenResult)

Nur Ausgabe. Das Ergebnis einer Golden-Evaluation.
scenarioResult

object (ScenarioResult)

Nur Ausgabe. Das Ergebnis einer Szenariobewertung.

GoldenResult

JSON-Darstellung 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
Felder
turnReplayResults[]

object (TurnReplayResult)

Nur Ausgabe. Das Ergebnis der Ausführung jeder Runde der Golden-Unterhaltung.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Nur Ausgabe. Die Ergebnisse der erwarteten Auswertung.

TurnReplayResult

JSON-Darstellung 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
Felder
conversation

string

Nur Ausgabe. Die Unterhaltung, die für diesen Zug generiert wurde.
expectationOutcome[]

object (GoldenExpectationOutcome)

Nur Ausgabe. Das Ergebnis jeder Erwartung.
hallucinationResult

object (HallucinationResult)

Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung.
toolInvocationScore
(deprecated)

number

Nur Ausgabe. Verworfen Verwenden Sie stattdessen „OverallToolInvocationResult“.
turnLatency

string (Duration format)

Nur Ausgabe. Dauer des Zugs.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
toolCallLatencies[]

object (ToolCallLatency)

Nur Ausgabe. Die Latenz jedes Tool-Aufrufs in der Runde.
semanticSimilarityResult

object (SemanticSimilarityResult)

Nur Ausgabe. Das Ergebnis der Prüfung der semantischen Ähnlichkeit.
overallToolInvocationResult

object (OverallToolInvocationResult)

Nur Ausgabe. Das Ergebnis der Prüfung des gesamten Tool-Aufrufs.
errorInfo

object (EvaluationErrorInfo)

Nur Ausgabe. Informationen zum Fehler, der während dieses Zuges aufgetreten ist.
spanLatencies[]

object (SpanLatency)

Nur Ausgabe. Die Latenz von Spans im Turn.

Union-Feld _tool_ordered_invocation_score.

Für _tool_ordered_invocation_score ist nur einer der folgenden Werte zulässig:
toolOrderedInvocationScore

number

Nur Ausgabe. Die Gesamtbewertung für den Toolaufruf für diesen Zug. Dieser Wert gibt den Gesamtprozentsatz der Tools aus dem erwarteten Zug an, die tatsächlich in der erwarteten Reihenfolge aufgerufen wurden.

GoldenExpectationOutcome

JSON-Darstellung 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  }
  // End of list of possible types for union field result.
}
Felder
expectation

object (GoldenExpectation)

Nur Ausgabe. Die Erwartung, die ausgewertet wurde.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Erwartung.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

Nur Ausgabe. Das Ergebnis der Prüfung der semantischen Ähnlichkeit.
toolInvocationResult

object (ToolInvocationResult)

Nur Ausgabe. Das Ergebnis der Überprüfung des Tool-Aufrufs.
Union-Feld result. Das Ergebnis der Erwartung. Für result ist nur einer der folgenden Werte zulässig:
observedToolCall

object (ToolCall)

Nur Ausgabe. Das Ergebnis der Erwartung für den Tool-Aufruf.
observedToolResponse

object (ToolResponse)

Nur Ausgabe. Das Ergebnis der Erwartung der Tool-Antwort.
observedAgentResponse

object (Message)

Nur Ausgabe. Das Ergebnis der Erwartung der Agentenantwort.
observedAgentTransfer

object (AgentTransfer)

Nur Ausgabe. Das Ergebnis der Erwartung der Agentenübertragung.

SemanticSimilarityResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punktzahl 4: Vollständig konsistent Punktzahl 3: Weitgehend konsistent Punktzahl 2: Teilweise konsistent (geringfügige Auslassungen) Punktzahl 1: Weitgehend inkonsistent (erhebliche Auslassungen) Punktzahl 0: Völlig inkonsistent / widersprüchlich
explanation

string

Nur Ausgabe. Die Erklärung für den Wert für die semantische Ähnlichkeit.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Prüfung der semantischen Ähnlichkeit. Dazu wird der Wert mit dem semantic_similarity_success_threshold verglichen. Wenn der Wert gleich oder höher als der Schwellenwert ist, lautet das Ergebnis „Bestanden“. Andernfalls lautet das Ergebnis FAIL.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Der Wert für die semantische Ähnlichkeit. Kann 0, 1, 2, 3 oder 4 sein.

ToolInvocationResult

JSON-Darstellung 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
Felder
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Prüfung des Tool-Aufrufs. Dies wird durch den Vergleich des parameter_correctness_score mit dem Schwellenwert bestimmt. Wenn der Wert gleich oder höher als der Schwellenwert ist, lautet das Ergebnis „Bestanden“. Andernfalls lautet das Ergebnis FAIL.
explanation

string

Nur Ausgabe. Eine Freitext-Erklärung für das Ergebnis des Tool-Aufrufs.

Union-Feld _parameter_correctness_score.

Für _parameter_correctness_score ist nur einer der folgenden Werte zulässig:
parameterCorrectnessScore

number

Nur Ausgabe. Die Korrektheitsbewertung für den Parameteraufruf des Tools. Dies gibt den Prozentsatz der Parameter aus dem erwarteten Tool-Aufruf an, die auch im tatsächlichen Tool-Aufruf vorhanden waren.

HallucinationResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punktzahl 1: Berechtigte Punktzahl 0: Nicht berechtigte Punktzahl –1: Kein Anspruch zur Bewertung
explanation

string

Nur Ausgabe. Die Erklärung für den Halluzinationswert.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Der Halluzinationswert. Kann -1, 0 oder 1 sein.

ToolCallLatency

JSON-Darstellung 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Felder
tool

string

Nur Ausgabe. Der Name des ausgeführten Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName

string

Nur Ausgabe. Der Anzeigename des Tools
startTime

string (Timestamp format)

Nur Ausgabe. Der Beginn der Ausführung des Tool-Aufrufs.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Die Endzeit der Ausführung des Tool-Aufrufs.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionLatency

string (Duration format)

Nur Ausgabe. Die Latenz der Tool-Aufrufausführung.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

OverallToolInvocationResult

JSON-Darstellung 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
Felder
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Prüfung des Tool-Aufrufs. Dies wird durch den Vergleich des tool_invocation_score mit dem overall_tool_invocation_correctness_threshold bestimmt. Wenn der Wert gleich oder höher als der Schwellenwert ist, lautet das Ergebnis „Bestanden“. Andernfalls lautet das Ergebnis FAIL.

Union-Feld _tool_invocation_score.

Für _tool_invocation_score ist nur einer der folgenden Werte zulässig:
toolInvocationScore

number

Die Gesamtbewertung für den Toolaufruf für diesen Turn. Dies gibt den Gesamtprozentsatz der Tools an, die tatsächlich aufgerufen wurden, im Vergleich zu den erwarteten Tools.

EvaluationErrorInfo

JSON-Darstellung 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string
}
Felder
errorType

enum (ErrorType)

Nur Ausgabe. Der Fehlertyp.
errorMessage

string

Nur Ausgabe. Die Fehlermeldung.
sessionId

string

Nur Ausgabe. Die Sitzungs-ID für die Unterhaltung, die den Fehler verursacht hat.

SpanLatency

JSON-Darstellung 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
Felder
type

enum (Type)

Nur Ausgabe. Der Typ des Zeitraums.
displayName

string

Nur Ausgabe. Der Anzeigename des Spans. Gilt für Tool- und Schutzmaßnahmenbereiche.
startTime

string (Timestamp format)

Nur Ausgabe. Die Startzeit des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Die Endzeit des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionLatency

string (Duration format)

Nur Ausgabe. Die Latenz des Spans.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
Union-Feld identifier. Die Kennzeichnung des jeweiligen Artikels basierend auf seinem Typ. Für identifier ist nur einer der folgenden Werte zulässig:
resource

string

Nur Ausgabe. Der Ressourcenname der Guardrail- oder Tool-Spans.
toolset

object (ToolsetTool)

Nur Ausgabe. Die Tool-ID des Toolsets.
model

string

Nur Ausgabe. Der Name des LLM-Spans.
callback

string

Nur Ausgabe. Der Name des Zeitraums für den Nutzer-Callback.

EvaluationExpectationResult

JSON-Darstellung 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
Felder
evaluationExpectation

string

Nur Ausgabe. Die Erwartung an die Bewertung. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

Nur Ausgabe. Der Prompt, der für die Auswertung verwendet wurde.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der erwarteten Bewertung.
explanation

string

Nur Ausgabe. Die Erklärung für das Ergebnis.

ScenarioResult

JSON-Darstellung 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
Felder
conversation

string

Nur Ausgabe. Die Unterhaltung, die im Szenario generiert wurde.
task

string

Nur Ausgabe. Die Aufgabe, die beim Ausführen des Szenarios für dieses Ergebnis verwendet wurde.
userFacts[]

object (UserFact)

Nur Ausgabe. Die Nutzerinformationen, die vom Szenario für dieses Ergebnis verwendet wurden.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

Nur Ausgabe. Das Ergebnis jeder Erwartung.
rubricOutcomes[]

object (ScenarioRubricOutcome)

Nur Ausgabe. Das Ergebnis des Bewertungsschemas.
hallucinationResult[]

object (HallucinationResult)

Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung. Für jede Runde in der Unterhaltung wird ein Halluzinationsergebnis angezeigt.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

Nur Ausgabe. Das Ergebnis der Überprüfung des Aufgabenabschlusses.
toolCallLatencies[]

object (ToolCallLatency)

Nur Ausgabe. Die Latenz der Ausführung jedes Tool-Aufrufs in der Unterhaltung.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

Nur Ausgabe. Das Ergebnis der Prüfung der Nutzerzielerreichung.
spanLatencies[]

object (SpanLatency)

Nur Ausgabe. Die Latenz von Spans in der Unterhaltung.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Nur Ausgabe. Die Ergebnisse der erwarteten Auswertung.

Union-Feld _all_expectations_satisfied.

Für _all_expectations_satisfied ist nur einer der folgenden Werte zulässig:
allExpectationsSatisfied

boolean

Nur Ausgabe. Gibt an, ob alle Erwartungen für diesen Zug erfüllt wurden.

Union-Feld _task_completed.

Für _task_completed ist nur einer der folgenden Werte zulässig:
taskCompleted

boolean

Nur Ausgabe. Gibt an, ob die Aufgabe in dieser Runde erledigt wurde. Dies ist eine Kombination aus allen erfüllten Erwartungen, keinen Halluzinationen und der Erfüllung des Nutzerziels.

ScenarioExpectationOutcome

JSON-Darstellung 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
Felder
expectation

object (ScenarioExpectation)

Nur Ausgabe. Die Erwartung, die ausgewertet wurde.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der ScenarioExpectation.
Union-Feld result. Das Ergebnis der Erwartung. Für result ist nur einer der folgenden Werte zulässig:
observedToolCall

object (ObservedToolCall)

Nur Ausgabe. Der beobachtete Toolaufruf.
observedAgentResponse

object (Message)

Nur Ausgabe. Die beobachtete Antwort des Agents.

ObservedToolCall

JSON-Darstellung 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Felder
toolCall

object (ToolCall)

Nur Ausgabe. Der beobachtete Toolaufruf.
toolResponse

object (ToolResponse)

Nur Ausgabe. Die beobachtete Tool-Antwort.

ScenarioRubricOutcome

JSON-Darstellung 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
Felder
rubric

string

Nur Ausgabe. Das Bewertungsschema, das zur Bewertung des Gesprächs verwendet wurde.
scoreExplanation

string

Nur Ausgabe. Die Antwort des Bewerters auf das Bewertungsschema.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

number

Nur Ausgabe. Die Punktzahl der Unterhaltung im Vergleich zum Bewertungsschema.

TaskCompletionResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punktzahl 1: Aufgabe erledigt Punktzahl 0: Aufgabe nicht erledigt Punktzahl –1: Nutzerziel nicht definiert
explanation

string

Nur Ausgabe. Die Erklärung für den Wert für die Aufgabenerledigung.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Die Punktzahl für die Erledigung der Aufgabe. Kann -1, 0 oder 1 sein

UserGoalSatisfactionResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punkt 1: User Task Satisfied Punkt 0: User Task Not Satisfied Punkt –1: User Task Unspecified
explanation

string

Nur Ausgabe. Die Erklärung für den Zufriedenheitswert der Nutzeraufgabe.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Der Zufriedenheitswert für die Nutzeraufgabe. Kann -1, 0 oder 1 sein.

EvaluationPersona

JSON-Darstellung 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
Felder
name

string

Erforderlich. Die eindeutige ID der Persona. Format: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

Optional. Die Beschreibung der Persona.
displayName

string

Erforderlich. Der Anzeigename der Persona. Eindeutig innerhalb einer App.
personality

string

Erforderlich. Eine Anleitung für den Agenten, wie er sich bei der Bewertung verhalten soll.
speechConfig

object (SpeechConfig)

Optional. Konfiguration für die Stimme der Persona (TTS-Einstellungen).

SpeechConfig

JSON-Darstellung 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
Felder
speakingRate

number

Optional. Die Sprechgeschwindigkeit. 1,0 ist normal. Je niedriger der Wert, desto langsamer (z.B. 0,8) – je höher, desto schneller (z. B. 1.5). Nützlich, um zu testen, wie der Kundenservicemitarbeiter mit schnellen Sprechern umgeht.
environment

enum (BackgroundEnvironment)

Optional. Die simulierte Audio-Umgebung.
voiceId

string

Optional. Die spezifische Sprach-ID/der Akzent, der verwendet werden soll. Beispiel: „en-US-Wavenet-D“ oder „en-GB-Standard-A“

Status

JSON-Darstellung 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Felder
code

integer

Der Statuscode, der idealerweise ein ENUM-Wert von google.rpc.Code ist.
message

string

Eine an Entwickler gerichtete Fehlermeldung, die englischsprachig sein sollte. Jede für Nutzer sichtbare Fehlermeldung sollte lokalisiert und im Feld google.rpc.Status.details gesendet werden. Sie kann auch clientseitig lokalisiert werden.
details[]

object

Eine Auflistung aller Meldungen, die die Fehlerdetails enthalten. Es gibt einen gemeinsamen Satz von Nachrichtentypen, die APIs verwenden können.

Ein Objekt, das Felder eines beliebigen Typs enthält. Ein zusätzliches Feld "@type" enthält einen URI zur Identifizierung des Typs. Beispiel: { "id": 1234, "@type": "types.example.com/standard/id" }.

Beliebig

JSON-Darstellung 
{
  "typeUrl": string,
  "value": string
}
Felder
typeUrl

string

Gibt den Typ der serialisierten Protobuf-Nachricht mit einem URI-Verweis an, der aus einem Präfix, das mit einem Schrägstrich endet, und dem vollständig qualifizierten Typnamen besteht.

Beispiel: type.googleapis.com/google.protobuf.StringValue

Dieser String muss mindestens ein /-Zeichen enthalten. Der Inhalt nach dem letzten / muss der vollständig qualifizierte Name des Typs in kanonischer Form ohne führenden Punkt sein. Schreiben Sie kein Schema für diese URI-Referenzen, damit Clients nicht versuchen, sie zu kontaktieren.

Das Präfix ist beliebig und Protobuf-Implementierungen sollen einfach alles bis zum letzten / (einschließlich) entfernen, um den Typ zu ermitteln. type.googleapis.com/ ist ein häufiges Standardpräfix, das für einige ältere Implementierungen erforderlich ist. Dieses Präfix gibt nicht den Ursprung des Typs an und URIs, die es enthalten, werden voraussichtlich nicht auf Anfragen reagieren.

Alle Typ-URL-Strings müssen gültige URI-Referenzen sein. Für das Textformat gilt die zusätzliche Einschränkung, dass der Inhalt der Referenz nur aus alphanumerischen Zeichen, prozentual codierten Escape-Sequenzen und Zeichen aus der folgenden Menge bestehen darf (ohne die äußeren Backticks): /-.~_!$&()*+,;=. Obwohl wir Prozentcodierungen zulassen, sollten Implementierungen sie nicht dekodieren, um Verwechslungen mit vorhandenen Parsern zu vermeiden. Beispiel: type.googleapis.com%2FFoo sollte abgelehnt werden.

Im ursprünglichen Design von Any wurde die Möglichkeit in Betracht gezogen, einen Dienst zur Typauflösung unter diesen Typ-URLs zu starten. Protobuf hat jedoch nie einen solchen Dienst implementiert und betrachtet das Kontaktieren dieser URLs als problematisch und als potenzielles Sicherheitsproblem. Versuchen Sie nicht, URLs vom Typ „Kontakt“ aufzurufen.
value

string (bytes format)

Enthält eine Protobuf-Serialisierung des Typs, der durch „type_url“ beschrieben wird.

Ein base64-codierter String.

EvaluationMetricsThresholds

JSON-Darstellung 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
Felder
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

Optional. Die Grenzwerte für die Golden-Bewertungsmesswerte.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

Optional. Nicht mehr unterstützt: Verwenden Sie stattdessen golden_hallucination_metric_behavior. Das Verhalten des Halluzinationsmesswerts wird derzeit für Golden Evaluations verwendet.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Optional. Das Verhalten des Messwerts für Halluzinationen bei Golden Evaluations.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Optional. Das Verhalten des Messwerts für Halluzinationen bei Szenariobewertungen.

GoldenEvaluationMetricsThresholds

JSON-Darstellung 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
Felder
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

Optional. Die Schwellenwerte für Messwerte auf Kampagnenebene.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

Optional. Die Grenzwerte für die Messwerte für das Erwartungsniveau.
toolMatchingSettings

object (ToolMatchingSettings)

Optional. Die Einstellungen für den Tool-Abgleich. Ein zusätzlicher Tool-Aufruf ist ein Tool-Aufruf, der in der Ausführung vorhanden ist, aber nicht mit einem Tool-Aufruf in der Golden-Erwartung übereinstimmt.

TurnLevelMetricsThresholds

JSON-Darstellung 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
Felder
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

Optional. Der Channel für semantische Ähnlichkeit, der für die Bewertung verwendet werden soll.

Union-Feld _semantic_similarity_success_threshold.

Für _semantic_similarity_success_threshold ist nur einer der folgenden Werte zulässig:
semanticSimilaritySuccessThreshold

integer

Optional. Der Erfolgsschwellenwert für die semantische Ähnlichkeit. Muss eine Ganzzahl zwischen 0 und 4 sein. Der Standardwert ist >= 3.

Union-Feld _overall_tool_invocation_correctness_threshold.

Für _overall_tool_invocation_correctness_threshold ist nur einer der folgenden Werte zulässig:
overallToolInvocationCorrectnessThreshold

number

Optional. Der Schwellenwert für die korrekte Tool-Aufrufe insgesamt. Muss eine Gleitkommazahl zwischen 0 und 1 sein. Der Standardwert ist 1,0.

ExpectationLevelMetricsThresholds

JSON-Darstellung 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
Felder

Union-Feld _tool_invocation_parameter_correctness_threshold.

Für _tool_invocation_parameter_correctness_threshold ist nur einer der folgenden Werte zulässig:
toolInvocationParameterCorrectnessThreshold

number

Optional. Der Erfolgsschwellenwert für die Richtigkeit einzelner Parameter für den Tool-Aufruf. Muss eine Gleitkommazahl zwischen 0 und 1 sein. Der Standardwert ist 1,0.

ToolMatchingSettings

JSON-Darstellung 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
Felder
extraToolCallBehavior

enum (ExtraToolCallBehavior)

Optional. Verhalten bei zusätzlichen Tool-Aufrufen. Die Standardeinstellung ist FAIL.

EvaluationConfig

JSON-Darstellung 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Felder
inputAudioConfig
(deprecated)

object (InputAudioConfig)

Optional. Konfiguration für die Verarbeitung des Audioeingangs.
outputAudioConfig
(deprecated)

object (OutputAudioConfig)

Optional. Konfiguration zum Generieren der Audioausgabe.
evaluationChannel

enum (EvaluationChannel)

Optional. Der auszuwertende Channel.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Optional. Gibt an, ob bei der Auswertung echte Tool-Aufrufe oder gefälschte Tools verwendet werden sollen.

InputAudioConfig

JSON-Darstellung 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Felder
audioEncoding

enum (AudioEncoding)

Erforderlich. Die Codierung der Audioeingabedaten.
sampleRateHertz

integer

Erforderlich. Die Abtastrate (in Hertz) der Audioeingabedaten.
noiseSuppressionLevel

string

Optional. Gibt an, ob die Rauschunterdrückung für das eingegebene Audio aktiviert werden soll. Verfügbare Werte sind „low“, „moderate“, „high“ und „very_high“.

OutputAudioConfig

JSON-Darstellung 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Felder
audioEncoding

enum (AudioEncoding)

Erforderlich. Die Codierung der Audioausgabedaten.
sampleRateHertz

integer

Erforderlich. Die Abtastrate (in Hertz) der Ausgabedaten.

Tool-Annotationen

Destructive Hint: ❌ | Idempotent Hint: ❌ | Read Only Hint: ❌ | Open World Hint: ❌