MCP Tools Reference: ces.googleapis.com

Tool: get_evaluation

Ruft Details zur angegebenen Auswertung ab.

Das folgende Codebeispiel zeigt, wie Sie mit curl das MCP-Tool get_evaluation aufrufen.

Curl-Anfrage 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "get_evaluation",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Eingabeschema

Anfragenachricht für EvaluationService.GetEvaluation.

GetEvaluationRequest

JSON-Darstellung 
{
  "name": string
}
Felder
name

string

Erforderlich. Der Ressourcenname der abzurufenden Bewertung.

Ausgabeschema

Eine Evaluierung umfasst alle Informationen, die zum Simulieren und Bewerten eines Agenten erforderlich sind.

Bewertung

JSON-Darstellung 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
Felder
name

string

ID. Die eindeutige Kennung dieser Auswertung. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

Erforderlich. Benutzerdefinierter Anzeigename der Auswertung. Eindeutig innerhalb einer App.
description

string

Optional. Benutzerdefinierte Beschreibung der Auswertung.
tags[]

string

Optional. Benutzerdefinierte Tags zum Kategorisieren der Auswertung.
evaluationDatasets[]

string

Nur Ausgabe. Liste der Bewertungs-Datasets, zu denen die Bewertung gehört. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung der Bewertung.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
createdBy

string

Nur Ausgabe. Der Nutzer, der die Auswertung erstellt hat.
updateTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel der letzten Aktualisierung der Bewertung.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
lastUpdatedBy

string

Nur Ausgabe. Der Nutzer, der die Auswertung zuletzt aktualisiert hat.
evaluationRuns[]

string

Nur Ausgabe. Die EvaluationRuns, mit denen diese Evaluation verknüpft ist.
etag

string

Nur Ausgabe. Etag, das verwendet wird, um sicherzustellen, dass sich das Objekt während eines Read-Modify-Write-Vorgangs nicht geändert hat. Wenn das ETag leer ist, werden alle gleichzeitigen Änderungen durch das Update überschrieben.
aggregatedMetrics

object (AggregatedMetrics)

Nur Ausgabe. Die aggregierten Messwerte für diese Auswertung über alle Läufe hinweg.
lastCompletedResult

object (EvaluationResult)

Nur Ausgabe. Das letzte Bewertungsergebnis für diese Bewertung.
invalid

boolean

Nur Ausgabe. Gibt an, ob die Auswertung ungültig ist. Das kann passieren, wenn in einer Auswertung auf ein Tool, Toolset oder einen Agent verwiesen wird, das bzw. der inzwischen gelöscht wurde.
lastTenResults[]

object (EvaluationResult)

Nur Ausgabe. Die letzten 10 Bewertungsergebnisse für diese Bewertung. Dieses Feld wird nur ausgefüllt, wenn „include_last_ten_results“ in „ListEvaluationsRequest“ oder „GetEvaluationRequest“ auf „true“ gesetzt ist.
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

Optional. Überschreibt die Messwertschwellenwerte für diese spezifische Bewertung.
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

Optional. Überschreibt die Messwertekonfiguration für diese spezifische Bewertung.
Union-Feld inputs. Für die Eingaben für die Auswertung inputs ist nur einer der folgenden Werte zulässig:
golden

object (Golden)

Optional. Die zu bewertenden goldenen Schritte.
scenario

object (Scenario)

Optional. Die Konfiguration für ein Szenario.

Golden

JSON-Darstellung 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
Felder
turns[]

object (GoldenTurn)

Erforderlich. Die Anzahl der goldenen Turns, die zum Wiederholen einer goldenen Unterhaltung erforderlich sind. Die maximal zulässige Anzahl von Zügen beträgt 100.
evaluationExpectations[]

string

Optional. Die Erwartungen für die Bewertung, anhand derer das wiedergegebene Gespräch bewertet werden soll. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

JSON-Darstellung 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior)
}
Felder
steps[]

object (Step)

Erforderlich. Die Schritte, die zum Wiederholen einer goldenen Unterhaltung erforderlich sind.
rootSpan

object (Span)

Optional. Der Stamm-Spanne des goldenen Turns für die Verarbeitung und Verwaltung von Audioinformationen. Die URI für die Audioinhalte muss Audioinhalte mit einer Abtastrate von 16 kHz enthalten.
turnLevelMetricsThresholdsOverride

object (TurnLevelMetricsThresholds)

Optional. Überschreibungen für Messwertgrenzwerte auf Turn-Ebene.
hallucinationMetricBehaviorOverride

enum (HallucinationMetricBehavior)

Optional. Überschreiben für das Verhalten des Messwerts für Halluzinationen auf Turn-Ebene.

Schritt

JSON-Darstellung 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
Felder
Union-Feld step. Der auszuführende Schritt. Für step ist nur einer der folgenden Werte zulässig:
userInput

object (SessionInput)

Optional. Nutzereingabe für die Unterhaltung.
agentTransfer

object (AgentTransfer)

Optional. Leiten Sie die Unterhaltung an einen anderen Kundenservicemitarbeiter weiter.
expectation

object (GoldenExpectation)

Optional. Führt eine Erwartung für den aktuellen Zug aus.

SessionInput

JSON-Darstellung 
{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
Felder
willContinue

boolean

Optional. Ein Flag, das angibt, ob die aktuelle Nachricht ein Fragment einer größeren Eingabe in der bidirektionalen Streaming-Sitzung ist.

Wenn true festgelegt ist, verschiebt der Agent die Verarbeitung, bis er eine nachfolgende Nachricht mit will_continue = false empfängt oder das System einen Endpunkt in der Audioeingabe erkennt.

HINWEIS: Dieses Feld gilt nicht für Audio- und DTMF-Eingaben, da diese immer automatisch auf Grundlage des Endpunkt-Signals verarbeitet werden.
Union-Feld input_type. Der Typ der Eingabe. Für input_type ist nur einer der folgenden Werte zulässig:
text

string

Optional. Textdaten vom Endnutzer.
dtmf

string

Optional. DTMF-Ziffern vom Endnutzer.
audio

string (bytes format)

Optional. Audiodaten des Endnutzers.

Ein base64-codierter String.
toolResponses

object (ToolResponses)

Optional. Ausführungsergebnisse für die Tool-Aufrufe vom Client.
image

object (Image)

Optional. Bilddaten vom Endnutzer.
blob

object (Blob)

Optional. Blob-Daten vom Endnutzer.
variables

object (Struct format)

Optional. Kontextbezogene Variablen für die Sitzung, nach Namen sortiert. Der CES-Kundenservicemitarbeiter verwendet nur Variablen, die in der App deklariert sind.

Nicht erkannte Variablen werden weiterhin als zusätzliche Sitzungsparameter an den [Dialogflow-Agent][Agent.RemoteDialogflowAgent] gesendet.
event

object (Event)

Optional. Eingabe von Ereignissen

ToolResponses

JSON-Darstellung 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
Felder
toolResponses[]

object (ToolResponse)

Optional. Die Liste der Ergebnisse der Tool-Ausführung.

ToolResponse

JSON-Darstellung 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Felder
id

string

Optional. Die ID zum Abgleich des tool call, auf den sich die Antwort bezieht.
displayName

string

Nur Ausgabe. Anzeigename des Tools.
response

object (Struct format)

Erforderlich. Das Ergebnis der Tool-Ausführung im JSON-Objektformat. Verwenden Sie den Schlüssel „output“, um die Tool-Antwort anzugeben, und den Schlüssel „error“, um Fehlerdetails anzugeben (falls vorhanden). Wenn die Schlüssel „output“ und „error“ nicht angegeben sind, wird die gesamte „response“ als Ergebnis der Tool-Ausführung behandelt.
parentToolCallId

string

Nur Ausgabe. Die ID des Tool-Aufrufs, der diesen Aufruf verursacht hat, wenn er von einem untergeordneten Agenten im Namen eines übergeordneten Aufrufs ausgegeben wurde. Leer für Aufrufe der obersten Ebene. Ermöglicht es einem Client, die Arbeit eines untergeordneten Agents unter dem Aufruf zu gruppieren, der ihn gestartet hat, anstatt jeden Schritt als gleichgeordnetes Element darzustellen.
agentName

string

Nur Ausgabe. Ein menschenlesbarer Name des KI-Agenten, der diesen Aufruf ausgegeben hat, z.B. „Contract Architect“. Leer, wenn der Root-Agent die Anfrage gestellt hat.
Union-Feld tool_identifier. Die Kennung des Tools, das ausgeführt wurde. Es kann sich entweder um ein dauerhaftes Tool oder ein Tool aus einem Toolset handeln. Für tool_identifier ist nur einer der folgenden Werte zulässig:
tool

string

Optional. Der Name des auszuführenden Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Optional. Das Toolset-Tool, das ausgeführt wurde.

ToolsetTool

JSON-Darstellung 
{
  "toolset": string,
  "toolId": string
}
Felder
toolset

string

Erforderlich. Der Ressourcenname des Toolsets, aus dem dieses Tool abgeleitet wird. Format: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Optional. Die Tool-ID, nach der die Tools gefiltert werden sollen, um das Schema abzurufen.

Struct

JSON-Darstellung 
{
  "fields": {
    string: value,
    ...
  }
}
Felder
fields

map (key: string, value: value (Value format))

Ungeordnete Zuordnung von dynamisch typisierten Werten.

Ein Objekt, das eine Liste von "key": value-Paaren enthält. Beispiel: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

JSON-Darstellung 
{
  "key": string,
  "value": value
}
Felder
key

string
value

value (Value format)

Wert

JSON-Darstellung 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Felder
Union-Feld kind. Die Art des Werts. Für kind ist nur einer der folgenden Werte zulässig:
nullValue

null

Stellt ein JSON-null dar.
numberValue

number

Stellt eine JSON-Zahl dar. Darf nicht NaN, Infinity oder -Infinity sein, da diese in JSON nicht unterstützt werden. Auch große Int64-Werte können nicht dargestellt werden, da das JSON-Format sie in seinem Zahlentyp generell nicht unterstützt.
stringValue

string

Stellt einen JSON-String dar.
boolValue

boolean

Stellt einen booleschen JSON-Wert dar (true- oder false-Literal in JSON).
structValue

object (Struct format)

Stellt ein JSON-Objekt dar.
listValue

array (ListValue format)

Stellt ein JSON-Array dar.

ListValue

JSON-Darstellung 
{
  "values": [
    value
  ]
}
Felder
values[]

value (Value format)

Wiederkehrendes Feld mit dynamisch typisierten Werten.

Bild

JSON-Darstellung 
{
  "mimeType": string,
  "data": string
}
Felder
mimeType

string

Erforderlich. Der IANA-Standard-MIME-Typ der Quelldaten. Unterstützte Bildtypen: * image/png * image/jpeg * image/webp
data

string (bytes format)

Erforderlich. Rohbyte des Bildes.

Ein base64-codierter String.

Blob

JSON-Darstellung 
{
  "mimeType": string,
  "data": string
}
Felder
mimeType

string

Erforderlich. Der IANA-Standard-MIME-Typ der Quelldaten.
data

string (bytes format)

Erforderlich. Rohbyte des Blobs.

Ein base64-codierter String.

Ereignis

JSON-Darstellung 
{
  "event": string
}
Felder
event

string

Erforderlich. Der Name des Ereignisses.

AgentTransfer

JSON-Darstellung 
{
  "targetAgent": string,
  "displayName": string
}
Felder
targetAgent

string

Erforderlich. Der Agent, an den die Unterhaltung übertragen wird. Der Agent übernimmt die Unterhaltung ab diesem Punkt. Format: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

Nur Ausgabe. Anzeigename des KI-Agenten.

GoldenExpectation

JSON-Darstellung 
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}
Felder
note

string

Optional. Eine Anmerkung zu dieser Anforderung, die beim Melden hilfreich ist, wenn bestimmte Prüfungen fehlschlagen. Beispiel: "Check_Payment_Tool_Called".
skipEvaluation

boolean

Optional. Wenn auf „true“ gesetzt, wird diese bestimmte Erwartung nicht ausgewertet.
expectationLevelMetricsThresholdsOverride

object (ExpectationLevelMetricsThresholds)

Optional. Überschreibt Messwerte auf Schrittebene.
agentResponseSemanticSimilarityMetricsConfigOverride

object (SemanticSimilarityMetricsConfig)

Optional. Überschreibungen für Messwerte zur semantischen Ähnlichkeit von Agentenantworten.
agentResponseHallucinationMetricsConfigOverride

object (HallucinationMetricsConfig)

Optional. Überschreibungen für Messwerte für Halluzinationen in Agent-Antworten.
comparisonType

enum (ComparisonType)

Optional. Der Vergleichstyp, der für die Erwartungsprüfung verwendet werden soll.
Union-Feld condition. Die tatsächlich durchzuführende Prüfung. Für condition ist nur einer der folgenden Werte zulässig:
toolCall

object (ToolCall)

Optional. Prüfen Sie, ob ein bestimmtes Tool mit den Parametern aufgerufen wurde.
toolResponse

object (ToolResponse)

Optional. Prüfen Sie, ob ein bestimmtes Tool die erwartete Antwort gegeben hat.
agentResponse

object (Message)

Optional. Prüfen Sie, ob der KI-Agent mit der richtigen Antwort reagiert hat. Die Rolle „Agent“ ist impliziert.
agentTransfer

object (AgentTransfer)

Optional. Prüfen Sie, ob der Agent die Unterhaltung an einen anderen Agenten weitergeleitet hat.
updatedVariables

object (Struct format)

Optional. Prüfen Sie, ob der Agent die Sitzungsvariablen auf die erwarteten Werte aktualisiert hat. Wird auch verwendet, um Agent-Variablen-Updates für Golden Evals zu erfassen.
mockToolResponse

object (ToolResponse)

Optional. Die Tool-Antwort auf den Mock mit den angegebenen relevanten Parametern. Alle nicht angegebenen Parameter werden vom LLM halluziniert.
noToolCalls

boolean

Optional. Prüfen Sie, ob in diesem Zug keine Tools aufgerufen wurden.

ToolCall

JSON-Darstellung 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Felder
id

string

Optional. Die eindeutige ID des Tool-Aufrufs. Wenn das Feld ausgefüllt ist, sollte der Client das Ausführungsergebnis mit der ID zum Abgleich in ToolResponse zurückgeben.
displayName

string

Nur Ausgabe. Anzeigename des Tools.
args

object (Struct format)

Optional. Die Eingabeparameter und ‑werte für das Tool im JSON-Objektformat.
parentToolCallId

string

Nur Ausgabe. Die ID des Tool-Aufrufs, der diesen Aufruf verursacht hat, wenn er von einem untergeordneten Agenten im Namen eines übergeordneten Aufrufs ausgegeben wurde. Leer für Aufrufe der obersten Ebene. Ermöglicht es einem Client, die Arbeit eines untergeordneten Agents unter dem Aufruf zu gruppieren, der ihn gestartet hat, anstatt jeden Schritt als gleichgeordnetes Element darzustellen.
agentName

string

Nur Ausgabe. Ein menschenlesbarer Name des KI-Agenten, der diesen Aufruf ausgegeben hat, z.B. „Contract Architect“. Leer, wenn der Root-Agent die Anfrage gestellt hat.
Union-Feld tool_identifier. Die Kennung des auszuführenden Tools. Es kann sich entweder um ein dauerhaftes Tool oder ein Tool aus einem Toolset handeln. Für tool_identifier ist nur einer der folgenden Werte zulässig:
tool

string

Optional. Der Name des auszuführenden Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Optional. Das Toolset-Tool, das ausgeführt werden soll.

Nachricht

JSON-Darstellung 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
Felder
role

string

Optional. Die Rolle in der Unterhaltung, z.B. „user“ (Nutzer) oder „agent“ (Agent).
chunks[]

object (Chunk)

Optional. Inhalt der Nachricht als Reihe von Chunks.
eventTime

string (Timestamp format)

Optional. Zeitstempel für das Senden oder Empfangen der Nachricht. Sollte nicht verwendet werden, wenn die Nachricht Teil einer example ist.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30".

Chunk

JSON-Darstellung 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
Felder
Union-Feld data. Daten in Blöcke aufteilen. Für data ist nur einer der folgenden Werte zulässig:
text

string

Optional. Textdaten.
transcript

string

Optional. Transkript, das mit dem Audio verknüpft ist.
blob

object (Blob)

Optional. Blob-Daten.
payload

object (Struct format)

Optional. Benutzerdefinierte Nutzlastdaten.
image

object (Image)

Optional. Bilddaten.
toolCall

object (ToolCall)

Optional. Anfrage zur Toolausführung.
toolResponse

object (ToolResponse)

Optional. Antwort auf die Toolausführung.
agentTransfer

object (AgentTransfer)

Optional. Ereignis für die Übertragung von Agenten.
updatedVariables

object (Struct format)

Ein Struct stellt Variablen dar, die in der Unterhaltung aktualisiert wurden, wobei die Variablennamen als Schlüssel verwendet werden.
defaultVariables

object (Struct format)

Eine Struktur stellt Standardvariablen zu Beginn der Unterhaltung dar, die nach Variablennamen sortiert sind.

Zeitstempel

JSON-Darstellung 
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Stellt Sekunden der UTC-Zeit seit Unix-Epoche 1970-01-01T00:00:00Z dar. Muss einschließlich zwischen -62135596800 und 253402300799 liegen (entspricht 0001-01-01T00:00:00Z bis 9999-12-31T23:59:59Z).
nanos

integer

Nicht negative Sekundenbruchteile Nanosekunden-Auflösung. Dieses Feld enthält den Nanosekundenanteil der Dauer und ist keine Alternative zu Sekunden. Negative Sekundenwerte mit Bruchteilen müssen weiterhin nicht negative Nano-Werte haben, die zeitlich vorwärts gezählt werden. Muss zwischen 0 und 999.999.999 liegen (einschließlich).

ExpectationLevelMetricsThresholds

JSON-Darstellung 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
Felder

Union-Feld _tool_invocation_parameter_correctness_threshold.

Für _tool_invocation_parameter_correctness_threshold ist nur einer der folgenden Werte zulässig:
toolInvocationParameterCorrectnessThreshold

number

Optional. Der Erfolgsschwellenwert für die Richtigkeit einzelner Parameter für den Toolaufruf. Muss eine Gleitkommazahl zwischen 0 und 1 sein. Der Standardwert ist 1,0.

SemanticSimilarityMetricsConfig

JSON-Darstellung 
{
  "enableSemanticSimilarityMetrics": boolean
}
Felder
enableSemanticSimilarityMetrics

boolean

Optional. Gibt an, ob semantische Ähnlichkeitsmesswerte für die Bewertung berechnet werden sollen.

HallucinationMetricsConfig

JSON-Darstellung 
{
  "enableHallucinationMetrics": boolean
}
Felder
enableHallucinationMetrics

boolean

Optional. Gibt an, ob Halluzinationsmesswerte für die Bewertung berechnet werden sollen.

Span

JSON-Darstellung 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
Felder
name

string

Nur Ausgabe. Der Name des Zeitraums.
startTime

string (Timestamp format)

Nur Ausgabe. Die Startzeit des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Die Endzeit des Spans.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
duration

string (Duration format)

Nur Ausgabe. Die Dauer des Zeitraums.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
attributes

object (Struct format)

Nur Ausgabe. Schlüssel/Wert-Attribute, die dem Bereich zugeordnet sind.
childSpans[]

object (Span)

Nur Ausgabe. Die untergeordneten Spannen, die unter dieser Spanne verschachtelt sind.

Dauer

JSON-Darstellung 
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Vorzeichenbehaftete Sekunden des Zeitraums. Muss zwischen -315.576.000.000 und +315.576.000.000 (einschließlich) liegen. Hinweis: Diese Grenzwerte werden so berechnet: 60 Sek./Min. × 60 Min./Std. × 24 Std./Tag × 365,25 Tage/Jahr × 10.000 Jahre
nanos

integer

Signierte Sekundenbruchteile mit Nanosekunden-Auflösung des Zeitraums. Dauern von weniger als einer Sekunde werden mit dem Feld seconds = 0 und einem positiven oder negativen Feld nanos dargestellt. Bei Zeiträumen von einer Sekunde oder mehr muss ein Wert ungleich null für das Feld nanos dasselbe Vorzeichen wie das Feld seconds haben. Muss zwischen -999.999.999 und +999.999.999 liegen (einschließlich).

TurnLevelMetricsThresholds

JSON-Darstellung 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
Felder
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

Optional. Der semantische Ähnlichkeitschannel, der für die Bewertung verwendet werden soll.

Union-Feld _semantic_similarity_success_threshold.

Für _semantic_similarity_success_threshold ist nur einer der folgenden Werte zulässig:
semanticSimilaritySuccessThreshold

integer

Optional. Der Erfolgsschwellenwert für die semantische Ähnlichkeit. Muss eine Ganzzahl zwischen 0 und 4 sein. Der Standardwert ist >= 3.

Union-Feld _overall_tool_invocation_correctness_threshold.

Für _overall_tool_invocation_correctness_threshold ist nur einer der folgenden Werte zulässig:
overallToolInvocationCorrectnessThreshold

number

Optional. Der Schwellenwert für die Richtigkeit des Toolaufrufs insgesamt. Muss eine Gleitkommazahl zwischen 0 und 1 sein. Der Standardwert ist 1,0.

Szenario

JSON-Darstellung 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (ScenarioExecutionMode)
}
Felder
task

string

Erforderlich. Die Aufgabe, auf die sich das Szenario bezieht.
userFacts[]

object (UserFact)

Optional. Die vom Szenario zu verwendenden Nutzerfakten.
maxTurns

integer

Optional. Die maximale Anzahl der zu simulierenden Züge. Der maximal zulässige Wert ist 100. Der Standardwert ist 100.
rubrics[]

string

Erforderlich. Die Rubriken, anhand derer das Szenario bewertet wird.
scenarioExpectations[]

object (ScenarioExpectation)

Erforderlich. Die ScenarioExpectations zum Bewerten der von der Nutzersimulation erstellten Unterhaltung.
variableOverrides

object (Struct format)

Optional. Variablen / Sitzungsparameter als Kontext für die Sitzung, nach Variablennamen sortiert. Mit den Mitgliedern dieser Struktur werden alle vom System festgelegten Standardwerte überschrieben.

Diese unterscheiden sich von Nutzerfakten, die dem Nutzer bekannt sind. Variablen sind Parameter, die dem Agent bekannt sind, z.B. die vom Telefonsystem übergebene MDN (Telefonnummer).
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

Optional. Verworfen Verwenden Sie stattdessen user_goal_behavior.
userGoalBehavior

enum (UserGoalBehavior)

Optional. Das erwartete Verhalten des Nutzerziels.
evaluationExpectations[]

string

Optional. Die Erwartungen an die Bewertung, anhand derer die von der Simulation erstellte Unterhaltung bewertet wird. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode

enum (ScenarioExecutionMode)

Optional. Der Ausführungsmodus für Szenariobewertungen.

UserFact

JSON-Darstellung 
{
  "name": string,
  "value": string
}
Felder
name

string

Erforderlich. Der Name der Nutzerinformation.
value

string

Erforderlich. Der Wert der Nutzerinformation.

ScenarioExpectation

JSON-Darstellung 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
Felder
Union-Feld expectation. Die Erwartung, die von der Simulation erstellte Unterhaltung zu bewerten. Für expectation ist nur einer der folgenden Werte zulässig:
toolExpectation

object (ToolExpectation)

Optional. Das zu bewertende Tool-Aufruf- und Antwortpaar.
agentResponse

object (Message)

Optional. Die zu bewertende Antwort des KI-Agenten.

ToolExpectation

JSON-Darstellung 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
Felder
expectedToolCall

object (ToolCall)

Erforderlich. Der erwartete Toolaufruf mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM halluziniert.
mockToolResponse

object (ToolResponse)

Erforderlich. Die Tool-Antwort auf den Mock mit den angegebenen relevanten Parametern. Alle nicht angegebenen Parameter werden vom LLM halluziniert.

AggregatedMetrics

JSON-Darstellung 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
Felder
metricsByAppVersion[]

object (MetricsByAppVersion)

Nur Ausgabe. Zusammengefasste Messwerte, gruppiert nach App-Versions-ID.

MetricsByAppVersion

JSON-Darstellung 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
Felder
appVersionId

string

Nur Ausgabe. Die App-Versions-ID.
toolMetrics[]

object (ToolMetrics)

Nur Ausgabe. Messwerte für jedes Tool in dieser App-Version.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Nur Ausgabe. Messwerte für die semantische Ähnlichkeit in dieser App-Version.
hallucinationMetrics[]

object (HallucinationMetrics)

Nur Ausgabe. Messwerte für Halluzinationen in dieser App-Version.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Nur Ausgabe. Messwerte für die Latenz von Tool-Aufrufen in dieser App-Version.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Nur Ausgabe. Messwerte für die Zuglatenz in dieser App-Version.
passCount

integer

Nur Ausgabe. Die Anzahl der bestandenen Auswertungen.
failCount

integer

Nur Ausgabe. Die Anzahl der fehlgeschlagenen Auswertungen.
metricsByTurn[]

object (MetricsByTurn)

Nur Ausgabe. Messwerte, die pro Zug in dieser App-Version zusammengefasst werden.

ToolMetrics

JSON-Darstellung 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
Felder
tool

string

Nur Ausgabe. Der Name des Tools.
passCount

integer

Nur Ausgabe. Die Anzahl der Durchläufe des Tools.
failCount

integer

Nur Ausgabe. Die Anzahl der fehlgeschlagenen Ausführungen des Tools.

SemanticSimilarityMetrics

JSON-Darstellung 
{
  "score": number
}
Felder
score

number

Nur Ausgabe. Der durchschnittliche Wert für die semantische Ähnlichkeit (0–4).

HallucinationMetrics

JSON-Darstellung 
{
  "score": number
}
Felder
score

number

Nur Ausgabe. Der durchschnittliche Halluzinationswert (0 bis 1).

ToolCallLatencyMetrics

JSON-Darstellung 
{
  "tool": string,
  "averageLatency": string
}
Felder
tool

string

Nur Ausgabe. Der Name des Tools.
averageLatency

string (Duration format)

Nur Ausgabe. Die durchschnittliche Latenz der Toolaufrufe.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

TurnLatencyMetrics

JSON-Darstellung 
{
  "averageLatency": string
}
Felder
averageLatency

string (Duration format)

Nur Ausgabe. Die durchschnittliche Latenz der Unterhaltungen.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

MetricsByTurn

JSON-Darstellung 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
Felder
turnIndex

integer

Nur Ausgabe. Der nullbasierte Index der Kurve.
toolMetrics[]

object (ToolMetrics)

Nur Ausgabe. Messwerte für jedes Tool in diesem Zug.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Nur Ausgabe. Messwerte für die semantische Ähnlichkeit in diesem Turn.
hallucinationMetrics[]

object (HallucinationMetrics)

Nur Ausgabe. Messwerte für Halluzinationen in dieser Antwort.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Nur Ausgabe. Messwerte für die Latenz von Tool-Aufrufen in diesem Turn.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Nur Ausgabe. Messwerte für die Antwortlatenz in diesem Zug.

EvaluationResult

JSON-Darstellung 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
Felder
name

string

ID. Die eindeutige Kennung des Auswertungsergebnisses. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

Erforderlich. Anzeigename des Bewertungsergebnisses. Eindeutig innerhalb einer Bewertung. Standardmäßig hat sie das folgende Format: „ Ergebnis – “.
createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung des Bewertungsergebnisses.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
evaluationStatus

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn „execution_state“ COMPLETE ist.
evaluationRun

string

Nur Ausgabe. Der Bewertungsdurchlauf, der dieses Ergebnis erzeugt hat. Format: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

Nur Ausgabe. Die Persona, die zum Generieren der Unterhaltung für das Bewertungsergebnis verwendet wurde.
errorInfo

object (EvaluationErrorInfo)

Nur Ausgabe. Fehlerinformationen für das Bewertungsergebnis.
error
(deprecated)

object (Status)

Nur Ausgabe. Nicht mehr unterstützt: Verwenden Sie stattdessen error_info. Bei der Ausführung sind Fehler aufgetreten.
initiatedBy

string

Nur Ausgabe. Der Nutzer, der den Testlauf initiiert hat, der zu diesem Ergebnis geführt hat.
appVersion

string

Nur Ausgabe. Die App-Version, die zum Generieren der Konversation verwendet wurde, die zu diesem Ergebnis geführt hat. Format: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Nur Ausgabe. Der Anzeigename des app_version, für den die Auswertung durchgeführt wurde.
changelog

string

Nur Ausgabe. Das Änderungsprotokoll der App-Version, für die die Überprüfung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer die Auswertung für die aktuelle Version oder den aktuellen Entwurf ausführt.
changelogCreateTime

string (Timestamp format)

Nur Ausgabe. Die Erstellungszeit des Änderungsprotokolls der App-Version, für die die Überprüfung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer die Auswertung für die aktuelle Version oder den aktuellen Entwurf ausführt.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionState

enum (ExecutionState)

Nur Ausgabe. Der Status der Ausführung des Bewertungsergebnisses.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Nur Ausgabe. Die Auswertungsschwellen für das Ergebnis.
config

object (EvaluationConfig)

Nur Ausgabe. Die Konfiguration, die im Auswertungsdurchlauf verwendet wurde, der zu diesem Ergebnis geführt hat.
goldenRunMethod

enum (GoldenRunMethod)

Nur Ausgabe. Die Methode, mit der die Golden-Bewertung durchgeführt wurde.
rootSpan

object (Span)

Nur Ausgabe. Der Stamm-Span der Ausführung der Auswertung, der Informationen zu jedem Schritt der Auswertung enthält.
outcomeMetadata

enum (OutcomeMetadata)

Nur Ausgabe. Die Ergebnis-Metadaten der Bewertung. Wird nur ausgefüllt, wenn „execution_state“ COMPLETE ist.
Union-Feld result. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn der execution_state COMPLETED ist. Für result ist nur einer der folgenden Werte zulässig:
goldenResult

object (GoldenResult)

Nur Ausgabe. Das Ergebnis einer Golden-Evaluierung.
scenarioResult

object (ScenarioResult)

Nur Ausgabe. Das Ergebnis einer Szenariobewertung.

GoldenResult

JSON-Darstellung 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
Felder
turnReplayResults[]

object (TurnReplayResult)

Nur Ausgabe. Das Ergebnis der Ausführung jeder Runde der Golden-Unterhaltung.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Nur Ausgabe. Die Ergebnisse der erwarteten Auswertung.

TurnReplayResult

JSON-Darstellung 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
Felder
conversation

string

Nur Ausgabe. Die Unterhaltung, die für diesen Zug generiert wurde.
expectationOutcome[]

object (GoldenExpectationOutcome)

Nur Ausgabe. Das Ergebnis jeder Erwartung.
hallucinationResult

object (HallucinationResult)

Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung.
toolInvocationScore
(deprecated)

number

Nur Ausgabe. Verworfen Verwenden Sie stattdessen „OverallToolInvocationResult“.
turnLatency

string (Duration format)

Nur Ausgabe. Dauer des Zugs.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
toolCallLatencies[]

object (ToolCallLatency)

Nur Ausgabe. Die Latenz jedes Tool-Aufrufs in der Runde.
semanticSimilarityResult

object (SemanticSimilarityResult)

Nur Ausgabe. Das Ergebnis der Prüfung der semantischen Ähnlichkeit.
overallToolInvocationResult

object (OverallToolInvocationResult)

Nur Ausgabe. Das Ergebnis der Prüfung des gesamten Tool-Aufrufs.
errorInfo

object (EvaluationErrorInfo)

Nur Ausgabe. Informationen zum Fehler, der während dieses Zuges aufgetreten ist.
spanLatencies[]

object (SpanLatency)

Nur Ausgabe. Die Latenz von Spans im Turn.

Union-Feld _tool_ordered_invocation_score.

Für _tool_ordered_invocation_score ist nur einer der folgenden Werte zulässig:
toolOrderedInvocationScore

number

Nur Ausgabe. Die Gesamtbewertung für den Toolaufruf für diesen Zug. Dies gibt den Gesamtprozentsatz der Tools an, die im erwarteten Zug tatsächlich in der erwarteten Reihenfolge aufgerufen wurden.

GoldenExpectationOutcome

JSON-Darstellung 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}
Felder
expectation

object (GoldenExpectation)

Nur Ausgabe. Die Erwartung, die ausgewertet wurde.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Erwartung.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

Nur Ausgabe. Das Ergebnis der Prüfung der semantischen Ähnlichkeit.
toolInvocationResult

object (ToolInvocationResult)

Nur Ausgabe. Das Ergebnis der Überprüfung des Tool-Aufrufs.
Union-Feld result. Das Ergebnis der Erwartung. Für result ist nur einer der folgenden Werte zulässig:
observedToolCall

object (ToolCall)

Nur Ausgabe. Das Ergebnis der Erwartung des Tool-Aufrufs.
observedToolResponse

object (ToolResponse)

Nur Ausgabe. Das Ergebnis der Erwartung der Tool-Antwort.
observedAgentResponse

object (Message)

Nur Ausgabe. Das Ergebnis der Erwartung der Agentenantwort.
observedAgentTransfer

object (AgentTransfer)

Nur Ausgabe. Das Ergebnis der Erwartung der Agentenübertragung.
observedPayload

object (Struct format)

Nur Ausgabe. Eine beobachtete benutzerdefinierte Nutzlast. Für benutzerdefinierte Nutzlasten gibt es keine Erwartungen. Dieser Wert wird nur für die Berechnung von Messwerten verwendet. Das Ergebnis ist immer SKIPPED.

SemanticSimilarityResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punktzahl 4: Vollständig konsistent Punktzahl 3: Weitgehend konsistent Punktzahl 2: Teilweise konsistent (geringfügige Auslassungen) Punktzahl 1: Weitgehend inkonsistent (erhebliche Auslassungen) Punktzahl 0: Völlig inkonsistent / widersprüchlich
explanation

string

Nur Ausgabe. Die Erklärung für den Wert für die semantische Ähnlichkeit.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Prüfung der semantischen Ähnlichkeit. Dies wird durch den Vergleich des Werts mit dem semantic_similarity_success_threshold bestimmt. Wenn der Wert gleich oder höher als der Schwellenwert ist, lautet das Ergebnis „BESTANDEN“. Andernfalls lautet das Ergebnis FAIL.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Der semantische Ähnlichkeitswert. Kann 0, 1, 2, 3 oder 4 sein.

ToolInvocationResult

JSON-Darstellung 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
Felder
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Überprüfung des Tool-Aufrufs. Dies wird durch den Vergleich des parameter_correctness_score mit dem Schwellenwert bestimmt. Wenn der Wert gleich oder höher als der Schwellenwert ist, lautet das Ergebnis „BESTANDEN“. Andernfalls lautet das Ergebnis FAIL.
explanation

string

Nur Ausgabe. Eine Freitext-Erklärung für das Ergebnis des Tool-Aufrufs.

Union-Feld _parameter_correctness_score.

Für _parameter_correctness_score ist nur einer der folgenden Werte zulässig:
parameterCorrectnessScore

number

Nur Ausgabe. Die Korrektheitsquote für den Parameter für den Toolaufruf. Dies gibt den Prozentsatz der Parameter aus dem erwarteten Tool-Aufruf an, die auch im tatsächlichen Tool-Aufruf vorhanden waren.

HallucinationResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punktzahl 1: Berechtigte Punktzahl 0: Nicht berechtigte Punktzahl –1: Kein Anspruch zur Bewertung
explanation

string

Nur Ausgabe. Die Erklärung für den Halluzinationswert.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Der Halluzinationswert. Kann -1, 0 oder 1 sein.

ToolCallLatency

JSON-Darstellung 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Felder
tool

string

Nur Ausgabe. Der Name des ausgeführten Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName

string

Nur Ausgabe. Der Anzeigename des Tools
startTime

string (Timestamp format)

Nur Ausgabe. Der Beginn der Ausführung des Toolaufrufs.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Die Endzeit der Ausführung des Tool-Aufrufs.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionLatency

string (Duration format)

Nur Ausgabe. Die Latenz der Toolaufrufausführung.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

OverallToolInvocationResult

JSON-Darstellung 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
Felder
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Überprüfung des Tool-Aufrufs. Dies wird durch den Vergleich des tool_invocation_score mit dem overall_tool_invocation_correctness_threshold bestimmt. Wenn der Wert gleich oder höher als der Schwellenwert ist, lautet das Ergebnis „BESTANDEN“. Andernfalls lautet das Ergebnis FAIL.

Union-Feld _tool_invocation_score.

Für _tool_invocation_score ist nur einer der folgenden Werte zulässig:
toolInvocationScore

number

Die Gesamtbewertung für den Toolaufruf für diesen Turn. Dies ist der Gesamtprozentsatz der Tools aus dem erwarteten Zug, die tatsächlich aufgerufen wurden.

EvaluationErrorInfo

JSON-Darstellung 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string,
  "userFacingErrorMessage": string
}
Felder
errorType

enum (ErrorType)

Nur Ausgabe. Die Art des Fehlers.
errorMessage

string

Nur Ausgabe. Die Fehlermeldung.
sessionId

string

Nur Ausgabe. Die Sitzungs-ID für die Unterhaltung, die den Fehler verursacht hat.
userFacingErrorMessage

string

Nur Ausgabe. Die an den Nutzer gerichtete Fehlermeldung.

SpanLatency

JSON-Darstellung 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
Felder
type

enum (Type)

Nur Ausgabe. Der Typ des Zeitraums.
displayName

string

Nur Ausgabe. Der Anzeigename des Zeitraums. Gilt für Tool- und Schutzmaßnahmenbereiche.
startTime

string (Timestamp format)

Nur Ausgabe. Die Startzeit des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Die Endzeit des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionLatency

string (Duration format)

Nur Ausgabe. Die Latenz des Spans.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
Union-Feld identifier. Die Kennzeichnung des jeweiligen Artikels basierend auf seinem Typ. Für identifier ist nur einer der folgenden Werte zulässig:
resource

string

Nur Ausgabe. Der Ressourcenname der Spannen für die Schutzvorrichtung oder das Tool.
toolset

object (ToolsetTool)

Nur Ausgabe. Die Tool-ID des Toolsets.
model

string

Nur Ausgabe. Der Name des LLM-Spans.
callback

string

Nur Ausgabe. Der Name des Zeitraums für den Nutzer-Callback.

EvaluationExpectationResult

JSON-Darstellung 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
Felder
evaluationExpectation

string

Nur Ausgabe. Die Erwartung an die Bewertung. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

Nur Ausgabe. Der Prompt, der für die Auswertung verwendet wurde.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Erwartung der Auswertung.
explanation

string

Nur Ausgabe. Die Erklärung für das Ergebnis.

ScenarioResult

JSON-Darstellung 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
Felder
conversation

string

Nur Ausgabe. Die im Szenario generierte Unterhaltung.
task

string

Nur Ausgabe. Die Aufgabe, die beim Ausführen des Szenarios für dieses Ergebnis verwendet wurde.
userFacts[]

object (UserFact)

Nur Ausgabe. Die Nutzerinformationen, die vom Szenario für dieses Ergebnis verwendet wurden.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

Nur Ausgabe. Das Ergebnis jeder Erwartung.
rubricOutcomes[]

object (ScenarioRubricOutcome)

Nur Ausgabe. Das Ergebnis des Bewertungsschemas.
hallucinationResult[]

object (HallucinationResult)

Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung. Für jede Runde in der Unterhaltung wird ein Halluzinationsergebnis angezeigt.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

Nur Ausgabe. Das Ergebnis der Überprüfung des Aufgabenabschlusses.
toolCallLatencies[]

object (ToolCallLatency)

Nur Ausgabe. Die Latenz der Ausführung jedes Tool-Aufrufs in der Unterhaltung.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

Nur Ausgabe. Das Ergebnis der Prüfung der Nutzerzielerreichung.
spanLatencies[]

object (SpanLatency)

Nur Ausgabe. Die Latenz von Spans in der Unterhaltung.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Nur Ausgabe. Die Ergebnisse der erwarteten Auswertung.

Union-Feld _all_expectations_satisfied.

Für _all_expectations_satisfied ist nur einer der folgenden Werte zulässig:
allExpectationsSatisfied

boolean

Nur Ausgabe. Gibt an, ob alle Erwartungen für diesen Zug erfüllt wurden.

Union-Feld _task_completed.

Für _task_completed ist nur einer der folgenden Werte zulässig:
taskCompleted

boolean

Nur Ausgabe. Gibt an, ob die Aufgabe in dieser Runde erledigt wurde. Dies ist eine Kombination aus allen erfüllten Erwartungen, keinen Halluzinationen und der Erfüllung des Nutzerziels.

ScenarioExpectationOutcome

JSON-Darstellung 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
Felder
expectation

object (ScenarioExpectation)

Nur Ausgabe. Die Erwartung, die ausgewertet wurde.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der ScenarioExpectation.
Union-Feld result. Das Ergebnis der Erwartung. Für result ist nur einer der folgenden Werte zulässig:
observedToolCall

object (ObservedToolCall)

Nur Ausgabe. Der beobachtete Toolaufruf.
observedAgentResponse

object (Message)

Nur Ausgabe. Die beobachtete Antwort des KI-Agenten.

ObservedToolCall

JSON-Darstellung 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Felder
toolCall

object (ToolCall)

Nur Ausgabe. Der beobachtete Toolaufruf.
toolResponse

object (ToolResponse)

Nur Ausgabe. Die beobachtete Tool-Antwort.

ScenarioRubricOutcome

JSON-Darstellung 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
Felder
rubric

string

Nur Ausgabe. Das Bewertungsschema, das zur Bewertung der Unterhaltung verwendet wurde.
scoreExplanation

string

Nur Ausgabe. Die Antwort des Bewerters auf das Bewertungsschema.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

number

Nur Ausgabe. Die Bewertung der Unterhaltung anhand der Rubrik.

TaskCompletionResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punktzahl 1: Aufgabe erledigt Punktzahl 0: Aufgabe nicht erledigt Punktzahl –1: Nutzerziel nicht definiert
explanation

string

Nur Ausgabe. Die Erklärung für den Wert für die Aufgabenerledigung.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Die Punktzahl für die Erledigung der Aufgabe. Kann -1, 0 oder 1 sein

UserGoalSatisfactionResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Wert 2: Graceful Handoff Score 1: User Task Satisfied Score 0: User Task Not Satisfied Score –1: User Task Unspecified
explanation

string

Nur Ausgabe. Die Erklärung für den Messwert zur Zufriedenheit mit der Nutzeraufgabe.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Der Zufriedenheitswert für die Nutzeraufgabe. Kann -1, 0, 1 oder 2 sein.

EvaluationPersona

JSON-Darstellung 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
Felder
name

string

Erforderlich. Die eindeutige ID der Persona. Format: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

Optional. Die Beschreibung der Persona.
displayName

string

Erforderlich. Der Anzeigename der Persona. Innerhalb einer App eindeutig.
personality

string

Erforderlich. Eine Anweisung für den KI-Agenten, wie er sich bei der Bewertung verhalten soll.
speechConfig

object (SpeechConfig)

Optional. Konfiguration für die Stimme der Persona (TTS-Einstellungen).

SpeechConfig

JSON-Darstellung 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
Felder
speakingRate

number

Optional. Die Sprechgeschwindigkeit. 1,0 ist normal. Niedrigere Werte sind langsamer (z. B. 0,8), höhere Werte sind schneller (z. B. 1,5). Nützlich, um zu testen, wie der Agent mit schnellen Sprechern umgeht.
environment

enum (BackgroundEnvironment)

Optional. Die simulierte Audio-Umgebung.
voiceId

string

Optional. Die spezifische Sprach-ID/der spezifische Akzent, der verwendet werden soll. Beispiel: „en-US-Wavenet-D“ oder „en-GB-Standard-A“

Status

JSON-Darstellung 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Felder
code

integer

Der Statuscode, der idealerweise ein ENUM-Wert von google.rpc.Code ist.
message

string

Eine an Entwickler gerichtete Fehlermeldung, die englischsprachig sein sollte. Jede für Nutzer sichtbare Fehlermeldung sollte lokalisiert und im Feld google.rpc.Status.details gesendet werden. Sie kann auch clientseitig lokalisiert werden.
details[]

object

Eine Auflistung aller Meldungen, die die Fehlerdetails enthalten. Es gibt einen gemeinsamen Satz von Nachrichtentypen, die APIs verwenden können.

Ein Objekt, das Felder eines beliebigen Typs enthält. Ein zusätzliches Feld "@type" enthält einen URI zur Identifizierung des Typs. Beispiel: { "id": 1234, "@type": "types.example.com/standard/id" }.

Beliebig

JSON-Darstellung 
{
  "typeUrl": string,
  "value": string
}
Felder
typeUrl

string

Gibt den Typ der serialisierten Protobuf-Nachricht mit einem URI-Verweis an, der aus einem Präfix, das mit einem Schrägstrich endet, und dem vollständig qualifizierten Typnamen besteht.

Beispiel: type.googleapis.com/google.protobuf.StringValue

Dieser String muss mindestens ein /-Zeichen enthalten. Der Inhalt nach dem letzten / muss der vollständig qualifizierte Name des Typs in kanonischer Form ohne führenden Punkt sein. Schreiben Sie kein Schema in diese URI-Referenzen, damit Clients nicht versuchen, sie zu kontaktieren.

Das Präfix ist beliebig. Protobuf-Implementierungen entfernen einfach alles bis zum letzten / (einschließlich) und identifizieren so den Typ. type.googleapis.com/ ist ein häufiges Standardpräfix, das für einige ältere Implementierungen erforderlich ist. Dieses Präfix gibt nicht den Ursprung des Typs an und URIs, die es enthalten, werden voraussichtlich nicht auf Anfragen reagieren.

Alle Typ-URL-Strings müssen gültige URI-Referenzen sein. Für das Textformat gilt die zusätzliche Einschränkung, dass der Inhalt der Referenz nur aus alphanumerischen Zeichen, prozentual codierten Escape-Sequenzen und Zeichen aus der folgenden Menge bestehen darf (ohne die äußeren Backticks): /-.~_!$&()*+,;=. Obwohl wir Prozentcodierungen zulassen, sollten Implementierungen sie nicht dekodieren, um Verwechslungen mit vorhandenen Parsern zu vermeiden. Beispiel: type.googleapis.com%2FFoo sollte abgelehnt werden.

Im ursprünglichen Design von Any wurde die Möglichkeit in Betracht gezogen, einen Dienst zur Typauflösung unter diesen Typ-URLs zu starten. Protobuf hat jedoch nie einen solchen Dienst implementiert und betrachtet das Kontaktieren dieser URLs als problematisch und als potenzielles Sicherheitsproblem. Versuchen Sie nicht, URLs vom Typ „Kontakt“ aufzurufen.
value

string (bytes format)

Enthält eine Protobuf-Serialisierung des Typs, der durch „type_url“ beschrieben wird.

Ein base64-codierter String.

EvaluationMetricsThresholds

JSON-Darstellung 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
Felder
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

Optional. Die Grenzwerte für die Golden-Bewertungsmesswerte.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

Optional. Nicht mehr unterstützt: Verwenden Sie stattdessen golden_hallucination_metric_behavior. Das Verhalten des Halluzinationsmesswerts wird derzeit für Golden Evaluations verwendet.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Optional. Das Verhalten des Messwerts für Halluzinationen bei Golden Evaluations.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Optional. Das Verhalten des Halluzinationsmesswerts für Szenariobewertungen.

GoldenEvaluationMetricsThresholds

JSON-Darstellung 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
Felder
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

Optional. Die Schwellenwerte für Messwerte auf Turn-Ebene.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

Optional. Die Grenzwerte für die Messwerte für das Erwartungsniveau.
toolMatchingSettings

object (ToolMatchingSettings)

Optional. Die Einstellungen für den Tool-Abgleich. Ein zusätzlicher Tool-Aufruf ist ein Tool-Aufruf, der in der Ausführung vorhanden ist, aber keinem Tool-Aufruf in der Goldenen Erwartung entspricht.

ToolMatchingSettings

JSON-Darstellung 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
Felder
extraToolCallBehavior

enum (ExtraToolCallBehavior)

Optional. Verhalten bei zusätzlichen Tool-Aufrufen. Die Standardeinstellung ist FAIL.

EvaluationConfig

JSON-Darstellung 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Felder
inputAudioConfig

object (InputAudioConfig)

Optional. Konfiguration für die Verarbeitung des Audioeingabe.
outputAudioConfig

object (OutputAudioConfig)

Optional. Konfiguration zum Generieren der Audioausgabe.
evaluationChannel

enum (EvaluationChannel)

Optional. Der auszuwertende Channel.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Optional. Gibt an, ob bei der Auswertung echte Tool-Aufrufe oder gefälschte Tools verwendet werden sollen.

InputAudioConfig

JSON-Darstellung 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Felder
audioEncoding

enum (AudioEncoding)

Erforderlich. Die Codierung der Audioeingabedaten.
sampleRateHertz

integer

Erforderlich. Die Abtastrate (in Hertz) der Audioeingabedaten.
noiseSuppressionLevel

string

Optional. Gibt an, ob die Rauschunterdrückung für das eingegebene Audio aktiviert werden soll. Verfügbare Werte sind „low“, „moderate“, „high“ und „very_high“.

OutputAudioConfig

JSON-Darstellung 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Felder
audioEncoding

enum (AudioEncoding)

Erforderlich. Die Codierung der Audioausgabedaten.
sampleRateHertz

integer

Erforderlich. Die Abtastrate (in Hertz) der Audioausgabedaten.

EvaluationMetricsConfig

JSON-Darstellung 
{
  "goldenMetricsConfig": {
    object (GoldenMetricsConfig)
  },
  "scenarioMetricsConfig": {
    object (ScenarioMetricsConfig)
  }
}
Felder
goldenMetricsConfig

object (GoldenMetricsConfig)

Optional. Konfiguration für die wichtigsten Messwerte für die Bewertung.
scenarioMetricsConfig

object (ScenarioMetricsConfig)

Optional. Konfiguration für die Szenariomesswerte für die Auswertung.

GoldenMetricsConfig

JSON-Darstellung 
{
  "semanticSimilarityMetricsConfig": {
    object (SemanticSimilarityMetricsConfig)
  },
  "toolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  },
  "stepToolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  }
}
Felder
semanticSimilarityMetricsConfig

object (SemanticSimilarityMetricsConfig)

Optional. Globale Konfiguration für Messwerte zur semantischen Ähnlichkeit.
toolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

Optional. Konfiguration für Messwerte zur Richtigkeit des Tools auf Turn-Ebene.
stepToolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

Optional. Konfiguration für Messwerte zur Richtigkeit von Tools auf Schrittebene.

ToolCorrectnessMetricsConfig

JSON-Darstellung 
{
  "enableToolCorrectnessMetrics": boolean
}
Felder
enableToolCorrectnessMetrics

boolean

Optional. Gibt an, ob Messwerte für die Richtigkeit von Tools für die Bewertung berechnet werden sollen.

ScenarioMetricsConfig

JSON-Darstellung 
{
  "userGoalMetMetricsConfig": {
    object (UserGoalMetMetricsConfig)
  },
  "expectationsMetMetricsConfig": {
    object (ExpectationsMetMetricsConfig)
  }
}
Felder
userGoalMetMetricsConfig

object (UserGoalMetMetricsConfig)

Optional. Konfiguration für Messwerte für erreichte Nutzerziele.
expectationsMetMetricsConfig

object (ExpectationsMetMetricsConfig)

Optional. Konfiguration für Messwerte auf Erwartungsebene.

UserGoalMetMetricsConfig

JSON-Darstellung 
{
  "enableUserGoalMetMetrics": boolean
}
Felder
enableUserGoalMetMetrics

boolean

Optional. Gibt an, ob die Messwerte für das erreichte Nutzerziel für die Auswertung berechnet werden sollen.

ExpectationsMetMetricsConfig

JSON-Darstellung 
{
  "enableExpectationsMetMetrics": boolean
}
Felder
enableExpectationsMetMetrics

boolean

Optional. Gibt an, ob die Messwerte für das Erwartungsniveau für die Auswertung berechnet werden sollen.

NullValue

Stellt ein JSON-null dar.

NullValue ist ein Sentinel, der einen Enum mit nur einem Wert verwendet, um den Nullwert für die Typunion Value darzustellen.

Ein Feld vom Typ NullValue mit einem anderen Wert als 0 gilt als ungültig. Die meisten ProtoJSON-Serialisierungsprogramme geben ein Value mit einem als JSON-null festgelegten null_value aus, unabhängig vom Ganzzahlwert. Daher wird ein Roundtrip zu einem 0-Wert durchgeführt.

Enums
NULL_VALUE Nullwert.

ComparisonType

Unterstützte Vergleichstypen zum Prüfen der Antwort des Kundenservicemitarbeiters.

Enums
COMPARISON_TYPE_UNSPECIFIED Nicht angegebener Vergleichstyp. Das Standardverhalten für Agent-Antworten und Tool-Aufrufe ist SEMANTIC_SIMILARITY.
EQUALS Exakte Stringübereinstimmung.
CONTAINS Teilstring-Abgleich: Prüft, ob der erwartete String in der tatsächlichen Antwort enthalten ist.
SEMANTIC_SIMILARITY Abgleich der semantischen Ähnlichkeit (bewertet die Bedeutungsähnlichkeit mithilfe eines LLM).

SemanticSimilarityChannel

Der zu verwendende Channel für die semantische Ähnlichkeit.

Enums
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED Messwert nicht angegeben. Die Standardeinstellung ist TEXT.
TEXT Semantische Ähnlichkeit von Text verwenden.
AUDIO Semantische Ähnlichkeit von Audioinhalten verwenden.

HallucinationMetricBehavior

Das Verhalten des Messwerts für Halluzinationen. Der Messwert wird immer berechnet, unabhängig vom Verhalten. Der Unterschied besteht darin, dass der Messwert bei Deaktivierung nicht zur Berechnung der Gesamtbewertung verwendet wird.

Enums
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED Nicht angegebenes Verhalten des Halluzinationsmesswerts.
DISABLED Messwert für Halluzinationen deaktivieren.
ENABLED Halluzinationsmesswert aktivieren

TaskCompletionBehavior

Das erwartete Verhalten der Nutzeraufgabe. Damit wird ermittelt, ob das Szenario erfolgreich ist.

Enums
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED Verhalten nicht angegeben. Wird standardmäßig auf TASK_SATISFIED gesetzt.
TASK_SATISFIED Die Nutzeraufgabe sollte erfolgreich abgeschlossen werden.
TASK_REJECTED Die Nutzeraufgabe sollte abgelehnt werden.

UserGoalBehavior

Das erwartete Verhalten des Nutzerziels. Damit wird ermittelt, ob das Szenario erfolgreich ist.

Enums
USER_GOAL_BEHAVIOR_UNSPECIFIED Verhalten nicht angegeben. Die Standardeinstellung ist USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED Das Nutzerziel sollte erfolgreich erreicht werden.
USER_GOAL_REJECTED Das Nutzerziel sollte abgelehnt werden.
USER_GOAL_IGNORED Ignorieren Sie den Status des Nutzerziels.

ScenarioExecutionMode

Der Ausführungsmodus für Szenariobewertungen.

Enums
SCENARIO_EXECUTION_MODE_UNSPECIFIED Nicht angegebener Ausführungsmodus. Die Standardeinstellung ist QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED Modus für Qualitätsoptimierung.
SPEED_OPTIMIZED Für Geschwindigkeit optimierter Modus.

Ergebnis

Das Ergebnis der Bewertung oder Erwartung.

Enums
OUTCOME_UNSPECIFIED Das Ergebnis der Bewertung wird nicht angegeben.
PASS Bewertung/Erwartung erfüllt. Im Fall einer Bewertung bedeutet dies, dass alle Erwartungen erfüllt wurden.
FAIL Bewertung/Erwartung fehlgeschlagen. Im Falle einer Bewertung bedeutet dies, dass mindestens eine Erwartung nicht erfüllt wurde.
SKIPPED Die Bewertung/Erwartung wurde übersprungen.

ErrorType

Art des Fehlers

Enums
ERROR_TYPE_UNSPECIFIED Nicht angegebener Fehlertyp.
RUNTIME_FAILURE Fehler während der Laufzeitausführung.
CONVERSATION_RETRIEVAL_FAILURE Die Unterhaltung konnte nicht aus der CES-Laufzeit abgerufen werden.
METRIC_CALCULATION_FAILURE Ein Messwert oder Ergebnis konnte nicht berechnet werden.
EVALUATION_UPDATE_FAILURE Die Bewertung konnte nicht aktualisiert werden.
QUOTA_EXHAUSTED Kontingent aufgebraucht.
USER_SIMULATION_FAILURE Fehler bei der Nutzersimulation.

Typ

Der Typ des Zeitraums. In Zukunft werden möglicherweise weitere Werte hinzugefügt.

Enums
TYPE_UNSPECIFIED Standardwert. Dieser Wert wird nicht verwendet.
TOOL Toolaufruf-Spanne.
USER_CALLBACK Zeitspanne für den Rückruf des Nutzers.
GUARDRAIL Zeitspanne für Schutzmaßnahmen
LLM LLM-Spanne.

BackgroundEnvironment

Simulierte Audio-Umgebung.

Enums
BACKGROUND_ENVIRONMENT_UNSPECIFIED Die Hintergrundumgebung ist nicht angegeben.
CALL_CENTER Callcenter-Umgebung.
TRAFFIC Umgebung mit Straßenverkehrslärm.
KIDS_NOISE Geräuschumgebung für Kinder.
CAFE Café-Umgebung.

ExecutionState

Der Status der Ausführung des Bewertungsergebnisses.

Enums
EXECUTION_STATE_UNSPECIFIED Der Ausführungsstatus des Bewertungsergebnisses ist nicht angegeben.
QUEUED Die Ausführung des Bewertungsergebnisses ist in der Warteschlange.
RUNNING Die Ausführung des Bewertungsergebnisses läuft.
COMPLETED Die Ausführung des Bewertungsergebnisses ist abgeschlossen.
ERROR Die Ausführung des Bewertungsergebnisses ist aufgrund eines internen Fehlers fehlgeschlagen.
CANCELLED Die Ausführung des Bewertungsergebnisses wurde abgebrochen.

ExtraToolCallBehavior

Definiert das Verhalten, wenn ein zusätzlicher Tool-Aufruf erfolgt. Ein zusätzlicher Tool-Aufruf ist ein Tool-Aufruf, der in der Ausführung vorhanden ist, aber keinem Tool-Aufruf in der Goldenen Erwartung entspricht.

Enums
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED Nicht angegebenes Verhalten. Die Standardeinstellung ist FAIL.
FAIL Die Auswertung schlägt fehl, wenn ein zusätzlicher Toolaufruf erfolgt.
ALLOW Zusätzlichen Toolaufruf zulassen

AudioEncoding

AudioEncoding gibt das Codierungsformat für Audiodaten an.

Enums
AUDIO_ENCODING_UNSPECIFIED Nicht angegebene Audiocodierung.
LINEAR16 16-Bit-Codierung mit linearer PCM-Audio (Pulse-code Modulation, Pulscodemodulation)
MULAW 8-Bit-Samples zur Kompandierung von 14-Bit-Audiosamples mit G.711 PCMU/mu-law.
ALAW 8-Bit-Samples zur Kompandierung von 14-Bit-Audiosamples mit G.711 PCMU/A-law.

EvaluationChannel

Der auszuwertende Channel.

Enums
EVALUATION_CHANNEL_UNSPECIFIED Nicht angegebener Bewertungskanal.
TEXT Kanal für die reine Textbewertung.
AUDIO Audiokanal für die Bewertung.

EvaluationToolCallBehaviour

Konfiguriert das Verhalten von Tool-Aufrufen für Auswertungen.

Enums
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED Nicht angegebenes Verhalten bei Tool-Aufrufen. Standardmäßig werden echte Tool-Aufrufe verwendet.
REAL Verwenden Sie echte Tool-Aufrufe.
FAKE Falsche Tool-Aufrufe verwenden

GoldenRunMethod

Die Methode, mit der die Bewertung durchgeführt wurde.

Enums
GOLDEN_RUN_METHOD_UNSPECIFIED Die Ausführungsmethode ist nicht angegeben.
STABLE Führen Sie die Bewertung als stabilen Replay aus, bei dem jeder Zug eine eindeutige Sitzung ist, in die die vorherigen erwarteten Züge als Kontext eingefügt werden.
NAIVE Führen Sie die Auswertung als naives Replay aus. Dabei ist der Lauf eine einzelne Sitzung ohne eingefügten Kontext.

OutcomeMetadata

Metadaten zum Ergebnis der Bewertung.

Enums
OUTCOME_METADATA_UNSPECIFIED Nicht angegebene Metadaten für das Ergebnis.
GRACEFUL_HANDOFF Die Evaluierung führte zu einer reibungslosen Übergabe an einen Kundenservicemitarbeiter.

Tool-Annotationen

Tool-Anmerkungen werden an MCP-Clients gesendet, um das grundlegende Risiko eines bestimmten Tools zu beschreiben. Die meisten Clients behandeln diese Hinweise als nicht vertrauenswürdig, sie können aber verwendet werden, um zu entscheiden, wann eine Bestätigungsaufforderung an einen Nutzer gesendet wird.

Zusammen mit dem Titelstring sind die folgenden booleschen Hinweise definiert:

  • readOnlyHint: Wenn „true“, ändert das Tool seine Umgebung nicht. Standardeinstellung: false.
  • destructiveHint: Wenn „true“, kann das Tool destruktive Aktionen ausführen. Wenn „false“, kann das Tool nur additive Aktionen ausführen. Standardeinstellung: true.
  • idempotentHint: Wenn „true“, hat das wiederholte Aufrufen des Tools mit denselben Argumenten keine zusätzlichen Auswirkungen auf die Umgebung. Standardeinstellung: false.
  • openWorldHint: Wenn „true“, kann das Tool mit einer „offenen Welt“ externer Einheiten interagieren. Wenn „false“, kann das Tool nur mit internen Einheiten interagieren. Ein Web-Suchtool wäre beispielsweise frei verfügbar, ein Memory-Tool jedoch nicht.

Destructive Hint: ❌ | Idempotent Hint: ✅ | Read Only Hint: ✅ | Open World Hint: ❌