MCP Tools Reference: ces.googleapis.com

Tool: list_evaluation_results

Listet Bewertungsergebnisse auf.

Das folgende Codebeispiel zeigt, wie Sie mit curl das MCP-Tool list_evaluation_results aufrufen.

cURL-Anfrage
curl --location 'https://ces.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "list_evaluation_results", "arguments": { // Provide these details according to the MCP tool specification. } }, "jsonrpc": "2.0", "id": 1 }'

Eingabeschema

Anfragenachricht für EvaluationService.ListEvaluationResults.

ListEvaluationResultsRequest

JSON-Darstellung
{ "parent": string, "pageSize": integer, "pageToken": string, "filter": string, "orderBy": string }

Felder
parent	string Erforderlich. Der Ressourcenname der Bewertung, aus der die Bewertungsergebnisse aufgelistet werden sollen. Wenn Sie nach einem Bewertungsdurchlauf filtern möchten, verwenden Sie - als Bewertungs-ID und geben Sie die ID des Bewertungsdurchlaufs im Filter an. Beispiel: projects/{project}/locations/{location}/apps/{app}/evaluations/-
pageSize	integer Optional. Angeforderte Seitengröße. Der Server gibt möglicherweise weniger Elemente als angefordert zurück. Wenn kein Wert angegeben wurde, wählt der Server einen geeigneten Standardwert aus.
pageToken	string Optional. Der Wert next_page_token, der von einem vorherigen Listenaufruf EvaluationService.ListEvaluationResults zurückgegeben wurde.
filter	string Optional. Filter, der beim Auflisten der Bewertungsergebnisse angewendet werden soll. Weitere Informationen finden Sie unter https://google.aip.dev/160.
orderBy	string Optional. Feld, nach dem sortiert werden soll. Nur „name“, „create_time“ und „update_time“ werden unterstützt. Zeitfelder werden in absteigender Reihenfolge und das Namensfeld in aufsteigender Reihenfolge sortiert. Wenn nicht angegeben, wird „update_time“ als Standard verwendet. Weitere Informationen finden Sie unter https://google.aip.dev/132#ordering.

Ausgabeschema

Antwortnachricht für EvaluationService.ListEvaluationResults.

ListEvaluationResultsResponse

JSON-Darstellung
{ "evaluationResults": [ { object (EvaluationResult) } ], "nextPageToken": string }

Felder
evaluationResults[]	object (EvaluationResult) Die Liste der Bewertungsergebnisse.
nextPageToken	string Ein Token, das als ListEvaluationResultsRequest.page_token gesendet werden kann, um die nächste Seite abzurufen. Wenn dieses Feld fehlt, gibt es keine nachfolgenden Seiten.

EvaluationResult

JSON-Darstellung

{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum (Outcome), "evaluationRun": string, "persona": { object (EvaluationPersona) }, "errorInfo": { object (EvaluationErrorInfo) }, "error": { object (Status) }, "initiatedBy": string, "appVersion": string, "appVersionDisplayName": string, "changelog": string, "changelogCreateTime": string, "executionState": enum (ExecutionState), "evaluationMetricsThresholds": { object (EvaluationMetricsThresholds) }, "config": { object (EvaluationConfig) }, "goldenRunMethod": enum (GoldenRunMethod), "rootSpan": { object (Span) }, "outcomeMetadata": enum (OutcomeMetadata), // Union field result can be only one of the following: "goldenResult": { object (GoldenResult) }, "scenarioResult": { object (ScenarioResult) } // End of list of possible types for union field result. }

Felder
name	string ID. Die eindeutige Kennung des Bewertungsergebnisses. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName	string Erforderlich. Anzeigename des Bewertungsergebnisses. Eindeutig innerhalb einer Bewertung. Standardmäßig hat sie das folgende Format: „ Ergebnis – “.
createTime	string (Timestamp format) Nur Ausgabe. Zeitstempel für die Erstellung des Bewertungsergebnisses. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
evaluationStatus	enum (Outcome) Nur Ausgabe. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn „execution_state“ den Wert COMPLETE hat.
evaluationRun	string Nur Ausgabe. Der Bewertungsdurchlauf, der dieses Ergebnis erzeugt hat. Format: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona	object (EvaluationPersona) Nur Ausgabe. Die Persona, die zum Generieren der Unterhaltung für das Bewertungsergebnis verwendet wurde.
errorInfo	object (EvaluationErrorInfo) Nur Ausgabe. Fehlerinformationen für das Bewertungsergebnis.
error (deprecated)	object (Status) Dieses Element wird nicht mehr unterstützt. Nur Ausgabe. Nicht mehr unterstützt: Verwenden Sie stattdessen error_info. Bei der Ausführung sind Fehler aufgetreten.
initiatedBy	string Nur Ausgabe. Der Nutzer, der den Bewertungsdurchlauf initiiert hat, der zu diesem Ergebnis geführt hat.
appVersion	string Nur Ausgabe. Die App-Version, die zum Generieren der Unterhaltung verwendet wurde, die zu diesem Ergebnis geführt hat. Format: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName	string Nur Ausgabe. Der Anzeigename der app_version, für die die Bewertung ausgeführt wurde.
changelog	string Nur Ausgabe. Das Änderungsprotokoll der App-Version, für die die Bewertung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer die Bewertung für die neueste Version oder den Entwurf ausführt.
changelogCreateTime	string (Timestamp format) Nur Ausgabe. Der Erstellungszeitpunkt des Änderungsprotokolls der App-Version, für die die Bewertung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer die Bewertung für die neueste Version oder den Entwurf ausführt. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionState	enum (ExecutionState) Nur Ausgabe. Der Status der Ausführung des Bewertungsergebnisses.
evaluationMetricsThresholds	object (EvaluationMetricsThresholds) Nur Ausgabe. Die Bewertungsschwellenwerte für das Ergebnis.
config	object (EvaluationConfig) Nur Ausgabe. Die Konfiguration, die im Bewertungsdurchlauf verwendet wurde, der zu diesem Ergebnis geführt hat.
goldenRunMethod	enum (GoldenRunMethod) Nur Ausgabe. Die Methode, mit der die Golden-Evaluation ausgeführt wird.
rootSpan	object (Span) Nur Ausgabe. Der Root-Span der Bewertungsausführung, der Informationen zu jedem Schritt der Bewertung enthält.
outcomeMetadata	enum (OutcomeMetadata) Nur Ausgabe. Die Ergebnismetadaten der Bewertung. Wird nur ausgefüllt, wenn „execution_state“ den Wert COMPLETE hat.
Union-Feld result. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn der „execution_state“ COMPLETED ist. Für result ist nur einer der folgenden Werte zulässig:
goldenResult	object (GoldenResult) Nur Ausgabe. Das Ergebnis einer Golden-Bewertung.
scenarioResult	object (ScenarioResult) Nur Ausgabe. Das Ergebnis einer Szenariobewertung.

GoldenResult

JSON-Darstellung
{ "turnReplayResults": [ { object (TurnReplayResult) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ] }

Felder
turnReplayResults[]	object (TurnReplayResult) Nur Ausgabe. Das Ergebnis der Ausführung jeder Runde der Golden Conversation.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Nur Ausgabe. Die Ergebnisse der Bewertungserwartungen.

TurnReplayResult

JSON-Darstellung

{ "conversation": string, "expectationOutcome": [ { object (GoldenExpectationOutcome) } ], "hallucinationResult": { object (HallucinationResult) }, "toolInvocationScore": number, "turnLatency": string, "toolCallLatencies": [ { object (ToolCallLatency) } ], "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "overallToolInvocationResult": { object (OverallToolInvocationResult) }, "errorInfo": { object (EvaluationErrorInfo) }, "spanLatencies": [ { object (SpanLatency) } ], // Union field _tool_ordered_invocation_score can be only one of the following: "toolOrderedInvocationScore": number // End of list of possible types for union field // _tool_ordered_invocation_score. }

Felder
conversation	string Nur Ausgabe. Die Unterhaltung, die für diesen Turn generiert wurde.
expectationOutcome[]	object (GoldenExpectationOutcome) Nur Ausgabe. Das Ergebnis jeder Erwartung.
hallucinationResult	object (HallucinationResult) Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung.
toolInvocationScore (deprecated)	number Dieses Element wird nicht mehr unterstützt. Nur Ausgabe. Verworfen Verwenden Sie stattdessen OverallToolInvocationResult.
turnLatency	string (Duration format) Nur Ausgabe. Dauer des Abbiegevorgangs. Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
toolCallLatencies[]	object (ToolCallLatency) Nur Ausgabe. Die Latenz jedes Toolaufrufs in der Runde.
semanticSimilarityResult	object (SemanticSimilarityResult) Nur Ausgabe. Das Ergebnis der Prüfung auf semantische Ähnlichkeit.
overallToolInvocationResult	object (OverallToolInvocationResult) Nur Ausgabe. Das Ergebnis der allgemeinen Prüfung des Tool-Aufrufs.
errorInfo	object (EvaluationErrorInfo) Nur Ausgabe. Informationen zum Fehler, der während dieser Runde aufgetreten ist.
spanLatencies[]	object (SpanLatency) Nur Ausgabe. Die Latenz der Spans in der Runde.
Union-Feld _tool_ordered_invocation_score. Für _tool_ordered_invocation_score ist nur einer der folgenden Werte zulässig:
toolOrderedInvocationScore	number Nur Ausgabe. Die Gesamtbewertung für die Toolaufrufe in dieser Runde. Dies gibt den Gesamtprozentsatz der Tools aus der erwarteten Runde an, die tatsächlich in der erwarteten Reihenfolge aufgerufen wurden.

GoldenExpectationOutcome

JSON-Darstellung

{ "expectation": { object (GoldenExpectation) }, "outcome": enum (Outcome), "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "toolInvocationResult": { object (ToolInvocationResult) }, // Union field result can be only one of the following: "observedToolCall": { object (ToolCall) }, "observedToolResponse": { object (ToolResponse) }, "observedAgentResponse": { object (Message) }, "observedAgentTransfer": { object (AgentTransfer) }, "observedPayload": { object } // End of list of possible types for union field result. }

Felder
expectation	object (GoldenExpectation) Nur Ausgabe. Die Erwartung, die ausgewertet wurde.
outcome	enum (Outcome) Nur Ausgabe. Das Ergebnis der Erwartung.
semanticSimilarityResult (deprecated)	object (SemanticSimilarityResult) Dieses Element wird nicht mehr unterstützt. Nur Ausgabe. Das Ergebnis der Prüfung auf semantische Ähnlichkeit.
toolInvocationResult	object (ToolInvocationResult) Nur Ausgabe. Das Ergebnis der Prüfung des Tool-Aufrufs.
Union-Feld result. Das Ergebnis der Erwartung. Für result ist nur einer der folgenden Werte zulässig:
observedToolCall	object (ToolCall) Nur Ausgabe. Das Ergebnis der Erwartung für den Toolaufruf.
observedToolResponse	object (ToolResponse) Nur Ausgabe. Das Ergebnis der Erwartung an die Toolantwort.
observedAgentResponse	object (Message) Nur Ausgabe. Das Ergebnis der Erwartung an die Antwort des KI-Agenten.
observedAgentTransfer	object (AgentTransfer) Nur Ausgabe. Das Ergebnis der Erwartung für die Weiterleitung an einen Kundenservicemitarbeiter.
observedPayload	object (Struct format) Nur Ausgabe. Eine beobachtete benutzerdefinierte Nutzlast. Es gibt keine Erwartungen an benutzerdefinierte Nutzlasten. Diese werden nur für die Berechnung von Messwerten verwendet. Das Ergebnis ist immer SKIPPED.

ToolCall

JSON-Darstellung
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Felder
id	string Optional. Die eindeutige Kennung des Toolaufrufs. Falls ausgefüllt, sollte der Client das Ausführungsergebnis mit der übereinstimmenden ID in ToolResponse zurückgeben.
displayName	string Nur Ausgabe. Anzeigename des Tools.
args	object (Struct format) Optional. Die Eingabeparameter und Werte für das Tool im JSON-Objektformat.
parentToolCallId	string Nur Ausgabe. Die ID des Toolaufrufs, der diesen Aufruf verursacht hat, wenn er von einem Sub-Agenten im Auftrag eines übergeordneten Aufrufs ausgegeben wurde. Leer für Aufrufe auf oberster Ebene. Ermöglicht es einem Client, die Arbeit eines Sub-Agents unter dem Aufruf zu gruppieren, der sie gestartet hat, anstatt jeden Schritt als gleichgeordnetes Element darzustellen.
agentName	string Nur Ausgabe. Menschenlesbarer Name des KI-Agenten, der diesen Aufruf ausgegeben hat, z.B. „Contract Architect“. Leer, wenn der Root-Agent sie ausgestellt hat.
targetApp	string Nur Ausgabe. Die App, auf die dieser Aufruf abzielt, abgeleitet vom Assistenten aus den Ressourcenargumenten des Aufrufs: ein App-Ressourcenname, PROJECT für standortbezogene Tools oder leer für sitzungslokale Tools. Wird nur in projektbezogenen Assistentensitzungen festgelegt.
Union-Feld tool_identifier. Die Kennung des auszuführenden Tools. Es kann sich entweder um ein persistentes Tool oder um ein Tool aus einem Toolset handeln. Für tool_identifier ist nur einer der folgenden Werte zulässig:
tool	string Optional. Der Name des auszuführenden Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Optional. Das Toolset-Tool, das ausgeführt werden soll.

ToolsetTool

JSON-Darstellung
{ "toolset": string, "toolId": string }

Felder
toolset	string Erforderlich. Der Ressourcenname des Toolsets, von dem dieses Tool abgeleitet ist. Format: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId	string Optional. Die Tool-ID, nach der die Tools gefiltert werden sollen, für die das Schema abgerufen werden soll.

Struct

JSON-Darstellung
{ "fields": { string: value, ... } }

Felder
fields	map (key: string, value: value (Value format)) Ungeordnete Zuordnung von dynamisch typisierten Werten. Ein Objekt, das eine Liste von "key": value-Paaren enthält. Beispiel: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

JSON-Darstellung
{ "key": string, "value": value }

Felder
key	string
value	value (Value format)

Wert

JSON-Darstellung
{ // Union field kind can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field kind. }

Felder
Union-Feld kind. Die Art des Werts. Für kind ist nur einer der folgenden Werte zulässig:
nullValue	null Stellt ein JSON-null dar.
numberValue	number Stellt eine JSON-Zahl dar. Darf nicht NaN, Infinity oder -Infinity sein, da diese in JSON nicht unterstützt werden. Außerdem können damit keine großen Int64-Werte dargestellt werden, da das JSON-Format diese im Zahlentyp im Allgemeinen nicht unterstützt.
stringValue	string Stellt einen JSON-String dar.
boolValue	boolean Stellt einen booleschen JSON-Wert dar (true- oder false-Literal in JSON).
structValue	object (Struct format) Stellt ein JSON-Objekt dar.
listValue	array (ListValue format) Stellt ein JSON-Array dar.

ListValue

JSON-Darstellung
{ "values": [ value ] }

Felder
values[]	value (Value format) Wiederkehrendes Feld mit dynamisch typisierten Werten.

ToolResponse

JSON-Darstellung
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Felder
id	string Optional. Die ID zum Abgleich des tool call, für den die Antwort bestimmt ist.
displayName	string Nur Ausgabe. Anzeigename des Tools.
response	object (Struct format) Erforderlich. Das Ergebnis der Toolausführung im JSON-Objektformat. Verwenden Sie den Schlüssel „output“, um die Toolantwort anzugeben, und den Schlüssel „error“, um Fehlerdetails anzugeben (falls vorhanden). Wenn die Schlüssel „output“ und „error“ nicht angegeben sind, wird die gesamte „response“ als Ergebnis der Toolausführung behandelt.
parentToolCallId	string Nur Ausgabe. Die ID des Toolaufrufs, der diesen Aufruf verursacht hat, wenn er von einem Sub-Agenten im Auftrag eines übergeordneten Aufrufs ausgegeben wurde. Leer für Aufrufe auf oberster Ebene. Ermöglicht es einem Client, die Arbeit eines Sub-Agents unter dem Aufruf zu gruppieren, der sie gestartet hat, anstatt jeden Schritt als gleichgeordnetes Element darzustellen.
agentName	string Nur Ausgabe. Menschenlesbarer Name des KI-Agenten, der diesen Aufruf ausgegeben hat, z.B. „Contract Architect“. Leer, wenn der Root-Agent sie ausgestellt hat.
targetApp	string Nur Ausgabe. Die App, auf die das ausgeführte Tool ausgerichtet war; spiegelt ToolCall.target_app wider.
Union-Feld tool_identifier. Die Kennung des ausgeführten Tools. Es kann sich entweder um ein persistentes Tool oder um ein Tool aus einem Toolset handeln. Für tool_identifier ist nur einer der folgenden Werte zulässig:
tool	string Optional. Der Name des auszuführenden Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Optional. Das Toolset-Tool, das ausgeführt wurde.

Nachricht

JSON-Darstellung
{ "role": string, "chunks": [ { object (Chunk) } ], "eventTime": string }

Felder
role	string Optional. Die Rolle in der Unterhaltung, z.B. Nutzer, KI-Agent.
chunks[]	object (Chunk) Optional. Inhalt der Nachricht als eine Reihe von Blöcken.
eventTime	string (Timestamp format) Optional. Zeitstempel für den Versand oder Empfang der Nachricht. Sollte nicht verwendet werden, wenn die Nachricht Teil eines example ist. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30".

Chunk

JSON-Darstellung

{ // Union field data can be only one of the following: "text": string, "transcript": string, "blob": { object (Blob) }, "payload": { object }, "image": { object (Image) }, "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field data. }

Felder
Union-Feld data. Blockdaten. Für data ist nur einer der folgenden Werte zulässig:
text	string Optional. Textdaten.
transcript	string Optional. Transkript, das mit dem Audio verknüpft ist.
blob	object (Blob) Optional. Blob-Daten.
payload	object (Struct format) Optional. Benutzerdefinierte Nutzlastdaten.
image	object (Image) Optional. Bilddaten.
toolCall	object (ToolCall) Optional. Anfrage zur Toolausführung.
toolResponse	object (ToolResponse) Optional. Antwort auf die Toolausführung.
agentTransfer	object (AgentTransfer) Optional. Ereignis zur Übertragung des KI-Agenten.
updatedVariables	object (Struct format) Ein Struct stellt Variablen dar, die in der Unterhaltung aktualisiert wurden, sortiert nach Variablennamen.
defaultVariables	object (Struct format) Ein Struct stellt Standardvariablen zu Beginn der Unterhaltung dar, die nach Variablennamen sortiert sind.

Blob

JSON-Darstellung
{ "mimeType": string, "data": string }

Felder
mimeType	string Erforderlich. Der IANA-Standard-MIME-Typ der Quelldaten.
data	string (bytes format) Erforderlich. Rohbyte des Blobs. Ein base64-codierter String.

Bild

JSON-Darstellung
{ "mimeType": string, "data": string, "altText": string }

Felder
mimeType	string Erforderlich. Der IANA-Standard-MIME-Typ der Quelldaten. Zu den unterstützten Bildtypen gehören: * image/png * image/jpeg * image/webp
data	string (bytes format) Erforderlich. Rohbyte des Bildes. Ein base64-codierter String.
altText	string Optional. Der Alternativtext für das Bild.

AgentTransfer

JSON-Darstellung
{ "targetAgent": string, "displayName": string }

Felder
targetAgent	string Erforderlich. Der KI-Agent, an den die Unterhaltung übertragen wird. Der KI-Agent übernimmt die Unterhaltung ab diesem Zeitpunkt. Format: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName	string Nur Ausgabe. Anzeigename des KI-Agenten.

Zeitstempel

JSON-Darstellung
{ "seconds": string, "nanos": integer }

Felder
seconds	string (int64 format) Stellt Sekunden der UTC-Zeit seit Unix-Epoche 1970-01-01T00:00:00Z dar. Muss zwischen -62135596800 und 253402300799 (einschließlich) liegen, was 0001-01-01T00:00:00Z bis 9999-12-31T23:59:59Z entspricht.
nanos	integer Nicht negative Sekundenbruchteile Nanosekunden-Auflösung. Dieses Feld ist der Nanosekundenanteil der Dauer, keine Alternative zu Sekunden. Negative Sekundenwerte mit Bruchteilen müssen weiterhin nicht negative Nano-Werte haben, die zeitlich vorwärts gezählt werden. Muss zwischen 0 und 999.999.999 (einschließlich) liegen.

GoldenExpectation

JSON-Darstellung

{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object (ExpectationLevelMetricsThresholds) }, "agentResponseSemanticSimilarityMetricsConfigOverride": { object (SemanticSimilarityMetricsConfig) }, "agentResponseHallucinationMetricsConfigOverride": { object (HallucinationMetricsConfig) }, "comparisonType": enum (ComparisonType), // Union field condition can be only one of the following: "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentResponse": { object (Message) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "mockToolResponse": { object (ToolResponse) }, "noToolCalls": boolean // End of list of possible types for union field condition. }

Felder
note	string Optional. Eine Notiz für diese Anforderung, die bei der Berichterstellung nützlich ist, wenn bestimmte Prüfungen fehlschlagen. Beispiel: "Check_Payment_Tool_Called".
skipEvaluation	boolean Optional. Wenn „true“ festgelegt ist, wird diese Erwartung nicht ausgewertet.
expectationLevelMetricsThresholdsOverride	object (ExpectationLevelMetricsThresholds) Optional. Überschreibt Messwerte auf Schrittebene.
agentResponseSemanticSimilarityMetricsConfigOverride	object (SemanticSimilarityMetricsConfig) Optional. Überschreibungen für Messwerte zur semantischen Ähnlichkeit von „agent_response“.
agentResponseHallucinationMetricsConfigOverride	object (HallucinationMetricsConfig) Optional. Überschreibungen für Halluzinationsmesswerte für agent_response.
comparisonType	enum (ComparisonType) Optional. Der Vergleichstyp, der für die Erwartungsprüfung verwendet werden soll.
Union-Feld condition. Die tatsächliche Prüfung, die durchgeführt werden soll. Für condition ist nur einer der folgenden Werte zulässig:
toolCall	object (ToolCall) Optional. Prüfen, ob ein bestimmtes Tool mit den Parametern aufgerufen wurde.
toolResponse	object (ToolResponse) Optional. Prüfen, ob ein bestimmtes Tool die erwartete Antwort geliefert hat.
agentResponse	object (Message) Optional. Prüfen Sie, ob der KI-Agent die richtige Antwort gegeben hat. Die Rolle „Agent“ wird impliziert.
agentTransfer	object (AgentTransfer) Optional. Prüfen Sie, ob der Agent die Unterhaltung an einen anderen Agenten weitergeleitet hat.
updatedVariables	object (Struct format) Optional. Prüfen Sie, ob der Agent die Sitzungsvariablen auf die erwarteten Werte aktualisiert hat. Wird verwendet, um auch Aktualisierungen von Agent-Variablen für Golden-Evaluierungen zu erfassen.
mockToolResponse	object (ToolResponse) Optional. Die zu simulierende Toolantwort mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM halluziniert.
noToolCalls	boolean Optional. Prüfen Sie, ob während dieser Runde keine Tools aufgerufen wurden.

ExpectationLevelMetricsThresholds

JSON-Darstellung
{ // Union field _tool_invocation_parameter_correctness_threshold can be only one // of the following: "toolInvocationParameterCorrectnessThreshold": number // End of list of possible types for union field // _tool_invocation_parameter_correctness_threshold. }

Felder
Union-Feld _tool_invocation_parameter_correctness_threshold. Für _tool_invocation_parameter_correctness_threshold ist nur einer der folgenden Werte zulässig:
toolInvocationParameterCorrectnessThreshold	number Optional. Der Erfolgsschwellenwert für die Korrektheit einzelner Parameter für den Toolaufruf. Muss eine Gleitkommazahl zwischen 0 und 1 sein. Der Standardwert ist 1,0.

SemanticSimilarityMetricsConfig

JSON-Darstellung
{ "enableSemanticSimilarityMetrics": boolean }

Felder
enableSemanticSimilarityMetrics	boolean Optional. Gibt an, ob Messwerte für die semantische Ähnlichkeit für die Bewertung berechnet werden sollen.

HallucinationMetricsConfig

JSON-Darstellung
{ "enableHallucinationMetrics": boolean }

Felder
enableHallucinationMetrics	boolean Optional. Gibt an, ob Halluzinationsmesswerte für die Bewertung berechnet werden sollen.

SemanticSimilarityResult

JSON-Darstellung
{ "label": string, "explanation": string, "outcome": enum (Outcome), // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Felder
label	string Nur Ausgabe. Das mit jedem Wert verknüpfte Label. Punktzahl 4: Vollständig konsistent Punktzahl 3: Größtenteils konsistent Punktzahl 2: Teilweise konsistent (kleinere Auslassungen) Punktzahl 1: Größtenteils inkonsistent (größere Auslassungen) Punktzahl 0: Vollständig inkonsistent/widersprüchlich
explanation	string Nur Ausgabe. Die Erläuterung des semantischen Ähnlichkeitswerts.
outcome	enum (Outcome) Nur Ausgabe. Das Ergebnis der Prüfung auf semantische Ähnlichkeit. Dies wird durch den Vergleich des Werts mit dem „semantic_similarity_success_threshold“ bestimmt. Wenn die Punktzahl dem Schwellenwert entspricht oder darüber liegt, ist das Ergebnis BESTANDEN. Andernfalls ist das Ergebnis FAIL.
Union-Feld _score. Für _score ist nur einer der folgenden Werte zulässig:
score	integer Nur Ausgabe. Der Wert für die semantische Ähnlichkeit. Kann 0, 1, 2, 3 oder 4 sein.

ToolInvocationResult

JSON-Darstellung
{ "outcome": enum (Outcome), "explanation": string, // Union field _parameter_correctness_score can be only one of the following: "parameterCorrectnessScore": number // End of list of possible types for union field _parameter_correctness_score. }

Felder
outcome	enum (Outcome) Nur Ausgabe. Das Ergebnis der Prüfung des Toolaufrufs. Dies wird durch den Vergleich des parameter_correctness_score mit dem Schwellenwert bestimmt. Wenn die Punktzahl dem Schwellenwert entspricht oder darüber liegt, ist das Ergebnis BESTANDEN. Andernfalls ist das Ergebnis FAIL.
explanation	string Nur Ausgabe. Eine Freitexterklärung für das Ergebnis des Toolaufrufs.
Union-Feld _parameter_correctness_score. Für _parameter_correctness_score ist nur einer der folgenden Werte zulässig:
parameterCorrectnessScore	number Nur Ausgabe. Der Korrektheitswert für die Parameter des Toolaufrufs. Dies gibt den Prozentsatz der Parameter aus dem erwarteten Toolaufruf an, die auch im tatsächlichen Toolaufruf vorhanden waren.

HallucinationResult

JSON-Darstellung
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Felder
label	string Nur Ausgabe. Das mit jedem Wert verknüpfte Label. Score 1: Justified Score 0: Not Justified Score -1: No Claim To Assess
explanation	string Nur Ausgabe. Die Erklärung für den Halluzinationswert.
Union-Feld _score. Für _score ist nur einer der folgenden Werte zulässig:
score	integer Nur Ausgabe. Der Halluzinationswert. Kann -1, 0, 1 sein.

Dauer

JSON-Darstellung
{ "seconds": string, "nanos": integer }

Felder
seconds	string (int64 format) Vorzeichenbehaftete Sekunden der Zeitspanne. Muss zwischen -315.576.000.000 und +315.576.000.000 (einschließlich) liegen. Hinweis: Diese Grenzen werden so berechnet: 60 Sek./Min. * 60 Min./Std. * 24 Std./Tag * 365,25 Tage/Jahr * 10.000 Jahre
nanos	integer Vorzeichenbehaftete Sekundenbruchteile mit Nanosekundenauflösung der Zeitspanne. Dauern von weniger als einer Sekunde werden mit einem seconds-Feld mit dem Wert 0 und einem positiven oder negativen nanos-Feld dargestellt. Bei einer Dauer von einer Sekunde oder mehr muss ein Wert ungleich null für das Feld nanos dasselbe Vorzeichen wie das Feld seconds haben. Muss zwischen -999.999.999 und +999.999.999 liegen.

ToolCallLatency

JSON-Darstellung
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

Felder
tool	string Nur Ausgabe. Der Name des ausgeführten Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName	string Nur Ausgabe. Der Anzeigename des Tools
startTime	string (Timestamp format) Nur Ausgabe. Der Beginn der Ausführung des Toolaufrufs. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime	string (Timestamp format) Nur Ausgabe. Das Ende der Ausführung des Toolaufrufs. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionLatency	string (Duration format) Nur Ausgabe. Die Latenz der Ausführung des Toolaufrufs. Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

OverallToolInvocationResult

JSON-Darstellung
{ "outcome": enum (Outcome), // Union field _tool_invocation_score can be only one of the following: "toolInvocationScore": number // End of list of possible types for union field _tool_invocation_score. }

Felder
outcome	enum (Outcome) Nur Ausgabe. Das Ergebnis der Prüfung des Toolaufrufs. Dies wird durch den Vergleich von „tool_invocation_score“ mit „overall_tool_invocation_correctness_threshold“ bestimmt. Wenn die Punktzahl dem Schwellenwert entspricht oder darüber liegt, ist das Ergebnis BESTANDEN. Andernfalls ist das Ergebnis FAIL.
Union-Feld _tool_invocation_score. Für _tool_invocation_score ist nur einer der folgenden Werte zulässig:
toolInvocationScore	number Die Gesamtpunktzahl für den Toolaufruf in dieser Runde. Dies gibt den Gesamtprozentsatz der Tools aus der erwarteten Runde an, die tatsächlich aufgerufen wurden.

EvaluationErrorInfo

JSON-Darstellung
{ "errorType": enum (ErrorType), "errorMessage": string, "sessionId": string, "userFacingErrorMessage": string }

Felder
errorType	enum (ErrorType) Nur Ausgabe. Die Art des Fehlers.
errorMessage	string Nur Ausgabe. Die Fehlermeldung.
sessionId	string Nur Ausgabe. Die Sitzungs-ID für die Unterhaltung, die den Fehler verursacht hat.
userFacingErrorMessage	string Nur Ausgabe. Die an den Nutzer gerichtete Fehlermeldung.

SpanLatency

JSON-Darstellung
{ "type": enum (Type), "displayName": string, "startTime": string, "endTime": string, "executionLatency": string, // Union field identifier can be only one of the following: "resource": string, "toolset": { object (ToolsetTool) }, "model": string, "callback": string // End of list of possible types for union field identifier. }

Felder
type	enum (Type) Nur Ausgabe. Der Typ des Spans.
displayName	string Nur Ausgabe. Der Anzeigename des Spans. Gilt für Tool- und Schutzmaßnahmen-Spans.
startTime	string (Timestamp format) Nur Ausgabe. Der Beginn des Zeitraums. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime	string (Timestamp format) Nur Ausgabe. Das Ende des Zeitraums. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionLatency	string (Duration format) Nur Ausgabe. Die Latenz des Spans. Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
Union-Feld identifier. Die Kennung des jeweiligen Elements basierend auf seinem Typ. Für identifier ist nur einer der folgenden Werte zulässig:
resource	string Nur Ausgabe. Der Ressourcenname der Guardrail- oder Tool-Spans.
toolset	object (ToolsetTool) Nur Ausgabe. Die Tool-ID des Toolsets.
model	string Nur Ausgabe. Der Name des LLM-Spans.
callback	string Nur Ausgabe. Der Name des Nutzer-Callback-Spans.

EvaluationExpectationResult

JSON-Darstellung
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (Outcome), "explanation": string }

Felder
evaluationExpectation	string Nur Ausgabe. Die Erwartung an die Bewertung. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt	string Nur Ausgabe. Der Prompt, der für die Bewertung verwendet wurde.
outcome	enum (Outcome) Nur Ausgabe. Das Ergebnis der Bewertungserwartung.
explanation	string Nur Ausgabe. Die Erklärung für das Ergebnis.

ScenarioResult

JSON-Darstellung

{ "conversation": string, "task": string, "userFacts": [ { object (UserFact) } ], "expectationOutcomes": [ { object (ScenarioExpectationOutcome) } ], "rubricOutcomes": [ { object (ScenarioRubricOutcome) } ], "hallucinationResult": [ { object (HallucinationResult) } ], "taskCompletionResult": { object (TaskCompletionResult) }, "toolCallLatencies": [ { object (ToolCallLatency) } ], "userGoalSatisfactionResult": { object (UserGoalSatisfactionResult) }, "spanLatencies": [ { object (SpanLatency) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ], "milestoneResults": [ { object (MilestoneResult) } ], // Union field _all_expectations_satisfied can be only one of the following: "allExpectationsSatisfied": boolean // End of list of possible types for union field _all_expectations_satisfied. // Union field _task_completed can be only one of the following: "taskCompleted": boolean // End of list of possible types for union field _task_completed. }

Felder
conversation	string Nur Ausgabe. Die Unterhaltung, die im Szenario generiert wurde.
task	string Nur Ausgabe. Die Aufgabe, die beim Ausführen des Szenarios für dieses Ergebnis verwendet wurde.
userFacts[]	object (UserFact) Nur Ausgabe. Die Nutzerfakten, die vom Szenario für dieses Ergebnis verwendet wurden.
expectationOutcomes[]	object (ScenarioExpectationOutcome) Nur Ausgabe. Das Ergebnis jeder Erwartung.
rubricOutcomes[]	object (ScenarioRubricOutcome) Nur Ausgabe. Das Ergebnis der Bewertung.
hallucinationResult[]	object (HallucinationResult) Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung. Für jede Runde in der Unterhaltung wird ein Halluzinationsergebnis angezeigt.
taskCompletionResult (deprecated)	object (TaskCompletionResult) Dieses Element wird nicht mehr unterstützt. Nur Ausgabe. Das Ergebnis der Prüfung, ob die Aufgabe abgeschlossen ist.
toolCallLatencies[]	object (ToolCallLatency) Nur Ausgabe. Die Latenz der einzelnen Toolaufrufe in der Unterhaltung.
userGoalSatisfactionResult	object (UserGoalSatisfactionResult) Nur Ausgabe. Das Ergebnis der Überprüfung der Zielerreichung des Nutzers.
spanLatencies[]	object (SpanLatency) Nur Ausgabe. Die Latenz der Spans in der Unterhaltung.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Nur Ausgabe. Die Ergebnisse der Bewertungserwartungen.
milestoneResults[]	object (MilestoneResult) Nur Ausgabe. Die Ergebnisse der einzelnen Meilensteine im Szenario.
Union-Feld _all_expectations_satisfied. Für _all_expectations_satisfied ist nur einer der folgenden Werte zulässig:
allExpectationsSatisfied	boolean Nur Ausgabe. Ob alle Erwartungen für diese Runde erfüllt wurden.
Union-Feld _task_completed. Für _task_completed ist nur einer der folgenden Werte zulässig:
taskCompleted	boolean Nur Ausgabe. Gibt an, ob die Aufgabe für diesen Turn abgeschlossen wurde. Dies ist eine Kombination aus allen erfüllten Erwartungen, keinen Halluzinationen und der Erfüllung der Nutzerziele.

UserFact

JSON-Darstellung
{ "name": string, "value": string }

Felder
name	string Erforderlich. Der Name des Nutzerfaktums.
value	string Erforderlich. Der Wert des Nutzerfaktums.

ScenarioExpectationOutcome

JSON-Darstellung
{ "expectation": { object (ScenarioExpectation) }, "outcome": enum (Outcome), // Union field result can be only one of the following: "observedToolCall": { object (ObservedToolCall) }, "observedAgentResponse": { object (Message) } // End of list of possible types for union field result. }

Felder
expectation	object (ScenarioExpectation) Nur Ausgabe. Die Erwartung, die ausgewertet wurde.
outcome	enum (Outcome) Nur Ausgabe. Das Ergebnis der ScenarioExpectation.
Union-Feld result. Das Ergebnis der Erwartung. Für result ist nur einer der folgenden Werte zulässig:
observedToolCall	object (ObservedToolCall) Nur Ausgabe. Der beobachtete Toolaufruf.
observedAgentResponse	object (Message) Nur Ausgabe. Die beobachtete Antwort des KI-Agenten.

ObservedToolCall

JSON-Darstellung
{ "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) } }

Felder
toolCall	object (ToolCall) Nur Ausgabe. Der beobachtete Toolaufruf.
toolResponse	object (ToolResponse) Nur Ausgabe. Die beobachtete Toolantwort.

ScenarioExpectation

JSON-Darstellung
{ // Union field expectation can be only one of the following: "toolExpectation": { object (ToolExpectation) }, "agentResponse": { object (Message) } // End of list of possible types for union field expectation. }

Felder
Union-Feld expectation. Die Erwartung, die von der Simulation erzeugte Unterhaltung zu bewerten. Für expectation ist nur einer der folgenden Werte zulässig:
toolExpectation	object (ToolExpectation) Optional. Das zu bewertende Paar aus Toolaufruf und Antwort.
agentResponse	object (Message) Optional. Die zu bewertende Antwort des KI-Agenten.

ToolExpectation

JSON-Darstellung
{ "expectedToolCall": { object (ToolCall) }, "mockToolResponse": { object (ToolResponse) } }

Felder
expectedToolCall	object (ToolCall) Erforderlich. Der erwartete Toolaufruf mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM halluziniert.
mockToolResponse	object (ToolResponse) Erforderlich. Die zu simulierende Toolantwort mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM halluziniert.

ScenarioRubricOutcome

JSON-Darstellung
{ "rubric": string, "scoreExplanation": string, // Union field _score can be only one of the following: "score": number // End of list of possible types for union field _score. }

Felder
rubric	string Nur Ausgabe. Das Bewertungsschema, das zur Bewertung der Unterhaltung verwendet wurde.
scoreExplanation	string Nur Ausgabe. Die Antwort des Bewerters auf das Bewertungsschema.
Union-Feld _score. Für _score ist nur einer der folgenden Werte zulässig:
score	number Nur Ausgabe. Die Bewertung der Unterhaltung anhand der Rubrik.

TaskCompletionResult

JSON-Darstellung
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Felder
label	string Nur Ausgabe. Das mit jedem Wert verknüpfte Label. Score 1: Task Completed Score 0: Task Not Completed Score -1: User Goal Undefined
explanation	string Nur Ausgabe. Die Erklärung für die Bewertung des Aufgabenabschlusses.
Union-Feld _score. Für _score ist nur einer der folgenden Werte zulässig:
score	integer Nur Ausgabe. Die Punktzahl für die Aufgabenerledigung. Kann -1, 0, 1 sein

UserGoalSatisfactionResult

JSON-Darstellung
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Felder
label	string Nur Ausgabe. Das mit jedem Wert verknüpfte Label. Punktzahl 2: Reibungslose Übergabe, Punktzahl 1: Nutzeraufgabe erfüllt, Punktzahl 0: Nutzeraufgabe nicht erfüllt, Punktzahl -1: Nutzeraufgabe nicht angegeben
explanation	string Nur Ausgabe. Die Erklärung für den Wert der Zufriedenheit mit der Nutzeraufgabe.
Union-Feld _score. Für _score ist nur einer der folgenden Werte zulässig:
score	integer Nur Ausgabe. Der Wert für die Zufriedenheit der Nutzer mit der Aufgabe. Kann -1, 0, 1, 2 sein.

MilestoneResult

JSON-Darstellung
{ "milestone": { object (Milestone) }, "status": enum (MilestoneStatus), "justification": string }

Felder
milestone	object (Milestone) Nur Ausgabe. Der Meilenstein, der verfolgt wird.
status	enum (MilestoneStatus) Nur Ausgabe. Der aktuelle Status des Meilensteins.
justification	string Nur Ausgabe. Die Begründung für den aktuellen Status.

Milestone

JSON-Darstellung
{ "goal": string, "maxTurnCount": integer, "successCriteria": string, "protocol": string, "staticUtterance": string, "event": { object (Event) } }

Felder
goal	string Erforderlich. Das Ziel des Meilensteins.
maxTurnCount	integer Optional. Die maximale Anzahl von Turns für diesen Meilenstein.
successCriteria	string Optional. Die Erfolgskriterien des Meilensteins.
protocol	string Optional. Die Richtlinien, die der Agent während der Unterhaltung befolgen sollte.
staticUtterance	string Optional. Eine statische Äußerung, die der Simulator genau so sendet, anstatt Nutzereingaben dynamisch zu generieren.
event	object (Event) Optional. Eine Ereigniseingabe, die anstelle der dynamischen Generierung gesendet werden soll.

Ereignis

JSON-Darstellung
{ "event": string, "variables": { object } }

Felder
event	string Erforderlich. Der Name des Ereignisses.
variables	object (Struct format) Optional. Zusätzliche Variablen, die mit dem Ereignis verknüpft sind.

EvaluationPersona

JSON-Darstellung
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (SpeechConfig) } }

Felder
name	string Erforderlich. Die eindeutige Kennung der Persona. Format: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description	string Optional. Die Beschreibung der Persona.
displayName	string Erforderlich. Der Anzeigename der Persona. Er kommt innerhalb einer App nur einmal vor.
personality	string Erforderlich. Eine Anweisung für den KI-Agenten, wie er sich bei der Bewertung verhalten soll.
speechConfig	object (SpeechConfig) Optional. Konfiguration für den Klang der Persona (TTS-Einstellungen).

SpeechConfig

JSON-Darstellung
{ "speakingRate": number, "environment": enum (BackgroundEnvironment), "voiceId": string }

Felder
speakingRate	number Optional. Die Sprechgeschwindigkeit. 1,0 ist normal. Niedrigere Werte sind langsamer (z. B. 0,8), höhere Werte sind schneller (z. B. 1,5). Nützlich, um zu testen, wie der KI-Agent mit schnell sprechenden Personen umgeht.
environment	enum (BackgroundEnvironment) Optional. Die simulierte Audioumgebung.
voiceId	string Optional. Die spezifische Sprachkennung/der spezifische Akzent, die bzw. der verwendet werden soll. Beispiel: „en-US-Wavenet-D“ oder „en-GB-Standard-A“

Status

JSON-Darstellung
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

Felder
code	integer Der Statuscode, der idealerweise ein ENUM-Wert von google.rpc.Code ist.
message	string Eine an Entwickler gerichtete Fehlermeldung, die englischsprachig sein sollte. Jede für Nutzer sichtbare Fehlermeldung sollte lokalisiert und im Feld google.rpc.Status.details gesendet werden. Sie kann auch clientseitig lokalisiert werden.
details[]	object Eine Auflistung aller Meldungen, die die Fehlerdetails enthalten. Es gibt einen gemeinsamen Satz von Nachrichtentypen, die APIs verwenden können. Ein Objekt, das Felder eines beliebigen Typs enthält. Ein zusätzliches Feld "@type" enthält einen URI zur Identifizierung des Typs. Beispiel: { "id": 1234, "@type": "types.example.com/standard/id" }.

Beliebig

JSON-Darstellung
{ "typeUrl": string, "value": string }

Felder
typeUrl	string Identifiziert den Typ der serialisierten Protobuf-Nachricht mit einer URI-Referenz, die aus einem Präfix, das mit einem Schrägstrich endet, und dem voll qualifizierten Typnamen besteht. Beispiel: type.googleapis.com/google.protobuf.StringValue Dieser String muss mindestens ein /-Zeichen enthalten und der Inhalt nach dem letzten / muss der vollständig qualifizierte Name des Typs in kanonischer Form ohne führenden Punkt sein. Geben Sie für diese URI-Referenzen kein Schema an, damit Clients nicht versuchen, sie zu kontaktieren. Das Präfix ist beliebig und Protobuf-Implementierungen entfernen einfach alles bis einschließlich des letzten /, um den Typ zu identifizieren. type.googleapis.com/ ist ein gängiges Standardpräfix, das für einige Legacy-Implementierungen erforderlich ist. Dieses Präfix gibt nicht den Ursprung des Typs an und URIs, die es enthalten, reagieren voraussichtlich nicht auf Anfragen. Alle Typ-URL-Strings müssen gültige URI-Referenzen sein. Für das Textformat gilt die zusätzliche Einschränkung, dass der Inhalt der Referenz nur aus alphanumerischen Zeichen, prozentcodierten Escapes und Zeichen aus dem folgenden Satz (ohne die äußeren Backticks) bestehen darf: /-.~_!$&()*+,;=. Obwohl wir die Prozentcodierung zulassen, sollten Implementierungen sie nicht entfernen, um Verwechslungen mit vorhandenen Parsern zu vermeiden. Beispielsweise sollte type.googleapis.com%2FFoo abgelehnt werden. Im ursprünglichen Design von Any wurde die Möglichkeit in Betracht gezogen, einen Typauflösungsdienst unter diesen Typ-URLs zu starten. Protobuf hat jedoch nie einen solchen Dienst implementiert und betrachtet die Kontaktaufnahme mit diesen URLs als problematisch und als potenzielles Sicherheitsrisiko. Versuchen Sie nicht, URLs einzugeben.
value	string (bytes format) Enthält eine Protobuf-Serialisierung des Typs, der durch „type_url“ beschrieben wird. Ein base64-codierter String.

EvaluationMetricsThresholds

JSON-Darstellung
{ "goldenEvaluationMetricsThresholds": { object (GoldenEvaluationMetricsThresholds) }, "hallucinationMetricBehavior": enum (HallucinationMetricBehavior), "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior), "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior) }

Felder
goldenEvaluationMetricsThresholds	object (GoldenEvaluationMetricsThresholds) Optional. Die Schwellenwerte für die Golden-Bewertungsmesswerte.
hallucinationMetricBehavior (deprecated)	enum (HallucinationMetricBehavior) Dieses Element wird nicht mehr unterstützt. Optional. Nicht mehr unterstützt: Verwenden Sie stattdessen golden_hallucination_metric_behavior. Das Verhalten des Halluzinationsmesswerts wird derzeit für Golden-Evaluierungen verwendet.
goldenHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Optional. Das Verhalten des Halluzinationsmesswerts für Golden-Evaluierungen.
scenarioHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Optional. Das Verhalten des Halluzinationsmesswerts für Szenariobewertungen.

GoldenEvaluationMetricsThresholds

JSON-Darstellung
{ "turnLevelMetricsThresholds": { object (TurnLevelMetricsThresholds) }, "expectationLevelMetricsThresholds": { object (ExpectationLevelMetricsThresholds) }, "toolMatchingSettings": { object (ToolMatchingSettings) } }

Felder
turnLevelMetricsThresholds	object (TurnLevelMetricsThresholds) Optional. Die Schwellenwerte für die Messwerte auf Turn-Ebene.
expectationLevelMetricsThresholds	object (ExpectationLevelMetricsThresholds) Optional. Die Messwertgrenzwerte auf Erwartungsebene.
toolMatchingSettings	object (ToolMatchingSettings) Optional. Die Einstellungen für den Toolabgleich. Ein zusätzlicher Toolaufruf ist ein Toolaufruf, der in der Ausführung vorhanden ist, aber mit keinem Toolaufruf in der Golden Expectation übereinstimmt.

TurnLevelMetricsThresholds

JSON-Darstellung

{ "semanticSimilarityChannel": enum (SemanticSimilarityChannel), // Union field _semantic_similarity_success_threshold can be only one of the // following: "semanticSimilaritySuccessThreshold": integer // End of list of possible types for union field // _semantic_similarity_success_threshold. // Union field _overall_tool_invocation_correctness_threshold can be only one // of the following: "overallToolInvocationCorrectnessThreshold": number // End of list of possible types for union field // _overall_tool_invocation_correctness_threshold. }

Felder
semanticSimilarityChannel	enum (SemanticSimilarityChannel) Optional. Der Kanal für semantische Ähnlichkeit, der für die Bewertung verwendet werden soll.
Union-Feld _semantic_similarity_success_threshold. Für _semantic_similarity_success_threshold ist nur einer der folgenden Werte zulässig:
semanticSimilaritySuccessThreshold	integer Optional. Der Erfolgsschwellenwert für die semantische Ähnlichkeit. Muss eine Ganzzahl zwischen 0 und 4 sein. Der Standardwert ist >= 3.
Union-Feld _overall_tool_invocation_correctness_threshold. Für _overall_tool_invocation_correctness_threshold ist nur einer der folgenden Werte zulässig:
overallToolInvocationCorrectnessThreshold	number Optional. Der Erfolgsschwellenwert für die Gesamtkorrektheit des Toolaufrufs. Muss eine Gleitkommazahl zwischen 0 und 1 sein. Der Standardwert ist 1,0.

ToolMatchingSettings

JSON-Darstellung
{ "extraToolCallBehavior": enum (ExtraToolCallBehavior) }

Felder
extraToolCallBehavior	enum (ExtraToolCallBehavior) Optional. Verhalten bei zusätzlichen Toolaufrufen. Die Standardeinstellung ist FAIL.

EvaluationConfig

JSON-Darstellung
{ "inputAudioConfig": { object (InputAudioConfig) }, "outputAudioConfig": { object (OutputAudioConfig) }, "evaluationChannel": enum (EvaluationChannel), "toolCallBehaviour": enum (EvaluationToolCallBehaviour) }

Felder
inputAudioConfig	object (InputAudioConfig) Optional. Konfiguration für die Verarbeitung des Eingabeaudios.
outputAudioConfig	object (OutputAudioConfig) Optional. Konfiguration zum Generieren des Ausgabeaudios.
evaluationChannel	enum (EvaluationChannel) Optional. Der zu bewertende Kanal.
toolCallBehaviour	enum (EvaluationToolCallBehaviour) Optional. Gibt an, ob für die Bewertung echte Toolaufrufe oder gefälschte Tools verwendet werden sollen.

InputAudioConfig

JSON-Darstellung
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

Felder
audioEncoding	enum (AudioEncoding) Erforderlich. Die Codierung der Eingangsaudiodaten.
sampleRateHertz	integer Erforderlich. Die Abtastrate (in Hertz) der Eingangsaudiodaten.
noiseSuppressionLevel	string Optional. Gibt an, ob die Geräuschunterdrückung für die Audioeingabe aktiviert werden soll. Mögliche Werte sind „low“, „moderate“, „high“ und „very_high“.

OutputAudioConfig

JSON-Darstellung
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer }

Felder
audioEncoding	enum (AudioEncoding) Erforderlich. Die Codierung der Audioausgabedaten.
sampleRateHertz	integer Erforderlich. Die Abtastrate (in Hertz) der Ausgabeaudiodaten.

Span

JSON-Darstellung
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (Span) } ] }

Felder
name	string Nur Ausgabe. Der Name des Spans.
startTime	string (Timestamp format) Nur Ausgabe. Der Beginn des Spans. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime	string (Timestamp format) Nur Ausgabe. Das Ende des Zeitraums. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
duration	string (Duration format) Nur Ausgabe. Die Dauer des Spans. Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
attributes	object (Struct format) Nur Ausgabe. Schlüssel/Wert-Attribute, die mit dem Span verknüpft sind.
childSpans[]	object (Span) Nur Ausgabe. Die untergeordneten Spans, die unter diesem Span verschachtelt sind.

NullValue

Stellt ein JSON-null dar.

NullValue ist ein Sentinel, der ein Enum mit nur einem Wert verwendet, um den Nullwert für die Typunion Value darzustellen.

Ein Feld vom Typ NullValue mit einem anderen Wert als 0 wird als ungültig betrachtet. Die meisten ProtoJSON-Serialisierer geben unabhängig vom Ganzzahlwert einen Value mit einem null_value aus, der als JSON-null festgelegt ist, und runden ihn auf einen 0-Wert.

Enums
NULL_VALUE	Nullwert.

ComparisonType

Unterstützte Vergleichstypen zum Prüfen der Antwort des KI-Agenten.

Enums
COMPARISON_TYPE_UNSPECIFIED	Nicht angegebener Vergleichstyp. Das Standardverhalten ist SEMANTIC_SIMILARITY für Agent-Antworten und Toolaufrufe.
EQUALS	Exakte Übereinstimmung des Strings.
CONTAINS	Teilstring-Übereinstimmung (prüft, ob der erwartete String in der tatsächlichen Antwort enthalten ist).
SEMANTIC_SIMILARITY	Übereinstimmung bei semantischer Ähnlichkeit (bewertet die Ähnlichkeit der Bedeutung mithilfe eines LLM)

Ergebnis

Das Ergebnis der Bewertung oder Erwartung.

Enums
OUTCOME_UNSPECIFIED	Das Bewertungsergebnis ist nicht angegeben.
PASS	Bewertung/Erwartung erfüllt. Im Fall einer Bewertung bedeutet dies, dass alle Erwartungen erfüllt wurden.
FAIL	Bewertung/Erwartung fehlgeschlagen. Im Fall einer Bewertung bedeutet dies, dass mindestens eine Erwartung nicht erfüllt wurde.
SKIPPED	Bewertung/Erwartung wurde übersprungen.

ErrorType

Der Fehlertyp

Enums
ERROR_TYPE_UNSPECIFIED	Unbekannter Fehlertyp.
RUNTIME_FAILURE	Fehler während der Laufzeitausführung.
CONVERSATION_RETRIEVAL_FAILURE	Unterhaltung konnte nicht aus der CES-Laufzeit abgerufen werden.
METRIC_CALCULATION_FAILURE	Ein Messwert oder Ergebnis konnte nicht berechnet werden.
EVALUATION_UPDATE_FAILURE	Die Bewertung konnte nicht aktualisiert werden.
QUOTA_EXHAUSTED	Kontingent aufgebraucht.
USER_SIMULATION_FAILURE	Fehler bei der Nutzersimulation.

Typ

Der Typ des Spans. In Zukunft werden möglicherweise weitere Werte hinzugefügt.

Enums
TYPE_UNSPECIFIED	Standardwert. Dieser Wert wird nicht verwendet.
TOOL	Span für Toolaufruf.
USER_CALLBACK	Nutzer-Callback-Spanne.
GUARDRAIL	Schutzmaßnahmenbereich.
LLM	LLM-Span.

MilestoneStatus

Der Status des Meilensteins.

Enums
MILESTONE_STATUS_UNSPECIFIED	Nicht angegebener Status
NOT_STARTED	Der Meilenstein hat noch nicht begonnen.
IN_PROGRESS	Der Meilenstein wird gerade bearbeitet.
COMPLETED	Der Meilenstein wurde erfolgreich abgeschlossen.

BackgroundEnvironment

Simulierte Audioumgebung.

Enums
BACKGROUND_ENVIRONMENT_UNSPECIFIED	Hintergrundumgebung nicht angegeben.
CALL_CENTER	Callcenter-Umgebung
TRAFFIC	Umgebung mit Verkehrslärm.
KIDS_NOISE	Geräuschumgebung für Kinder.
CAFE	Café-Umgebung.

ExecutionState

Der Status der Ausführung des Bewertungsergebnisses.

Enums
EXECUTION_STATE_UNSPECIFIED	Der Ausführungsstatus des Bewertungsergebnisses ist nicht angegeben.
QUEUED	Die Ausführung des Bewertungsergebnisses befindet sich in der Warteschlange.
RUNNING	Die Ausführung des Bewertungsergebnisses läuft.
COMPLETED	Die Ausführung des Bewertungsergebnisses ist abgeschlossen.
ERROR	Die Ausführung des Bewertungsergebnisses ist aufgrund eines internen Fehlers fehlgeschlagen.
CANCELLED	Die Ausführung des Bewertungsergebnisses wurde abgebrochen.

SemanticSimilarityChannel

Kanal für semantische Ähnlichkeit, der verwendet werden soll.

Enums
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED	Messwert nicht angegeben. Die Standardeinstellung ist TEXT.
TEXT	Semantische Textähnlichkeit verwenden.
AUDIO	Semantische Ähnlichkeit von Audioinhalten verwenden.

ExtraToolCallBehavior

Definiert das Verhalten, wenn ein zusätzlicher Toolaufruf erkannt wird. Ein zusätzlicher Toolaufruf ist ein Toolaufruf, der in der Ausführung vorhanden ist, aber mit keinem Toolaufruf in der Golden Expectation übereinstimmt.

Enums
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED	Nicht angegebenes Verhalten. Die Standardeinstellung ist FAIL.
FAIL	Die Bewertung schlägt fehl, wenn ein zusätzlicher Toolaufruf erkannt wird.
ALLOW	Lassen Sie den zusätzlichen Toolaufruf zu.

HallucinationMetricBehavior

Das Verhalten des Halluzinationsmesswerts. Unabhängig vom Verhalten wird der Messwert immer berechnet. Der Unterschied besteht darin, dass der Messwert bei Deaktivierung nicht zur Berechnung des Gesamtbewertungsergebnisses verwendet wird.

Enums
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED	Nicht angegebenes Verhalten des Halluzinationsmesswerts.
DISABLED	Halluzinationsmesswert deaktivieren.
ENABLED	Halluzinationsmesswert aktivieren.

AudioEncoding

„AudioEncoding“ gibt das Codierungsformat für Audiodaten an.

Enums
AUDIO_ENCODING_UNSPECIFIED	Nicht angegebene Audiocodierung.
LINEAR16	16-Bit-Codierung mit linearer PCM
MULAW	8-Bit-Samples zur Kompandierung von 14-Bit-Audiosamples mit G.711 PCMU/mu-law.
ALAW	8-Bit-Samples, die 14-Bit-Audio-Samples mit G.711 PCMU/A-law kompandieren.

EvaluationChannel

Der zu bewertende Kanal.

Enums
EVALUATION_CHANNEL_UNSPECIFIED	Nicht angegebener Bewertungskanal.
TEXT	Bewertungskanal nur für Text.
AUDIO	Kanal für die Audiobewertung.

EvaluationToolCallBehaviour

Konfiguriert das Verhalten von Toolaufrufen für Bewertungsausführungen.

Enums
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED	Nicht angegebenes Verhalten des Toolaufrufs. Standardmäßig werden echte Toolaufrufe verwendet.
REAL	Verwenden Sie echte Toolaufrufe.
FAKE	Verwenden Sie gefälschte Toolaufrufe.

GoldenRunMethod

Die Methode, mit der die Bewertung ausgeführt wird.

Enums
GOLDEN_RUN_METHOD_UNSPECIFIED	Die Ausführungsmethode ist nicht angegeben.
STABLE	Führen Sie die Bewertung als stabile Wiedergabe aus, bei der jede Runde eine eindeutige Sitzung ist, in die die vorherigen erwarteten Runden als Kontext eingefügt werden.
NAIVE	Führen Sie die Bewertung als naive Wiedergabe aus, wobei die Ausführung eine einzelne Sitzung ohne eingefügten Kontext ist.

OutcomeMetadata

Metadaten zum Ergebnis der Bewertung.

Enums
OUTCOME_METADATA_UNSPECIFIED	Nicht angegebene Ergebnismetadaten.
GRACEFUL_HANDOFF	Die Auswertung ergab, dass die Anfrage an einen menschlichen Kundenservicemitarbeiter weitergeleitet werden sollte.

Tool-Annotationen

Tool-Anmerkungen werden an MCP-Clients gesendet, um das grundlegende Risiko eines bestimmten Tools zu beschreiben. Die meisten Clients behandeln diese Hinweise als nicht vertrauenswürdig, sie können jedoch verwendet werden, um zu entscheiden, wann eine Bestätigungsaufforderung an einen Nutzer gesendet werden soll.

Zusätzlich zum Titelstring werden die folgenden booleschen Hinweise definiert:

• readOnlyHint: Wenn „true“, ändert das Tool seine Umgebung nicht. Standardeinstellung: false.
• destructiveHint: Wenn „true“, kann das Tool destruktive Aktionen ausführen. Wenn „false“, kann das Tool nur additive Aktionen ausführen. Standardeinstellung: true.
• idempotentHint: Wenn „true“, hat das wiederholte Aufrufen des Tools mit denselben Argumenten keine zusätzlichen Auswirkungen auf die Umgebung. Standardeinstellung: false.
• openWorldHint: Wenn „true“, kann das Tool mit einer „offenen Welt“ externer Entitäten interagieren. Wenn „false“, kann das Tool nur mit internen Entitäten interagieren. Ein Tool für die Websuche wäre beispielsweise frei verfügbar, ein Tool für gemerkte Informationen jedoch nicht.

Destruktiver Hinweis: ❌ | Idempotenter Hinweis: ✅ | Lesezugriff-Hinweis: ✅ | Open-World-Hinweis: ❌