MCP Tools Reference: ces.googleapis.com

Tool: list_evaluations

Listet Bewertungen auf.

Das folgende Codebeispiel zeigt, wie Sie mit curl das MCP-Tool list_evaluations aufrufen.

cURL-Anfrage
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "list_evaluations",
    "arguments": {
      // Provide these details according to the MCP tool specification.
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Eingabeschema

Anfragenachricht für EvaluationService.ListEvaluations.

ListEvaluationsRequest

JSON-Darstellung
{
  "parent": string,
  "pageSize": integer,
  "pageToken": string,
  "filter": string,
  "evaluationFilter": string,
  "evaluationRunFilter": string,
  "orderBy": string,
  "lastTenResults": boolean
}
Felder
parent

string

Erforderlich. Der Ressourcenname der Anwendung, deren Bewertungen aufgelistet werden sollen.

pageSize

integer

Optional. Angeforderte Seitengröße. Der Server gibt möglicherweise weniger Elemente als angefordert zurück. Wenn kein Wert angegeben wurde, wählt der Server einen geeigneten Standardwert aus.

pageToken

string

Optional. Der Wert next_page_token, der von einem vorherigen Listenaufruf EvaluationService.ListEvaluations zurückgegeben wurde.

filter
(deprecated)

string

Optional. Verworfen: Verwenden Sie stattdessen „evaluation_filter“ und „evaluation_run_filter“.

evaluationFilter

string

Optional. Filter, der beim Auflisten der Bewertungen auf die Bewertung angewendet werden soll. Weitere Informationen finden Sie unter https://google.aip.dev/160. Unterstützte Felder: evaluation_datasets

evaluationRunFilter

string

Optional. Filterstring für Felder in den zugehörigen EvaluationRun-Ressourcen. Weitere Informationen finden Sie unter https://google.aip.dev/160. Unterstützte Felder: create_time, initiated_by, app_version_display_name

orderBy

string

Optional. Feld, nach dem sortiert werden soll. Nur „name“, „create_time“ und „update_time“ werden unterstützt. Zeitfelder werden in absteigender Reihenfolge und das Namensfeld in aufsteigender Reihenfolge sortiert. Wenn nicht angegeben, wird „update_time“ als Standard verwendet. Weitere Informationen finden Sie unter https://google.aip.dev/132#ordering.

lastTenResults

boolean

Optional. Gibt an, ob die letzten 10 Bewertungsergebnisse für jede Bewertung in die Antwort aufgenommen werden sollen.

Ausgabeschema

Antwortnachricht für EvaluationService.ListEvaluations.

ListEvaluationsResponse

JSON-Darstellung
{
  "evaluations": [
    {
      object (Evaluation)
    }
  ],
  "nextPageToken": string
}
Felder
evaluations[]

object (Evaluation)

Die Liste der Bewertungen.

nextPageToken

string

Ein Token, das als ListEvaluationsRequest.page_token gesendet werden kann, um die nächste Seite abzurufen. Wenn dieses Feld fehlt, gibt es keine nachfolgenden Seiten.

Bewertung

JSON-Darstellung
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
Felder
name

string

ID. Die eindeutige Kennung dieser Bewertung. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}

displayName

string

Erforderlich. Benutzerdefinierter Anzeigename der Bewertung. Innerhalb einer App eindeutig.

description

string

Optional. Benutzerdefinierte Beschreibung der Bewertung.

tags[]

string

Optional. Benutzerdefinierte Tags zum Kategorisieren der Bewertung.

evaluationDatasets[]

string

Nur Ausgabe. Liste der Bewertungs-Datasets, zu denen die Bewertung gehört. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}

createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung der Bewertung.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"

createdBy

string

Nur Ausgabe. Der Nutzer, der die Bewertung erstellt hat.

updateTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel der letzten Aktualisierung der Bewertung.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"

lastUpdatedBy

string

Nur Ausgabe. Der Nutzer, der die Bewertung zuletzt aktualisiert hat.

evaluationRuns[]

string

Nur Ausgabe. Die EvaluationRuns, mit denen diese Evaluation verknüpft ist.

etag

string

Nur Ausgabe. Etag, mit dem sichergestellt wird, dass sich das Objekt während eines Lesevorgangs mit anschließender Änderung und Schreibvorgang nicht geändert hat. Wenn das ETag leer ist, werden durch das Update alle gleichzeitigen Änderungen überschrieben.

aggregatedMetrics

object (AggregatedMetrics)

Nur Ausgabe. Die aggregierten Messwerte für diese Bewertung über alle Ausführungen hinweg.

lastCompletedResult

object (EvaluationResult)

Nur Ausgabe. Das neueste Bewertungsergebnis für diese Bewertung.

invalid

boolean

Nur Ausgabe. Gibt an, ob die Bewertung ungültig ist. Das kann passieren, wenn eine Bewertung auf ein Tool, ein Toolset oder einen Agenten verweist, das bzw. der inzwischen gelöscht wurde.

lastTenResults[]

object (EvaluationResult)

Nur Ausgabe. Die letzten 10 Bewertungsergebnisse für diese Bewertung. Dieses Feld wird nur ausgefüllt, wenn „include_last_ten_results“ in „ListEvaluationsRequest“ oder „GetEvaluationRequest“ auf „true“ gesetzt ist.

evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

Optional. Überschreibt die Messwertschwellenwerte für diese spezifische Bewertung.

evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

Optional. Überschreibt die Messwertkonfiguration für diese spezifische Bewertung.

Union-Feld inputs. Die Eingaben für die Bewertung inputs können nur eine der folgenden sein:
golden

object (Golden)

Optional. Die zu bewertenden Golden Steps.

scenario

object (Scenario)

Optional. Die Konfiguration für ein Szenario.

Golden

JSON-Darstellung
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
Felder
turns[]

object (GoldenTurn)

Erforderlich. Die Golden Turns, die zum Wiederholen einer Golden Conversation erforderlich sind. Die maximal zulässige Anzahl von Turns beträgt 100.

evaluationExpectations[]

string

Optional. Die Bewertungserwartungen, anhand derer die wiedergegebene Unterhaltung bewertet werden soll. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

JSON-Darstellung
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior)
}
Felder
steps[]

object (Step)

Erforderlich. Die Schritte, die zum Wiederholen einer Golden Conversation erforderlich sind.

rootSpan

object (Span)

Optional. Der Root-Span des Golden Turn für die Verarbeitung und Verwaltung von Audioinformationen. Der URI für die Audiodaten muss Audiodaten enthalten, die mit einer Abtastrate von 16 kHz gespeichert wurden.

turnLevelMetricsThresholdsOverride

object (TurnLevelMetricsThresholds)

Optional. Überschreibungen für Messwertgrenzwerte auf Turn-Ebene.

hallucinationMetricBehaviorOverride

enum (HallucinationMetricBehavior)

Optional. Überschreibung für das Verhalten des Halluzinationsmesswerts auf Turn-Ebene.

Schritt

JSON-Darstellung
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
Felder
Union-Feld step. Der auszuführende Schritt. Für step ist nur einer der folgenden Werte zulässig:
userInput

object (SessionInput)

Optional. Nutzereingabe für die Unterhaltung.

agentTransfer

object (AgentTransfer)

Optional. Leiten Sie die Unterhaltung an einen anderen Kundenservicemitarbeiter weiter.

expectation

object (GoldenExpectation)

Optional. Führt eine Erwartung für die aktuelle Runde aus.

SessionInput

JSON-Darstellung
{
  "willContinue": boolean,
  "recordingControl": enum (RecordingControl),

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
Felder
willContinue

boolean

Optional. Ein Flag, das angibt, ob die aktuelle Nachricht ein Fragment einer größeren Eingabe in der bidirektionalen Streamingsitzung ist.

Wenn true festgelegt ist, verschiebt der Agent die Verarbeitung, bis er eine nachfolgende Nachricht empfängt, in der will_continue den Wert false hat, oder bis das System einen Endpunkt in der Audioeingabe erkennt.

HINWEIS: Dieses Feld gilt nicht für Audio- und DTMF-Eingaben, da diese immer automatisch basierend auf dem Endpunktsignal verarbeitet werden.

recordingControl

enum (RecordingControl)

Optional. Ob die Unterhaltung ab diesem Zeitpunkt aufgezeichnet und protokolliert werden darf.

Verwenden Sie diese Option, wenn die App und nicht der Agent entscheidet, was gespeichert werden darf, z. B. wenn der Endnutzer der Aufzeichnung zustimmen muss, bevor etwas über den Anruf gespeichert werden kann.

Der Wert bleibt so lange gültig, bis der Client einen anderen Wert sendet. Er muss also nur gesendet werden, wenn sich die Antwort ändert. Die Einstellungen, die am Ende eines Turns aktiv sind, bestimmen, ob die Audioaufnahmen dieses Turns im Aufnahme-Bucket gespeichert werden und ob das Transkript im Unterhaltungsverlauf, in BigQuery und in Cloud Logging landet. Sie umfasst sowohl die Seite des KI-Agenten als auch die der Endnutzerin oder des Endnutzers.

Runden, die abgeschlossen werden, bevor der Client dies zum ersten Mal sendet, werden gemäß den Logging-Einstellungen der App aufgezeichnet, so als ob das Feld nicht vorhanden wäre.

Wenn mehr als eine Eingabe in derselben Anfrage diesen Wert festlegt, wird der letzte Wert verwendet.

Union-Feld input_type. Der Typ der Eingabe. Für input_type ist nur einer der folgenden Werte zulässig:
text

string

Optional. Textdaten vom Endnutzer.

dtmf

string

Optional. DTMF-Ziffern vom Endnutzer.

audio

string (bytes format)

Optional. Audiodaten des Endnutzers.

Ein base64-codierter String.

toolResponses

object (ToolResponses)

Optional. Ausführungsergebnisse für die Toolaufrufe vom Client.

image

object (Image)

Optional. Bilddaten des Endnutzers.

blob

object (Blob)

Optional. Blob-Daten vom Endnutzer.

variables

object (Struct format)

Optional. Kontextvariablen für die Sitzung, nach Name sortiert. Der CES-Agent verwendet nur Variablen, die in der App deklariert wurden.

Nicht erkannte Variablen werden weiterhin als zusätzliche Sitzungsparameter an den [Dialogflow-Agent][Agent.RemoteDialogflowAgent] gesendet.

event

object (Event)

Optional. Ereigniseingabe.

ToolResponses

JSON-Darstellung
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
Felder
toolResponses[]

object (ToolResponse)

Optional. Die Liste der Ergebnisse der Toolausführung.

ToolResponse

JSON-Darstellung
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,
  "targetApp": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Felder
id

string

Optional. Die ID zum Abgleich des tool call, für den die Antwort bestimmt ist.

displayName

string

Nur Ausgabe. Anzeigename des Tools.

response

object (Struct format)

Erforderlich. Das Ergebnis der Toolausführung im JSON-Objektformat. Verwenden Sie den Schlüssel „output“, um die Toolantwort anzugeben, und den Schlüssel „error“, um Fehlerdetails anzugeben (falls vorhanden). Wenn die Schlüssel „output“ und „error“ nicht angegeben sind, wird die gesamte „response“ als Ergebnis der Toolausführung behandelt.

parentToolCallId

string

Nur Ausgabe. Die ID des Toolaufrufs, der diesen Aufruf verursacht hat, wenn er von einem Sub-Agenten im Auftrag eines übergeordneten Aufrufs ausgegeben wurde. Leer für Aufrufe auf oberster Ebene. Ermöglicht es einem Client, die Arbeit eines Sub-Agents unter dem Aufruf zu gruppieren, der sie gestartet hat, anstatt jeden Schritt als gleichgeordnetes Element darzustellen.

agentName

string

Nur Ausgabe. Menschenlesbarer Name des KI-Agenten, der diesen Aufruf ausgegeben hat, z.B. „Contract Architect“. Leer, wenn der Root-Agent sie ausgestellt hat.

targetApp

string

Nur Ausgabe. Die App, auf die das ausgeführte Tool ausgerichtet war; spiegelt ToolCall.target_app wider.

Union-Feld tool_identifier. Die Kennung des ausgeführten Tools. Es kann sich entweder um ein persistentes Tool oder um ein Tool aus einem Toolset handeln. Für tool_identifier ist nur einer der folgenden Werte zulässig:
tool

string

Optional. Der Name des auszuführenden Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}

toolsetTool

object (ToolsetTool)

Optional. Das Toolset-Tool, das ausgeführt wurde.

ToolsetTool

JSON-Darstellung
{
  "toolset": string,
  "toolId": string
}
Felder
toolset

string

Erforderlich. Der Ressourcenname des Toolsets, von dem dieses Tool abgeleitet ist. Format: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}

toolId

string

Optional. Die Tool-ID, nach der die Tools gefiltert werden sollen, für die das Schema abgerufen werden soll.

Struct

JSON-Darstellung
{
  "fields": {
    string: value,
    ...
  }
}
Felder
fields

map (key: string, value: value (Value format))

Ungeordnete Zuordnung von dynamisch typisierten Werten.

Ein Objekt, das eine Liste von "key": value-Paaren enthält. Beispiel: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

JSON-Darstellung
{
  "key": string,
  "value": value
}
Felder
key

string

value

value (Value format)

Wert

JSON-Darstellung
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Felder
Union-Feld kind. Die Art des Werts. Für kind ist nur einer der folgenden Werte zulässig:
nullValue

null

Stellt ein JSON-null dar.

numberValue

number

Stellt eine JSON-Zahl dar. Darf nicht NaN, Infinity oder -Infinity sein, da diese in JSON nicht unterstützt werden. Außerdem können damit keine großen Int64-Werte dargestellt werden, da das JSON-Format diese im Zahlentyp im Allgemeinen nicht unterstützt.

stringValue

string

Stellt einen JSON-String dar.

boolValue

boolean

Stellt einen booleschen JSON-Wert dar (true- oder false-Literal in JSON).

structValue

object (Struct format)

Stellt ein JSON-Objekt dar.

listValue

array (ListValue format)

Stellt ein JSON-Array dar.

ListValue

JSON-Darstellung
{
  "values": [
    value
  ]
}
Felder
values[]

value (Value format)

Wiederkehrendes Feld mit dynamisch typisierten Werten.

Bild

JSON-Darstellung
{
  "mimeType": string,
  "data": string,
  "altText": string
}
Felder
mimeType

string

Erforderlich. Der IANA-Standard-MIME-Typ der Quelldaten. Zu den unterstützten Bildtypen gehören: * image/png * image/jpeg * image/webp

data

string (bytes format)

Erforderlich. Rohbyte des Bildes.

Ein base64-codierter String.

altText

string

Optional. Der Alternativtext für das Bild.

Blob

JSON-Darstellung
{
  "mimeType": string,
  "data": string
}
Felder
mimeType

string

Erforderlich. Der IANA-Standard-MIME-Typ der Quelldaten.

data

string (bytes format)

Erforderlich. Rohbyte des Blobs.

Ein base64-codierter String.

Ereignis

JSON-Darstellung
{
  "event": string,
  "variables": {
    object
  }
}
Felder
event

string

Erforderlich. Der Name des Ereignisses.

variables

object (Struct format)

Optional. Zusätzliche Variablen, die mit dem Ereignis verknüpft sind.

AgentTransfer

JSON-Darstellung
{
  "targetAgent": string,
  "displayName": string
}
Felder
targetAgent

string

Erforderlich. Der KI-Agent, an den die Unterhaltung übertragen wird. Der KI-Agent übernimmt die Unterhaltung ab diesem Zeitpunkt. Format: projects/{project}/locations/{location}/apps/{app}/agents/{agent}

displayName

string

Nur Ausgabe. Anzeigename des KI-Agenten.

GoldenExpectation

JSON-Darstellung
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}
Felder
note

string

Optional. Eine Notiz für diese Anforderung, die bei der Berichterstellung nützlich ist, wenn bestimmte Prüfungen fehlschlagen. Beispiel: "Check_Payment_Tool_Called".

skipEvaluation

boolean

Optional. Wenn „true“ festgelegt ist, wird diese Erwartung nicht ausgewertet.

expectationLevelMetricsThresholdsOverride

object (ExpectationLevelMetricsThresholds)

Optional. Überschreibt Messwerte auf Schrittebene.

agentResponseSemanticSimilarityMetricsConfigOverride

object (SemanticSimilarityMetricsConfig)

Optional. Überschreibungen für Messwerte zur semantischen Ähnlichkeit von „agent_response“.

agentResponseHallucinationMetricsConfigOverride

object (HallucinationMetricsConfig)

Optional. Überschreibungen für Halluzinationsmesswerte für agent_response.

comparisonType

enum (ComparisonType)

Optional. Der Vergleichstyp, der für die Erwartungsprüfung verwendet werden soll.

Union-Feld condition. Die tatsächliche Prüfung, die durchgeführt werden soll. Für condition ist nur einer der folgenden Werte zulässig:
toolCall

object (ToolCall)

Optional. Prüfen, ob ein bestimmtes Tool mit den Parametern aufgerufen wurde.

toolResponse

object (ToolResponse)

Optional. Prüfen, ob ein bestimmtes Tool die erwartete Antwort geliefert hat.

agentResponse

object (Message)

Optional. Prüfen Sie, ob der KI-Agent die richtige Antwort gegeben hat. Die Rolle „Agent“ wird impliziert.

agentTransfer

object (AgentTransfer)

Optional. Prüfen Sie, ob der Agent die Unterhaltung an einen anderen Agenten weitergeleitet hat.

updatedVariables

object (Struct format)

Optional. Prüfen Sie, ob der Agent die Sitzungsvariablen auf die erwarteten Werte aktualisiert hat. Wird verwendet, um auch Aktualisierungen von Agent-Variablen für Golden-Evaluierungen zu erfassen.

mockToolResponse

object (ToolResponse)

Optional. Die zu simulierende Toolantwort mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM halluziniert.

noToolCalls

boolean

Optional. Prüfen Sie, ob während dieser Runde keine Tools aufgerufen wurden.

ToolCall

JSON-Darstellung
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,
  "targetApp": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Felder
id

string

Optional. Die eindeutige Kennung des Toolaufrufs. Falls ausgefüllt, sollte der Client das Ausführungsergebnis mit der übereinstimmenden ID in ToolResponse zurückgeben.

displayName

string

Nur Ausgabe. Anzeigename des Tools.

args

object (Struct format)

Optional. Die Eingabeparameter und Werte für das Tool im JSON-Objektformat.

parentToolCallId

string

Nur Ausgabe. Die ID des Toolaufrufs, der diesen Aufruf verursacht hat, wenn er von einem Sub-Agenten im Auftrag eines übergeordneten Aufrufs ausgegeben wurde. Leer für Aufrufe auf oberster Ebene. Ermöglicht es einem Client, die Arbeit eines Sub-Agents unter dem Aufruf zu gruppieren, der sie gestartet hat, anstatt jeden Schritt als gleichgeordnetes Element darzustellen.

agentName

string

Nur Ausgabe. Menschenlesbarer Name des KI-Agenten, der diesen Aufruf ausgegeben hat, z.B. „Contract Architect“. Leer, wenn der Root-Agent sie ausgestellt hat.

targetApp

string

Nur Ausgabe. Die App, auf die dieser Aufruf abzielt, abgeleitet vom Assistenten aus den Ressourcenargumenten des Aufrufs: ein App-Ressourcenname, PROJECT für standortbezogene Tools oder leer für sitzungslokale Tools. Wird nur in projektbezogenen Assistentensitzungen festgelegt.

Union-Feld tool_identifier. Die Kennung des auszuführenden Tools. Es kann sich entweder um ein persistentes Tool oder um ein Tool aus einem Toolset handeln. Für tool_identifier ist nur einer der folgenden Werte zulässig:
tool

string

Optional. Der Name des auszuführenden Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}

toolsetTool

object (ToolsetTool)

Optional. Das Toolset-Tool, das ausgeführt werden soll.

Nachricht

JSON-Darstellung
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
Felder
role

string

Optional. Die Rolle in der Unterhaltung, z.B. Nutzer, KI-Agent.

chunks[]

object (Chunk)

Optional. Inhalt der Nachricht als eine Reihe von Blöcken.

eventTime

string (Timestamp format)

Optional. Zeitstempel für den Versand oder Empfang der Nachricht. Sollte nicht verwendet werden, wenn die Nachricht Teil eines example ist.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30".

Chunk

JSON-Darstellung
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
Felder
Union-Feld data. Blockdaten. Für data ist nur einer der folgenden Werte zulässig:
text

string

Optional. Textdaten.

transcript

string

Optional. Transkript, das mit dem Audio verknüpft ist.

blob

object (Blob)

Optional. Blob-Daten.

payload

object (Struct format)

Optional. Benutzerdefinierte Nutzlastdaten.

image

object (Image)

Optional. Bilddaten.

toolCall

object (ToolCall)

Optional. Anfrage zur Toolausführung.

toolResponse

object (ToolResponse)

Optional. Antwort auf die Toolausführung.

agentTransfer

object (AgentTransfer)

Optional. Ereignis zur Übertragung des KI-Agenten.

updatedVariables

object (Struct format)

Ein Struct stellt Variablen dar, die in der Unterhaltung aktualisiert wurden, sortiert nach Variablennamen.

defaultVariables

object (Struct format)

Ein Struct stellt Standardvariablen zu Beginn der Unterhaltung dar, die nach Variablennamen sortiert sind.

Zeitstempel

JSON-Darstellung
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Stellt Sekunden der UTC-Zeit seit Unix-Epoche 1970-01-01T00:00:00Z dar. Muss zwischen -62135596800 und 253402300799 (einschließlich) liegen, was 0001-01-01T00:00:00Z bis 9999-12-31T23:59:59Z entspricht.

nanos

integer

Nicht negative Sekundenbruchteile Nanosekunden-Auflösung. Dieses Feld ist der Nanosekundenanteil der Dauer, keine Alternative zu Sekunden. Negative Sekundenwerte mit Bruchteilen müssen weiterhin nicht negative Nano-Werte haben, die zeitlich vorwärts gezählt werden. Muss zwischen 0 und 999.999.999 (einschließlich) liegen.

ExpectationLevelMetricsThresholds

JSON-Darstellung
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
Felder

Union-Feld _tool_invocation_parameter_correctness_threshold.

Für _tool_invocation_parameter_correctness_threshold ist nur einer der folgenden Werte zulässig:

toolInvocationParameterCorrectnessThreshold

number

Optional. Der Erfolgsschwellenwert für die Korrektheit einzelner Parameter für den Toolaufruf. Muss eine Gleitkommazahl zwischen 0 und 1 sein. Der Standardwert ist 1,0.

SemanticSimilarityMetricsConfig

JSON-Darstellung
{
  "enableSemanticSimilarityMetrics": boolean
}
Felder
enableSemanticSimilarityMetrics

boolean

Optional. Gibt an, ob Messwerte für die semantische Ähnlichkeit für die Bewertung berechnet werden sollen.

HallucinationMetricsConfig

JSON-Darstellung
{
  "enableHallucinationMetrics": boolean
}
Felder
enableHallucinationMetrics

boolean

Optional. Gibt an, ob Halluzinationsmesswerte für die Bewertung berechnet werden sollen.

Span

JSON-Darstellung
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
Felder
name

string

Nur Ausgabe. Der Name des Spans.

startTime

string (Timestamp format)

Nur Ausgabe. Der Beginn des Spans.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"

endTime

string (Timestamp format)

Nur Ausgabe. Das Ende des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"

duration

string (Duration format)

Nur Ausgabe. Die Dauer des Spans.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

attributes

object (Struct format)

Nur Ausgabe. Schlüssel/Wert-Attribute, die mit dem Span verknüpft sind.

childSpans[]

object (Span)

Nur Ausgabe. Die untergeordneten Spans, die unter diesem Span verschachtelt sind.

Dauer

JSON-Darstellung
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Vorzeichenbehaftete Sekunden der Zeitspanne. Muss zwischen -315.576.000.000 und +315.576.000.000 (einschließlich) liegen. Hinweis: Diese Grenzen werden so berechnet: 60 Sek./Min. * 60 Min./Std. * 24 Std./Tag * 365,25 Tage/Jahr * 10.000 Jahre

nanos

integer

Vorzeichenbehaftete Sekundenbruchteile mit Nanosekundenauflösung der Zeitspanne. Dauern von weniger als einer Sekunde werden mit einem seconds-Feld mit dem Wert 0 und einem positiven oder negativen nanos-Feld dargestellt. Bei einer Dauer von einer Sekunde oder mehr muss ein Wert ungleich null für das Feld nanos dasselbe Vorzeichen wie das Feld seconds haben. Muss zwischen -999.999.999 und +999.999.999 liegen.

TurnLevelMetricsThresholds

JSON-Darstellung
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
Felder
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

Optional. Der Kanal für semantische Ähnlichkeit, der für die Bewertung verwendet werden soll.

Union-Feld _semantic_similarity_success_threshold.

Für _semantic_similarity_success_threshold ist nur einer der folgenden Werte zulässig:

semanticSimilaritySuccessThreshold

integer

Optional. Der Erfolgsschwellenwert für die semantische Ähnlichkeit. Muss eine Ganzzahl zwischen 0 und 4 sein. Der Standardwert ist >= 3.

Union-Feld _overall_tool_invocation_correctness_threshold.

Für _overall_tool_invocation_correctness_threshold ist nur einer der folgenden Werte zulässig:

overallToolInvocationCorrectnessThreshold

number

Optional. Der Erfolgsschwellenwert für die Gesamtkorrektheit des Toolaufrufs. Muss eine Gleitkommazahl zwischen 0 und 1 sein. Der Standardwert ist 1,0.

Szenario

JSON-Darstellung
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "milestones": [
    {
      object (Milestone)
    }
  ],
  "scenarioExecutionMode": enum (ScenarioExecutionMode)
}
Felder
task

string

Erforderlich. Die Aufgabe, auf die das Szenario abzielt.

userFacts[]

object (UserFact)

Optional. Die Nutzerfakten, die vom Szenario verwendet werden sollen.

maxTurns

integer

Optional. Die maximale Anzahl der zu simulierenden Turns. Der maximal zulässige Wert ist 100. Der Standardwert ist 100.

rubrics[]

string

Erforderlich. Die Rubriken, anhand derer das Szenario bewertet werden soll.

scenarioExpectations[]

object (ScenarioExpectation)

Erforderlich. Die ScenarioExpectations, um die von der Nutzersimulation erzeugte Unterhaltung zu bewerten.

variableOverrides

object (Struct format)

Optional. Variablen/Sitzungsparameter als Kontext für die Sitzung, sortiert nach Variablennamen. Die Mitglieder dieser Struktur überschreiben alle vom System festgelegten Standardwerte.

Diese unterscheiden sich von Nutzerfakten, also Fakten, die dem Nutzer bekannt sind. Variablen sind Parameter, die dem Agenten bekannt sind, z.B. die vom Telefoniesystem übergebene MDN (Telefonnummer).

taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

Optional. Verworfen Verwenden Sie stattdessen „user_goal_behavior“.

userGoalBehavior

enum (UserGoalBehavior)

Optional. Das erwartete Verhalten des Nutzerziels.

evaluationExpectations[]

string

Optional. Die Erwartungen, anhand derer die von der Simulation erzeugte Unterhaltung bewertet werden soll. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

milestones[]

object (Milestone)

Optional. Die Meilensteine für dieses Szenario.

scenarioExecutionMode

enum (ScenarioExecutionMode)

Optional. Der Ausführungsmodus für Szenariobewertungen.

UserFact

JSON-Darstellung
{
  "name": string,
  "value": string
}
Felder
name

string

Erforderlich. Der Name des Nutzerfaktums.

value

string

Erforderlich. Der Wert des Nutzerfaktums.

ScenarioExpectation

JSON-Darstellung
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
Felder
Union-Feld expectation. Die Erwartung, die von der Simulation erzeugte Unterhaltung zu bewerten. Für expectation ist nur einer der folgenden Werte zulässig:
toolExpectation

object (ToolExpectation)

Optional. Das zu bewertende Paar aus Toolaufruf und Antwort.

agentResponse

object (Message)

Optional. Die zu bewertende Antwort des KI-Agenten.

ToolExpectation

JSON-Darstellung
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
Felder
expectedToolCall

object (ToolCall)

Erforderlich. Der erwartete Toolaufruf mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM halluziniert.

mockToolResponse

object (ToolResponse)

Erforderlich. Die zu simulierende Toolantwort mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM halluziniert.

Milestone

JSON-Darstellung
{
  "goal": string,
  "maxTurnCount": integer,
  "successCriteria": string,
  "protocol": string,
  "staticUtterance": string,
  "event": {
    object (Event)
  }
}
Felder
goal

string

Erforderlich. Das Ziel des Meilensteins.

maxTurnCount

integer

Optional. Die maximale Anzahl von Turns für diesen Meilenstein.

successCriteria

string

Optional. Die Erfolgskriterien des Meilensteins.

protocol

string

Optional. Die Richtlinien, die der Agent während der Unterhaltung befolgen sollte.

staticUtterance

string

Optional. Eine statische Äußerung, die der Simulator genau so sendet, anstatt Nutzereingaben dynamisch zu generieren.

event

object (Event)

Optional. Eine Ereigniseingabe, die anstelle der dynamischen Generierung gesendet werden soll.

AggregatedMetrics

JSON-Darstellung
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
Felder
metricsByAppVersion[]

object (MetricsByAppVersion)

Nur Ausgabe. Zusammengefasste Messwerte, gruppiert nach App-Versions-ID.

MetricsByAppVersion

JSON-Darstellung
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
Felder
appVersionId

string

Nur Ausgabe. Die App-Versions-ID.

toolMetrics[]

object (ToolMetrics)

Nur Ausgabe. Messwerte für jedes Tool in dieser App-Version.

semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Nur Ausgabe. Messwerte für die semantische Ähnlichkeit innerhalb dieser App-Version.

hallucinationMetrics[]

object (HallucinationMetrics)

Nur Ausgabe. Messwerte für Halluzinationen in dieser App-Version.

toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Nur Ausgabe. Messwerte für die Latenz von Toolaufrufen in dieser App-Version.

turnLatencyMetrics[]

object (TurnLatencyMetrics)

Nur Ausgabe. Messwerte für die Turn-Latenz in dieser App-Version.

passCount

integer

Nur Ausgabe. Die Anzahl der erfolgreichen Bewertungen.

failCount

integer

Nur Ausgabe. Die Anzahl der fehlgeschlagenen Bewertungen.

metricsByTurn[]

object (MetricsByTurn)

Nur Ausgabe. Messwerte, die pro Runde in dieser App-Version aggregiert werden.

ToolMetrics

JSON-Darstellung
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
Felder
tool

string

Nur Ausgabe. Der Name des Tools.

passCount

integer

Nur Ausgabe. Die Anzahl der erfolgreichen Ausführungen des Tools.

failCount

integer

Nur Ausgabe. Die Anzahl der Fehler des Tools.

SemanticSimilarityMetrics

JSON-Darstellung
{
  "score": number
}
Felder
score

number

Nur Ausgabe. Der durchschnittliche semantische Ähnlichkeitswert (0–4).

HallucinationMetrics

JSON-Darstellung
{
  "score": number
}
Felder
score

number

Nur Ausgabe. Der durchschnittliche Halluzinationswert (0 bis 1).

ToolCallLatencyMetrics

JSON-Darstellung
{
  "tool": string,
  "averageLatency": string
}
Felder
tool

string

Nur Ausgabe. Der Name des Tools.

averageLatency

string (Duration format)

Nur Ausgabe. Die durchschnittliche Latenz der Toolaufrufe.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

TurnLatencyMetrics

JSON-Darstellung
{
  "averageLatency": string
}
Felder
averageLatency

string (Duration format)

Nur Ausgabe. Die durchschnittliche Latenz der Runden.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

MetricsByTurn

JSON-Darstellung
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
Felder
turnIndex

integer

Nur Ausgabe. Der Turn-Index (nullbasiert).

toolMetrics[]

object (ToolMetrics)

Nur Ausgabe. Messwerte für jedes Tool in dieser Runde.

semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Nur Ausgabe. Messwerte für die semantische Ähnlichkeit innerhalb dieser Runde.

hallucinationMetrics[]

object (HallucinationMetrics)

Nur Ausgabe. Messwerte für Halluzinationen in dieser Runde.

toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Nur Ausgabe. Messwerte für die Latenz von Toolaufrufen in dieser Runde.

turnLatencyMetrics[]

object (TurnLatencyMetrics)

Nur Ausgabe. Messwerte für die Turn-Latenz innerhalb dieses Turns.

EvaluationResult

JSON-Darstellung
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
Felder
name

string

ID. Die eindeutige Kennung des Bewertungsergebnisses. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}

displayName

string

Erforderlich. Anzeigename des Bewertungsergebnisses. Eindeutig innerhalb einer Bewertung. Standardmäßig hat sie das folgende Format: „ Ergebnis – “.

createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung des Bewertungsergebnisses.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"

evaluationStatus

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn „execution_state“ den Wert COMPLETE hat.

evaluationRun

string

Nur Ausgabe. Der Bewertungsdurchlauf, der dieses Ergebnis erzeugt hat. Format: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}

persona

object (EvaluationPersona)

Nur Ausgabe. Die Persona, die zum Generieren der Unterhaltung für das Bewertungsergebnis verwendet wurde.

errorInfo

object (EvaluationErrorInfo)

Nur Ausgabe. Fehlerinformationen für das Bewertungsergebnis.

error
(deprecated)

object (Status)

Nur Ausgabe. Nicht mehr unterstützt: Verwenden Sie stattdessen error_info. Bei der Ausführung sind Fehler aufgetreten.

initiatedBy

string

Nur Ausgabe. Der Nutzer, der den Bewertungsdurchlauf initiiert hat, der zu diesem Ergebnis geführt hat.

appVersion

string

Nur Ausgabe. Die App-Version, die zum Generieren der Unterhaltung verwendet wurde, die zu diesem Ergebnis geführt hat. Format: projects/{project}/locations/{location}/apps/{app}/versions/{version}

appVersionDisplayName

string

Nur Ausgabe. Der Anzeigename der app_version, für die die Bewertung ausgeführt wurde.

changelog

string

Nur Ausgabe. Das Änderungsprotokoll der App-Version, für die die Bewertung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer die Bewertung für die neueste Version oder den Entwurf ausführt.

changelogCreateTime

string (Timestamp format)

Nur Ausgabe. Der Erstellungszeitpunkt des Änderungsprotokolls der App-Version, für die die Bewertung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer die Bewertung für die neueste Version oder den Entwurf ausführt.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"

executionState

enum (ExecutionState)

Nur Ausgabe. Der Status der Ausführung des Bewertungsergebnisses.

evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Nur Ausgabe. Die Bewertungsschwellenwerte für das Ergebnis.

config

object (EvaluationConfig)

Nur Ausgabe. Die Konfiguration, die im Bewertungsdurchlauf verwendet wurde, der zu diesem Ergebnis geführt hat.

goldenRunMethod

enum (GoldenRunMethod)

Nur Ausgabe. Die Methode, mit der die Golden-Evaluation ausgeführt wird.

rootSpan

object (Span)

Nur Ausgabe. Der Root-Span der Bewertungsausführung, der Informationen zu jedem Schritt der Bewertung enthält.

outcomeMetadata

enum (OutcomeMetadata)

Nur Ausgabe. Die Ergebnismetadaten der Bewertung. Wird nur ausgefüllt, wenn „execution_state“ den Wert COMPLETE hat.

Union-Feld result. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn der „execution_state“ COMPLETED ist. Für result ist nur einer der folgenden Werte zulässig:
goldenResult

object (GoldenResult)

Nur Ausgabe. Das Ergebnis einer Golden-Bewertung.

scenarioResult

object (ScenarioResult)

Nur Ausgabe. Das Ergebnis einer Szenariobewertung.

GoldenResult

JSON-Darstellung
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
Felder
turnReplayResults[]

object (TurnReplayResult)

Nur Ausgabe. Das Ergebnis der Ausführung jeder Runde der Golden Conversation.

evaluationExpectationResults[]

object (EvaluationExpectationResult)

Nur Ausgabe. Die Ergebnisse der Bewertungserwartungen.

TurnReplayResult

JSON-Darstellung
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
Felder
conversation

string

Nur Ausgabe. Die Unterhaltung, die für diesen Turn generiert wurde.

expectationOutcome[]

object (GoldenExpectationOutcome)

Nur Ausgabe. Das Ergebnis jeder Erwartung.

hallucinationResult

object (HallucinationResult)

Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung.

toolInvocationScore
(deprecated)

number

Nur Ausgabe. Verworfen Verwenden Sie stattdessen OverallToolInvocationResult.

turnLatency

string (Duration format)

Nur Ausgabe. Dauer des Abbiegevorgangs.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

toolCallLatencies[]

object (ToolCallLatency)

Nur Ausgabe. Die Latenz jedes Toolaufrufs in der Runde.

semanticSimilarityResult

object (SemanticSimilarityResult)

Nur Ausgabe. Das Ergebnis der Prüfung auf semantische Ähnlichkeit.

overallToolInvocationResult

object (OverallToolInvocationResult)

Nur Ausgabe. Das Ergebnis der allgemeinen Prüfung des Tool-Aufrufs.

errorInfo

object (EvaluationErrorInfo)

Nur Ausgabe. Informationen zum Fehler, der während dieser Runde aufgetreten ist.

spanLatencies[]

object (SpanLatency)

Nur Ausgabe. Die Latenz der Spans in der Runde.

Union-Feld _tool_ordered_invocation_score.

Für _tool_ordered_invocation_score ist nur einer der folgenden Werte zulässig:

toolOrderedInvocationScore

number

Nur Ausgabe. Die Gesamtbewertung für die Toolaufrufe in dieser Runde. Dies gibt den Gesamtprozentsatz der Tools aus der erwarteten Runde an, die tatsächlich in der erwarteten Reihenfolge aufgerufen wurden.

GoldenExpectationOutcome

JSON-Darstellung
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}
Felder
expectation

object (GoldenExpectation)

Nur Ausgabe. Die Erwartung, die ausgewertet wurde.

outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Erwartung.

semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

Nur Ausgabe. Das Ergebnis der Prüfung auf semantische Ähnlichkeit.

toolInvocationResult

object (ToolInvocationResult)

Nur Ausgabe. Das Ergebnis der Prüfung des Tool-Aufrufs.

Union-Feld result. Das Ergebnis der Erwartung. Für result ist nur einer der folgenden Werte zulässig:
observedToolCall

object (ToolCall)

Nur Ausgabe. Das Ergebnis der Erwartung für den Toolaufruf.

observedToolResponse

object (ToolResponse)

Nur Ausgabe. Das Ergebnis der Erwartung an die Toolantwort.

observedAgentResponse

object (Message)

Nur Ausgabe. Das Ergebnis der Erwartung an die Antwort des KI-Agenten.

observedAgentTransfer

object (AgentTransfer)

Nur Ausgabe. Das Ergebnis der Erwartung für die Weiterleitung an einen Kundenservicemitarbeiter.

observedPayload

object (Struct format)

Nur Ausgabe. Eine beobachtete benutzerdefinierte Nutzlast. Es gibt keine Erwartungen an benutzerdefinierte Nutzlasten. Diese werden nur für die Berechnung von Messwerten verwendet. Das Ergebnis ist immer SKIPPED.

SemanticSimilarityResult

JSON-Darstellung
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das mit jedem Wert verknüpfte Label. Punktzahl 4: Vollständig konsistent Punktzahl 3: Größtenteils konsistent Punktzahl 2: Teilweise konsistent (kleinere Auslassungen) Punktzahl 1: Größtenteils inkonsistent (größere Auslassungen) Punktzahl 0: Vollständig inkonsistent/widersprüchlich

explanation

string

Nur Ausgabe. Die Erläuterung des semantischen Ähnlichkeitswerts.

outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Prüfung auf semantische Ähnlichkeit. Dies wird durch den Vergleich des Werts mit dem „semantic_similarity_success_threshold“ bestimmt. Wenn die Punktzahl dem Schwellenwert entspricht oder darüber liegt, ist das Ergebnis BESTANDEN. Andernfalls ist das Ergebnis FAIL.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:

score

integer

Nur Ausgabe. Der Wert für die semantische Ähnlichkeit. Kann 0, 1, 2, 3 oder 4 sein.

ToolInvocationResult

JSON-Darstellung
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
Felder
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Prüfung des Toolaufrufs. Dies wird durch den Vergleich des parameter_correctness_score mit dem Schwellenwert bestimmt. Wenn die Punktzahl dem Schwellenwert entspricht oder darüber liegt, ist das Ergebnis BESTANDEN. Andernfalls ist das Ergebnis FAIL.

explanation

string

Nur Ausgabe. Eine Freitexterklärung für das Ergebnis des Toolaufrufs.

Union-Feld _parameter_correctness_score.

Für _parameter_correctness_score ist nur einer der folgenden Werte zulässig:

parameterCorrectnessScore

number

Nur Ausgabe. Der Korrektheitswert für die Parameter des Toolaufrufs. Dies gibt den Prozentsatz der Parameter aus dem erwarteten Toolaufruf an, die auch im tatsächlichen Toolaufruf vorhanden waren.

HallucinationResult

JSON-Darstellung
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das mit jedem Wert verknüpfte Label. Score 1: Justified Score 0: Not Justified Score -1: No Claim To Assess

explanation

string

Nur Ausgabe. Die Erklärung für den Halluzinationswert.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:

score

integer

Nur Ausgabe. Der Halluzinationswert. Kann -1, 0, 1 sein.

ToolCallLatency

JSON-Darstellung
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Felder
tool

string

Nur Ausgabe. Der Name des ausgeführten Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.

displayName

string

Nur Ausgabe. Der Anzeigename des Tools

startTime

string (Timestamp format)

Nur Ausgabe. Der Beginn der Ausführung des Toolaufrufs.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"

endTime

string (Timestamp format)

Nur Ausgabe. Das Ende der Ausführung des Toolaufrufs.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"

executionLatency

string (Duration format)

Nur Ausgabe. Die Latenz der Ausführung des Toolaufrufs.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

OverallToolInvocationResult

JSON-Darstellung
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
Felder
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Prüfung des Toolaufrufs. Dies wird durch den Vergleich von „tool_invocation_score“ mit „overall_tool_invocation_correctness_threshold“ bestimmt. Wenn die Punktzahl dem Schwellenwert entspricht oder darüber liegt, ist das Ergebnis BESTANDEN. Andernfalls ist das Ergebnis FAIL.

Union-Feld _tool_invocation_score.

Für _tool_invocation_score ist nur einer der folgenden Werte zulässig:

toolInvocationScore

number

Die Gesamtpunktzahl für den Toolaufruf in dieser Runde. Dies gibt den Gesamtprozentsatz der Tools aus der erwarteten Runde an, die tatsächlich aufgerufen wurden.

EvaluationErrorInfo

JSON-Darstellung
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string,
  "userFacingErrorMessage": string
}
Felder
errorType

enum (ErrorType)

Nur Ausgabe. Die Art des Fehlers.

errorMessage

string

Nur Ausgabe. Die Fehlermeldung.

sessionId

string

Nur Ausgabe. Die Sitzungs-ID für die Unterhaltung, die den Fehler verursacht hat.

userFacingErrorMessage

string

Nur Ausgabe. Die an den Nutzer gerichtete Fehlermeldung.

SpanLatency

JSON-Darstellung
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
Felder
type

enum (Type)

Nur Ausgabe. Der Typ des Spans.

displayName

string

Nur Ausgabe. Der Anzeigename des Spans. Gilt für Tool- und Schutzmaßnahmen-Spans.

startTime

string (Timestamp format)

Nur Ausgabe. Der Beginn des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"

endTime

string (Timestamp format)

Nur Ausgabe. Das Ende des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"

executionLatency

string (Duration format)

Nur Ausgabe. Die Latenz des Spans.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

Union-Feld identifier. Die Kennung des jeweiligen Elements basierend auf seinem Typ. Für identifier ist nur einer der folgenden Werte zulässig:
resource

string

Nur Ausgabe. Der Ressourcenname der Guardrail- oder Tool-Spans.

toolset

object (ToolsetTool)

Nur Ausgabe. Die Tool-ID des Toolsets.

model

string

Nur Ausgabe. Der Name des LLM-Spans.

callback

string

Nur Ausgabe. Der Name des Nutzer-Callback-Spans.

EvaluationExpectationResult

JSON-Darstellung
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
Felder
evaluationExpectation

string

Nur Ausgabe. Die Erwartung an die Bewertung. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}

prompt

string

Nur Ausgabe. Der Prompt, der für die Bewertung verwendet wurde.

outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Bewertungserwartung.

explanation

string

Nur Ausgabe. Die Erklärung für das Ergebnis.

ScenarioResult

JSON-Darstellung
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],
  "milestoneResults": [
    {
      object (MilestoneResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
Felder
conversation

string

Nur Ausgabe. Die Unterhaltung, die im Szenario generiert wurde.

task

string

Nur Ausgabe. Die Aufgabe, die beim Ausführen des Szenarios für dieses Ergebnis verwendet wurde.

userFacts[]

object (UserFact)

Nur Ausgabe. Die Nutzerfakten, die vom Szenario für dieses Ergebnis verwendet wurden.

expectationOutcomes[]

object (ScenarioExpectationOutcome)

Nur Ausgabe. Das Ergebnis jeder Erwartung.

rubricOutcomes[]

object (ScenarioRubricOutcome)

Nur Ausgabe. Das Ergebnis der Bewertung.

hallucinationResult[]

object (HallucinationResult)

Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung. Für jede Runde in der Unterhaltung wird ein Halluzinationsergebnis angezeigt.

taskCompletionResult
(deprecated)

object (TaskCompletionResult)

Nur Ausgabe. Das Ergebnis der Prüfung, ob die Aufgabe abgeschlossen ist.

toolCallLatencies[]

object (ToolCallLatency)

Nur Ausgabe. Die Latenz der einzelnen Toolaufrufe in der Unterhaltung.

userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

Nur Ausgabe. Das Ergebnis der Überprüfung der Zielerreichung des Nutzers.

spanLatencies[]

object (SpanLatency)

Nur Ausgabe. Die Latenz der Spans in der Unterhaltung.

evaluationExpectationResults[]

object (EvaluationExpectationResult)

Nur Ausgabe. Die Ergebnisse der Bewertungserwartungen.

milestoneResults[]

object (MilestoneResult)

Nur Ausgabe. Die Ergebnisse der einzelnen Meilensteine im Szenario.

Union-Feld _all_expectations_satisfied.

Für _all_expectations_satisfied ist nur einer der folgenden Werte zulässig:

allExpectationsSatisfied

boolean

Nur Ausgabe. Ob alle Erwartungen für diese Runde erfüllt wurden.

Union-Feld _task_completed.

Für _task_completed ist nur einer der folgenden Werte zulässig:

taskCompleted

boolean

Nur Ausgabe. Gibt an, ob die Aufgabe für diesen Turn abgeschlossen wurde. Dies ist eine Kombination aus allen erfüllten Erwartungen, keinen Halluzinationen und der Erfüllung der Nutzerziele.

ScenarioExpectationOutcome

JSON-Darstellung
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
Felder
expectation

object (ScenarioExpectation)

Nur Ausgabe. Die Erwartung, die ausgewertet wurde.

outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der ScenarioExpectation.

Union-Feld result. Das Ergebnis der Erwartung. Für result ist nur einer der folgenden Werte zulässig:
observedToolCall

object (ObservedToolCall)

Nur Ausgabe. Der beobachtete Toolaufruf.

observedAgentResponse

object (Message)

Nur Ausgabe. Die beobachtete Antwort des KI-Agenten.

ObservedToolCall

JSON-Darstellung
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Felder
toolCall

object (ToolCall)

Nur Ausgabe. Der beobachtete Toolaufruf.

toolResponse

object (ToolResponse)

Nur Ausgabe. Die beobachtete Toolantwort.

ScenarioRubricOutcome

JSON-Darstellung
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
Felder
rubric

string

Nur Ausgabe. Das Bewertungsschema, das zur Bewertung der Unterhaltung verwendet wurde.

scoreExplanation

string

Nur Ausgabe. Die Antwort des Bewerters auf das Bewertungsschema.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:

score

number

Nur Ausgabe. Die Bewertung der Unterhaltung anhand der Rubrik.

TaskCompletionResult

JSON-Darstellung
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das mit jedem Wert verknüpfte Label. Score 1: Task Completed Score 0: Task Not Completed Score -1: User Goal Undefined

explanation

string

Nur Ausgabe. Die Erklärung für die Bewertung des Aufgabenabschlusses.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:

score

integer

Nur Ausgabe. Die Punktzahl für die Aufgabenerledigung. Kann -1, 0, 1 sein

UserGoalSatisfactionResult

JSON-Darstellung
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das mit jedem Wert verknüpfte Label. Punktzahl 2: Reibungslose Übergabe, Punktzahl 1: Nutzeraufgabe erfüllt, Punktzahl 0: Nutzeraufgabe nicht erfüllt, Punktzahl -1: Nutzeraufgabe nicht angegeben

explanation

string

Nur Ausgabe. Die Erklärung für den Wert der Zufriedenheit mit der Nutzeraufgabe.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:

score

integer

Nur Ausgabe. Der Wert für die Zufriedenheit der Nutzer mit der Aufgabe. Kann -1, 0, 1, 2 sein.

MilestoneResult

JSON-Darstellung
{
  "milestone": {
    object (Milestone)
  },
  "status": enum (MilestoneStatus),
  "justification": string
}
Felder
milestone

object (Milestone)

Nur Ausgabe. Der Meilenstein, der verfolgt wird.

status

enum (MilestoneStatus)

Nur Ausgabe. Der aktuelle Status des Meilensteins.

justification

string

Nur Ausgabe. Die Begründung für den aktuellen Status.

EvaluationPersona

JSON-Darstellung
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
Felder
name

string

Erforderlich. Die eindeutige Kennung der Persona. Format: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}

description

string

Optional. Die Beschreibung der Persona.

displayName

string

Erforderlich. Der Anzeigename der Persona. Er kommt innerhalb einer App nur einmal vor.

personality

string

Erforderlich. Eine Anweisung für den KI-Agenten, wie er sich bei der Bewertung verhalten soll.

speechConfig

object (SpeechConfig)

Optional. Konfiguration für den Klang der Persona (TTS-Einstellungen).

SpeechConfig

JSON-Darstellung
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
Felder
speakingRate

number

Optional. Die Sprechgeschwindigkeit. 1,0 ist normal. Niedrigere Werte sind langsamer (z. B. 0,8), höhere Werte sind schneller (z. B. 1,5). Nützlich, um zu testen, wie der KI-Agent mit schnell sprechenden Personen umgeht.

environment

enum (BackgroundEnvironment)

Optional. Die simulierte Audioumgebung.

voiceId

string

Optional. Die spezifische Sprachkennung/der spezifische Akzent, die bzw. der verwendet werden soll. Beispiel: „en-US-Wavenet-D“ oder „en-GB-Standard-A“

Status

JSON-Darstellung
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Felder
code

integer

Der Statuscode, der idealerweise ein ENUM-Wert von google.rpc.Code ist.

message

string

Eine an Entwickler gerichtete Fehlermeldung, die englischsprachig sein sollte. Jede für Nutzer sichtbare Fehlermeldung sollte lokalisiert und im Feld google.rpc.Status.details gesendet werden. Sie kann auch clientseitig lokalisiert werden.

details[]

object

Eine Auflistung aller Meldungen, die die Fehlerdetails enthalten. Es gibt einen gemeinsamen Satz von Nachrichtentypen, die APIs verwenden können.

Ein Objekt, das Felder eines beliebigen Typs enthält. Ein zusätzliches Feld "@type" enthält einen URI zur Identifizierung des Typs. Beispiel: { "id": 1234, "@type": "types.example.com/standard/id" }.

Beliebig

JSON-Darstellung
{
  "typeUrl": string,
  "value": string
}
Felder
typeUrl

string

Identifiziert den Typ der serialisierten Protobuf-Nachricht mit einer URI-Referenz, die aus einem Präfix, das mit einem Schrägstrich endet, und dem voll qualifizierten Typnamen besteht.

Beispiel: type.googleapis.com/google.protobuf.StringValue

Dieser String muss mindestens ein /-Zeichen enthalten und der Inhalt nach dem letzten / muss der vollständig qualifizierte Name des Typs in kanonischer Form ohne führenden Punkt sein. Geben Sie für diese URI-Referenzen kein Schema an, damit Clients nicht versuchen, sie zu kontaktieren.

Das Präfix ist beliebig und Protobuf-Implementierungen entfernen einfach alles bis einschließlich des letzten /, um den Typ zu identifizieren. type.googleapis.com/ ist ein gängiges Standardpräfix, das für einige Legacy-Implementierungen erforderlich ist. Dieses Präfix gibt nicht den Ursprung des Typs an und URIs, die es enthalten, reagieren voraussichtlich nicht auf Anfragen.

Alle Typ-URL-Strings müssen gültige URI-Referenzen sein. Für das Textformat gilt die zusätzliche Einschränkung, dass der Inhalt der Referenz nur aus alphanumerischen Zeichen, prozentcodierten Escapes und Zeichen aus dem folgenden Satz (ohne die äußeren Backticks) bestehen darf: /-.~_!$&()*+,;=. Obwohl wir die Prozentcodierung zulassen, sollten Implementierungen sie nicht entfernen, um Verwechslungen mit vorhandenen Parsern zu vermeiden. Beispielsweise sollte type.googleapis.com%2FFoo abgelehnt werden.

Im ursprünglichen Design von Any wurde die Möglichkeit in Betracht gezogen, einen Typauflösungsdienst unter diesen Typ-URLs zu starten. Protobuf hat jedoch nie einen solchen Dienst implementiert und betrachtet die Kontaktaufnahme mit diesen URLs als problematisch und als potenzielles Sicherheitsrisiko. Versuchen Sie nicht, URLs einzugeben.

value

string (bytes format)

Enthält eine Protobuf-Serialisierung des Typs, der durch „type_url“ beschrieben wird.

Ein base64-codierter String.

EvaluationMetricsThresholds

JSON-Darstellung
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
Felder
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

Optional. Die Schwellenwerte für die Golden-Bewertungsmesswerte.

hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

Optional. Nicht mehr unterstützt: Verwenden Sie stattdessen golden_hallucination_metric_behavior. Das Verhalten des Halluzinationsmesswerts wird derzeit für Golden-Evaluierungen verwendet.

goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Optional. Das Verhalten des Halluzinationsmesswerts für Golden-Evaluierungen.

scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Optional. Das Verhalten des Halluzinationsmesswerts für Szenariobewertungen.

GoldenEvaluationMetricsThresholds

JSON-Darstellung
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
Felder
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

Optional. Die Schwellenwerte für die Messwerte auf Turn-Ebene.

expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

Optional. Die Messwertgrenzwerte auf Erwartungsebene.

toolMatchingSettings

object (ToolMatchingSettings)

Optional. Die Einstellungen für den Toolabgleich. Ein zusätzlicher Toolaufruf ist ein Toolaufruf, der in der Ausführung vorhanden ist, aber mit keinem Toolaufruf in der Golden Expectation übereinstimmt.

ToolMatchingSettings

JSON-Darstellung
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
Felder
extraToolCallBehavior

enum (ExtraToolCallBehavior)

Optional. Verhalten bei zusätzlichen Toolaufrufen. Die Standardeinstellung ist FAIL.

EvaluationConfig

JSON-Darstellung
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Felder
inputAudioConfig

object (InputAudioConfig)

Optional. Konfiguration für die Verarbeitung des Eingabeaudios.

outputAudioConfig

object (OutputAudioConfig)

Optional. Konfiguration zum Generieren des Ausgabeaudios.

evaluationChannel

enum (EvaluationChannel)

Optional. Der zu bewertende Kanal.

toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Optional. Gibt an, ob für die Bewertung echte Toolaufrufe oder gefälschte Tools verwendet werden sollen.

InputAudioConfig

JSON-Darstellung
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Felder
audioEncoding

enum (AudioEncoding)

Erforderlich. Die Codierung der Eingangsaudiodaten.

sampleRateHertz

integer

Erforderlich. Die Abtastrate (in Hertz) der Eingangsaudiodaten.

noiseSuppressionLevel

string

Optional. Gibt an, ob die Geräuschunterdrückung für die Audioeingabe aktiviert werden soll. Mögliche Werte sind „low“, „moderate“, „high“ und „very_high“.

OutputAudioConfig

JSON-Darstellung
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Felder
audioEncoding

enum (AudioEncoding)

Erforderlich. Die Codierung der Audioausgabedaten.

sampleRateHertz

integer

Erforderlich. Die Abtastrate (in Hertz) der Ausgabeaudiodaten.

EvaluationMetricsConfig

JSON-Darstellung
{
  "goldenMetricsConfig": {
    object (GoldenMetricsConfig)
  },
  "scenarioMetricsConfig": {
    object (ScenarioMetricsConfig)
  }
}
Felder
goldenMetricsConfig

object (GoldenMetricsConfig)

Optional. Konfiguration für die Golden Metrics für die Bewertung.

scenarioMetricsConfig

object (ScenarioMetricsConfig)

Optional. Konfiguration für die Szenariomesswerte für die Bewertung.

GoldenMetricsConfig

JSON-Darstellung
{
  "semanticSimilarityMetricsConfig": {
    object (SemanticSimilarityMetricsConfig)
  },
  "toolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  },
  "stepToolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  }
}
Felder
semanticSimilarityMetricsConfig

object (SemanticSimilarityMetricsConfig)

Optional. Globale Konfiguration für Messwerte zur semantischen Ähnlichkeit.

toolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

Optional. Konfiguration für Messwerte zur Korrektheit von Tools auf Turn-Ebene.

stepToolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

Optional. Konfiguration für Messwerte zur Korrektheit von Tools auf Schrittebene.

ToolCorrectnessMetricsConfig

JSON-Darstellung
{
  "enableToolCorrectnessMetrics": boolean
}
Felder
enableToolCorrectnessMetrics

boolean

Optional. Gibt an, ob Messwerte für die Tool-Korrektheit für die Bewertung berechnet werden sollen.

ScenarioMetricsConfig

JSON-Darstellung
{
  "userGoalMetMetricsConfig": {
    object (UserGoalMetMetricsConfig)
  },
  "expectationsMetMetricsConfig": {
    object (ExpectationsMetMetricsConfig)
  }
}
Felder
userGoalMetMetricsConfig

object (UserGoalMetMetricsConfig)

Optional. Konfiguration für Messwerte zu erreichten Nutzerzielen.

expectationsMetMetricsConfig

object (ExpectationsMetMetricsConfig)

Optional. Konfiguration für Messwerte auf Erwartungsebene.

UserGoalMetMetricsConfig

JSON-Darstellung
{
  "enableUserGoalMetMetrics": boolean
}
Felder
enableUserGoalMetMetrics

boolean

Optional. Gibt an, ob die Messwerte für die Erfüllung des Nutzerziels für die Bewertung berechnet werden sollen.

ExpectationsMetMetricsConfig

JSON-Darstellung
{
  "enableExpectationsMetMetrics": boolean
}
Felder
enableExpectationsMetMetrics

boolean

Optional. Gibt an, ob die Messwerte für die Erwartungsebene für die Bewertung berechnet werden sollen.

NullValue

Stellt ein JSON-null dar.

NullValue ist ein Sentinel, der ein Enum mit nur einem Wert verwendet, um den Nullwert für die Typunion Value darzustellen.

Ein Feld vom Typ NullValue mit einem anderen Wert als 0 wird als ungültig betrachtet. Die meisten ProtoJSON-Serialisierer geben unabhängig vom Ganzzahlwert einen Value mit einem null_value aus, der als JSON-null festgelegt ist, und runden ihn auf einen 0-Wert.

Enums
NULL_VALUE Nullwert.

RecordingControl

Die Entscheidung der App kann aufgezeichnet und protokolliert werden.

Dieses Enum ist erweiterbar. In Zukunft können neue Werte hinzugefügt werden.

Enums
RECORDING_CONTROL_UNSPECIFIED Die App steuert die Aufnahme nicht. Die Logging-Einstellungen der App entscheiden, wie bei jeder Sitzung, in der dieses Feld nicht festgelegt wird.
RECORDING_ENABLED Die Unterhaltung kann ab jetzt aufgezeichnet und protokolliert werden.
RECORDING_DISABLED Die Unterhaltung wird ab jetzt möglicherweise nicht mehr aufgezeichnet oder protokolliert.

ComparisonType

Unterstützte Vergleichstypen zum Prüfen der Antwort des KI-Agenten.

Enums
COMPARISON_TYPE_UNSPECIFIED Nicht angegebener Vergleichstyp. Das Standardverhalten ist SEMANTIC_SIMILARITY für Agent-Antworten und Toolaufrufe.
EQUALS Exakte Übereinstimmung des Strings.
CONTAINS Teilstring-Übereinstimmung (prüft, ob der erwartete String in der tatsächlichen Antwort enthalten ist).
SEMANTIC_SIMILARITY Übereinstimmung bei semantischer Ähnlichkeit (bewertet die Ähnlichkeit der Bedeutung mithilfe eines LLM)

SemanticSimilarityChannel

Kanal für semantische Ähnlichkeit, der verwendet werden soll.

Enums
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED Messwert nicht angegeben. Die Standardeinstellung ist TEXT.
TEXT Semantische Textähnlichkeit verwenden.
AUDIO Semantische Ähnlichkeit von Audioinhalten verwenden.

HallucinationMetricBehavior

Das Verhalten des Halluzinationsmesswerts. Unabhängig vom Verhalten wird der Messwert immer berechnet. Der Unterschied besteht darin, dass der Messwert bei Deaktivierung nicht zur Berechnung des Gesamtbewertungsergebnisses verwendet wird.

Enums
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED Nicht angegebenes Verhalten des Halluzinationsmesswerts.
DISABLED Halluzinationsmesswert deaktivieren.
ENABLED Halluzinationsmesswert aktivieren.

TaskCompletionBehavior

Das erwartete Verhalten der Nutzeraufgabe. Anhand dieser wird bestimmt, ob das Szenario erfolgreich ist.

Enums
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED Verhalten nicht angegeben. Die Standardeinstellung ist TASK_SATISFIED.
TASK_SATISFIED Die Nutzeraufgabe sollte erfolgreich abgeschlossen werden.
TASK_REJECTED Die Nutzeraufgabe sollte abgelehnt werden.

UserGoalBehavior

Das erwartete Verhalten des Nutzerziels. Anhand dieser wird bestimmt, ob das Szenario erfolgreich ist.

Enums
USER_GOAL_BEHAVIOR_UNSPECIFIED Verhalten nicht angegeben. Die Standardeinstellung ist USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED Das Ziel des Nutzers sollte erfolgreich erreicht werden.
USER_GOAL_REJECTED Das Nutzerziel sollte abgelehnt werden.
USER_GOAL_IGNORED Ignorieren Sie den Status des Nutzerziels.

ScenarioExecutionMode

Der Ausführungsmodus für Szenariobewertungen.

Enums
SCENARIO_EXECUTION_MODE_UNSPECIFIED Nicht angegebener Ausführungsmodus. Die Standardeinstellung ist QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED Qualitätsoptimierter Modus.
SPEED_OPTIMIZED Geschwindigkeitsoptimierter Modus.

Ergebnis

Das Ergebnis der Bewertung oder Erwartung.

Enums
OUTCOME_UNSPECIFIED Das Bewertungsergebnis ist nicht angegeben.
PASS Bewertung/Erwartung erfüllt. Im Fall einer Bewertung bedeutet dies, dass alle Erwartungen erfüllt wurden.
FAIL Bewertung/Erwartung fehlgeschlagen. Im Fall einer Bewertung bedeutet dies, dass mindestens eine Erwartung nicht erfüllt wurde.
SKIPPED Bewertung/Erwartung wurde übersprungen.

ErrorType

Der Fehlertyp

Enums
ERROR_TYPE_UNSPECIFIED Unbekannter Fehlertyp.
RUNTIME_FAILURE Fehler während der Laufzeitausführung.
CONVERSATION_RETRIEVAL_FAILURE Unterhaltung konnte nicht aus der CES-Laufzeit abgerufen werden.
METRIC_CALCULATION_FAILURE Ein Messwert oder Ergebnis konnte nicht berechnet werden.
EVALUATION_UPDATE_FAILURE Die Bewertung konnte nicht aktualisiert werden.
QUOTA_EXHAUSTED Kontingent aufgebraucht.
USER_SIMULATION_FAILURE Fehler bei der Nutzersimulation.

Typ

Der Typ des Spans. In Zukunft werden möglicherweise weitere Werte hinzugefügt.

Enums
TYPE_UNSPECIFIED Standardwert. Dieser Wert wird nicht verwendet.
TOOL Span für Toolaufruf.
USER_CALLBACK Nutzer-Callback-Spanne.
GUARDRAIL Schutzmaßnahmenbereich.
LLM LLM-Span.

MilestoneStatus

Der Status des Meilensteins.

Enums
MILESTONE_STATUS_UNSPECIFIED Nicht angegebener Status
NOT_STARTED Der Meilenstein hat noch nicht begonnen.
IN_PROGRESS Der Meilenstein wird gerade bearbeitet.
COMPLETED Der Meilenstein wurde erfolgreich abgeschlossen.

BackgroundEnvironment

Simulierte Audioumgebung.

Enums
BACKGROUND_ENVIRONMENT_UNSPECIFIED Hintergrundumgebung nicht angegeben.
CALL_CENTER Callcenter-Umgebung
TRAFFIC Umgebung mit Verkehrslärm.
KIDS_NOISE Geräuschumgebung für Kinder.
CAFE Café-Umgebung.

ExecutionState

Der Status der Ausführung des Bewertungsergebnisses.

Enums
EXECUTION_STATE_UNSPECIFIED Der Ausführungsstatus des Bewertungsergebnisses ist nicht angegeben.
QUEUED Die Ausführung des Bewertungsergebnisses befindet sich in der Warteschlange.
RUNNING Die Ausführung des Bewertungsergebnisses läuft.
COMPLETED Die Ausführung des Bewertungsergebnisses ist abgeschlossen.
ERROR Die Ausführung des Bewertungsergebnisses ist aufgrund eines internen Fehlers fehlgeschlagen.
CANCELLED Die Ausführung des Bewertungsergebnisses wurde abgebrochen.

ExtraToolCallBehavior

Definiert das Verhalten, wenn ein zusätzlicher Toolaufruf erkannt wird. Ein zusätzlicher Toolaufruf ist ein Toolaufruf, der in der Ausführung vorhanden ist, aber mit keinem Toolaufruf in der Golden Expectation übereinstimmt.

Enums
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED Nicht angegebenes Verhalten. Die Standardeinstellung ist FAIL.
FAIL Die Bewertung schlägt fehl, wenn ein zusätzlicher Toolaufruf erkannt wird.
ALLOW Lassen Sie den zusätzlichen Toolaufruf zu.

AudioEncoding

„AudioEncoding“ gibt das Codierungsformat für Audiodaten an.

Enums
AUDIO_ENCODING_UNSPECIFIED Nicht angegebene Audiocodierung.
LINEAR16 16-Bit-Codierung mit linearer PCM
MULAW 8-Bit-Samples zur Kompandierung von 14-Bit-Audiosamples mit G.711 PCMU/mu-law.
ALAW 8-Bit-Samples, die 14-Bit-Audio-Samples mit G.711 PCMU/A-law kompandieren.

EvaluationChannel

Der zu bewertende Kanal.

Enums
EVALUATION_CHANNEL_UNSPECIFIED Nicht angegebener Bewertungskanal.
TEXT Bewertungskanal nur für Text.
AUDIO Kanal für die Audiobewertung.

EvaluationToolCallBehaviour

Konfiguriert das Verhalten von Toolaufrufen für Bewertungsausführungen.

Enums
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED Nicht angegebenes Verhalten des Toolaufrufs. Standardmäßig werden echte Toolaufrufe verwendet.
REAL Verwenden Sie echte Toolaufrufe.
FAKE Verwenden Sie gefälschte Toolaufrufe.

GoldenRunMethod

Die Methode, mit der die Bewertung ausgeführt wird.

Enums
GOLDEN_RUN_METHOD_UNSPECIFIED Die Ausführungsmethode ist nicht angegeben.
STABLE Führen Sie die Bewertung als stabile Wiedergabe aus, bei der jede Runde eine eindeutige Sitzung ist, in die die vorherigen erwarteten Runden als Kontext eingefügt werden.
NAIVE Führen Sie die Bewertung als naive Wiedergabe aus, wobei die Ausführung eine einzelne Sitzung ohne eingefügten Kontext ist.

OutcomeMetadata

Metadaten zum Ergebnis der Bewertung.

Enums
OUTCOME_METADATA_UNSPECIFIED Nicht angegebene Ergebnismetadaten.
GRACEFUL_HANDOFF Die Auswertung ergab, dass die Anfrage an einen menschlichen Kundenservicemitarbeiter weitergeleitet werden sollte.

Tool-Annotationen

Tool-Anmerkungen werden an MCP-Clients gesendet, um das grundlegende Risiko eines bestimmten Tools zu beschreiben. Die meisten Clients behandeln diese Hinweise als nicht vertrauenswürdig, sie können jedoch verwendet werden, um zu entscheiden, wann eine Bestätigungsaufforderung an einen Nutzer gesendet werden soll.

Zusätzlich zum Titelstring werden die folgenden booleschen Hinweise definiert:

  • readOnlyHint: Wenn „true“, ändert das Tool seine Umgebung nicht. Standardeinstellung: false.
  • destructiveHint: Wenn „true“, kann das Tool destruktive Aktionen ausführen. Wenn „false“, kann das Tool nur additive Aktionen ausführen. Standardeinstellung: true.
  • idempotentHint: Wenn „true“, hat das wiederholte Aufrufen des Tools mit denselben Argumenten keine zusätzlichen Auswirkungen auf die Umgebung. Standardeinstellung: false.
  • openWorldHint: Wenn „true“, kann das Tool mit einer „offenen Welt“ externer Entitäten interagieren. Wenn „false“, kann das Tool nur mit internen Entitäten interagieren. Ein Tool für die Websuche wäre beispielsweise frei verfügbar, ein Tool für gemerkte Informationen jedoch nicht.

Destruktiver Hinweis: ❌ | Idempotenter Hinweis: ✅ | Lesezugriff-Hinweis: ✅ | Open-World-Hinweis: ❌