MCP Tools Reference: ces.googleapis.com

Tool: create_evaluation

Erstellt eine neue Auswertung.

Das folgende Codebeispiel zeigt, wie Sie mit curl das MCP-Tool create_evaluation aufrufen.

Curl-Anfrage 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "create_evaluation",
    "arguments": {
      // Provide these details according to the MCP tool specification.
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Eingabeschema

Anfragenachricht für EvaluationService.CreateEvaluation.

CreateEvaluationRequest

JSON-Darstellung 
{
  "parent": string,
  "evaluationId": string,
  "evaluation": {
    object (Evaluation)
  }
}
Felder
parent

string

Erforderlich. Die App, für die die Bewertung erstellt werden soll. Format: projects/{project}/locations/{location}/apps/{app}
evaluationId

string

Optional. Die für die Bewertung zu verwendende ID, die als letzte Komponente des Ressourcennamens der Bewertung verwendet wird. Wenn nicht angegeben, wird automatisch eine eindeutige ID für die Auswertung zugewiesen.
evaluation

object (Evaluation)

Erforderlich. Die zu erstellende Bewertung.

Bewertung

JSON-Darstellung 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
Felder
name

string

ID. Die eindeutige Kennung dieser Auswertung. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

Erforderlich. Benutzerdefinierter Anzeigename der Auswertung. Eindeutig innerhalb einer App.
description

string

Optional. Benutzerdefinierte Beschreibung der Auswertung.
tags[]

string

Optional. Benutzerdefinierte Tags zum Kategorisieren der Auswertung.
evaluationDatasets[]

string

Nur Ausgabe. Liste der Bewertungs-Datasets, zu denen die Bewertung gehört. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung der Bewertung.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
createdBy

string

Nur Ausgabe. Der Nutzer, der die Bewertung erstellt hat.
updateTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel der letzten Aktualisierung der Auswertung.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
lastUpdatedBy

string

Nur Ausgabe. Der Nutzer, der die Auswertung zuletzt aktualisiert hat.
evaluationRuns[]

string

Nur Ausgabe. Die EvaluationRuns, mit denen diese Evaluation verknüpft ist.
etag

string

Nur Ausgabe. ETag, mit dem sichergestellt wird, dass sich das Objekt während eines Read-Modify-Write-Vorgangs nicht geändert hat. Wenn das ETag leer ist, werden durch das Update alle gleichzeitigen Änderungen überschrieben.
aggregatedMetrics

object (AggregatedMetrics)

Nur Ausgabe. Die aggregierten Messwerte für diese Bewertung über alle Ausführungen hinweg.
lastCompletedResult

object (EvaluationResult)

Nur Ausgabe. Das letzte Bewertungsergebnis für diese Bewertung.
invalid

boolean

Nur Ausgabe. Gibt an, ob die Auswertung ungültig ist. Das kann passieren, wenn in einer Bewertung auf ein Tool, ein Toolset oder einen Agenten verwiesen wird, die inzwischen gelöscht wurden.
lastTenResults[]

object (EvaluationResult)

Nur Ausgabe. Die letzten 10 Bewertungsergebnisse für diese Bewertung. Dieses Feld wird nur ausgefüllt, wenn „include_last_ten_results“ in „ListEvaluationsRequest“ oder „GetEvaluationRequest“ auf „true“ gesetzt ist.
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

Optional. Überschreibt die Messwertschwellenwerte für diese spezifische Bewertung.
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

Optional. Überschreibt die Messwertekonfiguration für diese spezifische Bewertung.
Union-Feld inputs. Die Eingaben für die Bewertung inputs können nur einer der folgenden Werte sein:
golden

object (Golden)

Optional. Die zu bewertenden goldenen Schritte.
scenario

object (Scenario)

Optional. Die Konfiguration für ein Szenario.

Golden

JSON-Darstellung 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
Felder
turns[]

object (GoldenTurn)

Erforderlich. Die Anzahl der goldenen Turns, die zum Wiederholen einer goldenen Unterhaltung erforderlich sind. Die maximal zulässige Anzahl von Zügen beträgt 100.
evaluationExpectations[]

string

Optional. Die Erwartungen an die Bewertung, anhand derer die wiedergegebene Unterhaltung bewertet werden soll. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

JSON-Darstellung 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior)
}
Felder
steps[]

object (Step)

Erforderlich. Die Schritte, die erforderlich sind, um eine goldene Unterhaltung noch einmal abzuspielen.
rootSpan

object (Span)

Optional. Der Stamm-Spanne des goldenen Turns für die Verarbeitung und Verwaltung von Audioinformationen. Der URI für das Audio muss Audio enthalten, das mit einer Abtastrate von 16 kHz gespeichert wurde.
turnLevelMetricsThresholdsOverride

object (TurnLevelMetricsThresholds)

Optional. Überschreibungen für Messwertgrenzwerte auf Turn-Ebene.
hallucinationMetricBehaviorOverride

enum (HallucinationMetricBehavior)

Optional. Überschreibung für das Verhalten des Messwerts für Halluzinationen auf Turn-Ebene.

Schritt

JSON-Darstellung 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
Felder
Union-Feld step. Der auszuführende Schritt. Für step ist nur einer der folgenden Werte zulässig:
userInput

object (SessionInput)

Optional. Nutzereingabe für die Unterhaltung.
agentTransfer

object (AgentTransfer)

Optional. Leiten Sie das Gespräch an einen anderen Kundenservicemitarbeiter weiter.
expectation

object (GoldenExpectation)

Optional. Führt eine Erwartung im aktuellen Zug aus.

SessionInput

JSON-Darstellung 
{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
Felder
willContinue

boolean

Optional. Ein Flag, das angibt, ob die aktuelle Nachricht ein Fragment einer größeren Eingabe in der bidirektionalen Streaming-Sitzung ist.

Wenn true festgelegt ist, verschiebt der Agent die Verarbeitung, bis er eine nachfolgende Nachricht mit will_continue = false empfängt oder das System einen Endpunkt in der Audioeingabe erkennt.

HINWEIS: Dieses Feld gilt nicht für Audio- und DTMF-Eingaben, da diese immer automatisch auf Grundlage des Endpunkt-Signals verarbeitet werden.
Union-Feld input_type. Der Typ der Eingabe. Für input_type ist nur einer der folgenden Werte zulässig:
text

string

Optional. Textdaten vom Endnutzer.
dtmf

string

Optional. DTMF-Ziffern vom Endnutzer.
audio

string (bytes format)

Optional. Audiodaten des Endnutzers.

Ein base64-codierter String.
toolResponses

object (ToolResponses)

Optional. Ausführungsergebnisse für die Tool-Aufrufe vom Client.
image

object (Image)

Optional. Bilddaten des Endnutzers.
blob

object (Blob)

Optional. Blob-Daten vom Endnutzer.
variables

object (Struct format)

Optional. Kontextbezogene Variablen für die Sitzung, nach Namen sortiert. Der CES-Kundenservicemitarbeiter verwendet nur Variablen, die in der App deklariert sind.

Nicht erkannte Variablen werden weiterhin als zusätzliche Sitzungsparameter an den [Dialogflow-Agent][Agent.RemoteDialogflowAgent] gesendet.
event

object (Event)

Optional. Ereigniseingabe

ToolResponses

JSON-Darstellung 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
Felder
toolResponses[]

object (ToolResponse)

Optional. Die Liste der Ergebnisse der Tool-Ausführung.

ToolResponse

JSON-Darstellung 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Felder
id

string

Optional. Die ID zum Abgleich des tool call, auf den sich die Antwort bezieht.
displayName

string

Nur Ausgabe. Anzeigename des Tools.
response

object (Struct format)

Erforderlich. Das Ergebnis der Tool-Ausführung im JSON-Objektformat. Verwenden Sie den Schlüssel „output“, um die Tool-Antwort anzugeben, und den Schlüssel „error“, um Fehlerdetails anzugeben (falls vorhanden). Wenn die Schlüssel „output“ und „error“ nicht angegeben sind, wird die gesamte „response“ als Ergebnis der Tool-Ausführung behandelt.
parentToolCallId

string

Nur Ausgabe. Die ID des Tool-Aufrufs, der diesen verursacht hat, wenn er von einem untergeordneten Agent im Auftrag eines übergeordneten Aufrufs ausgegeben wurde. Leer für Aufrufe auf oberster Ebene. Ermöglicht es einem Client, die Arbeit eines untergeordneten Agents unter dem Aufruf zu gruppieren, der sie gestartet hat, anstatt jeden Schritt als gleichgeordnetes Element darzustellen.
agentName

string

Nur Ausgabe. Menschenlesbarer Name des KI-Agenten, der diesen Aufruf ausgegeben hat, z.B. „Contract Architect“. Leer, wenn der Root-Agent die Anfrage gestellt hat.
Union-Feld tool_identifier. Die Kennung des Tools, das ausgeführt wurde. Es kann sich entweder um ein dauerhaftes Tool oder ein Tool aus einem Toolset handeln. Für tool_identifier ist nur einer der folgenden Werte zulässig:
tool

string

Optional. Der Name des auszuführenden Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Optional. Das Toolset-Tool, das ausgeführt wurde.

ToolsetTool

JSON-Darstellung 
{
  "toolset": string,
  "toolId": string
}
Felder
toolset

string

Erforderlich. Der Ressourcenname des Toolsets, aus dem dieses Tool abgeleitet wird. Format: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Optional. Die Tool-ID, mit der die Tools gefiltert werden sollen, für die das Schema abgerufen werden soll.

Struct

JSON-Darstellung 
{
  "fields": {
    string: value,
    ...
  }
}
Felder
fields

map (key: string, value: value (Value format))

Ungeordnete Zuordnung von dynamisch typisierten Werten.

Ein Objekt, das eine Liste von "key": value-Paaren enthält. Beispiel: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

JSON-Darstellung 
{
  "key": string,
  "value": value
}
Felder
key

string
value

value (Value format)

Wert

JSON-Darstellung 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Felder
Union-Feld kind. Die Art des Werts. Für kind ist nur einer der folgenden Werte zulässig:
nullValue

null

Stellt ein JSON-null dar.
numberValue

number

Stellt eine JSON-Zahl dar. Darf nicht NaN, Infinity oder -Infinity sein, da diese in JSON nicht unterstützt werden. Auch große Int64-Werte können nicht dargestellt werden, da das JSON-Format sie in seinem Zahlentyp im Allgemeinen nicht unterstützt.
stringValue

string

Stellt einen JSON-String dar.
boolValue

boolean

Stellt einen booleschen JSON-Wert dar (true- oder false-Literal in JSON).
structValue

object (Struct format)

Stellt ein JSON-Objekt dar.
listValue

array (ListValue format)

Stellt ein JSON-Array dar.

ListValue

JSON-Darstellung 
{
  "values": [
    value
  ]
}
Felder
values[]

value (Value format)

Wiederkehrendes Feld mit dynamisch typisierten Werten.

Bild

JSON-Darstellung 
{
  "mimeType": string,
  "data": string,
  "altText": string
}
Felder
mimeType

string

Erforderlich. Der IANA-Standard-MIME-Typ der Quelldaten. Unterstützte Bildtypen: * image/png * image/jpeg * image/webp
data

string (bytes format)

Erforderlich. Rohbyte des Bildes.

Ein base64-codierter String.
altText

string

Optional. Der Alternativtext für das Bild.

Blob

JSON-Darstellung 
{
  "mimeType": string,
  "data": string
}
Felder
mimeType

string

Erforderlich. Der IANA-Standard-MIME-Typ der Quelldaten.
data

string (bytes format)

Erforderlich. Rohbyte des Blobs.

Ein base64-codierter String.

Ereignis

JSON-Darstellung 
{
  "event": string,
  "variables": {
    object
  }
}
Felder
event

string

Erforderlich. Der Name des Ereignisses.
variables

object (Struct format)

Optional. Zusätzliche Variablen, die mit dem Ereignis verknüpft sind.

AgentTransfer

JSON-Darstellung 
{
  "targetAgent": string,
  "displayName": string
}
Felder
targetAgent

string

Erforderlich. Der KI-Agent, an den die Unterhaltung übertragen wird. Der Agent übernimmt die Unterhaltung ab diesem Punkt. Format: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

Nur Ausgabe. Anzeigename des KI-Agenten.

GoldenExpectation

JSON-Darstellung 
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}
Felder
note

string

Optional. Eine Anmerkung zu dieser Anforderung, die bei der Berichterstellung hilfreich ist, wenn bestimmte Prüfungen fehlschlagen. Beispiel: "Check_Payment_Tool_Called".
skipEvaluation

boolean

Optional. Wenn auf „true“ gesetzt, wird diese Erwartung nicht ausgewertet.
expectationLevelMetricsThresholdsOverride

object (ExpectationLevelMetricsThresholds)

Optional. Überschreibt Messwerte auf Schrittebene.
agentResponseSemanticSimilarityMetricsConfigOverride

object (SemanticSimilarityMetricsConfig)

Optional. Überschreibungen für Messwerte zur semantischen Ähnlichkeit von agent_response.
agentResponseHallucinationMetricsConfigOverride

object (HallucinationMetricsConfig)

Optional. Überschreibungen für Messwerte für Halluzinationen in Agent-Antworten.
comparisonType

enum (ComparisonType)

Optional. Der Vergleichstyp, der für die Erwartungsprüfung verwendet werden soll.
Union-Feld condition. Die tatsächlich durchzuführende Prüfung. Für condition ist nur einer der folgenden Werte zulässig:
toolCall

object (ToolCall)

Optional. Prüfen Sie, ob ein bestimmtes Tool mit den Parametern aufgerufen wurde.
toolResponse

object (ToolResponse)

Optional. Prüfen Sie, ob ein bestimmtes Tool die erwartete Antwort gegeben hat.
agentResponse

object (Message)

Optional. Prüfen Sie, ob der Agent mit der richtigen Antwort reagiert hat. Die Rolle „Agent“ ist impliziert.
agentTransfer

object (AgentTransfer)

Optional. Prüfen Sie, ob der Agent die Unterhaltung an einen anderen Agenten weitergeleitet hat.
updatedVariables

object (Struct format)

Optional. Prüfen Sie, ob der Agent die Sitzungsvariablen auf die erwarteten Werte aktualisiert hat. Wird verwendet, um auch Agent-Variablenaktualisierungen für Golden-Evaluations zu erfassen.
mockToolResponse

object (ToolResponse)

Optional. Die Tool-Antwort, die simuliert werden soll, mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM erfunden.
noToolCalls

boolean

Optional. Prüfen Sie, ob während dieses Zuges keine Tools aufgerufen wurden.

ToolCall

JSON-Darstellung 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Felder
id

string

Optional. Die eindeutige Kennung des Tool-Aufrufs. Falls angegeben, sollte der Client das Ausführungsergebnis mit der ID zum Abgleich in ToolResponse zurückgeben.
displayName

string

Nur Ausgabe. Anzeigename des Tools.
args

object (Struct format)

Optional. Die Eingabeparameter und -werte für das Tool im JSON-Objektformat.
parentToolCallId

string

Nur Ausgabe. Die ID des Tool-Aufrufs, der diesen verursacht hat, wenn er von einem untergeordneten Agent im Auftrag eines übergeordneten Aufrufs ausgegeben wurde. Leer für Aufrufe auf oberster Ebene. Ermöglicht es einem Client, die Arbeit eines untergeordneten Agents unter dem Aufruf zu gruppieren, der sie gestartet hat, anstatt jeden Schritt als gleichgeordnetes Element darzustellen.
agentName

string

Nur Ausgabe. Menschenlesbarer Name des KI-Agenten, der diesen Aufruf ausgegeben hat, z.B. „Contract Architect“. Leer, wenn der Root-Agent die Anfrage gestellt hat.
Union-Feld tool_identifier. Die Kennung des auszuführenden Tools. Es kann sich entweder um ein dauerhaftes Tool oder ein Tool aus einem Toolset handeln. Für tool_identifier ist nur einer der folgenden Werte zulässig:
tool

string

Optional. Der Name des auszuführenden Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Optional. Das Toolset-Tool, das ausgeführt werden soll.

Nachricht

JSON-Darstellung 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
Felder
role

string

Optional. Die Rolle in der Unterhaltung, z.B. „user“ (Nutzer), „agent“ (KI-Agent).
chunks[]

object (Chunk)

Optional. Inhalt der Nachricht als Reihe von Chunks.
eventTime

string (Timestamp format)

Optional. Zeitstempel für den Versand oder Empfang der Nachricht. Sollte nicht verwendet werden, wenn die Nachricht Teil eines example ist.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30".

Chunk

JSON-Darstellung 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
Felder
Union-Feld data. Daten in Blöcke aufteilen. Für data ist nur einer der folgenden Werte zulässig:
text

string

Optional. Textdaten.
transcript

string

Optional. Das mit dem Audio verknüpfte Transkript.
blob

object (Blob)

Optional. Blob-Daten.
payload

object (Struct format)

Optional. Benutzerdefinierte Nutzlastdaten.
image

object (Image)

Optional. Bilddaten.
toolCall

object (ToolCall)

Optional. Anfrage zur Toolausführung.
toolResponse

object (ToolResponse)

Optional. Antwort auf die Toolausführung.
agentTransfer

object (AgentTransfer)

Optional. Ereignis für die Übertragung von Agenten.
updatedVariables

object (Struct format)

Ein Struct stellt Variablen dar, die in der Unterhaltung aktualisiert wurden, wobei die Variablennamen als Schlüssel verwendet werden.
defaultVariables

object (Struct format)

Ein Struct stellt Standardvariablen zu Beginn der Unterhaltung dar, die nach Variablennamen sortiert sind.

Zeitstempel

JSON-Darstellung 
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Stellt Sekunden der UTC-Zeit seit Unix-Epoche 1970-01-01T00:00:00Z dar. Muss zwischen -62135596800 und 253402300799 liegen (einschließlich), was dem Zeitraum vom 01.01.0001 00:00:00 UTC bis zum 31.12.9999 23:59:59 UTC entspricht.
nanos

integer

Nicht negative Sekundenbruchteile Nanosekunden-Auflösung. Dieses Feld enthält den Nanosekundenanteil der Dauer und ist keine Alternative zu Sekunden. Negative Sekundenwerte mit Bruchteilen müssen weiterhin nicht negative Nano-Werte haben, die zeitlich vorwärts gezählt werden. Muss zwischen 0 und 999.999.999 (einschließlich) liegen.

ExpectationLevelMetricsThresholds

JSON-Darstellung 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
Felder

Union-Feld _tool_invocation_parameter_correctness_threshold.

Für _tool_invocation_parameter_correctness_threshold ist nur einer der folgenden Werte zulässig:
toolInvocationParameterCorrectnessThreshold

number

Optional. Der Erfolgsschwellenwert für die Korrektheit einzelner Parameter für den Toolaufruf. Muss eine Gleitkommazahl zwischen 0 und 1 sein. Der Standardwert ist 1,0.

SemanticSimilarityMetricsConfig

JSON-Darstellung 
{
  "enableSemanticSimilarityMetrics": boolean
}
Felder
enableSemanticSimilarityMetrics

boolean

Optional. Gibt an, ob semantische Ähnlichkeitsmesswerte für die Bewertung berechnet werden sollen.

HallucinationMetricsConfig

JSON-Darstellung 
{
  "enableHallucinationMetrics": boolean
}
Felder
enableHallucinationMetrics

boolean

Optional. Gibt an, ob Halluzinationsmesswerte für die Bewertung berechnet werden sollen.

Span

JSON-Darstellung 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
Felder
name

string

Nur Ausgabe. Der Name des Spans.
startTime

string (Timestamp format)

Nur Ausgabe. Die Startzeit des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Das Ende des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
duration

string (Duration format)

Nur Ausgabe. Die Dauer des Zeitraums.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
attributes

object (Struct format)

Nur Ausgabe. Schlüssel/Wert-Attribute, die dem Bereich zugeordnet sind.
childSpans[]

object (Span)

Nur Ausgabe. Die untergeordneten Spans, die in dieser Span verschachtelt sind.

Dauer

JSON-Darstellung 
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Vorzeichenbehaftete Sekunden des Zeitraums. Muss zwischen -315.576.000.000 und +315.576.000.000 (einschließlich) liegen. Hinweis: Diese Grenzen werden so berechnet: 60 Sek./Min. × 60 Min./Std. × 24 Std./Tag × 365,25 Tage/Jahr × 10.000 Jahre
nanos

integer

Vorzeichenbehaftete Bruchteile einer Sekunde mit Nanosekundenauflösung des Zeitraums. Dauern von weniger als einer Sekunde werden mit dem Feld seconds = 0 und einem positiven oder negativen Feld nanos dargestellt. Bei Zeiträumen von einer Sekunde oder mehr muss ein Wert ungleich null für das Feld nanos dasselbe Vorzeichen wie das Feld seconds haben. Muss zwischen -999.999.999 und +999.999.999 liegen.

TurnLevelMetricsThresholds

JSON-Darstellung 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
Felder
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

Optional. Der Channel für semantische Ähnlichkeit, der für die Bewertung verwendet werden soll.

Union-Feld _semantic_similarity_success_threshold.

Für _semantic_similarity_success_threshold ist nur einer der folgenden Werte zulässig:
semanticSimilaritySuccessThreshold

integer

Optional. Der Erfolgsgrenzwert für die semantische Ähnlichkeit. Muss eine Ganzzahl zwischen 0 und 4 sein. Der Standardwert ist >= 3.

Union-Feld _overall_tool_invocation_correctness_threshold.

Für _overall_tool_invocation_correctness_threshold ist nur einer der folgenden Werte zulässig:
overallToolInvocationCorrectnessThreshold

number

Optional. Der Erfolgsschwellenwert für die allgemeine Korrektheit des Toolaufrufs. Muss eine Gleitkommazahl zwischen 0 und 1 sein. Der Standardwert ist 1,0.

Szenario

JSON-Darstellung 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (ScenarioExecutionMode)
}
Felder
task

string

Erforderlich. Die Aufgabe, auf die sich das Szenario bezieht.
userFacts[]

object (UserFact)

Optional. Die Nutzerfakten, die vom Szenario verwendet werden sollen.
maxTurns

integer

Optional. Die maximale Anzahl der zu simulierenden Züge. Der maximal zulässige Wert ist 100. Der Standardwert ist 100.
rubrics[]

string

Erforderlich. Die Rubriken, anhand derer das Szenario bewertet wird.
scenarioExpectations[]

object (ScenarioExpectation)

Erforderlich. Die ScenarioExpectations zum Bewerten der von der Nutzersimulation erstellten Unterhaltung.
variableOverrides

object (Struct format)

Optional. Variablen / Sitzungsparameter als Kontext für die Sitzung, mit Variablennamen als Schlüssel. Mit den Mitgliedern dieser Struktur werden alle vom System festgelegten Standardwerte überschrieben.

Diese unterscheiden sich von Nutzerfakten, die dem Nutzer bekannt sind. Variablen sind Parameter, die dem Agent bekannt sind, z.B. die vom Telefonsystem übergebene MDN (Telefonnummer).
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

Optional. Verworfen Verwenden Sie stattdessen „user_goal_behavior“.
userGoalBehavior

enum (UserGoalBehavior)

Optional. Das erwartete Verhalten des Nutzerziels.
evaluationExpectations[]

string

Optional. Die Erwartungen an die Bewertung, anhand derer die von der Simulation erstellte Unterhaltung bewertet wird. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode

enum (ScenarioExecutionMode)

Optional. Der Ausführungsmodus für Szenariobewertungen.

UserFact

JSON-Darstellung 
{
  "name": string,
  "value": string
}
Felder
name

string

Erforderlich. Der Name der Nutzerinformation.
value

string

Erforderlich. Der Wert der Nutzerinformation.

ScenarioExpectation

JSON-Darstellung 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
Felder
Union-Feld expectation. Die Erwartung, die durch die Simulation erzeugte Unterhaltung zu bewerten. Für expectation ist nur einer der folgenden Werte zulässig:
toolExpectation

object (ToolExpectation)

Optional. Das zu bewertende Tool-Aufruf- und Antwortpaar.
agentResponse

object (Message)

Optional. Die zu bewertende Antwort des KI-Agenten.

ToolExpectation

JSON-Darstellung 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
Felder
expectedToolCall

object (ToolCall)

Erforderlich. Der erwartete Tool-Aufruf mit den relevanten Parametern. Alle nicht angegebenen Parameter werden vom LLM erfunden.
mockToolResponse

object (ToolResponse)

Erforderlich. Die Tool-Antwort, die simuliert werden soll, mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM erfunden.

AggregatedMetrics

JSON-Darstellung 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
Felder
metricsByAppVersion[]

object (MetricsByAppVersion)

Nur Ausgabe. Zusammengefasste Messwerte, gruppiert nach App-Versions-ID.

MetricsByAppVersion

JSON-Darstellung 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
Felder
appVersionId

string

Nur Ausgabe. Die App-Versions-ID.
toolMetrics[]

object (ToolMetrics)

Nur Ausgabe. Messwerte für jedes Tool in dieser App-Version.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Nur Ausgabe. Messwerte für die semantische Ähnlichkeit in dieser App-Version.
hallucinationMetrics[]

object (HallucinationMetrics)

Nur Ausgabe. Messwerte für Halluzinationen in dieser App-Version.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Nur Ausgabe. Messwerte für die Latenz von Tool-Aufrufen in dieser App-Version.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Nur Ausgabe. Messwerte für die Zuglatenz in dieser App-Version.
passCount

integer

Nur Ausgabe. Die Anzahl der bestandenen Prüfungen.
failCount

integer

Nur Ausgabe. Die Anzahl der fehlgeschlagenen Auswertungen.
metricsByTurn[]

object (MetricsByTurn)

Nur Ausgabe. Messwerte, die pro Zug in dieser App-Version aggregiert werden.

ToolMetrics

JSON-Darstellung 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
Felder
tool

string

Nur Ausgabe. Der Name des Tools.
passCount

integer

Nur Ausgabe. Die Anzahl der bestandenen Tests.
failCount

integer

Nur Ausgabe. Die Anzahl der fehlgeschlagenen Versuche.

SemanticSimilarityMetrics

JSON-Darstellung 
{
  "score": number
}
Felder
score

number

Nur Ausgabe. Der durchschnittliche Wert für die semantische Ähnlichkeit (0–4).

HallucinationMetrics

JSON-Darstellung 
{
  "score": number
}
Felder
score

number

Nur Ausgabe. Der durchschnittliche Halluzinationswert (0 bis 1).

ToolCallLatencyMetrics

JSON-Darstellung 
{
  "tool": string,
  "averageLatency": string
}
Felder
tool

string

Nur Ausgabe. Der Name des Tools.
averageLatency

string (Duration format)

Nur Ausgabe. Die durchschnittliche Latenz der Tool-Aufrufe.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

TurnLatencyMetrics

JSON-Darstellung 
{
  "averageLatency": string
}
Felder
averageLatency

string (Duration format)

Nur Ausgabe. Die durchschnittliche Latenz der Turns.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

MetricsByTurn

JSON-Darstellung 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
Felder
turnIndex

integer

Nur Ausgabe. Der nullbasierte Index des Zugs.
toolMetrics[]

object (ToolMetrics)

Nur Ausgabe. Messwerte für jedes Tool in dieser Runde.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Nur Ausgabe. Messwerte für die semantische Ähnlichkeit in diesem Turn.
hallucinationMetrics[]

object (HallucinationMetrics)

Nur Ausgabe. Messwerte für Halluzinationen in dieser Runde.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Nur Ausgabe. Messwerte für die Latenz von Tool-Aufrufen in diesem Turn.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Nur Ausgabe. Messwerte für die Antwortlatenz in diesem Zug.

EvaluationResult

JSON-Darstellung 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
Felder
name

string

ID. Die eindeutige Kennung des Auswertungsergebnisses. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

Erforderlich. Anzeigename des Bewertungsergebnisses. Eindeutig innerhalb einer Bewertung. Standardmäßig hat sie das folgende Format: „ Ergebnis – “.
createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung des Auswertungsergebnisses.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
evaluationStatus

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn „execution_state“ COMPLETE ist.
evaluationRun

string

Nur Ausgabe. Der Bewertungsdurchlauf, der dieses Ergebnis erzeugt hat. Format: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

Nur Ausgabe. Die Persona, die zum Generieren der Unterhaltung für das Bewertungsergebnis verwendet wurde.
errorInfo

object (EvaluationErrorInfo)

Nur Ausgabe. Fehlerinformationen für das Bewertungsergebnis.
error
(deprecated)

object (Status)

Nur Ausgabe. Nicht mehr unterstützt: Verwenden Sie stattdessen error_info. Bei der Ausführung sind Fehler aufgetreten.
initiatedBy

string

Nur Ausgabe. Der Nutzer, der den Testlauf initiiert hat, der zu diesem Ergebnis geführt hat.
appVersion

string

Nur Ausgabe. Die App-Version, die zum Generieren der Unterhaltung verwendet wurde, die zu diesem Ergebnis geführt hat. Format: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Nur Ausgabe. Der Anzeigename von app_version, für das die Bewertung ausgeführt wurde.
changelog

string

Nur Ausgabe. Das Änderungsprotokoll der App-Version, für die die Bewertung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer die Auswertung für die aktuelle Version oder den Entwurf ausführt.
changelogCreateTime

string (Timestamp format)

Nur Ausgabe. Erstellungszeitpunkt des Änderungsprotokolls der App-Version, für die die Überprüfung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer die Auswertung für die aktuelle Version oder den Entwurf ausführt.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionState

enum (ExecutionState)

Nur Ausgabe. Der Status der Ausführung des Auswertungsergebnisses.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Nur Ausgabe. Die Auswertungsschwellen für das Ergebnis.
config

object (EvaluationConfig)

Nur Ausgabe. Die Konfiguration, die im Testlauf verwendet wurde, der zu diesem Ergebnis geführt hat.
goldenRunMethod

enum (GoldenRunMethod)

Nur Ausgabe. Die Methode, mit der die Golden-Bewertung durchgeführt wurde.
rootSpan

object (Span)

Nur Ausgabe. Der Stamm-Span der Ausführung der Analyse, der Informationen zu jedem Schritt der Analyse enthält.
outcomeMetadata

enum (OutcomeMetadata)

Nur Ausgabe. Die Metadaten des Ergebnisses der Bewertung. Wird nur ausgefüllt, wenn „execution_state“ COMPLETE ist.
Union-Feld result. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn „execution_state“ COMPLETED ist. Für result ist nur einer der folgenden Werte zulässig:
goldenResult

object (GoldenResult)

Nur Ausgabe. Das Ergebnis einer Golden-Evaluierung.
scenarioResult

object (ScenarioResult)

Nur Ausgabe. Das Ergebnis einer Szenariobewertung.

GoldenResult

JSON-Darstellung 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
Felder
turnReplayResults[]

object (TurnReplayResult)

Nur Ausgabe. Das Ergebnis der Ausführung jeder Runde der goldenen Unterhaltung.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Nur Ausgabe. Die Ergebnisse der Bewertungserwartungen.

TurnReplayResult

JSON-Darstellung 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
Felder
conversation

string

Nur Ausgabe. Die Unterhaltung, die für diesen Zug generiert wurde.
expectationOutcome[]

object (GoldenExpectationOutcome)

Nur Ausgabe. Das Ergebnis jeder Erwartung.
hallucinationResult

object (HallucinationResult)

Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung.
toolInvocationScore
(deprecated)

number

Nur Ausgabe. Verworfen Verwenden Sie stattdessen „OverallToolInvocationResult“.
turnLatency

string (Duration format)

Nur Ausgabe. Dauer des Zugs.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
toolCallLatencies[]

object (ToolCallLatency)

Nur Ausgabe. Die Latenz jedes Tool-Aufrufs in der Runde.
semanticSimilarityResult

object (SemanticSimilarityResult)

Nur Ausgabe. Das Ergebnis der Prüfung der semantischen Ähnlichkeit.
overallToolInvocationResult

object (OverallToolInvocationResult)

Nur Ausgabe. Das Ergebnis der Prüfung des gesamten Tool-Aufrufs.
errorInfo

object (EvaluationErrorInfo)

Nur Ausgabe. Informationen zum Fehler, der während dieses Zuges aufgetreten ist.
spanLatencies[]

object (SpanLatency)

Nur Ausgabe. Die Latenz von Spans im Turn.

Union-Feld _tool_ordered_invocation_score.

Für _tool_ordered_invocation_score ist nur einer der folgenden Werte zulässig:
toolOrderedInvocationScore

number

Nur Ausgabe. Die Gesamtpunktzahl für den Toolaufruf für diesen Zug. Dies ist der Gesamtprozentsatz der Tools aus dem erwarteten Zug, die tatsächlich in der erwarteten Reihenfolge aufgerufen wurden.

GoldenExpectationOutcome

JSON-Darstellung 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}
Felder
expectation

object (GoldenExpectation)

Nur Ausgabe. Die Erwartung, die ausgewertet wurde.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Erwartung.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

Nur Ausgabe. Das Ergebnis der Prüfung der semantischen Ähnlichkeit.
toolInvocationResult

object (ToolInvocationResult)

Nur Ausgabe. Das Ergebnis der Prüfung des Tool-Aufrufs.
Union-Feld result. Das Ergebnis der Erwartung. Für result ist nur einer der folgenden Werte zulässig:
observedToolCall

object (ToolCall)

Nur Ausgabe. Das Ergebnis der Erwartung des Toolaufrufs.
observedToolResponse

object (ToolResponse)

Nur Ausgabe. Das Ergebnis der Erwartung der Tool-Antwort.
observedAgentResponse

object (Message)

Nur Ausgabe. Das Ergebnis der Erwartung der Agentenantwort.
observedAgentTransfer

object (AgentTransfer)

Nur Ausgabe. Das Ergebnis der Erwartung der Agentenübertragung.
observedPayload

object (Struct format)

Nur Ausgabe. Eine beobachtete benutzerdefinierte Nutzlast. Es gibt keine Erwartungen an benutzerdefinierte Nutzlasten. Sie wird nur für die Berechnung von Messwerten verwendet. Das Ergebnis ist immer „ÜBERSPRUNGEN“.

SemanticSimilarityResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punktzahl 4: Vollständig konsistent Punktzahl 3: Weitgehend konsistent Punktzahl 2: Teilweise konsistent (geringfügige Auslassungen) Punktzahl 1: Weitgehend inkonsistent (erhebliche Auslassungen) Punktzahl 0: Völlig inkonsistent / widersprüchlich
explanation

string

Nur Ausgabe. Die Erklärung für den Wert für die semantische Ähnlichkeit.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Prüfung der semantischen Ähnlichkeit. Dies wird durch den Vergleich des Werts mit dem semantic_similarity_success_threshold bestimmt. Wenn der Wert gleich oder höher als der Grenzwert ist, lautet das Ergebnis „BESTANDEN“. Andernfalls ist das Ergebnis FAIL.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Der semantische Ähnlichkeitswert. Kann 0, 1, 2, 3 oder 4 sein.

ToolInvocationResult

JSON-Darstellung 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
Felder
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Überprüfung des Tool-Aufrufs. Dies wird durch den Vergleich des parameter_correctness_score mit dem Schwellenwert bestimmt. Wenn der Wert gleich oder höher als der Grenzwert ist, lautet das Ergebnis „BESTANDEN“. Andernfalls ist das Ergebnis FAIL.
explanation

string

Nur Ausgabe. Eine Freitext-Erklärung für das Ergebnis des Tool-Aufrufs.

Union-Feld _parameter_correctness_score.

Für _parameter_correctness_score ist nur einer der folgenden Werte zulässig:
parameterCorrectnessScore

number

Nur Ausgabe. Die Korrektheitsquote für den Parameteraufruf des Tools. Dies ist der Prozentsatz der Parameter aus dem erwarteten Toolaufruf, die auch im tatsächlichen Toolaufruf vorhanden waren.

HallucinationResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punktzahl 1: Begründet Punktzahl 0: Nicht begründet Punktzahl –1: Kein Anspruch zur Bewertung
explanation

string

Nur Ausgabe. Die Erklärung für den Halluzinationswert.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Der Halluzinationswert. Kann -1, 0 oder 1 sein.

ToolCallLatency

JSON-Darstellung 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Felder
tool

string

Nur Ausgabe. Der Name des ausgeführten Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName

string

Nur Ausgabe. Der Anzeigename des Tools
startTime

string (Timestamp format)

Nur Ausgabe. Der Beginn der Ausführung des Toolaufrufs.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Die Endzeit der Toolaufrufausführung.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionLatency

string (Duration format)

Nur Ausgabe. Die Latenz der Toolaufrufausführung.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

OverallToolInvocationResult

JSON-Darstellung 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
Felder
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Überprüfung des Tool-Aufrufs. Dies wird durch den Vergleich des tool_invocation_score mit dem overall_tool_invocation_correctness_threshold bestimmt. Wenn der Wert gleich oder höher als der Grenzwert ist, lautet das Ergebnis „BESTANDEN“. Andernfalls ist das Ergebnis FAIL.

Union-Feld _tool_invocation_score.

Für _tool_invocation_score ist nur einer der folgenden Werte zulässig:
toolInvocationScore

number

Die Gesamtbewertung für den Toolaufruf für diesen Turn. Dies ist der Gesamtprozentsatz der Tools aus dem erwarteten Zug, die tatsächlich aufgerufen wurden.

EvaluationErrorInfo

JSON-Darstellung 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string,
  "userFacingErrorMessage": string
}
Felder
errorType

enum (ErrorType)

Nur Ausgabe. Der Fehlertyp.
errorMessage

string

Nur Ausgabe. Die Fehlermeldung.
sessionId

string

Nur Ausgabe. Die Sitzungs-ID für die Unterhaltung, die den Fehler verursacht hat.
userFacingErrorMessage

string

Nur Ausgabe. Die an den Nutzer gerichtete Fehlermeldung.

SpanLatency

JSON-Darstellung 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
Felder
type

enum (Type)

Nur Ausgabe. Der Typ des Zeitraums.
displayName

string

Nur Ausgabe. Der Anzeigename des Spans. Gilt für Tool- und Schutzmaßnahmenbereiche.
startTime

string (Timestamp format)

Nur Ausgabe. Die Startzeit des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Das Ende des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionLatency

string (Duration format)

Nur Ausgabe. Die Latenz des Zeitraums.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
Union-Feld identifier. Die Kennung des jeweiligen Artikels basierend auf seinem Typ. Für identifier ist nur einer der folgenden Werte zulässig:
resource

string

Nur Ausgabe. Der Ressourcenname der Spannen für die Richtlinie oder das Tool.
toolset

object (ToolsetTool)

Nur Ausgabe. Die Tool-ID des Toolsets.
model

string

Nur Ausgabe. Der Name des LLM-Spans.
callback

string

Nur Ausgabe. Der Name des Nutzer-Callback-Zeitraums.

EvaluationExpectationResult

JSON-Darstellung 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
Felder
evaluationExpectation

string

Nur Ausgabe. Die Erwartung an die Bewertung. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

Nur Ausgabe. Der Prompt, der für die Auswertung verwendet wurde.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der erwarteten Bewertung.
explanation

string

Nur Ausgabe. Die Erklärung für das Ergebnis.

ScenarioResult

JSON-Darstellung 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
Felder
conversation

string

Nur Ausgabe. Die im Szenario generierte Unterhaltung.
task

string

Nur Ausgabe. Die Aufgabe, die beim Ausführen des Szenarios für dieses Ergebnis verwendet wurde.
userFacts[]

object (UserFact)

Nur Ausgabe. Die Nutzerinformationen, die vom Szenario für dieses Ergebnis verwendet wurden.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

Nur Ausgabe. Das Ergebnis jeder Erwartung.
rubricOutcomes[]

object (ScenarioRubricOutcome)

Nur Ausgabe. Das Ergebnis des Bewertungsschemas.
hallucinationResult[]

object (HallucinationResult)

Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung. Für jede Äußerung in der Unterhaltung wird ein Ergebnis für Halluzinationen angezeigt.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

Nur Ausgabe. Das Ergebnis der Prüfung, ob die Aufgabe abgeschlossen wurde.
toolCallLatencies[]

object (ToolCallLatency)

Nur Ausgabe. Die Latenz der Ausführung jedes Tool-Aufrufs in der Unterhaltung.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

Nur Ausgabe. Das Ergebnis der Überprüfung der Nutzerzielerreichung.
spanLatencies[]

object (SpanLatency)

Nur Ausgabe. Die Latenz von Spans in der Unterhaltung.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Nur Ausgabe. Die Ergebnisse der Bewertungserwartungen.

Union-Feld _all_expectations_satisfied.

Für _all_expectations_satisfied ist nur einer der folgenden Werte zulässig:
allExpectationsSatisfied

boolean

Nur Ausgabe. Gibt an, ob alle Erwartungen für diesen Zug erfüllt wurden.

Union-Feld _task_completed.

Für _task_completed ist nur einer der folgenden Werte zulässig:
taskCompleted

boolean

Nur Ausgabe. Gibt an, ob die Aufgabe in dieser Runde erledigt wurde. Dies ist eine Kombination aus allen erfüllten Erwartungen, keinen Halluzinationen und der Erfüllung des Nutzerziels.

ScenarioExpectationOutcome

JSON-Darstellung 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
Felder
expectation

object (ScenarioExpectation)

Nur Ausgabe. Die Erwartung, die ausgewertet wurde.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der ScenarioExpectation.
Union-Feld result. Das Ergebnis der Erwartung. Für result ist nur einer der folgenden Werte zulässig:
observedToolCall

object (ObservedToolCall)

Nur Ausgabe. Der beobachtete Toolaufruf.
observedAgentResponse

object (Message)

Nur Ausgabe. Die beobachtete Antwort des KI-Agenten.

ObservedToolCall

JSON-Darstellung 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Felder
toolCall

object (ToolCall)

Nur Ausgabe. Der beobachtete Toolaufruf.
toolResponse

object (ToolResponse)

Nur Ausgabe. Die beobachtete Tool-Antwort.

ScenarioRubricOutcome

JSON-Darstellung 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
Felder
rubric

string

Nur Ausgabe. Das Bewertungsschema, das zur Bewertung der Unterhaltung verwendet wurde.
scoreExplanation

string

Nur Ausgabe. Die Antwort des Bewerters auf das Bewertungsschema.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

number

Nur Ausgabe. Die Bewertung der Unterhaltung anhand des Bewertungsschemas.

TaskCompletionResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Wert 1: Aufgabe erledigt Wert 0: Aufgabe nicht erledigt Wert –1: Nutzerziel nicht definiert
explanation

string

Nur Ausgabe. Die Erklärung für den Wert für die Erledigung der Aufgabe.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Die Punktzahl für die Aufgabenerledigung. Kann -1, 0 oder 1 sein

UserGoalSatisfactionResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punktzahl 2: Graceful Handoff Score 1: User Task Satisfied Score 0: User Task Not Satisfied Score –1: User Task Unspecified
explanation

string

Nur Ausgabe. Die Erklärung für den Zufriedenheitswert für die Nutzeraufgabe.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Der Zufriedenheitswert für die Nutzeraufgabe. Kann -1, 0, 1 oder 2 sein.

EvaluationPersona

JSON-Darstellung 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
Felder
name

string

Erforderlich. Die eindeutige Kennung der Persona. Format: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

Optional. Die Beschreibung der Persona.
displayName

string

Erforderlich. Der Anzeigename der Persona. Eindeutig innerhalb einer App.
personality

string

Erforderlich. Eine Anleitung für den KI-Agenten, wie er sich bei der Bewertung verhalten soll.
speechConfig

object (SpeechConfig)

Optional. Konfiguration für die Stimme der Persona (TTS-Einstellungen).

SpeechConfig

JSON-Darstellung 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
Felder
speakingRate

number

Optional. Die Sprechgeschwindigkeit. 1,0 ist normal. Niedrigere Werte sind langsamer (z. B. 0,8), höhere Werte sind schneller (z. B. 1,5). Nützlich, um zu testen, wie der Agent mit schnellen Sprechern umgeht.
environment

enum (BackgroundEnvironment)

Optional. Die simulierte Audio-Umgebung.
voiceId

string

Optional. Die spezifische Sprach-ID/der Akzent, der verwendet werden soll. Beispiel: „en-US-Wavenet-D“ oder „en-GB-Standard-A“

Status

JSON-Darstellung 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Felder
code

integer

Der Statuscode, der idealerweise ein ENUM-Wert von google.rpc.Code ist.
message

string

Eine an Entwickler gerichtete Fehlermeldung, die englischsprachig sein sollte. Jede für Nutzer sichtbare Fehlermeldung sollte lokalisiert und im Feld google.rpc.Status.details gesendet werden. Sie kann auch clientseitig lokalisiert werden.
details[]

object

Eine Auflistung aller Meldungen, die die Fehlerdetails enthalten. Es gibt einen gemeinsamen Satz von Nachrichtentypen, die APIs verwenden können.

Ein Objekt, das Felder eines beliebigen Typs enthält. Ein zusätzliches Feld "@type" enthält einen URI zur Identifizierung des Typs. Beispiel: { "id": 1234, "@type": "types.example.com/standard/id" }.

Beliebig

JSON-Darstellung 
{
  "typeUrl": string,
  "value": string
}
Felder
typeUrl

string

Gibt den Typ der serialisierten Protobuf-Nachricht mit einem URI-Verweis an, der aus einem Präfix, das mit einem Schrägstrich endet, und dem vollständig qualifizierten Typnamen besteht.

Beispiel: type.googleapis.com/google.protobuf.StringValue

Dieser String muss mindestens ein /-Zeichen enthalten. Der Inhalt nach dem letzten / muss der vollständig qualifizierte Name des Typs in kanonischer Form ohne führenden Punkt sein. Schreiben Sie kein Schema in diese URI-Referenzen, damit Clients nicht versuchen, sie zu kontaktieren.

Das Präfix ist beliebig. Protobuf-Implementierungen entfernen einfach alles bis zum letzten / (einschließlich), um den Typ zu ermitteln. type.googleapis.com/ ist ein häufiges Standardpräfix, das für einige Legacy-Implementierungen erforderlich ist. Dieses Präfix gibt nicht den Ursprung des Typs an und URIs, die es enthalten, reagieren voraussichtlich nicht auf Anfragen.

Alle Typ-URL-Strings müssen gültige URI-Referenzen sein. Für das Textformat gilt die zusätzliche Einschränkung, dass der Inhalt der Referenz nur aus alphanumerischen Zeichen, prozentual codierten Escape-Sequenzen und Zeichen aus der folgenden Menge bestehen darf (ohne die äußeren Backticks): /-.~_!$&()*+,;=. Obwohl wir Prozentcodierungen zulassen, sollten sie in Implementierungen nicht dekodiert werden, um Verwechslungen mit vorhandenen Parsern zu vermeiden. Beispiel: type.googleapis.com%2FFoo sollte abgelehnt werden.

Im ursprünglichen Design von Any wurde die Möglichkeit in Betracht gezogen, einen Dienst zur Typauflösung unter diesen Typ-URLs zu starten. Protobuf hat jedoch nie einen solchen Dienst implementiert und betrachtet das Kontaktieren dieser URLs als problematisch und als potenzielles Sicherheitsproblem. Versuchen Sie nicht, URLs zu kontaktieren.
value

string (bytes format)

Enthält eine Protobuf-Serialisierung des Typs, der durch „type_url“ beschrieben wird.

Ein base64-codierter String.

EvaluationMetricsThresholds

JSON-Darstellung 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
Felder
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

Optional. Die Grenzwerte für die Golden-Bewertungsmesswerte.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

Optional. Nicht mehr unterstützt: Verwenden Sie stattdessen golden_hallucination_metric_behavior. Das Verhalten des Halluzinationsmesswerts wird derzeit für goldene Bewertungen verwendet.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Optional. Das Verhalten des Messwerts für Halluzinationen bei Golden-Evaluierungen.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Optional. Das Verhalten des Messwerts für Halluzinationen bei Szenariobewertungen.

GoldenEvaluationMetricsThresholds

JSON-Darstellung 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
Felder
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

Optional. Die Schwellenwerte für Messwerte auf Turn-Ebene.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

Optional. Die Grenzwerte für die Messwerte für das Erwartungsniveau.
toolMatchingSettings

object (ToolMatchingSettings)

Optional. Die Einstellungen für den Tool-Abgleich. Ein zusätzlicher Tool-Aufruf ist ein Tool-Aufruf, der in der Ausführung vorhanden ist, aber nicht mit einem Tool-Aufruf in der Golden-Erwartung übereinstimmt.

ToolMatchingSettings

JSON-Darstellung 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
Felder
extraToolCallBehavior

enum (ExtraToolCallBehavior)

Optional. Verhalten bei zusätzlichen Tool-Aufrufen. Die Standardeinstellung ist FAIL.

EvaluationConfig

JSON-Darstellung 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Felder
inputAudioConfig

object (InputAudioConfig)

Optional. Konfiguration für die Verarbeitung des eingegebenen Audiosignals.
outputAudioConfig

object (OutputAudioConfig)

Optional. Konfiguration zum Generieren des Ausgabeaudios.
evaluationChannel

enum (EvaluationChannel)

Optional. Der zu bewertende Channel.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Optional. Gibt an, ob bei der Auswertung echte oder gefälschte Tool-Aufrufe verwendet werden sollen.

InputAudioConfig

JSON-Darstellung 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Felder
audioEncoding

enum (AudioEncoding)

Erforderlich. Die Codierung der Eingangsaudiodaten.
sampleRateHertz

integer

Erforderlich. Die Abtastrate (in Hertz) der Eingabeaudiodaten.
noiseSuppressionLevel

string

Optional. Gibt an, ob die Rauschunterdrückung für das eingegebene Audio aktiviert werden soll. Mögliche Werte sind „low“, „moderate“, „high“ und „very_high“.

OutputAudioConfig

JSON-Darstellung 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Felder
audioEncoding

enum (AudioEncoding)

Erforderlich. Die Codierung der Audioausgabedaten.
sampleRateHertz

integer

Erforderlich. Die Abtastrate (in Hertz) der Ausgabedaten.

EvaluationMetricsConfig

JSON-Darstellung 
{
  "goldenMetricsConfig": {
    object (GoldenMetricsConfig)
  },
  "scenarioMetricsConfig": {
    object (ScenarioMetricsConfig)
  }
}
Felder
goldenMetricsConfig

object (GoldenMetricsConfig)

Optional. Konfiguration für die wichtigsten Messwerte für die Bewertung.
scenarioMetricsConfig

object (ScenarioMetricsConfig)

Optional. Konfiguration für die Szenariomesswerte für die Bewertung.

GoldenMetricsConfig

JSON-Darstellung 
{
  "semanticSimilarityMetricsConfig": {
    object (SemanticSimilarityMetricsConfig)
  },
  "toolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  },
  "stepToolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  }
}
Felder
semanticSimilarityMetricsConfig

object (SemanticSimilarityMetricsConfig)

Optional. Globale Konfiguration für Messwerte zur semantischen Ähnlichkeit.
toolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

Optional. Konfiguration für Messwerte zur Richtigkeit des Tools auf Turn-Ebene.
stepToolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

Optional. Konfiguration für Messwerte zur Richtigkeit von Tools auf Schrittebene.

ToolCorrectnessMetricsConfig

JSON-Darstellung 
{
  "enableToolCorrectnessMetrics": boolean
}
Felder
enableToolCorrectnessMetrics

boolean

Optional. Gibt an, ob Messwerte für die Richtigkeit von Tools für die Bewertung berechnet werden sollen.

ScenarioMetricsConfig

JSON-Darstellung 
{
  "userGoalMetMetricsConfig": {
    object (UserGoalMetMetricsConfig)
  },
  "expectationsMetMetricsConfig": {
    object (ExpectationsMetMetricsConfig)
  }
}
Felder
userGoalMetMetricsConfig

object (UserGoalMetMetricsConfig)

Optional. Konfiguration für Messwerte für erreichte Nutzerziele.
expectationsMetMetricsConfig

object (ExpectationsMetMetricsConfig)

Optional. Konfiguration für Messwerte auf Erwartungsebene.

UserGoalMetMetricsConfig

JSON-Darstellung 
{
  "enableUserGoalMetMetrics": boolean
}
Felder
enableUserGoalMetMetrics

boolean

Optional. Gibt an, ob die Messwerte für das erreichte Nutzerziel für die Auswertung berechnet werden sollen.

ExpectationsMetMetricsConfig

JSON-Darstellung 
{
  "enableExpectationsMetMetrics": boolean
}
Felder
enableExpectationsMetMetrics

boolean

Optional. Gibt an, ob die Messwerte für das Erwartungsniveau für die Auswertung berechnet werden sollen.

NullValue

Stellt ein JSON-null dar.

NullValue ist ein Sentinel, der einen Enum mit nur einem Wert verwendet, um den Nullwert für die Typvereinigung Value darzustellen.

Ein Feld vom Typ NullValue mit einem anderen Wert als 0 gilt als ungültig. Die meisten ProtoJSON-Serialisierer geben ein Value mit einem als JSON-null festgelegten null_value aus, unabhängig vom Ganzzahlwert, und führen so zu einem Roundtrip zu einem 0-Wert.

Enums
NULL_VALUE Nullwert.

ComparisonType

Unterstützte Vergleichstypen zum Prüfen der Antwort des KI-Agents.

Enums
COMPARISON_TYPE_UNSPECIFIED Nicht angegebener Vergleichstyp. Das Standardverhalten für Agent-Antworten und Tool-Aufrufe ist SEMANTIC_SIMILARITY.
EQUALS Exakte Stringübereinstimmung.
CONTAINS Teilstring-Abgleich (prüft, ob der erwartete String in der tatsächlichen Antwort enthalten ist).
SEMANTIC_SIMILARITY Abgleich der semantischen Ähnlichkeit (bewertet die Bedeutungsähnlichkeit mithilfe eines LLM).

SemanticSimilarityChannel

Der zu verwendende Channel für die semantische Ähnlichkeit.

Enums
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED Messwert nicht angegeben. Die Standardeinstellung ist TEXT.
TEXT Verwenden Sie die semantische Ähnlichkeit von Text.
AUDIO Semantische Ähnlichkeit von Audioinhalten verwenden.

HallucinationMetricBehavior

Das Verhalten des Messwerts für Halluzinationen. Unabhängig vom Verhalten wird der Messwert immer berechnet. Der Unterschied besteht darin, dass der Messwert bei Deaktivierung nicht zur Berechnung der Gesamtbewertung verwendet wird.

Enums
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED Nicht angegebenes Verhalten des Halluzinationsmesswerts.
DISABLED Halluzinationsmesswert deaktivieren.
ENABLED Halluzinationsmesswert aktivieren.

TaskCompletionBehavior

Das erwartete Verhalten der Nutzeraufgabe. Damit wird ermittelt, ob das Szenario erfolgreich ist.

Enums
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED Verhalten nicht angegeben. Die Standardeinstellung ist TASK_SATISFIED.
TASK_SATISFIED Die Nutzeraufgabe sollte erfolgreich abgeschlossen werden.
TASK_REJECTED Die Nutzeraufgabe sollte abgelehnt werden.

UserGoalBehavior

Das erwartete Verhalten des Nutzerziels. Damit wird ermittelt, ob das Szenario erfolgreich ist.

Enums
USER_GOAL_BEHAVIOR_UNSPECIFIED Verhalten nicht angegeben. Die Standardeinstellung ist USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED Das Nutzerziel sollte erfolgreich erreicht werden.
USER_GOAL_REJECTED Das Nutzerziel sollte abgelehnt werden.
USER_GOAL_IGNORED Ignoriere den Status des Nutzerziels.

ScenarioExecutionMode

Der Ausführungsmodus für Szenariobewertungen.

Enums
SCENARIO_EXECUTION_MODE_UNSPECIFIED Nicht angegebener Ausführungsmodus. Die Standardeinstellung ist QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED Modus für optimierte Qualität
SPEED_OPTIMIZED Für Geschwindigkeit optimierter Modus.

Ergebnis

Das Ergebnis der Bewertung oder Erwartung.

Enums
OUTCOME_UNSPECIFIED Das Ergebnis der Bewertung wird nicht angegeben.
PASS Bewertung/Erwartung erfüllt. Im Falle einer Bewertung bedeutet dies, dass alle Erwartungen erfüllt wurden.
FAIL Bewertung/Erwartung fehlgeschlagen. Im Falle einer Überprüfung bedeutet dies, dass mindestens eine Erwartung nicht erfüllt wurde.
SKIPPED Die Bewertung/Erwartung wurde übersprungen.

ErrorType

Die Art des Fehlers

Enums
ERROR_TYPE_UNSPECIFIED Nicht angegebener Fehlertyp.
RUNTIME_FAILURE Fehler bei der Ausführung der Laufzeit.
CONVERSATION_RETRIEVAL_FAILURE Unterhaltung konnte nicht aus der CES-Laufzeit abgerufen werden.
METRIC_CALCULATION_FAILURE Ein Messwert oder Ergebnis konnte nicht berechnet werden.
EVALUATION_UPDATE_FAILURE Die Bewertung konnte nicht aktualisiert werden.
QUOTA_EXHAUSTED Das Kontingent ist aufgebraucht.
USER_SIMULATION_FAILURE Fehler bei der Nutzersimulation.

Typ

Der Typ des Zeitraums. In Zukunft werden möglicherweise weitere Werte hinzugefügt.

Enums
TYPE_UNSPECIFIED Standardwert. Dieser Wert wird nicht verwendet.
TOOL Toolaufruf-Spanne.
USER_CALLBACK Zeitspanne für den Rückruf durch den Nutzer.
GUARDRAIL Umfang der Schutzmaßnahme.
LLM LLM-Spanne.

BackgroundEnvironment

Simulierte Audio-Umgebung.

Enums
BACKGROUND_ENVIRONMENT_UNSPECIFIED Die Hintergrundumgebung ist nicht angegeben.
CALL_CENTER Callcenter-Umgebung.
TRAFFIC Umgebung mit Verkehrslärm.
KIDS_NOISE Geräuschumgebung für Kinder.
CAFE Café-Umgebung.

ExecutionState

Der Status der Ausführung des Auswertungsergebnisses.

Enums
EXECUTION_STATE_UNSPECIFIED Der Ausführungsstatus des Bewertungsergebnisses ist nicht angegeben.
QUEUED Die Ausführung des Bewertungsergebnisses ist in der Warteschlange.
RUNNING Die Ausführung des Bewertungsergebnisses läuft.
COMPLETED Die Ausführung des Bewertungsergebnisses ist abgeschlossen.
ERROR Die Ausführung des Bewertungsergebnisses ist aufgrund eines internen Fehlers fehlgeschlagen.
CANCELLED Die Ausführung des Bewertungsergebnisses wurde abgebrochen.

ExtraToolCallBehavior

Definiert das Verhalten, wenn ein zusätzlicher Tool-Aufruf erfolgt. Ein zusätzlicher Tool-Aufruf ist ein Tool-Aufruf, der in der Ausführung vorhanden ist, aber nicht mit einem Tool-Aufruf in der Golden-Erwartung übereinstimmt.

Enums
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED Nicht angegebenes Verhalten. Die Standardeinstellung ist FAIL.
FAIL Die Auswertung schlägt fehl, wenn ein zusätzlicher Toolaufruf erfolgt.
ALLOW Zusätzlichen Toolaufruf zulassen

AudioEncoding

AudioEncoding gibt das Codierungsformat für Audiodaten an.

Enums
AUDIO_ENCODING_UNSPECIFIED Nicht angegebene Audiocodierung.
LINEAR16 16-Bit-Codierung mit linearer Pulscodemodulation (PCM)
MULAW 8-Bit-Samples zur Kompandierung von 14-Bit-Audiosamples mit G.711 PCMU/mu-law.
ALAW 8-Bit-Samples, die 14-Bit-Audio-Samples mit G.711 PCMU/A-Law kompandieren.

EvaluationChannel

Der zu bewertende Channel.

Enums
EVALUATION_CHANNEL_UNSPECIFIED Nicht angegebener Bewertungskanal.
TEXT Kanal für die reine Textbewertung
AUDIO Kanal für die Audiobewertung.

EvaluationToolCallBehaviour

Konfiguriert das Verhalten von Tool-Aufrufen für Bewertungsdurchläufe.

Enums
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED Nicht angegebenes Verhalten bei Tool-Aufrufen. Standardmäßig werden echte Tool-Aufrufe verwendet.
REAL Verwenden Sie echte Tool-Aufrufe.
FAKE Falsche Tool-Aufrufe verwenden

GoldenRunMethod

Die Methode, mit der die Bewertung durchgeführt wurde.

Enums
GOLDEN_RUN_METHOD_UNSPECIFIED Die Ausführungsmethode ist nicht angegeben.
STABLE Führen Sie die Auswertung als stabilen Replay aus. Dabei ist jede Runde eine eigene Sitzung, in die die vorherigen erwarteten Runden als Kontext eingefügt werden.
NAIVE Führen Sie die Auswertung als naives Replay aus. Dabei ist der Lauf eine einzelne Sitzung ohne eingefügten Kontext.

OutcomeMetadata

Metadaten zum Ergebnis der Bewertung.

Enums
OUTCOME_METADATA_UNSPECIFIED Nicht angegebene Metadaten zum Ergebnis.
GRACEFUL_HANDOFF Die Auswertung führte zu einer reibungslosen Übergabe an einen Kundenservicemitarbeiter.

Ausgabeschema

Eine Evaluierung umfasst alle Informationen, die zum Simulieren und Bewerten eines KI-Agenten erforderlich sind.

Bewertung

JSON-Darstellung 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
Felder
name

string

ID. Die eindeutige Kennung dieser Auswertung. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

Erforderlich. Benutzerdefinierter Anzeigename der Auswertung. Eindeutig innerhalb einer App.
description

string

Optional. Benutzerdefinierte Beschreibung der Auswertung.
tags[]

string

Optional. Benutzerdefinierte Tags zum Kategorisieren der Auswertung.
evaluationDatasets[]

string

Nur Ausgabe. Liste der Bewertungs-Datasets, zu denen die Bewertung gehört. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung der Bewertung.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
createdBy

string

Nur Ausgabe. Der Nutzer, der die Bewertung erstellt hat.
updateTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel der letzten Aktualisierung der Auswertung.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
lastUpdatedBy

string

Nur Ausgabe. Der Nutzer, der die Auswertung zuletzt aktualisiert hat.
evaluationRuns[]

string

Nur Ausgabe. Die EvaluationRuns, mit denen diese Evaluation verknüpft ist.
etag

string

Nur Ausgabe. ETag, mit dem sichergestellt wird, dass sich das Objekt während eines Read-Modify-Write-Vorgangs nicht geändert hat. Wenn das ETag leer ist, werden durch das Update alle gleichzeitigen Änderungen überschrieben.
aggregatedMetrics

object (AggregatedMetrics)

Nur Ausgabe. Die aggregierten Messwerte für diese Bewertung über alle Ausführungen hinweg.
lastCompletedResult

object (EvaluationResult)

Nur Ausgabe. Das letzte Bewertungsergebnis für diese Bewertung.
invalid

boolean

Nur Ausgabe. Gibt an, ob die Auswertung ungültig ist. Das kann passieren, wenn in einer Bewertung auf ein Tool, ein Toolset oder einen Agenten verwiesen wird, die inzwischen gelöscht wurden.
lastTenResults[]

object (EvaluationResult)

Nur Ausgabe. Die letzten 10 Bewertungsergebnisse für diese Bewertung. Dieses Feld wird nur ausgefüllt, wenn „include_last_ten_results“ in „ListEvaluationsRequest“ oder „GetEvaluationRequest“ auf „true“ gesetzt ist.
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

Optional. Überschreibt die Messwertschwellenwerte für diese spezifische Bewertung.
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

Optional. Überschreibt die Messwertekonfiguration für diese spezifische Bewertung.
Union-Feld inputs. Die Eingaben für die Bewertung inputs können nur einer der folgenden Werte sein:
golden

object (Golden)

Optional. Die zu bewertenden goldenen Schritte.
scenario

object (Scenario)

Optional. Die Konfiguration für ein Szenario.

Golden

JSON-Darstellung 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
Felder
turns[]

object (GoldenTurn)

Erforderlich. Die Anzahl der goldenen Turns, die zum Wiederholen einer goldenen Unterhaltung erforderlich sind. Die maximal zulässige Anzahl von Zügen beträgt 100.
evaluationExpectations[]

string

Optional. Die Erwartungen an die Bewertung, anhand derer die wiedergegebene Unterhaltung bewertet werden soll. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

JSON-Darstellung 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior)
}
Felder
steps[]

object (Step)

Erforderlich. Die Schritte, die erforderlich sind, um eine goldene Unterhaltung noch einmal abzuspielen.
rootSpan

object (Span)

Optional. Der Stamm-Spanne des goldenen Turns für die Verarbeitung und Verwaltung von Audioinformationen. Der URI für das Audio muss Audio enthalten, das mit einer Abtastrate von 16 kHz gespeichert wurde.
turnLevelMetricsThresholdsOverride

object (TurnLevelMetricsThresholds)

Optional. Überschreibungen für Messwertgrenzwerte auf Turn-Ebene.
hallucinationMetricBehaviorOverride

enum (HallucinationMetricBehavior)

Optional. Überschreibung für das Verhalten des Messwerts für Halluzinationen auf Turn-Ebene.

Schritt

JSON-Darstellung 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
Felder
Union-Feld step. Der auszuführende Schritt. Für step ist nur einer der folgenden Werte zulässig:
userInput

object (SessionInput)

Optional. Nutzereingabe für die Unterhaltung.
agentTransfer

object (AgentTransfer)

Optional. Leiten Sie das Gespräch an einen anderen Kundenservicemitarbeiter weiter.
expectation

object (GoldenExpectation)

Optional. Führt eine Erwartung im aktuellen Zug aus.

SessionInput

JSON-Darstellung 
{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
Felder
willContinue

boolean

Optional. Ein Flag, das angibt, ob die aktuelle Nachricht ein Fragment einer größeren Eingabe in der bidirektionalen Streaming-Sitzung ist.

Wenn true festgelegt ist, verschiebt der Agent die Verarbeitung, bis er eine nachfolgende Nachricht mit will_continue = false empfängt oder das System einen Endpunkt in der Audioeingabe erkennt.

HINWEIS: Dieses Feld gilt nicht für Audio- und DTMF-Eingaben, da diese immer automatisch auf Grundlage des Endpunkt-Signals verarbeitet werden.
Union-Feld input_type. Der Typ der Eingabe. Für input_type ist nur einer der folgenden Werte zulässig:
text

string

Optional. Textdaten vom Endnutzer.
dtmf

string

Optional. DTMF-Ziffern vom Endnutzer.
audio

string (bytes format)

Optional. Audiodaten des Endnutzers.

Ein base64-codierter String.
toolResponses

object (ToolResponses)

Optional. Ausführungsergebnisse für die Tool-Aufrufe vom Client.
image

object (Image)

Optional. Bilddaten des Endnutzers.
blob

object (Blob)

Optional. Blob-Daten vom Endnutzer.
variables

object (Struct format)

Optional. Kontextbezogene Variablen für die Sitzung, nach Namen sortiert. Der CES-Kundenservicemitarbeiter verwendet nur Variablen, die in der App deklariert sind.

Nicht erkannte Variablen werden weiterhin als zusätzliche Sitzungsparameter an den [Dialogflow-Agent][Agent.RemoteDialogflowAgent] gesendet.
event

object (Event)

Optional. Ereigniseingabe

ToolResponses

JSON-Darstellung 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
Felder
toolResponses[]

object (ToolResponse)

Optional. Die Liste der Ergebnisse der Tool-Ausführung.

ToolResponse

JSON-Darstellung 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Felder
id

string

Optional. Die ID zum Abgleich des tool call, auf den sich die Antwort bezieht.
displayName

string

Nur Ausgabe. Anzeigename des Tools.
response

object (Struct format)

Erforderlich. Das Ergebnis der Tool-Ausführung im JSON-Objektformat. Verwenden Sie den Schlüssel „output“, um die Tool-Antwort anzugeben, und den Schlüssel „error“, um Fehlerdetails anzugeben (falls vorhanden). Wenn die Schlüssel „output“ und „error“ nicht angegeben sind, wird die gesamte „response“ als Ergebnis der Tool-Ausführung behandelt.
parentToolCallId

string

Nur Ausgabe. Die ID des Tool-Aufrufs, der diesen verursacht hat, wenn er von einem untergeordneten Agent im Auftrag eines übergeordneten Aufrufs ausgegeben wurde. Leer für Aufrufe auf oberster Ebene. Ermöglicht es einem Client, die Arbeit eines untergeordneten Agents unter dem Aufruf zu gruppieren, der sie gestartet hat, anstatt jeden Schritt als gleichgeordnetes Element darzustellen.
agentName

string

Nur Ausgabe. Menschenlesbarer Name des KI-Agenten, der diesen Aufruf ausgegeben hat, z.B. „Contract Architect“. Leer, wenn der Root-Agent die Anfrage gestellt hat.
Union-Feld tool_identifier. Die Kennung des Tools, das ausgeführt wurde. Es kann sich entweder um ein dauerhaftes Tool oder ein Tool aus einem Toolset handeln. Für tool_identifier ist nur einer der folgenden Werte zulässig:
tool

string

Optional. Der Name des auszuführenden Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Optional. Das Toolset-Tool, das ausgeführt wurde.

ToolsetTool

JSON-Darstellung 
{
  "toolset": string,
  "toolId": string
}
Felder
toolset

string

Erforderlich. Der Ressourcenname des Toolsets, aus dem dieses Tool abgeleitet wird. Format: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Optional. Die Tool-ID, mit der die Tools gefiltert werden sollen, für die das Schema abgerufen werden soll.

Struct

JSON-Darstellung 
{
  "fields": {
    string: value,
    ...
  }
}
Felder
fields

map (key: string, value: value (Value format))

Ungeordnete Zuordnung von dynamisch typisierten Werten.

Ein Objekt, das eine Liste von "key": value-Paaren enthält. Beispiel: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

JSON-Darstellung 
{
  "key": string,
  "value": value
}
Felder
key

string
value

value (Value format)

Wert

JSON-Darstellung 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Felder
Union-Feld kind. Die Art des Werts. Für kind ist nur einer der folgenden Werte zulässig:
nullValue

null

Stellt ein JSON-null dar.
numberValue

number

Stellt eine JSON-Zahl dar. Darf nicht NaN, Infinity oder -Infinity sein, da diese in JSON nicht unterstützt werden. Auch große Int64-Werte können nicht dargestellt werden, da das JSON-Format sie in seinem Zahlentyp im Allgemeinen nicht unterstützt.
stringValue

string

Stellt einen JSON-String dar.
boolValue

boolean

Stellt einen booleschen JSON-Wert dar (true- oder false-Literal in JSON).
structValue

object (Struct format)

Stellt ein JSON-Objekt dar.
listValue

array (ListValue format)

Stellt ein JSON-Array dar.

ListValue

JSON-Darstellung 
{
  "values": [
    value
  ]
}
Felder
values[]

value (Value format)

Wiederkehrendes Feld mit dynamisch typisierten Werten.

Bild

JSON-Darstellung 
{
  "mimeType": string,
  "data": string,
  "altText": string
}
Felder
mimeType

string

Erforderlich. Der IANA-Standard-MIME-Typ der Quelldaten. Unterstützte Bildtypen: * image/png * image/jpeg * image/webp
data

string (bytes format)

Erforderlich. Rohbyte des Bildes.

Ein base64-codierter String.
altText

string

Optional. Der Alternativtext für das Bild.

Blob

JSON-Darstellung 
{
  "mimeType": string,
  "data": string
}
Felder
mimeType

string

Erforderlich. Der IANA-Standard-MIME-Typ der Quelldaten.
data

string (bytes format)

Erforderlich. Rohbyte des Blobs.

Ein base64-codierter String.

Ereignis

JSON-Darstellung 
{
  "event": string,
  "variables": {
    object
  }
}
Felder
event

string

Erforderlich. Der Name des Ereignisses.
variables

object (Struct format)

Optional. Zusätzliche Variablen, die mit dem Ereignis verknüpft sind.

AgentTransfer

JSON-Darstellung 
{
  "targetAgent": string,
  "displayName": string
}
Felder
targetAgent

string

Erforderlich. Der KI-Agent, an den die Unterhaltung übertragen wird. Der Agent übernimmt die Unterhaltung ab diesem Punkt. Format: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

Nur Ausgabe. Anzeigename des KI-Agenten.

GoldenExpectation

JSON-Darstellung 
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}
Felder
note

string

Optional. Eine Anmerkung zu dieser Anforderung, die bei der Berichterstellung hilfreich ist, wenn bestimmte Prüfungen fehlschlagen. Beispiel: "Check_Payment_Tool_Called".
skipEvaluation

boolean

Optional. Wenn auf „true“ gesetzt, wird diese Erwartung nicht ausgewertet.
expectationLevelMetricsThresholdsOverride

object (ExpectationLevelMetricsThresholds)

Optional. Überschreibt Messwerte auf Schrittebene.
agentResponseSemanticSimilarityMetricsConfigOverride

object (SemanticSimilarityMetricsConfig)

Optional. Überschreibungen für Messwerte zur semantischen Ähnlichkeit von agent_response.
agentResponseHallucinationMetricsConfigOverride

object (HallucinationMetricsConfig)

Optional. Überschreibungen für Messwerte für Halluzinationen in Agent-Antworten.
comparisonType

enum (ComparisonType)

Optional. Der Vergleichstyp, der für die Erwartungsprüfung verwendet werden soll.
Union-Feld condition. Die tatsächlich durchzuführende Prüfung. Für condition ist nur einer der folgenden Werte zulässig:
toolCall

object (ToolCall)

Optional. Prüfen Sie, ob ein bestimmtes Tool mit den Parametern aufgerufen wurde.
toolResponse

object (ToolResponse)

Optional. Prüfen Sie, ob ein bestimmtes Tool die erwartete Antwort gegeben hat.
agentResponse

object (Message)

Optional. Prüfen Sie, ob der Agent mit der richtigen Antwort reagiert hat. Die Rolle „Agent“ ist impliziert.
agentTransfer

object (AgentTransfer)

Optional. Prüfen Sie, ob der Agent die Unterhaltung an einen anderen Agenten weitergeleitet hat.
updatedVariables

object (Struct format)

Optional. Prüfen Sie, ob der Agent die Sitzungsvariablen auf die erwarteten Werte aktualisiert hat. Wird verwendet, um auch Agent-Variablenaktualisierungen für Golden-Evaluations zu erfassen.
mockToolResponse

object (ToolResponse)

Optional. Die Tool-Antwort, die simuliert werden soll, mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM erfunden.
noToolCalls

boolean

Optional. Prüfen Sie, ob während dieses Zuges keine Tools aufgerufen wurden.

ToolCall

JSON-Darstellung 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Felder
id

string

Optional. Die eindeutige Kennung des Tool-Aufrufs. Falls angegeben, sollte der Client das Ausführungsergebnis mit der ID zum Abgleich in ToolResponse zurückgeben.
displayName

string

Nur Ausgabe. Anzeigename des Tools.
args

object (Struct format)

Optional. Die Eingabeparameter und -werte für das Tool im JSON-Objektformat.
parentToolCallId

string

Nur Ausgabe. Die ID des Tool-Aufrufs, der diesen verursacht hat, wenn er von einem untergeordneten Agent im Auftrag eines übergeordneten Aufrufs ausgegeben wurde. Leer für Aufrufe auf oberster Ebene. Ermöglicht es einem Client, die Arbeit eines untergeordneten Agents unter dem Aufruf zu gruppieren, der sie gestartet hat, anstatt jeden Schritt als gleichgeordnetes Element darzustellen.
agentName

string

Nur Ausgabe. Menschenlesbarer Name des KI-Agenten, der diesen Aufruf ausgegeben hat, z.B. „Contract Architect“. Leer, wenn der Root-Agent die Anfrage gestellt hat.
Union-Feld tool_identifier. Die Kennung des auszuführenden Tools. Es kann sich entweder um ein dauerhaftes Tool oder ein Tool aus einem Toolset handeln. Für tool_identifier ist nur einer der folgenden Werte zulässig:
tool

string

Optional. Der Name des auszuführenden Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Optional. Das Toolset-Tool, das ausgeführt werden soll.

Nachricht

JSON-Darstellung 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
Felder
role

string

Optional. Die Rolle in der Unterhaltung, z.B. „user“ (Nutzer), „agent“ (KI-Agent).
chunks[]

object (Chunk)

Optional. Inhalt der Nachricht als Reihe von Chunks.
eventTime

string (Timestamp format)

Optional. Zeitstempel für den Versand oder Empfang der Nachricht. Sollte nicht verwendet werden, wenn die Nachricht Teil eines example ist.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30".

Chunk

JSON-Darstellung 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
Felder
Union-Feld data. Daten in Blöcke aufteilen. Für data ist nur einer der folgenden Werte zulässig:
text

string

Optional. Textdaten.
transcript

string

Optional. Das mit dem Audio verknüpfte Transkript.
blob

object (Blob)

Optional. Blob-Daten.
payload

object (Struct format)

Optional. Benutzerdefinierte Nutzlastdaten.
image

object (Image)

Optional. Bilddaten.
toolCall

object (ToolCall)

Optional. Anfrage zur Toolausführung.
toolResponse

object (ToolResponse)

Optional. Antwort auf die Toolausführung.
agentTransfer

object (AgentTransfer)

Optional. Ereignis für die Übertragung von Agenten.
updatedVariables

object (Struct format)

Ein Struct stellt Variablen dar, die in der Unterhaltung aktualisiert wurden, wobei die Variablennamen als Schlüssel verwendet werden.
defaultVariables

object (Struct format)

Ein Struct stellt Standardvariablen zu Beginn der Unterhaltung dar, die nach Variablennamen sortiert sind.

Zeitstempel

JSON-Darstellung 
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Stellt Sekunden der UTC-Zeit seit Unix-Epoche 1970-01-01T00:00:00Z dar. Muss zwischen -62135596800 und 253402300799 liegen (einschließlich), was dem Zeitraum vom 01.01.0001 00:00:00 UTC bis zum 31.12.9999 23:59:59 UTC entspricht.
nanos

integer

Nicht negative Sekundenbruchteile Nanosekunden-Auflösung. Dieses Feld enthält den Nanosekundenanteil der Dauer und ist keine Alternative zu Sekunden. Negative Sekundenwerte mit Bruchteilen müssen weiterhin nicht negative Nano-Werte haben, die zeitlich vorwärts gezählt werden. Muss zwischen 0 und 999.999.999 (einschließlich) liegen.

ExpectationLevelMetricsThresholds

JSON-Darstellung 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
Felder

Union-Feld _tool_invocation_parameter_correctness_threshold.

Für _tool_invocation_parameter_correctness_threshold ist nur einer der folgenden Werte zulässig:
toolInvocationParameterCorrectnessThreshold

number

Optional. Der Erfolgsschwellenwert für die Korrektheit einzelner Parameter für den Toolaufruf. Muss eine Gleitkommazahl zwischen 0 und 1 sein. Der Standardwert ist 1,0.

SemanticSimilarityMetricsConfig

JSON-Darstellung 
{
  "enableSemanticSimilarityMetrics": boolean
}
Felder
enableSemanticSimilarityMetrics

boolean

Optional. Gibt an, ob semantische Ähnlichkeitsmesswerte für die Bewertung berechnet werden sollen.

HallucinationMetricsConfig

JSON-Darstellung 
{
  "enableHallucinationMetrics": boolean
}
Felder
enableHallucinationMetrics

boolean

Optional. Gibt an, ob Halluzinationsmesswerte für die Bewertung berechnet werden sollen.

Span

JSON-Darstellung 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
Felder
name

string

Nur Ausgabe. Der Name des Spans.
startTime

string (Timestamp format)

Nur Ausgabe. Die Startzeit des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Das Ende des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
duration

string (Duration format)

Nur Ausgabe. Die Dauer des Zeitraums.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
attributes

object (Struct format)

Nur Ausgabe. Schlüssel/Wert-Attribute, die dem Bereich zugeordnet sind.
childSpans[]

object (Span)

Nur Ausgabe. Die untergeordneten Spans, die in dieser Span verschachtelt sind.

Dauer

JSON-Darstellung 
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Vorzeichenbehaftete Sekunden des Zeitraums. Muss zwischen -315.576.000.000 und +315.576.000.000 (einschließlich) liegen. Hinweis: Diese Grenzen werden so berechnet: 60 Sek./Min. × 60 Min./Std. × 24 Std./Tag × 365,25 Tage/Jahr × 10.000 Jahre
nanos

integer

Vorzeichenbehaftete Bruchteile einer Sekunde mit Nanosekundenauflösung des Zeitraums. Dauern von weniger als einer Sekunde werden mit dem Feld seconds = 0 und einem positiven oder negativen Feld nanos dargestellt. Bei Zeiträumen von einer Sekunde oder mehr muss ein Wert ungleich null für das Feld nanos dasselbe Vorzeichen wie das Feld seconds haben. Muss zwischen -999.999.999 und +999.999.999 liegen.

TurnLevelMetricsThresholds

JSON-Darstellung 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
Felder
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

Optional. Der Channel für semantische Ähnlichkeit, der für die Bewertung verwendet werden soll.

Union-Feld _semantic_similarity_success_threshold.

Für _semantic_similarity_success_threshold ist nur einer der folgenden Werte zulässig:
semanticSimilaritySuccessThreshold

integer

Optional. Der Erfolgsgrenzwert für die semantische Ähnlichkeit. Muss eine Ganzzahl zwischen 0 und 4 sein. Der Standardwert ist >= 3.

Union-Feld _overall_tool_invocation_correctness_threshold.

Für _overall_tool_invocation_correctness_threshold ist nur einer der folgenden Werte zulässig:
overallToolInvocationCorrectnessThreshold

number

Optional. Der Erfolgsschwellenwert für die allgemeine Korrektheit des Toolaufrufs. Muss eine Gleitkommazahl zwischen 0 und 1 sein. Der Standardwert ist 1,0.

Szenario

JSON-Darstellung 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (ScenarioExecutionMode)
}
Felder
task

string

Erforderlich. Die Aufgabe, auf die sich das Szenario bezieht.
userFacts[]

object (UserFact)

Optional. Die Nutzerfakten, die vom Szenario verwendet werden sollen.
maxTurns

integer

Optional. Die maximale Anzahl der zu simulierenden Züge. Der maximal zulässige Wert ist 100. Der Standardwert ist 100.
rubrics[]

string

Erforderlich. Die Rubriken, anhand derer das Szenario bewertet wird.
scenarioExpectations[]

object (ScenarioExpectation)

Erforderlich. Die ScenarioExpectations zum Bewerten der von der Nutzersimulation erstellten Unterhaltung.
variableOverrides

object (Struct format)

Optional. Variablen / Sitzungsparameter als Kontext für die Sitzung, mit Variablennamen als Schlüssel. Mit den Mitgliedern dieser Struktur werden alle vom System festgelegten Standardwerte überschrieben.

Diese unterscheiden sich von Nutzerfakten, die dem Nutzer bekannt sind. Variablen sind Parameter, die dem Agent bekannt sind, z.B. die vom Telefonsystem übergebene MDN (Telefonnummer).
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

Optional. Verworfen Verwenden Sie stattdessen „user_goal_behavior“.
userGoalBehavior

enum (UserGoalBehavior)

Optional. Das erwartete Verhalten des Nutzerziels.
evaluationExpectations[]

string

Optional. Die Erwartungen an die Bewertung, anhand derer die von der Simulation erstellte Unterhaltung bewertet wird. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode

enum (ScenarioExecutionMode)

Optional. Der Ausführungsmodus für Szenariobewertungen.

UserFact

JSON-Darstellung 
{
  "name": string,
  "value": string
}
Felder
name

string

Erforderlich. Der Name der Nutzerinformation.
value

string

Erforderlich. Der Wert der Nutzerinformation.

ScenarioExpectation

JSON-Darstellung 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
Felder
Union-Feld expectation. Die Erwartung, die durch die Simulation erzeugte Unterhaltung zu bewerten. Für expectation ist nur einer der folgenden Werte zulässig:
toolExpectation

object (ToolExpectation)

Optional. Das zu bewertende Tool-Aufruf- und Antwortpaar.
agentResponse

object (Message)

Optional. Die zu bewertende Antwort des KI-Agenten.

ToolExpectation

JSON-Darstellung 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
Felder
expectedToolCall

object (ToolCall)

Erforderlich. Der erwartete Tool-Aufruf mit den relevanten Parametern. Alle nicht angegebenen Parameter werden vom LLM erfunden.
mockToolResponse

object (ToolResponse)

Erforderlich. Die Tool-Antwort, die simuliert werden soll, mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM erfunden.

AggregatedMetrics

JSON-Darstellung 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
Felder
metricsByAppVersion[]

object (MetricsByAppVersion)

Nur Ausgabe. Zusammengefasste Messwerte, gruppiert nach App-Versions-ID.

MetricsByAppVersion

JSON-Darstellung 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
Felder
appVersionId

string

Nur Ausgabe. Die App-Versions-ID.
toolMetrics[]

object (ToolMetrics)

Nur Ausgabe. Messwerte für jedes Tool in dieser App-Version.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Nur Ausgabe. Messwerte für die semantische Ähnlichkeit in dieser App-Version.
hallucinationMetrics[]

object (HallucinationMetrics)

Nur Ausgabe. Messwerte für Halluzinationen in dieser App-Version.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Nur Ausgabe. Messwerte für die Latenz von Tool-Aufrufen in dieser App-Version.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Nur Ausgabe. Messwerte für die Zuglatenz in dieser App-Version.
passCount

integer

Nur Ausgabe. Die Anzahl der bestandenen Prüfungen.
failCount

integer

Nur Ausgabe. Die Anzahl der fehlgeschlagenen Auswertungen.
metricsByTurn[]

object (MetricsByTurn)

Nur Ausgabe. Messwerte, die pro Zug in dieser App-Version aggregiert werden.

ToolMetrics

JSON-Darstellung 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
Felder
tool

string

Nur Ausgabe. Der Name des Tools.
passCount

integer

Nur Ausgabe. Die Anzahl der bestandenen Tests.
failCount

integer

Nur Ausgabe. Die Anzahl der fehlgeschlagenen Versuche.

SemanticSimilarityMetrics

JSON-Darstellung 
{
  "score": number
}
Felder
score

number

Nur Ausgabe. Der durchschnittliche Wert für die semantische Ähnlichkeit (0–4).

HallucinationMetrics

JSON-Darstellung 
{
  "score": number
}
Felder
score

number

Nur Ausgabe. Der durchschnittliche Halluzinationswert (0 bis 1).

ToolCallLatencyMetrics

JSON-Darstellung 
{
  "tool": string,
  "averageLatency": string
}
Felder
tool

string

Nur Ausgabe. Der Name des Tools.
averageLatency

string (Duration format)

Nur Ausgabe. Die durchschnittliche Latenz der Tool-Aufrufe.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

TurnLatencyMetrics

JSON-Darstellung 
{
  "averageLatency": string
}
Felder
averageLatency

string (Duration format)

Nur Ausgabe. Die durchschnittliche Latenz der Turns.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

MetricsByTurn

JSON-Darstellung 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
Felder
turnIndex

integer

Nur Ausgabe. Der nullbasierte Index des Zugs.
toolMetrics[]

object (ToolMetrics)

Nur Ausgabe. Messwerte für jedes Tool in dieser Runde.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Nur Ausgabe. Messwerte für die semantische Ähnlichkeit in diesem Turn.
hallucinationMetrics[]

object (HallucinationMetrics)

Nur Ausgabe. Messwerte für Halluzinationen in dieser Runde.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Nur Ausgabe. Messwerte für die Latenz von Tool-Aufrufen in diesem Turn.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Nur Ausgabe. Messwerte für die Antwortlatenz in diesem Zug.

EvaluationResult

JSON-Darstellung 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
Felder
name

string

ID. Die eindeutige Kennung des Auswertungsergebnisses. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

Erforderlich. Anzeigename des Bewertungsergebnisses. Eindeutig innerhalb einer Bewertung. Standardmäßig hat sie das folgende Format: „ Ergebnis – “.
createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung des Auswertungsergebnisses.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
evaluationStatus

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn „execution_state“ COMPLETE ist.
evaluationRun

string

Nur Ausgabe. Der Bewertungsdurchlauf, der dieses Ergebnis erzeugt hat. Format: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

Nur Ausgabe. Die Persona, die zum Generieren der Unterhaltung für das Bewertungsergebnis verwendet wurde.
errorInfo

object (EvaluationErrorInfo)

Nur Ausgabe. Fehlerinformationen für das Bewertungsergebnis.
error
(deprecated)

object (Status)

Nur Ausgabe. Nicht mehr unterstützt: Verwenden Sie stattdessen error_info. Bei der Ausführung sind Fehler aufgetreten.
initiatedBy

string

Nur Ausgabe. Der Nutzer, der den Testlauf initiiert hat, der zu diesem Ergebnis geführt hat.
appVersion

string

Nur Ausgabe. Die App-Version, die zum Generieren der Unterhaltung verwendet wurde, die zu diesem Ergebnis geführt hat. Format: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Nur Ausgabe. Der Anzeigename von app_version, für das die Bewertung ausgeführt wurde.
changelog

string

Nur Ausgabe. Das Änderungsprotokoll der App-Version, für die die Bewertung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer die Auswertung für die aktuelle Version oder den Entwurf ausführt.
changelogCreateTime

string (Timestamp format)

Nur Ausgabe. Erstellungszeitpunkt des Änderungsprotokolls der App-Version, für die die Überprüfung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer die Auswertung für die aktuelle Version oder den Entwurf ausführt.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionState

enum (ExecutionState)

Nur Ausgabe. Der Status der Ausführung des Auswertungsergebnisses.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Nur Ausgabe. Die Auswertungsschwellen für das Ergebnis.
config

object (EvaluationConfig)

Nur Ausgabe. Die Konfiguration, die im Testlauf verwendet wurde, der zu diesem Ergebnis geführt hat.
goldenRunMethod

enum (GoldenRunMethod)

Nur Ausgabe. Die Methode, mit der die Golden-Bewertung durchgeführt wurde.
rootSpan

object (Span)

Nur Ausgabe. Der Stamm-Span der Ausführung der Analyse, der Informationen zu jedem Schritt der Analyse enthält.
outcomeMetadata

enum (OutcomeMetadata)

Nur Ausgabe. Die Metadaten des Ergebnisses der Bewertung. Wird nur ausgefüllt, wenn „execution_state“ COMPLETE ist.
Union-Feld result. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn „execution_state“ COMPLETED ist. Für result ist nur einer der folgenden Werte zulässig:
goldenResult

object (GoldenResult)

Nur Ausgabe. Das Ergebnis einer Golden-Evaluierung.
scenarioResult

object (ScenarioResult)

Nur Ausgabe. Das Ergebnis einer Szenariobewertung.

GoldenResult

JSON-Darstellung 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
Felder
turnReplayResults[]

object (TurnReplayResult)

Nur Ausgabe. Das Ergebnis der Ausführung jeder Runde der goldenen Unterhaltung.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Nur Ausgabe. Die Ergebnisse der Bewertungserwartungen.

TurnReplayResult

JSON-Darstellung 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
Felder
conversation

string

Nur Ausgabe. Die Unterhaltung, die für diesen Zug generiert wurde.
expectationOutcome[]

object (GoldenExpectationOutcome)

Nur Ausgabe. Das Ergebnis jeder Erwartung.
hallucinationResult

object (HallucinationResult)

Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung.
toolInvocationScore
(deprecated)

number

Nur Ausgabe. Verworfen Verwenden Sie stattdessen „OverallToolInvocationResult“.
turnLatency

string (Duration format)

Nur Ausgabe. Dauer des Zugs.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
toolCallLatencies[]

object (ToolCallLatency)

Nur Ausgabe. Die Latenz jedes Tool-Aufrufs in der Runde.
semanticSimilarityResult

object (SemanticSimilarityResult)

Nur Ausgabe. Das Ergebnis der Prüfung der semantischen Ähnlichkeit.
overallToolInvocationResult

object (OverallToolInvocationResult)

Nur Ausgabe. Das Ergebnis der Prüfung des gesamten Tool-Aufrufs.
errorInfo

object (EvaluationErrorInfo)

Nur Ausgabe. Informationen zum Fehler, der während dieses Zuges aufgetreten ist.
spanLatencies[]

object (SpanLatency)

Nur Ausgabe. Die Latenz von Spans im Turn.

Union-Feld _tool_ordered_invocation_score.

Für _tool_ordered_invocation_score ist nur einer der folgenden Werte zulässig:
toolOrderedInvocationScore

number

Nur Ausgabe. Die Gesamtpunktzahl für den Toolaufruf für diesen Zug. Dies ist der Gesamtprozentsatz der Tools aus dem erwarteten Zug, die tatsächlich in der erwarteten Reihenfolge aufgerufen wurden.

GoldenExpectationOutcome

JSON-Darstellung 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}
Felder
expectation

object (GoldenExpectation)

Nur Ausgabe. Die Erwartung, die ausgewertet wurde.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Erwartung.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

Nur Ausgabe. Das Ergebnis der Prüfung der semantischen Ähnlichkeit.
toolInvocationResult

object (ToolInvocationResult)

Nur Ausgabe. Das Ergebnis der Prüfung des Tool-Aufrufs.
Union-Feld result. Das Ergebnis der Erwartung. Für result ist nur einer der folgenden Werte zulässig:
observedToolCall

object (ToolCall)

Nur Ausgabe. Das Ergebnis der Erwartung des Toolaufrufs.
observedToolResponse

object (ToolResponse)

Nur Ausgabe. Das Ergebnis der Erwartung der Tool-Antwort.
observedAgentResponse

object (Message)

Nur Ausgabe. Das Ergebnis der Erwartung der Agentenantwort.
observedAgentTransfer

object (AgentTransfer)

Nur Ausgabe. Das Ergebnis der Erwartung der Agentenübertragung.
observedPayload

object (Struct format)

Nur Ausgabe. Eine beobachtete benutzerdefinierte Nutzlast. Es gibt keine Erwartungen an benutzerdefinierte Nutzlasten. Sie wird nur für die Berechnung von Messwerten verwendet. Das Ergebnis ist immer „ÜBERSPRUNGEN“.

SemanticSimilarityResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punktzahl 4: Vollständig konsistent Punktzahl 3: Weitgehend konsistent Punktzahl 2: Teilweise konsistent (geringfügige Auslassungen) Punktzahl 1: Weitgehend inkonsistent (erhebliche Auslassungen) Punktzahl 0: Völlig inkonsistent / widersprüchlich
explanation

string

Nur Ausgabe. Die Erklärung für den Wert für die semantische Ähnlichkeit.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Prüfung der semantischen Ähnlichkeit. Dies wird durch den Vergleich des Werts mit dem semantic_similarity_success_threshold bestimmt. Wenn der Wert gleich oder höher als der Grenzwert ist, lautet das Ergebnis „BESTANDEN“. Andernfalls ist das Ergebnis FAIL.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Der semantische Ähnlichkeitswert. Kann 0, 1, 2, 3 oder 4 sein.

ToolInvocationResult

JSON-Darstellung 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
Felder
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Überprüfung des Tool-Aufrufs. Dies wird durch den Vergleich des parameter_correctness_score mit dem Schwellenwert bestimmt. Wenn der Wert gleich oder höher als der Grenzwert ist, lautet das Ergebnis „BESTANDEN“. Andernfalls ist das Ergebnis FAIL.
explanation

string

Nur Ausgabe. Eine Freitext-Erklärung für das Ergebnis des Tool-Aufrufs.

Union-Feld _parameter_correctness_score.

Für _parameter_correctness_score ist nur einer der folgenden Werte zulässig:
parameterCorrectnessScore

number

Nur Ausgabe. Die Korrektheitsquote für den Parameteraufruf des Tools. Dies ist der Prozentsatz der Parameter aus dem erwarteten Toolaufruf, die auch im tatsächlichen Toolaufruf vorhanden waren.

HallucinationResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punktzahl 1: Begründet Punktzahl 0: Nicht begründet Punktzahl –1: Kein Anspruch zur Bewertung
explanation

string

Nur Ausgabe. Die Erklärung für den Halluzinationswert.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Der Halluzinationswert. Kann -1, 0 oder 1 sein.

ToolCallLatency

JSON-Darstellung 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Felder
tool

string

Nur Ausgabe. Der Name des ausgeführten Tools. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName

string

Nur Ausgabe. Der Anzeigename des Tools
startTime

string (Timestamp format)

Nur Ausgabe. Der Beginn der Ausführung des Toolaufrufs.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Die Endzeit der Toolaufrufausführung.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionLatency

string (Duration format)

Nur Ausgabe. Die Latenz der Toolaufrufausführung.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

OverallToolInvocationResult

JSON-Darstellung 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
Felder
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der Überprüfung des Tool-Aufrufs. Dies wird durch den Vergleich des tool_invocation_score mit dem overall_tool_invocation_correctness_threshold bestimmt. Wenn der Wert gleich oder höher als der Grenzwert ist, lautet das Ergebnis „BESTANDEN“. Andernfalls ist das Ergebnis FAIL.

Union-Feld _tool_invocation_score.

Für _tool_invocation_score ist nur einer der folgenden Werte zulässig:
toolInvocationScore

number

Die Gesamtbewertung für den Toolaufruf für diesen Turn. Dies ist der Gesamtprozentsatz der Tools aus dem erwarteten Zug, die tatsächlich aufgerufen wurden.

EvaluationErrorInfo

JSON-Darstellung 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string,
  "userFacingErrorMessage": string
}
Felder
errorType

enum (ErrorType)

Nur Ausgabe. Der Fehlertyp.
errorMessage

string

Nur Ausgabe. Die Fehlermeldung.
sessionId

string

Nur Ausgabe. Die Sitzungs-ID für die Unterhaltung, die den Fehler verursacht hat.
userFacingErrorMessage

string

Nur Ausgabe. Die an den Nutzer gerichtete Fehlermeldung.

SpanLatency

JSON-Darstellung 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
Felder
type

enum (Type)

Nur Ausgabe. Der Typ des Zeitraums.
displayName

string

Nur Ausgabe. Der Anzeigename des Spans. Gilt für Tool- und Schutzmaßnahmenbereiche.
startTime

string (Timestamp format)

Nur Ausgabe. Die Startzeit des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
endTime

string (Timestamp format)

Nur Ausgabe. Das Ende des Zeitraums.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
executionLatency

string (Duration format)

Nur Ausgabe. Die Latenz des Zeitraums.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
Union-Feld identifier. Die Kennung des jeweiligen Artikels basierend auf seinem Typ. Für identifier ist nur einer der folgenden Werte zulässig:
resource

string

Nur Ausgabe. Der Ressourcenname der Spannen für die Richtlinie oder das Tool.
toolset

object (ToolsetTool)

Nur Ausgabe. Die Tool-ID des Toolsets.
model

string

Nur Ausgabe. Der Name des LLM-Spans.
callback

string

Nur Ausgabe. Der Name des Nutzer-Callback-Zeitraums.

EvaluationExpectationResult

JSON-Darstellung 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
Felder
evaluationExpectation

string

Nur Ausgabe. Die Erwartung an die Bewertung. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

Nur Ausgabe. Der Prompt, der für die Auswertung verwendet wurde.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der erwarteten Bewertung.
explanation

string

Nur Ausgabe. Die Erklärung für das Ergebnis.

ScenarioResult

JSON-Darstellung 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
Felder
conversation

string

Nur Ausgabe. Die im Szenario generierte Unterhaltung.
task

string

Nur Ausgabe. Die Aufgabe, die beim Ausführen des Szenarios für dieses Ergebnis verwendet wurde.
userFacts[]

object (UserFact)

Nur Ausgabe. Die Nutzerinformationen, die vom Szenario für dieses Ergebnis verwendet wurden.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

Nur Ausgabe. Das Ergebnis jeder Erwartung.
rubricOutcomes[]

object (ScenarioRubricOutcome)

Nur Ausgabe. Das Ergebnis des Bewertungsschemas.
hallucinationResult[]

object (HallucinationResult)

Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung. Für jede Äußerung in der Unterhaltung wird ein Ergebnis für Halluzinationen angezeigt.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

Nur Ausgabe. Das Ergebnis der Prüfung, ob die Aufgabe abgeschlossen wurde.
toolCallLatencies[]

object (ToolCallLatency)

Nur Ausgabe. Die Latenz der Ausführung jedes Tool-Aufrufs in der Unterhaltung.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

Nur Ausgabe. Das Ergebnis der Überprüfung der Nutzerzielerreichung.
spanLatencies[]

object (SpanLatency)

Nur Ausgabe. Die Latenz von Spans in der Unterhaltung.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Nur Ausgabe. Die Ergebnisse der Bewertungserwartungen.

Union-Feld _all_expectations_satisfied.

Für _all_expectations_satisfied ist nur einer der folgenden Werte zulässig:
allExpectationsSatisfied

boolean

Nur Ausgabe. Gibt an, ob alle Erwartungen für diesen Zug erfüllt wurden.

Union-Feld _task_completed.

Für _task_completed ist nur einer der folgenden Werte zulässig:
taskCompleted

boolean

Nur Ausgabe. Gibt an, ob die Aufgabe in dieser Runde erledigt wurde. Dies ist eine Kombination aus allen erfüllten Erwartungen, keinen Halluzinationen und der Erfüllung des Nutzerziels.

ScenarioExpectationOutcome

JSON-Darstellung 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
Felder
expectation

object (ScenarioExpectation)

Nur Ausgabe. Die Erwartung, die ausgewertet wurde.
outcome

enum (Outcome)

Nur Ausgabe. Das Ergebnis der ScenarioExpectation.
Union-Feld result. Das Ergebnis der Erwartung. Für result ist nur einer der folgenden Werte zulässig:
observedToolCall

object (ObservedToolCall)

Nur Ausgabe. Der beobachtete Toolaufruf.
observedAgentResponse

object (Message)

Nur Ausgabe. Die beobachtete Antwort des KI-Agenten.

ObservedToolCall

JSON-Darstellung 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Felder
toolCall

object (ToolCall)

Nur Ausgabe. Der beobachtete Toolaufruf.
toolResponse

object (ToolResponse)

Nur Ausgabe. Die beobachtete Tool-Antwort.

ScenarioRubricOutcome

JSON-Darstellung 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
Felder
rubric

string

Nur Ausgabe. Das Bewertungsschema, das zur Bewertung der Unterhaltung verwendet wurde.
scoreExplanation

string

Nur Ausgabe. Die Antwort des Bewerters auf das Bewertungsschema.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

number

Nur Ausgabe. Die Bewertung der Unterhaltung anhand des Bewertungsschemas.

TaskCompletionResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Wert 1: Aufgabe erledigt Wert 0: Aufgabe nicht erledigt Wert –1: Nutzerziel nicht definiert
explanation

string

Nur Ausgabe. Die Erklärung für den Wert für die Erledigung der Aufgabe.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Die Punktzahl für die Aufgabenerledigung. Kann -1, 0 oder 1 sein

UserGoalSatisfactionResult

JSON-Darstellung 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Felder
label

string

Nur Ausgabe. Das Label, das mit jeder Punktzahl verknüpft ist. Punktzahl 2: Graceful Handoff Score 1: User Task Satisfied Score 0: User Task Not Satisfied Score –1: User Task Unspecified
explanation

string

Nur Ausgabe. Die Erklärung für den Zufriedenheitswert für die Nutzeraufgabe.

Union-Feld _score.

Für _score ist nur einer der folgenden Werte zulässig:
score

integer

Nur Ausgabe. Der Zufriedenheitswert für die Nutzeraufgabe. Kann -1, 0, 1 oder 2 sein.

EvaluationPersona

JSON-Darstellung 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
Felder
name

string

Erforderlich. Die eindeutige Kennung der Persona. Format: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

Optional. Die Beschreibung der Persona.
displayName

string

Erforderlich. Der Anzeigename der Persona. Eindeutig innerhalb einer App.
personality

string

Erforderlich. Eine Anleitung für den KI-Agenten, wie er sich bei der Bewertung verhalten soll.
speechConfig

object (SpeechConfig)

Optional. Konfiguration für die Stimme der Persona (TTS-Einstellungen).

SpeechConfig

JSON-Darstellung 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
Felder
speakingRate

number

Optional. Die Sprechgeschwindigkeit. 1,0 ist normal. Niedrigere Werte sind langsamer (z. B. 0,8), höhere Werte sind schneller (z. B. 1,5). Nützlich, um zu testen, wie der Agent mit schnellen Sprechern umgeht.
environment

enum (BackgroundEnvironment)

Optional. Die simulierte Audio-Umgebung.
voiceId

string

Optional. Die spezifische Sprach-ID/der Akzent, der verwendet werden soll. Beispiel: „en-US-Wavenet-D“ oder „en-GB-Standard-A“

Status

JSON-Darstellung 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Felder
code

integer

Der Statuscode, der idealerweise ein ENUM-Wert von google.rpc.Code ist.
message

string

Eine an Entwickler gerichtete Fehlermeldung, die englischsprachig sein sollte. Jede für Nutzer sichtbare Fehlermeldung sollte lokalisiert und im Feld google.rpc.Status.details gesendet werden. Sie kann auch clientseitig lokalisiert werden.
details[]

object

Eine Auflistung aller Meldungen, die die Fehlerdetails enthalten. Es gibt einen gemeinsamen Satz von Nachrichtentypen, die APIs verwenden können.

Ein Objekt, das Felder eines beliebigen Typs enthält. Ein zusätzliches Feld "@type" enthält einen URI zur Identifizierung des Typs. Beispiel: { "id": 1234, "@type": "types.example.com/standard/id" }.

Beliebig

JSON-Darstellung 
{
  "typeUrl": string,
  "value": string
}
Felder
typeUrl

string

Gibt den Typ der serialisierten Protobuf-Nachricht mit einem URI-Verweis an, der aus einem Präfix, das mit einem Schrägstrich endet, und dem vollständig qualifizierten Typnamen besteht.

Beispiel: type.googleapis.com/google.protobuf.StringValue

Dieser String muss mindestens ein /-Zeichen enthalten. Der Inhalt nach dem letzten / muss der vollständig qualifizierte Name des Typs in kanonischer Form ohne führenden Punkt sein. Schreiben Sie kein Schema in diese URI-Referenzen, damit Clients nicht versuchen, sie zu kontaktieren.

Das Präfix ist beliebig. Protobuf-Implementierungen entfernen einfach alles bis zum letzten / (einschließlich), um den Typ zu ermitteln. type.googleapis.com/ ist ein häufiges Standardpräfix, das für einige Legacy-Implementierungen erforderlich ist. Dieses Präfix gibt nicht den Ursprung des Typs an und URIs, die es enthalten, reagieren voraussichtlich nicht auf Anfragen.

Alle Typ-URL-Strings müssen gültige URI-Referenzen sein. Für das Textformat gilt die zusätzliche Einschränkung, dass der Inhalt der Referenz nur aus alphanumerischen Zeichen, prozentual codierten Escape-Sequenzen und Zeichen aus der folgenden Menge bestehen darf (ohne die äußeren Backticks): /-.~_!$&()*+,;=. Obwohl wir Prozentcodierungen zulassen, sollten sie in Implementierungen nicht dekodiert werden, um Verwechslungen mit vorhandenen Parsern zu vermeiden. Beispiel: type.googleapis.com%2FFoo sollte abgelehnt werden.

Im ursprünglichen Design von Any wurde die Möglichkeit in Betracht gezogen, einen Dienst zur Typauflösung unter diesen Typ-URLs zu starten. Protobuf hat jedoch nie einen solchen Dienst implementiert und betrachtet das Kontaktieren dieser URLs als problematisch und als potenzielles Sicherheitsproblem. Versuchen Sie nicht, URLs zu kontaktieren.
value

string (bytes format)

Enthält eine Protobuf-Serialisierung des Typs, der durch „type_url“ beschrieben wird.

Ein base64-codierter String.

EvaluationMetricsThresholds

JSON-Darstellung 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
Felder
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

Optional. Die Grenzwerte für die Golden-Bewertungsmesswerte.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

Optional. Nicht mehr unterstützt: Verwenden Sie stattdessen golden_hallucination_metric_behavior. Das Verhalten des Halluzinationsmesswerts wird derzeit für goldene Bewertungen verwendet.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Optional. Das Verhalten des Messwerts für Halluzinationen bei Golden-Evaluierungen.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Optional. Das Verhalten des Messwerts für Halluzinationen bei Szenariobewertungen.

GoldenEvaluationMetricsThresholds

JSON-Darstellung 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
Felder
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

Optional. Die Schwellenwerte für Messwerte auf Turn-Ebene.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

Optional. Die Grenzwerte für die Messwerte für das Erwartungsniveau.
toolMatchingSettings

object (ToolMatchingSettings)

Optional. Die Einstellungen für den Tool-Abgleich. Ein zusätzlicher Tool-Aufruf ist ein Tool-Aufruf, der in der Ausführung vorhanden ist, aber nicht mit einem Tool-Aufruf in der Golden-Erwartung übereinstimmt.

ToolMatchingSettings

JSON-Darstellung 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
Felder
extraToolCallBehavior

enum (ExtraToolCallBehavior)

Optional. Verhalten bei zusätzlichen Tool-Aufrufen. Die Standardeinstellung ist FAIL.

EvaluationConfig

JSON-Darstellung 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Felder
inputAudioConfig

object (InputAudioConfig)

Optional. Konfiguration für die Verarbeitung des eingegebenen Audiosignals.
outputAudioConfig

object (OutputAudioConfig)

Optional. Konfiguration zum Generieren des Ausgabeaudios.
evaluationChannel

enum (EvaluationChannel)

Optional. Der zu bewertende Channel.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Optional. Gibt an, ob bei der Auswertung echte oder gefälschte Tool-Aufrufe verwendet werden sollen.

InputAudioConfig

JSON-Darstellung 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Felder
audioEncoding

enum (AudioEncoding)

Erforderlich. Die Codierung der Eingangsaudiodaten.
sampleRateHertz

integer

Erforderlich. Die Abtastrate (in Hertz) der Eingabeaudiodaten.
noiseSuppressionLevel

string

Optional. Gibt an, ob die Rauschunterdrückung für das eingegebene Audio aktiviert werden soll. Mögliche Werte sind „low“, „moderate“, „high“ und „very_high“.

OutputAudioConfig

JSON-Darstellung 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Felder
audioEncoding

enum (AudioEncoding)

Erforderlich. Die Codierung der Audioausgabedaten.
sampleRateHertz

integer

Erforderlich. Die Abtastrate (in Hertz) der Ausgabedaten.

EvaluationMetricsConfig

JSON-Darstellung 
{
  "goldenMetricsConfig": {
    object (GoldenMetricsConfig)
  },
  "scenarioMetricsConfig": {
    object (ScenarioMetricsConfig)
  }
}
Felder
goldenMetricsConfig

object (GoldenMetricsConfig)

Optional. Konfiguration für die wichtigsten Messwerte für die Bewertung.
scenarioMetricsConfig

object (ScenarioMetricsConfig)

Optional. Konfiguration für die Szenariomesswerte für die Bewertung.

GoldenMetricsConfig

JSON-Darstellung 
{
  "semanticSimilarityMetricsConfig": {
    object (SemanticSimilarityMetricsConfig)
  },
  "toolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  },
  "stepToolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  }
}
Felder
semanticSimilarityMetricsConfig

object (SemanticSimilarityMetricsConfig)

Optional. Globale Konfiguration für Messwerte zur semantischen Ähnlichkeit.
toolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

Optional. Konfiguration für Messwerte zur Richtigkeit des Tools auf Turn-Ebene.
stepToolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

Optional. Konfiguration für Messwerte zur Richtigkeit von Tools auf Schrittebene.

ToolCorrectnessMetricsConfig

JSON-Darstellung 
{
  "enableToolCorrectnessMetrics": boolean
}
Felder
enableToolCorrectnessMetrics

boolean

Optional. Gibt an, ob Messwerte für die Richtigkeit von Tools für die Bewertung berechnet werden sollen.

ScenarioMetricsConfig

JSON-Darstellung 
{
  "userGoalMetMetricsConfig": {
    object (UserGoalMetMetricsConfig)
  },
  "expectationsMetMetricsConfig": {
    object (ExpectationsMetMetricsConfig)
  }
}
Felder
userGoalMetMetricsConfig

object (UserGoalMetMetricsConfig)

Optional. Konfiguration für Messwerte für erreichte Nutzerziele.
expectationsMetMetricsConfig

object (ExpectationsMetMetricsConfig)

Optional. Konfiguration für Messwerte auf Erwartungsebene.

UserGoalMetMetricsConfig

JSON-Darstellung 
{
  "enableUserGoalMetMetrics": boolean
}
Felder
enableUserGoalMetMetrics

boolean

Optional. Gibt an, ob die Messwerte für das erreichte Nutzerziel für die Auswertung berechnet werden sollen.

ExpectationsMetMetricsConfig

JSON-Darstellung 
{
  "enableExpectationsMetMetrics": boolean
}
Felder
enableExpectationsMetMetrics

boolean

Optional. Gibt an, ob die Messwerte für das Erwartungsniveau für die Auswertung berechnet werden sollen.

NullValue

Stellt ein JSON-null dar.

NullValue ist ein Sentinel, der einen Enum mit nur einem Wert verwendet, um den Nullwert für die Typvereinigung Value darzustellen.

Ein Feld vom Typ NullValue mit einem anderen Wert als 0 gilt als ungültig. Die meisten ProtoJSON-Serialisierer geben ein Value mit einem als JSON-null festgelegten null_value aus, unabhängig vom Ganzzahlwert, und führen so zu einem Roundtrip zu einem 0-Wert.

Enums
NULL_VALUE Nullwert.

ComparisonType

Unterstützte Vergleichstypen zum Prüfen der Antwort des KI-Agents.

Enums
COMPARISON_TYPE_UNSPECIFIED Nicht angegebener Vergleichstyp. Das Standardverhalten für Agent-Antworten und Tool-Aufrufe ist SEMANTIC_SIMILARITY.
EQUALS Exakte Stringübereinstimmung.
CONTAINS Teilstring-Abgleich (prüft, ob der erwartete String in der tatsächlichen Antwort enthalten ist).
SEMANTIC_SIMILARITY Abgleich der semantischen Ähnlichkeit (bewertet die Bedeutungsähnlichkeit mithilfe eines LLM).

SemanticSimilarityChannel

Der zu verwendende Channel für die semantische Ähnlichkeit.

Enums
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED Messwert nicht angegeben. Die Standardeinstellung ist TEXT.
TEXT Verwenden Sie die semantische Ähnlichkeit von Text.
AUDIO Semantische Ähnlichkeit von Audioinhalten verwenden.

HallucinationMetricBehavior

Das Verhalten des Messwerts für Halluzinationen. Unabhängig vom Verhalten wird der Messwert immer berechnet. Der Unterschied besteht darin, dass der Messwert bei Deaktivierung nicht zur Berechnung der Gesamtbewertung verwendet wird.

Enums
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED Nicht angegebenes Verhalten des Halluzinationsmesswerts.
DISABLED Halluzinationsmesswert deaktivieren.
ENABLED Halluzinationsmesswert aktivieren.

TaskCompletionBehavior

Das erwartete Verhalten der Nutzeraufgabe. Damit wird ermittelt, ob das Szenario erfolgreich ist.

Enums
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED Verhalten nicht angegeben. Die Standardeinstellung ist TASK_SATISFIED.
TASK_SATISFIED Die Nutzeraufgabe sollte erfolgreich abgeschlossen werden.
TASK_REJECTED Die Nutzeraufgabe sollte abgelehnt werden.

UserGoalBehavior

Das erwartete Verhalten des Nutzerziels. Damit wird ermittelt, ob das Szenario erfolgreich ist.

Enums
USER_GOAL_BEHAVIOR_UNSPECIFIED Verhalten nicht angegeben. Die Standardeinstellung ist USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED Das Nutzerziel sollte erfolgreich erreicht werden.
USER_GOAL_REJECTED Das Nutzerziel sollte abgelehnt werden.
USER_GOAL_IGNORED Ignoriere den Status des Nutzerziels.

ScenarioExecutionMode

Der Ausführungsmodus für Szenariobewertungen.

Enums
SCENARIO_EXECUTION_MODE_UNSPECIFIED Nicht angegebener Ausführungsmodus. Die Standardeinstellung ist QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED Modus für optimierte Qualität
SPEED_OPTIMIZED Für Geschwindigkeit optimierter Modus.

Ergebnis

Das Ergebnis der Bewertung oder Erwartung.

Enums
OUTCOME_UNSPECIFIED Das Ergebnis der Bewertung wird nicht angegeben.
PASS Bewertung/Erwartung erfüllt. Im Falle einer Bewertung bedeutet dies, dass alle Erwartungen erfüllt wurden.
FAIL Bewertung/Erwartung fehlgeschlagen. Im Falle einer Überprüfung bedeutet dies, dass mindestens eine Erwartung nicht erfüllt wurde.
SKIPPED Die Bewertung/Erwartung wurde übersprungen.

ErrorType

Die Art des Fehlers

Enums
ERROR_TYPE_UNSPECIFIED Nicht angegebener Fehlertyp.
RUNTIME_FAILURE Fehler bei der Ausführung der Laufzeit.
CONVERSATION_RETRIEVAL_FAILURE Unterhaltung konnte nicht aus der CES-Laufzeit abgerufen werden.
METRIC_CALCULATION_FAILURE Ein Messwert oder Ergebnis konnte nicht berechnet werden.
EVALUATION_UPDATE_FAILURE Die Bewertung konnte nicht aktualisiert werden.
QUOTA_EXHAUSTED Das Kontingent ist aufgebraucht.
USER_SIMULATION_FAILURE Fehler bei der Nutzersimulation.

Typ

Der Typ des Zeitraums. In Zukunft werden möglicherweise weitere Werte hinzugefügt.

Enums
TYPE_UNSPECIFIED Standardwert. Dieser Wert wird nicht verwendet.
TOOL Toolaufruf-Spanne.
USER_CALLBACK Zeitspanne für den Rückruf durch den Nutzer.
GUARDRAIL Umfang der Schutzmaßnahme.
LLM LLM-Spanne.

BackgroundEnvironment

Simulierte Audio-Umgebung.

Enums
BACKGROUND_ENVIRONMENT_UNSPECIFIED Die Hintergrundumgebung ist nicht angegeben.
CALL_CENTER Callcenter-Umgebung.
TRAFFIC Umgebung mit Verkehrslärm.
KIDS_NOISE Geräuschumgebung für Kinder.
CAFE Café-Umgebung.

ExecutionState

Der Status der Ausführung des Auswertungsergebnisses.

Enums
EXECUTION_STATE_UNSPECIFIED Der Ausführungsstatus des Bewertungsergebnisses ist nicht angegeben.
QUEUED Die Ausführung des Bewertungsergebnisses ist in der Warteschlange.
RUNNING Die Ausführung des Bewertungsergebnisses läuft.
COMPLETED Die Ausführung des Bewertungsergebnisses ist abgeschlossen.
ERROR Die Ausführung des Bewertungsergebnisses ist aufgrund eines internen Fehlers fehlgeschlagen.
CANCELLED Die Ausführung des Bewertungsergebnisses wurde abgebrochen.

ExtraToolCallBehavior

Definiert das Verhalten, wenn ein zusätzlicher Tool-Aufruf erfolgt. Ein zusätzlicher Tool-Aufruf ist ein Tool-Aufruf, der in der Ausführung vorhanden ist, aber nicht mit einem Tool-Aufruf in der Golden-Erwartung übereinstimmt.

Enums
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED Nicht angegebenes Verhalten. Die Standardeinstellung ist FAIL.
FAIL Die Auswertung schlägt fehl, wenn ein zusätzlicher Toolaufruf erfolgt.
ALLOW Zusätzlichen Toolaufruf zulassen

AudioEncoding

AudioEncoding gibt das Codierungsformat für Audiodaten an.

Enums
AUDIO_ENCODING_UNSPECIFIED Nicht angegebene Audiocodierung.
LINEAR16 16-Bit-Codierung mit linearer Pulscodemodulation (PCM)
MULAW 8-Bit-Samples zur Kompandierung von 14-Bit-Audiosamples mit G.711 PCMU/mu-law.
ALAW 8-Bit-Samples, die 14-Bit-Audio-Samples mit G.711 PCMU/A-Law kompandieren.

EvaluationChannel

Der zu bewertende Channel.

Enums
EVALUATION_CHANNEL_UNSPECIFIED Nicht angegebener Bewertungskanal.
TEXT Kanal für die reine Textbewertung
AUDIO Kanal für die Audiobewertung.

EvaluationToolCallBehaviour

Konfiguriert das Verhalten von Tool-Aufrufen für Bewertungsdurchläufe.

Enums
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED Nicht angegebenes Verhalten bei Tool-Aufrufen. Standardmäßig werden echte Tool-Aufrufe verwendet.
REAL Verwenden Sie echte Tool-Aufrufe.
FAKE Falsche Tool-Aufrufe verwenden

GoldenRunMethod

Die Methode, mit der die Bewertung durchgeführt wurde.

Enums
GOLDEN_RUN_METHOD_UNSPECIFIED Die Ausführungsmethode ist nicht angegeben.
STABLE Führen Sie die Auswertung als stabilen Replay aus. Dabei ist jede Runde eine eigene Sitzung, in die die vorherigen erwarteten Runden als Kontext eingefügt werden.
NAIVE Führen Sie die Auswertung als naives Replay aus. Dabei ist der Lauf eine einzelne Sitzung ohne eingefügten Kontext.

OutcomeMetadata

Metadaten zum Ergebnis der Bewertung.

Enums
OUTCOME_METADATA_UNSPECIFIED Nicht angegebene Metadaten zum Ergebnis.
GRACEFUL_HANDOFF Die Auswertung führte zu einer reibungslosen Übergabe an einen Kundenservicemitarbeiter.

Tool-Annotationen

Tool-Anmerkungen werden an MCP-Clients gesendet, um das grundlegende Risiko eines bestimmten Tools zu beschreiben. Die meisten Clients behandeln diese Hinweise als nicht vertrauenswürdig, sie können aber verwendet werden, um zu entscheiden, wann ein Bestätigungs-Prompt an einen Nutzer gesendet werden soll.

Zusammen mit dem Titelstring werden die folgenden booleschen Hinweise so definiert:

  • readOnlyHint: Wenn „true“, ändert das Tool seine Umgebung nicht. Standardeinstellung: false.
  • destructiveHint: Wenn „true“, kann das Tool destruktive Aktionen ausführen. Wenn „false“, kann das Tool nur additive Aktionen ausführen. Standardeinstellung: true.
  • idempotentHint: Wenn „true“, hat das wiederholte Aufrufen des Tools mit denselben Argumenten keine zusätzlichen Auswirkungen auf die Umgebung. Standardeinstellung: false.
  • openWorldHint: Wenn „true“, kann das Tool mit einer „offenen Welt“ externer Einheiten interagieren. Wenn „false“, kann das Tool nur mit internen Einheiten interagieren. Ein Tool für die Websuche wäre beispielsweise Open World, ein Tool für das Gedächtnis nicht.

Destruktiver Hinweis: ❌ | Idempotenter Hinweis: ❌ | Nur-Lese-Hinweis: ❌ | Open-World-Hinweis: ❌