Tool: list_evaluations
Listet Bewertungen auf.
Das folgende Codebeispiel zeigt, wie Sie mit curl das MCP-Tool list_evaluations aufrufen.
| cURL-Anfrage |
|---|
curl --location 'https://ces.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "list_evaluations", "arguments": { // Provide these details according to the MCP tool specification. } }, "jsonrpc": "2.0", "id": 1 }' |
Eingabeschema
Anfragenachricht für EvaluationService.ListEvaluations.
ListEvaluationsRequest
| JSON-Darstellung |
|---|
{ "parent": string, "pageSize": integer, "pageToken": string, "filter": string, "evaluationFilter": string, "evaluationRunFilter": string, "orderBy": string, "lastTenResults": boolean } |
| Felder | |
|---|---|
parent |
Erforderlich. Der Ressourcenname der Anwendung, deren Bewertungen aufgelistet werden sollen. |
pageSize |
Optional. Angeforderte Seitengröße. Der Server gibt möglicherweise weniger Elemente als angefordert zurück. Wenn kein Wert angegeben wurde, wählt der Server einen geeigneten Standardwert aus. |
pageToken |
Optional. Der Wert |
filter |
Optional. Verworfen: Verwenden Sie stattdessen „evaluation_filter“ und „evaluation_run_filter“. |
evaluationFilter |
Optional. Filter, der beim Auflisten der Bewertungen auf die Bewertung angewendet werden soll. Weitere Informationen finden Sie unter https://google.aip.dev/160. Unterstützte Felder: evaluation_datasets |
evaluationRunFilter |
Optional. Filterstring für Felder in den zugehörigen EvaluationRun-Ressourcen. Weitere Informationen finden Sie unter https://google.aip.dev/160. Unterstützte Felder: create_time, initiated_by, app_version_display_name |
orderBy |
Optional. Feld, nach dem sortiert werden soll. Nur „name“, „create_time“ und „update_time“ werden unterstützt. Zeitfelder werden in absteigender Reihenfolge und das Namensfeld in aufsteigender Reihenfolge sortiert. Wenn nicht angegeben, wird „update_time“ als Standard verwendet. Weitere Informationen finden Sie unter https://google.aip.dev/132#ordering. |
lastTenResults |
Optional. Gibt an, ob die letzten 10 Bewertungsergebnisse für jede Bewertung in die Antwort aufgenommen werden sollen. |
Ausgabeschema
Antwortnachricht für EvaluationService.ListEvaluations.
ListEvaluationsResponse
| JSON-Darstellung |
|---|
{
"evaluations": [
{
object ( |
| Felder | |
|---|---|
evaluations[] |
Die Liste der Bewertungen. |
nextPageToken |
Ein Token, das als |
Bewertung
| JSON-Darstellung |
|---|
{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object ( |
| Felder | |
|---|---|
name |
ID. Die eindeutige Kennung dieser Bewertung. Format: |
displayName |
Erforderlich. Benutzerdefinierter Anzeigename der Bewertung. Innerhalb einer App eindeutig. |
description |
Optional. Benutzerdefinierte Beschreibung der Bewertung. |
tags[] |
Optional. Benutzerdefinierte Tags zum Kategorisieren der Bewertung. |
evaluationDatasets[] |
Nur Ausgabe. Liste der Bewertungs-Datasets, zu denen die Bewertung gehört. Format: |
createTime |
Nur Ausgabe. Zeitstempel für die Erstellung der Bewertung. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: |
createdBy |
Nur Ausgabe. Der Nutzer, der die Bewertung erstellt hat. |
updateTime |
Nur Ausgabe. Zeitstempel der letzten Aktualisierung der Bewertung. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: |
lastUpdatedBy |
Nur Ausgabe. Der Nutzer, der die Bewertung zuletzt aktualisiert hat. |
evaluationRuns[] |
Nur Ausgabe. Die EvaluationRuns, mit denen diese Evaluation verknüpft ist. |
etag |
Nur Ausgabe. Etag, mit dem sichergestellt wird, dass sich das Objekt während eines Lesevorgangs mit anschließender Änderung und Schreibvorgang nicht geändert hat. Wenn das ETag leer ist, werden durch das Update alle gleichzeitigen Änderungen überschrieben. |
aggregatedMetrics |
Nur Ausgabe. Die aggregierten Messwerte für diese Bewertung über alle Ausführungen hinweg. |
lastCompletedResult |
Nur Ausgabe. Das neueste Bewertungsergebnis für diese Bewertung. |
invalid |
Nur Ausgabe. Gibt an, ob die Bewertung ungültig ist. Das kann passieren, wenn eine Bewertung auf ein Tool, ein Toolset oder einen Agenten verweist, das bzw. der inzwischen gelöscht wurde. |
lastTenResults[] |
Nur Ausgabe. Die letzten 10 Bewertungsergebnisse für diese Bewertung. Dieses Feld wird nur ausgefüllt, wenn „include_last_ten_results“ in „ListEvaluationsRequest“ oder „GetEvaluationRequest“ auf „true“ gesetzt ist. |
evaluationMetricsThresholdOverride |
Optional. Überschreibt die Messwertschwellenwerte für diese spezifische Bewertung. |
evaluationMetricsConfigOverride |
Optional. Überschreibt die Messwertkonfiguration für diese spezifische Bewertung. |
Union-Feld inputs. Die Eingaben für die Bewertung inputs können nur eine der folgenden sein: |
|
golden |
Optional. Die zu bewertenden Golden Steps. |
scenario |
Optional. Die Konfiguration für ein Szenario. |
Golden
| JSON-Darstellung |
|---|
{
"turns": [
{
object ( |
| Felder | |
|---|---|
turns[] |
Erforderlich. Die Golden Turns, die zum Wiederholen einer Golden Conversation erforderlich sind. Die maximal zulässige Anzahl von Turns beträgt 100. |
evaluationExpectations[] |
Optional. Die Bewertungserwartungen, anhand derer die wiedergegebene Unterhaltung bewertet werden soll. Format: |
GoldenTurn
| JSON-Darstellung |
|---|
{ "steps": [ { object ( |
| Felder | |
|---|---|
steps[] |
Erforderlich. Die Schritte, die zum Wiederholen einer Golden Conversation erforderlich sind. |
rootSpan |
Optional. Der Root-Span des Golden Turn für die Verarbeitung und Verwaltung von Audioinformationen. Der URI für die Audiodaten muss Audiodaten enthalten, die mit einer Abtastrate von 16 kHz gespeichert wurden. |
turnLevelMetricsThresholdsOverride |
Optional. Überschreibungen für Messwertgrenzwerte auf Turn-Ebene. |
hallucinationMetricBehaviorOverride |
Optional. Überschreibung für das Verhalten des Halluzinationsmesswerts auf Turn-Ebene. |
Schritt
| JSON-Darstellung |
|---|
{ // Union field |
| Felder | |
|---|---|
Union-Feld step. Der auszuführende Schritt. Für step ist nur einer der folgenden Werte zulässig: |
|
userInput |
Optional. Nutzereingabe für die Unterhaltung. |
agentTransfer |
Optional. Leiten Sie die Unterhaltung an einen anderen Kundenservicemitarbeiter weiter. |
expectation |
Optional. Führt eine Erwartung für die aktuelle Runde aus. |
SessionInput
| JSON-Darstellung |
|---|
{ "willContinue": boolean, "recordingControl": enum ( |
| Felder | |
|---|---|
willContinue |
Optional. Ein Flag, das angibt, ob die aktuelle Nachricht ein Fragment einer größeren Eingabe in der bidirektionalen Streamingsitzung ist. Wenn HINWEIS: Dieses Feld gilt nicht für Audio- und DTMF-Eingaben, da diese immer automatisch basierend auf dem Endpunktsignal verarbeitet werden. |
recordingControl |
Optional. Ob die Unterhaltung ab diesem Zeitpunkt aufgezeichnet und protokolliert werden darf. Verwenden Sie diese Option, wenn die App und nicht der Agent entscheidet, was gespeichert werden darf, z. B. wenn der Endnutzer der Aufzeichnung zustimmen muss, bevor etwas über den Anruf gespeichert werden kann. Der Wert bleibt so lange gültig, bis der Client einen anderen Wert sendet. Er muss also nur gesendet werden, wenn sich die Antwort ändert. Die Einstellungen, die am Ende eines Turns aktiv sind, bestimmen, ob die Audioaufnahmen dieses Turns im Aufnahme-Bucket gespeichert werden und ob das Transkript im Unterhaltungsverlauf, in BigQuery und in Cloud Logging landet. Sie umfasst sowohl die Seite des KI-Agenten als auch die der Endnutzerin oder des Endnutzers. Runden, die abgeschlossen werden, bevor der Client dies zum ersten Mal sendet, werden gemäß den Logging-Einstellungen der App aufgezeichnet, so als ob das Feld nicht vorhanden wäre. Wenn mehr als eine Eingabe in derselben Anfrage diesen Wert festlegt, wird der letzte Wert verwendet. |
Union-Feld input_type. Der Typ der Eingabe. Für input_type ist nur einer der folgenden Werte zulässig: |
|
text |
Optional. Textdaten vom Endnutzer. |
dtmf |
Optional. DTMF-Ziffern vom Endnutzer. |
audio |
Optional. Audiodaten des Endnutzers. Ein base64-codierter String. |
toolResponses |
Optional. Ausführungsergebnisse für die Toolaufrufe vom Client. |
image |
Optional. Bilddaten des Endnutzers. |
blob |
Optional. Blob-Daten vom Endnutzer. |
variables |
Optional. Kontextvariablen für die Sitzung, nach Name sortiert. Der CES-Agent verwendet nur Variablen, die in der App deklariert wurden. Nicht erkannte Variablen werden weiterhin als zusätzliche Sitzungsparameter an den [Dialogflow-Agent][Agent.RemoteDialogflowAgent] gesendet. |
event |
Optional. Ereigniseingabe. |
ToolResponses
| JSON-Darstellung |
|---|
{
"toolResponses": [
{
object ( |
| Felder | |
|---|---|
toolResponses[] |
Optional. Die Liste der Ergebnisse der Toolausführung. |
ToolResponse
| JSON-Darstellung |
|---|
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field |
| Felder | |
|---|---|
id |
Optional. Die ID zum Abgleich des |
displayName |
Nur Ausgabe. Anzeigename des Tools. |
response |
Erforderlich. Das Ergebnis der Toolausführung im JSON-Objektformat. Verwenden Sie den Schlüssel „output“, um die Toolantwort anzugeben, und den Schlüssel „error“, um Fehlerdetails anzugeben (falls vorhanden). Wenn die Schlüssel „output“ und „error“ nicht angegeben sind, wird die gesamte „response“ als Ergebnis der Toolausführung behandelt. |
parentToolCallId |
Nur Ausgabe. Die ID des Toolaufrufs, der diesen Aufruf verursacht hat, wenn er von einem Sub-Agenten im Auftrag eines übergeordneten Aufrufs ausgegeben wurde. Leer für Aufrufe auf oberster Ebene. Ermöglicht es einem Client, die Arbeit eines Sub-Agents unter dem Aufruf zu gruppieren, der sie gestartet hat, anstatt jeden Schritt als gleichgeordnetes Element darzustellen. |
agentName |
Nur Ausgabe. Menschenlesbarer Name des KI-Agenten, der diesen Aufruf ausgegeben hat, z.B. „Contract Architect“. Leer, wenn der Root-Agent sie ausgestellt hat. |
targetApp |
Nur Ausgabe. Die App, auf die das ausgeführte Tool ausgerichtet war; spiegelt |
Union-Feld tool_identifier. Die Kennung des ausgeführten Tools. Es kann sich entweder um ein persistentes Tool oder um ein Tool aus einem Toolset handeln. Für tool_identifier ist nur einer der folgenden Werte zulässig: |
|
tool |
Optional. Der Name des auszuführenden Tools. Format: |
toolsetTool |
Optional. Das Toolset-Tool, das ausgeführt wurde. |
ToolsetTool
| JSON-Darstellung |
|---|
{ "toolset": string, "toolId": string } |
| Felder | |
|---|---|
toolset |
Erforderlich. Der Ressourcenname des Toolsets, von dem dieses Tool abgeleitet ist. Format: |
toolId |
Optional. Die Tool-ID, nach der die Tools gefiltert werden sollen, für die das Schema abgerufen werden soll. |
Struct
| JSON-Darstellung |
|---|
{ "fields": { string: value, ... } } |
| Felder | |
|---|---|
fields |
Ungeordnete Zuordnung von dynamisch typisierten Werten. Ein Objekt, das eine Liste von |
FieldsEntry
| JSON-Darstellung |
|---|
{ "key": string, "value": value } |
| Felder | |
|---|---|
key |
|
value |
|
Wert
| JSON-Darstellung |
|---|
{ // Union field |
| Felder | |
|---|---|
Union-Feld kind. Die Art des Werts. Für kind ist nur einer der folgenden Werte zulässig: |
|
nullValue |
Stellt ein JSON- |
numberValue |
Stellt eine JSON-Zahl dar. Darf nicht |
stringValue |
Stellt einen JSON-String dar. |
boolValue |
Stellt einen booleschen JSON-Wert dar ( |
structValue |
Stellt ein JSON-Objekt dar. |
listValue |
Stellt ein JSON-Array dar. |
ListValue
| JSON-Darstellung |
|---|
{ "values": [ value ] } |
| Felder | |
|---|---|
values[] |
Wiederkehrendes Feld mit dynamisch typisierten Werten. |
Bild
| JSON-Darstellung |
|---|
{ "mimeType": string, "data": string, "altText": string } |
| Felder | |
|---|---|
mimeType |
Erforderlich. Der IANA-Standard-MIME-Typ der Quelldaten. Zu den unterstützten Bildtypen gehören: * image/png * image/jpeg * image/webp |
data |
Erforderlich. Rohbyte des Bildes. Ein base64-codierter String. |
altText |
Optional. Der Alternativtext für das Bild. |
Blob
| JSON-Darstellung |
|---|
{ "mimeType": string, "data": string } |
| Felder | |
|---|---|
mimeType |
Erforderlich. Der IANA-Standard-MIME-Typ der Quelldaten. |
data |
Erforderlich. Rohbyte des Blobs. Ein base64-codierter String. |
Ereignis
| JSON-Darstellung |
|---|
{ "event": string, "variables": { object } } |
| Felder | |
|---|---|
event |
Erforderlich. Der Name des Ereignisses. |
variables |
Optional. Zusätzliche Variablen, die mit dem Ereignis verknüpft sind. |
AgentTransfer
| JSON-Darstellung |
|---|
{ "targetAgent": string, "displayName": string } |
| Felder | |
|---|---|
targetAgent |
Erforderlich. Der KI-Agent, an den die Unterhaltung übertragen wird. Der KI-Agent übernimmt die Unterhaltung ab diesem Zeitpunkt. Format: |
displayName |
Nur Ausgabe. Anzeigename des KI-Agenten. |
GoldenExpectation
| JSON-Darstellung |
|---|
{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object ( |
| Felder | |
|---|---|
note |
Optional. Eine Notiz für diese Anforderung, die bei der Berichterstellung nützlich ist, wenn bestimmte Prüfungen fehlschlagen. Beispiel: "Check_Payment_Tool_Called". |
skipEvaluation |
Optional. Wenn „true“ festgelegt ist, wird diese Erwartung nicht ausgewertet. |
expectationLevelMetricsThresholdsOverride |
Optional. Überschreibt Messwerte auf Schrittebene. |
agentResponseSemanticSimilarityMetricsConfigOverride |
Optional. Überschreibungen für Messwerte zur semantischen Ähnlichkeit von „agent_response“. |
agentResponseHallucinationMetricsConfigOverride |
Optional. Überschreibungen für Halluzinationsmesswerte für agent_response. |
comparisonType |
Optional. Der Vergleichstyp, der für die Erwartungsprüfung verwendet werden soll. |
Union-Feld condition. Die tatsächliche Prüfung, die durchgeführt werden soll. Für condition ist nur einer der folgenden Werte zulässig: |
|
toolCall |
Optional. Prüfen, ob ein bestimmtes Tool mit den Parametern aufgerufen wurde. |
toolResponse |
Optional. Prüfen, ob ein bestimmtes Tool die erwartete Antwort geliefert hat. |
agentResponse |
Optional. Prüfen Sie, ob der KI-Agent die richtige Antwort gegeben hat. Die Rolle „Agent“ wird impliziert. |
agentTransfer |
Optional. Prüfen Sie, ob der Agent die Unterhaltung an einen anderen Agenten weitergeleitet hat. |
updatedVariables |
Optional. Prüfen Sie, ob der Agent die Sitzungsvariablen auf die erwarteten Werte aktualisiert hat. Wird verwendet, um auch Aktualisierungen von Agent-Variablen für Golden-Evaluierungen zu erfassen. |
mockToolResponse |
Optional. Die zu simulierende Toolantwort mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM halluziniert. |
noToolCalls |
Optional. Prüfen Sie, ob während dieser Runde keine Tools aufgerufen wurden. |
ToolCall
| JSON-Darstellung |
|---|
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field |
| Felder | |
|---|---|
id |
Optional. Die eindeutige Kennung des Toolaufrufs. Falls ausgefüllt, sollte der Client das Ausführungsergebnis mit der übereinstimmenden ID in |
displayName |
Nur Ausgabe. Anzeigename des Tools. |
args |
Optional. Die Eingabeparameter und Werte für das Tool im JSON-Objektformat. |
parentToolCallId |
Nur Ausgabe. Die ID des Toolaufrufs, der diesen Aufruf verursacht hat, wenn er von einem Sub-Agenten im Auftrag eines übergeordneten Aufrufs ausgegeben wurde. Leer für Aufrufe auf oberster Ebene. Ermöglicht es einem Client, die Arbeit eines Sub-Agents unter dem Aufruf zu gruppieren, der sie gestartet hat, anstatt jeden Schritt als gleichgeordnetes Element darzustellen. |
agentName |
Nur Ausgabe. Menschenlesbarer Name des KI-Agenten, der diesen Aufruf ausgegeben hat, z.B. „Contract Architect“. Leer, wenn der Root-Agent sie ausgestellt hat. |
targetApp |
Nur Ausgabe. Die App, auf die dieser Aufruf abzielt, abgeleitet vom Assistenten aus den Ressourcenargumenten des Aufrufs: ein App-Ressourcenname, |
Union-Feld tool_identifier. Die Kennung des auszuführenden Tools. Es kann sich entweder um ein persistentes Tool oder um ein Tool aus einem Toolset handeln. Für tool_identifier ist nur einer der folgenden Werte zulässig: |
|
tool |
Optional. Der Name des auszuführenden Tools. Format: |
toolsetTool |
Optional. Das Toolset-Tool, das ausgeführt werden soll. |
Nachricht
| JSON-Darstellung |
|---|
{
"role": string,
"chunks": [
{
object ( |
| Felder | |
|---|---|
role |
Optional. Die Rolle in der Unterhaltung, z.B. Nutzer, KI-Agent. |
chunks[] |
Optional. Inhalt der Nachricht als eine Reihe von Blöcken. |
eventTime |
Optional. Zeitstempel für den Versand oder Empfang der Nachricht. Sollte nicht verwendet werden, wenn die Nachricht Teil eines Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: |
Chunk
| JSON-Darstellung |
|---|
{ // Union field |
| Felder | |
|---|---|
Union-Feld data. Blockdaten. Für data ist nur einer der folgenden Werte zulässig: |
|
text |
Optional. Textdaten. |
transcript |
Optional. Transkript, das mit dem Audio verknüpft ist. |
blob |
Optional. Blob-Daten. |
payload |
Optional. Benutzerdefinierte Nutzlastdaten. |
image |
Optional. Bilddaten. |
toolCall |
Optional. Anfrage zur Toolausführung. |
toolResponse |
Optional. Antwort auf die Toolausführung. |
agentTransfer |
Optional. Ereignis zur Übertragung des KI-Agenten. |
updatedVariables |
Ein Struct stellt Variablen dar, die in der Unterhaltung aktualisiert wurden, sortiert nach Variablennamen. |
defaultVariables |
Ein Struct stellt Standardvariablen zu Beginn der Unterhaltung dar, die nach Variablennamen sortiert sind. |
Zeitstempel
| JSON-Darstellung |
|---|
{ "seconds": string, "nanos": integer } |
| Felder | |
|---|---|
seconds |
Stellt Sekunden der UTC-Zeit seit Unix-Epoche 1970-01-01T00:00:00Z dar. Muss zwischen -62135596800 und 253402300799 (einschließlich) liegen, was 0001-01-01T00:00:00Z bis 9999-12-31T23:59:59Z entspricht. |
nanos |
Nicht negative Sekundenbruchteile Nanosekunden-Auflösung. Dieses Feld ist der Nanosekundenanteil der Dauer, keine Alternative zu Sekunden. Negative Sekundenwerte mit Bruchteilen müssen weiterhin nicht negative Nano-Werte haben, die zeitlich vorwärts gezählt werden. Muss zwischen 0 und 999.999.999 (einschließlich) liegen. |
ExpectationLevelMetricsThresholds
| JSON-Darstellung |
|---|
{ // Union field |
| Felder | |
|---|---|
Union-Feld Für |
|
toolInvocationParameterCorrectnessThreshold |
Optional. Der Erfolgsschwellenwert für die Korrektheit einzelner Parameter für den Toolaufruf. Muss eine Gleitkommazahl zwischen 0 und 1 sein. Der Standardwert ist 1,0. |
SemanticSimilarityMetricsConfig
| JSON-Darstellung |
|---|
{ "enableSemanticSimilarityMetrics": boolean } |
| Felder | |
|---|---|
enableSemanticSimilarityMetrics |
Optional. Gibt an, ob Messwerte für die semantische Ähnlichkeit für die Bewertung berechnet werden sollen. |
HallucinationMetricsConfig
| JSON-Darstellung |
|---|
{ "enableHallucinationMetrics": boolean } |
| Felder | |
|---|---|
enableHallucinationMetrics |
Optional. Gibt an, ob Halluzinationsmesswerte für die Bewertung berechnet werden sollen. |
Span
| JSON-Darstellung |
|---|
{
"name": string,
"startTime": string,
"endTime": string,
"duration": string,
"attributes": {
object
},
"childSpans": [
{
object ( |
| Felder | |
|---|---|
name |
Nur Ausgabe. Der Name des Spans. |
startTime |
Nur Ausgabe. Der Beginn des Spans. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: |
endTime |
Nur Ausgabe. Das Ende des Zeitraums. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: |
duration |
Nur Ausgabe. Die Dauer des Spans. Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „ |
attributes |
Nur Ausgabe. Schlüssel/Wert-Attribute, die mit dem Span verknüpft sind. |
childSpans[] |
Nur Ausgabe. Die untergeordneten Spans, die unter diesem Span verschachtelt sind. |
Dauer
| JSON-Darstellung |
|---|
{ "seconds": string, "nanos": integer } |
| Felder | |
|---|---|
seconds |
Vorzeichenbehaftete Sekunden der Zeitspanne. Muss zwischen -315.576.000.000 und +315.576.000.000 (einschließlich) liegen. Hinweis: Diese Grenzen werden so berechnet: 60 Sek./Min. * 60 Min./Std. * 24 Std./Tag * 365,25 Tage/Jahr * 10.000 Jahre |
nanos |
Vorzeichenbehaftete Sekundenbruchteile mit Nanosekundenauflösung der Zeitspanne. Dauern von weniger als einer Sekunde werden mit einem |
TurnLevelMetricsThresholds
| JSON-Darstellung |
|---|
{ "semanticSimilarityChannel": enum ( |
| Felder | |
|---|---|
semanticSimilarityChannel |
Optional. Der Kanal für semantische Ähnlichkeit, der für die Bewertung verwendet werden soll. |
Union-Feld Für |
|
semanticSimilaritySuccessThreshold |
Optional. Der Erfolgsschwellenwert für die semantische Ähnlichkeit. Muss eine Ganzzahl zwischen 0 und 4 sein. Der Standardwert ist >= 3. |
Union-Feld Für |
|
overallToolInvocationCorrectnessThreshold |
Optional. Der Erfolgsschwellenwert für die Gesamtkorrektheit des Toolaufrufs. Muss eine Gleitkommazahl zwischen 0 und 1 sein. Der Standardwert ist 1,0. |
Szenario
| JSON-Darstellung |
|---|
{ "task": string, "userFacts": [ { object ( |
| Felder | |
|---|---|
task |
Erforderlich. Die Aufgabe, auf die das Szenario abzielt. |
userFacts[] |
Optional. Die Nutzerfakten, die vom Szenario verwendet werden sollen. |
maxTurns |
Optional. Die maximale Anzahl der zu simulierenden Turns. Der maximal zulässige Wert ist 100. Der Standardwert ist 100. |
rubrics[] |
Erforderlich. Die Rubriken, anhand derer das Szenario bewertet werden soll. |
scenarioExpectations[] |
Erforderlich. Die ScenarioExpectations, um die von der Nutzersimulation erzeugte Unterhaltung zu bewerten. |
variableOverrides |
Optional. Variablen/Sitzungsparameter als Kontext für die Sitzung, sortiert nach Variablennamen. Die Mitglieder dieser Struktur überschreiben alle vom System festgelegten Standardwerte. Diese unterscheiden sich von Nutzerfakten, also Fakten, die dem Nutzer bekannt sind. Variablen sind Parameter, die dem Agenten bekannt sind, z.B. die vom Telefoniesystem übergebene MDN (Telefonnummer). |
taskCompletionBehavior |
Optional. Verworfen Verwenden Sie stattdessen „user_goal_behavior“. |
userGoalBehavior |
Optional. Das erwartete Verhalten des Nutzerziels. |
evaluationExpectations[] |
Optional. Die Erwartungen, anhand derer die von der Simulation erzeugte Unterhaltung bewertet werden soll. Format: |
milestones[] |
Optional. Die Meilensteine für dieses Szenario. |
scenarioExecutionMode |
Optional. Der Ausführungsmodus für Szenariobewertungen. |
UserFact
| JSON-Darstellung |
|---|
{ "name": string, "value": string } |
| Felder | |
|---|---|
name |
Erforderlich. Der Name des Nutzerfaktums. |
value |
Erforderlich. Der Wert des Nutzerfaktums. |
ScenarioExpectation
| JSON-Darstellung |
|---|
{ // Union field |
| Felder | |
|---|---|
Union-Feld expectation. Die Erwartung, die von der Simulation erzeugte Unterhaltung zu bewerten. Für expectation ist nur einer der folgenden Werte zulässig: |
|
toolExpectation |
Optional. Das zu bewertende Paar aus Toolaufruf und Antwort. |
agentResponse |
Optional. Die zu bewertende Antwort des KI-Agenten. |
ToolExpectation
| JSON-Darstellung |
|---|
{ "expectedToolCall": { object ( |
| Felder | |
|---|---|
expectedToolCall |
Erforderlich. Der erwartete Toolaufruf mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM halluziniert. |
mockToolResponse |
Erforderlich. Die zu simulierende Toolantwort mit den angegebenen Parametern. Alle nicht angegebenen Parameter werden vom LLM halluziniert. |
Milestone
| JSON-Darstellung |
|---|
{
"goal": string,
"maxTurnCount": integer,
"successCriteria": string,
"protocol": string,
"staticUtterance": string,
"event": {
object ( |
| Felder | |
|---|---|
goal |
Erforderlich. Das Ziel des Meilensteins. |
maxTurnCount |
Optional. Die maximale Anzahl von Turns für diesen Meilenstein. |
successCriteria |
Optional. Die Erfolgskriterien des Meilensteins. |
protocol |
Optional. Die Richtlinien, die der Agent während der Unterhaltung befolgen sollte. |
staticUtterance |
Optional. Eine statische Äußerung, die der Simulator genau so sendet, anstatt Nutzereingaben dynamisch zu generieren. |
event |
Optional. Eine Ereigniseingabe, die anstelle der dynamischen Generierung gesendet werden soll. |
AggregatedMetrics
| JSON-Darstellung |
|---|
{
"metricsByAppVersion": [
{
object ( |
| Felder | |
|---|---|
metricsByAppVersion[] |
Nur Ausgabe. Zusammengefasste Messwerte, gruppiert nach App-Versions-ID. |
MetricsByAppVersion
| JSON-Darstellung |
|---|
{ "appVersionId": string, "toolMetrics": [ { object ( |
| Felder | |
|---|---|
appVersionId |
Nur Ausgabe. Die App-Versions-ID. |
toolMetrics[] |
Nur Ausgabe. Messwerte für jedes Tool in dieser App-Version. |
semanticSimilarityMetrics[] |
Nur Ausgabe. Messwerte für die semantische Ähnlichkeit innerhalb dieser App-Version. |
hallucinationMetrics[] |
Nur Ausgabe. Messwerte für Halluzinationen in dieser App-Version. |
toolCallLatencyMetrics[] |
Nur Ausgabe. Messwerte für die Latenz von Toolaufrufen in dieser App-Version. |
turnLatencyMetrics[] |
Nur Ausgabe. Messwerte für die Turn-Latenz in dieser App-Version. |
passCount |
Nur Ausgabe. Die Anzahl der erfolgreichen Bewertungen. |
failCount |
Nur Ausgabe. Die Anzahl der fehlgeschlagenen Bewertungen. |
metricsByTurn[] |
Nur Ausgabe. Messwerte, die pro Runde in dieser App-Version aggregiert werden. |
ToolMetrics
| JSON-Darstellung |
|---|
{ "tool": string, "passCount": integer, "failCount": integer } |
| Felder | |
|---|---|
tool |
Nur Ausgabe. Der Name des Tools. |
passCount |
Nur Ausgabe. Die Anzahl der erfolgreichen Ausführungen des Tools. |
failCount |
Nur Ausgabe. Die Anzahl der Fehler des Tools. |
SemanticSimilarityMetrics
| JSON-Darstellung |
|---|
{ "score": number } |
| Felder | |
|---|---|
score |
Nur Ausgabe. Der durchschnittliche semantische Ähnlichkeitswert (0–4). |
HallucinationMetrics
| JSON-Darstellung |
|---|
{ "score": number } |
| Felder | |
|---|---|
score |
Nur Ausgabe. Der durchschnittliche Halluzinationswert (0 bis 1). |
ToolCallLatencyMetrics
| JSON-Darstellung |
|---|
{ "tool": string, "averageLatency": string } |
| Felder | |
|---|---|
tool |
Nur Ausgabe. Der Name des Tools. |
averageLatency |
Nur Ausgabe. Die durchschnittliche Latenz der Toolaufrufe. Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „ |
TurnLatencyMetrics
| JSON-Darstellung |
|---|
{ "averageLatency": string } |
| Felder | |
|---|---|
averageLatency |
Nur Ausgabe. Die durchschnittliche Latenz der Runden. Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „ |
MetricsByTurn
| JSON-Darstellung |
|---|
{ "turnIndex": integer, "toolMetrics": [ { object ( |
| Felder | |
|---|---|
turnIndex |
Nur Ausgabe. Der Turn-Index (nullbasiert). |
toolMetrics[] |
Nur Ausgabe. Messwerte für jedes Tool in dieser Runde. |
semanticSimilarityMetrics[] |
Nur Ausgabe. Messwerte für die semantische Ähnlichkeit innerhalb dieser Runde. |
hallucinationMetrics[] |
Nur Ausgabe. Messwerte für Halluzinationen in dieser Runde. |
toolCallLatencyMetrics[] |
Nur Ausgabe. Messwerte für die Latenz von Toolaufrufen in dieser Runde. |
turnLatencyMetrics[] |
Nur Ausgabe. Messwerte für die Turn-Latenz innerhalb dieses Turns. |
EvaluationResult
| JSON-Darstellung |
|---|
{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum ( |
| Felder | |
|---|---|
name |
ID. Die eindeutige Kennung des Bewertungsergebnisses. Format: |
displayName |
Erforderlich. Anzeigename des Bewertungsergebnisses. Eindeutig innerhalb einer Bewertung. Standardmäßig hat sie das folgende Format: „ |
createTime |
Nur Ausgabe. Zeitstempel für die Erstellung des Bewertungsergebnisses. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: |
evaluationStatus |
Nur Ausgabe. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn „execution_state“ den Wert COMPLETE hat. |
evaluationRun |
Nur Ausgabe. Der Bewertungsdurchlauf, der dieses Ergebnis erzeugt hat. Format: |
persona |
Nur Ausgabe. Die Persona, die zum Generieren der Unterhaltung für das Bewertungsergebnis verwendet wurde. |
errorInfo |
Nur Ausgabe. Fehlerinformationen für das Bewertungsergebnis. |
error |
Nur Ausgabe. Nicht mehr unterstützt: Verwenden Sie stattdessen |
initiatedBy |
Nur Ausgabe. Der Nutzer, der den Bewertungsdurchlauf initiiert hat, der zu diesem Ergebnis geführt hat. |
appVersion |
Nur Ausgabe. Die App-Version, die zum Generieren der Unterhaltung verwendet wurde, die zu diesem Ergebnis geführt hat. Format: |
appVersionDisplayName |
Nur Ausgabe. Der Anzeigename der |
changelog |
Nur Ausgabe. Das Änderungsprotokoll der App-Version, für die die Bewertung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer die Bewertung für die neueste Version oder den Entwurf ausführt. |
changelogCreateTime |
Nur Ausgabe. Der Erstellungszeitpunkt des Änderungsprotokolls der App-Version, für die die Bewertung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer die Bewertung für die neueste Version oder den Entwurf ausführt. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: |
executionState |
Nur Ausgabe. Der Status der Ausführung des Bewertungsergebnisses. |
evaluationMetricsThresholds |
Nur Ausgabe. Die Bewertungsschwellenwerte für das Ergebnis. |
config |
Nur Ausgabe. Die Konfiguration, die im Bewertungsdurchlauf verwendet wurde, der zu diesem Ergebnis geführt hat. |
goldenRunMethod |
Nur Ausgabe. Die Methode, mit der die Golden-Evaluation ausgeführt wird. |
rootSpan |
Nur Ausgabe. Der Root-Span der Bewertungsausführung, der Informationen zu jedem Schritt der Bewertung enthält. |
outcomeMetadata |
Nur Ausgabe. Die Ergebnismetadaten der Bewertung. Wird nur ausgefüllt, wenn „execution_state“ den Wert COMPLETE hat. |
Union-Feld result. Das Ergebnis der Bewertung. Wird nur ausgefüllt, wenn der „execution_state“ COMPLETED ist. Für result ist nur einer der folgenden Werte zulässig: |
|
goldenResult |
Nur Ausgabe. Das Ergebnis einer Golden-Bewertung. |
scenarioResult |
Nur Ausgabe. Das Ergebnis einer Szenariobewertung. |
GoldenResult
| JSON-Darstellung |
|---|
{ "turnReplayResults": [ { object ( |
| Felder | |
|---|---|
turnReplayResults[] |
Nur Ausgabe. Das Ergebnis der Ausführung jeder Runde der Golden Conversation. |
evaluationExpectationResults[] |
Nur Ausgabe. Die Ergebnisse der Bewertungserwartungen. |
TurnReplayResult
| JSON-Darstellung |
|---|
{ "conversation": string, "expectationOutcome": [ { object ( |
| Felder | |
|---|---|
conversation |
Nur Ausgabe. Die Unterhaltung, die für diesen Turn generiert wurde. |
expectationOutcome[] |
Nur Ausgabe. Das Ergebnis jeder Erwartung. |
hallucinationResult |
Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung. |
toolInvocationScore |
Nur Ausgabe. Verworfen Verwenden Sie stattdessen OverallToolInvocationResult. |
turnLatency |
Nur Ausgabe. Dauer des Abbiegevorgangs. Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „ |
toolCallLatencies[] |
Nur Ausgabe. Die Latenz jedes Toolaufrufs in der Runde. |
semanticSimilarityResult |
Nur Ausgabe. Das Ergebnis der Prüfung auf semantische Ähnlichkeit. |
overallToolInvocationResult |
Nur Ausgabe. Das Ergebnis der allgemeinen Prüfung des Tool-Aufrufs. |
errorInfo |
Nur Ausgabe. Informationen zum Fehler, der während dieser Runde aufgetreten ist. |
spanLatencies[] |
Nur Ausgabe. Die Latenz der Spans in der Runde. |
Union-Feld Für |
|
toolOrderedInvocationScore |
Nur Ausgabe. Die Gesamtbewertung für die Toolaufrufe in dieser Runde. Dies gibt den Gesamtprozentsatz der Tools aus der erwarteten Runde an, die tatsächlich in der erwarteten Reihenfolge aufgerufen wurden. |
GoldenExpectationOutcome
| JSON-Darstellung |
|---|
{ "expectation": { object ( |
| Felder | |
|---|---|
expectation |
Nur Ausgabe. Die Erwartung, die ausgewertet wurde. |
outcome |
Nur Ausgabe. Das Ergebnis der Erwartung. |
semanticSimilarityResult |
Nur Ausgabe. Das Ergebnis der Prüfung auf semantische Ähnlichkeit. |
toolInvocationResult |
Nur Ausgabe. Das Ergebnis der Prüfung des Tool-Aufrufs. |
Union-Feld result. Das Ergebnis der Erwartung. Für result ist nur einer der folgenden Werte zulässig: |
|
observedToolCall |
Nur Ausgabe. Das Ergebnis der Erwartung für den Toolaufruf. |
observedToolResponse |
Nur Ausgabe. Das Ergebnis der Erwartung an die Toolantwort. |
observedAgentResponse |
Nur Ausgabe. Das Ergebnis der Erwartung an die Antwort des KI-Agenten. |
observedAgentTransfer |
Nur Ausgabe. Das Ergebnis der Erwartung für die Weiterleitung an einen Kundenservicemitarbeiter. |
observedPayload |
Nur Ausgabe. Eine beobachtete benutzerdefinierte Nutzlast. Es gibt keine Erwartungen an benutzerdefinierte Nutzlasten. Diese werden nur für die Berechnung von Messwerten verwendet. Das Ergebnis ist immer SKIPPED. |
SemanticSimilarityResult
| JSON-Darstellung |
|---|
{ "label": string, "explanation": string, "outcome": enum ( |
| Felder | |
|---|---|
label |
Nur Ausgabe. Das mit jedem Wert verknüpfte Label. Punktzahl 4: Vollständig konsistent Punktzahl 3: Größtenteils konsistent Punktzahl 2: Teilweise konsistent (kleinere Auslassungen) Punktzahl 1: Größtenteils inkonsistent (größere Auslassungen) Punktzahl 0: Vollständig inkonsistent/widersprüchlich |
explanation |
Nur Ausgabe. Die Erläuterung des semantischen Ähnlichkeitswerts. |
outcome |
Nur Ausgabe. Das Ergebnis der Prüfung auf semantische Ähnlichkeit. Dies wird durch den Vergleich des Werts mit dem „semantic_similarity_success_threshold“ bestimmt. Wenn die Punktzahl dem Schwellenwert entspricht oder darüber liegt, ist das Ergebnis BESTANDEN. Andernfalls ist das Ergebnis FAIL. |
Union-Feld Für |
|
score |
Nur Ausgabe. Der Wert für die semantische Ähnlichkeit. Kann 0, 1, 2, 3 oder 4 sein. |
ToolInvocationResult
| JSON-Darstellung |
|---|
{ "outcome": enum ( |
| Felder | |
|---|---|
outcome |
Nur Ausgabe. Das Ergebnis der Prüfung des Toolaufrufs. Dies wird durch den Vergleich des parameter_correctness_score mit dem Schwellenwert bestimmt. Wenn die Punktzahl dem Schwellenwert entspricht oder darüber liegt, ist das Ergebnis BESTANDEN. Andernfalls ist das Ergebnis FAIL. |
explanation |
Nur Ausgabe. Eine Freitexterklärung für das Ergebnis des Toolaufrufs. |
Union-Feld Für |
|
parameterCorrectnessScore |
Nur Ausgabe. Der Korrektheitswert für die Parameter des Toolaufrufs. Dies gibt den Prozentsatz der Parameter aus dem erwarteten Toolaufruf an, die auch im tatsächlichen Toolaufruf vorhanden waren. |
HallucinationResult
| JSON-Darstellung |
|---|
{ "label": string, "explanation": string, // Union field |
| Felder | |
|---|---|
label |
Nur Ausgabe. Das mit jedem Wert verknüpfte Label. Score 1: Justified Score 0: Not Justified Score -1: No Claim To Assess |
explanation |
Nur Ausgabe. Die Erklärung für den Halluzinationswert. |
Union-Feld Für |
|
score |
Nur Ausgabe. Der Halluzinationswert. Kann -1, 0, 1 sein. |
ToolCallLatency
| JSON-Darstellung |
|---|
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string } |
| Felder | |
|---|---|
tool |
Nur Ausgabe. Der Name des ausgeführten Tools. Format: |
displayName |
Nur Ausgabe. Der Anzeigename des Tools |
startTime |
Nur Ausgabe. Der Beginn der Ausführung des Toolaufrufs. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: |
endTime |
Nur Ausgabe. Das Ende der Ausführung des Toolaufrufs. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: |
executionLatency |
Nur Ausgabe. Die Latenz der Ausführung des Toolaufrufs. Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „ |
OverallToolInvocationResult
| JSON-Darstellung |
|---|
{ "outcome": enum ( |
| Felder | |
|---|---|
outcome |
Nur Ausgabe. Das Ergebnis der Prüfung des Toolaufrufs. Dies wird durch den Vergleich von „tool_invocation_score“ mit „overall_tool_invocation_correctness_threshold“ bestimmt. Wenn die Punktzahl dem Schwellenwert entspricht oder darüber liegt, ist das Ergebnis BESTANDEN. Andernfalls ist das Ergebnis FAIL. |
Union-Feld Für |
|
toolInvocationScore |
Die Gesamtpunktzahl für den Toolaufruf in dieser Runde. Dies gibt den Gesamtprozentsatz der Tools aus der erwarteten Runde an, die tatsächlich aufgerufen wurden. |
EvaluationErrorInfo
| JSON-Darstellung |
|---|
{
"errorType": enum ( |
| Felder | |
|---|---|
errorType |
Nur Ausgabe. Die Art des Fehlers. |
errorMessage |
Nur Ausgabe. Die Fehlermeldung. |
sessionId |
Nur Ausgabe. Die Sitzungs-ID für die Unterhaltung, die den Fehler verursacht hat. |
userFacingErrorMessage |
Nur Ausgabe. Die an den Nutzer gerichtete Fehlermeldung. |
SpanLatency
| JSON-Darstellung |
|---|
{ "type": enum ( |
| Felder | |
|---|---|
type |
Nur Ausgabe. Der Typ des Spans. |
displayName |
Nur Ausgabe. Der Anzeigename des Spans. Gilt für Tool- und Schutzmaßnahmen-Spans. |
startTime |
Nur Ausgabe. Der Beginn des Zeitraums. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: |
endTime |
Nur Ausgabe. Das Ende des Zeitraums. Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: |
executionLatency |
Nur Ausgabe. Die Latenz des Spans. Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „ |
Union-Feld identifier. Die Kennung des jeweiligen Elements basierend auf seinem Typ. Für identifier ist nur einer der folgenden Werte zulässig: |
|
resource |
Nur Ausgabe. Der Ressourcenname der Guardrail- oder Tool-Spans. |
toolset |
Nur Ausgabe. Die Tool-ID des Toolsets. |
model |
Nur Ausgabe. Der Name des LLM-Spans. |
callback |
Nur Ausgabe. Der Name des Nutzer-Callback-Spans. |
EvaluationExpectationResult
| JSON-Darstellung |
|---|
{
"evaluationExpectation": string,
"prompt": string,
"outcome": enum ( |
| Felder | |
|---|---|
evaluationExpectation |
Nur Ausgabe. Die Erwartung an die Bewertung. Format: |
prompt |
Nur Ausgabe. Der Prompt, der für die Bewertung verwendet wurde. |
outcome |
Nur Ausgabe. Das Ergebnis der Bewertungserwartung. |
explanation |
Nur Ausgabe. Die Erklärung für das Ergebnis. |
ScenarioResult
| JSON-Darstellung |
|---|
{ "conversation": string, "task": string, "userFacts": [ { object ( |
| Felder | |
|---|---|
conversation |
Nur Ausgabe. Die Unterhaltung, die im Szenario generiert wurde. |
task |
Nur Ausgabe. Die Aufgabe, die beim Ausführen des Szenarios für dieses Ergebnis verwendet wurde. |
userFacts[] |
Nur Ausgabe. Die Nutzerfakten, die vom Szenario für dieses Ergebnis verwendet wurden. |
expectationOutcomes[] |
Nur Ausgabe. Das Ergebnis jeder Erwartung. |
rubricOutcomes[] |
Nur Ausgabe. Das Ergebnis der Bewertung. |
hallucinationResult[] |
Nur Ausgabe. Das Ergebnis der Halluzinationsprüfung. Für jede Runde in der Unterhaltung wird ein Halluzinationsergebnis angezeigt. |
taskCompletionResult |
Nur Ausgabe. Das Ergebnis der Prüfung, ob die Aufgabe abgeschlossen ist. |
toolCallLatencies[] |
Nur Ausgabe. Die Latenz der einzelnen Toolaufrufe in der Unterhaltung. |
userGoalSatisfactionResult |
Nur Ausgabe. Das Ergebnis der Überprüfung der Zielerreichung des Nutzers. |
spanLatencies[] |
Nur Ausgabe. Die Latenz der Spans in der Unterhaltung. |
evaluationExpectationResults[] |
Nur Ausgabe. Die Ergebnisse der Bewertungserwartungen. |
milestoneResults[] |
Nur Ausgabe. Die Ergebnisse der einzelnen Meilensteine im Szenario. |
Union-Feld Für |
|
allExpectationsSatisfied |
Nur Ausgabe. Ob alle Erwartungen für diese Runde erfüllt wurden. |
Union-Feld Für |
|
taskCompleted |
Nur Ausgabe. Gibt an, ob die Aufgabe für diesen Turn abgeschlossen wurde. Dies ist eine Kombination aus allen erfüllten Erwartungen, keinen Halluzinationen und der Erfüllung der Nutzerziele. |
ScenarioExpectationOutcome
| JSON-Darstellung |
|---|
{ "expectation": { object ( |
| Felder | |
|---|---|
expectation |
Nur Ausgabe. Die Erwartung, die ausgewertet wurde. |
outcome |
Nur Ausgabe. Das Ergebnis der ScenarioExpectation. |
Union-Feld result. Das Ergebnis der Erwartung. Für result ist nur einer der folgenden Werte zulässig: |
|
observedToolCall |
Nur Ausgabe. Der beobachtete Toolaufruf. |
observedAgentResponse |
Nur Ausgabe. Die beobachtete Antwort des KI-Agenten. |
ObservedToolCall
| JSON-Darstellung |
|---|
{ "toolCall": { object ( |
| Felder | |
|---|---|
toolCall |
Nur Ausgabe. Der beobachtete Toolaufruf. |
toolResponse |
Nur Ausgabe. Die beobachtete Toolantwort. |
ScenarioRubricOutcome
| JSON-Darstellung |
|---|
{ "rubric": string, "scoreExplanation": string, // Union field |
| Felder | |
|---|---|
rubric |
Nur Ausgabe. Das Bewertungsschema, das zur Bewertung der Unterhaltung verwendet wurde. |
scoreExplanation |
Nur Ausgabe. Die Antwort des Bewerters auf das Bewertungsschema. |
Union-Feld Für |
|
score |
Nur Ausgabe. Die Bewertung der Unterhaltung anhand der Rubrik. |
TaskCompletionResult
| JSON-Darstellung |
|---|
{ "label": string, "explanation": string, // Union field |
| Felder | |
|---|---|
label |
Nur Ausgabe. Das mit jedem Wert verknüpfte Label. Score 1: Task Completed Score 0: Task Not Completed Score -1: User Goal Undefined |
explanation |
Nur Ausgabe. Die Erklärung für die Bewertung des Aufgabenabschlusses. |
Union-Feld Für |
|
score |
Nur Ausgabe. Die Punktzahl für die Aufgabenerledigung. Kann -1, 0, 1 sein |
UserGoalSatisfactionResult
| JSON-Darstellung |
|---|
{ "label": string, "explanation": string, // Union field |
| Felder | |
|---|---|
label |
Nur Ausgabe. Das mit jedem Wert verknüpfte Label. Punktzahl 2: Reibungslose Übergabe, Punktzahl 1: Nutzeraufgabe erfüllt, Punktzahl 0: Nutzeraufgabe nicht erfüllt, Punktzahl -1: Nutzeraufgabe nicht angegeben |
explanation |
Nur Ausgabe. Die Erklärung für den Wert der Zufriedenheit mit der Nutzeraufgabe. |
Union-Feld Für |
|
score |
Nur Ausgabe. Der Wert für die Zufriedenheit der Nutzer mit der Aufgabe. Kann -1, 0, 1, 2 sein. |
MilestoneResult
| JSON-Darstellung |
|---|
{ "milestone": { object ( |
| Felder | |
|---|---|
milestone |
Nur Ausgabe. Der Meilenstein, der verfolgt wird. |
status |
Nur Ausgabe. Der aktuelle Status des Meilensteins. |
justification |
Nur Ausgabe. Die Begründung für den aktuellen Status. |
EvaluationPersona
| JSON-Darstellung |
|---|
{
"name": string,
"description": string,
"displayName": string,
"personality": string,
"speechConfig": {
object ( |
| Felder | |
|---|---|
name |
Erforderlich. Die eindeutige Kennung der Persona. Format: |
description |
Optional. Die Beschreibung der Persona. |
displayName |
Erforderlich. Der Anzeigename der Persona. Er kommt innerhalb einer App nur einmal vor. |
personality |
Erforderlich. Eine Anweisung für den KI-Agenten, wie er sich bei der Bewertung verhalten soll. |
speechConfig |
Optional. Konfiguration für den Klang der Persona (TTS-Einstellungen). |
SpeechConfig
| JSON-Darstellung |
|---|
{
"speakingRate": number,
"environment": enum ( |
| Felder | |
|---|---|
speakingRate |
Optional. Die Sprechgeschwindigkeit. 1,0 ist normal. Niedrigere Werte sind langsamer (z. B. 0,8), höhere Werte sind schneller (z. B. 1,5). Nützlich, um zu testen, wie der KI-Agent mit schnell sprechenden Personen umgeht. |
environment |
Optional. Die simulierte Audioumgebung. |
voiceId |
Optional. Die spezifische Sprachkennung/der spezifische Akzent, die bzw. der verwendet werden soll. Beispiel: „en-US-Wavenet-D“ oder „en-GB-Standard-A“ |
Status
| JSON-Darstellung |
|---|
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] } |
| Felder | |
|---|---|
code |
Der Statuscode, der idealerweise ein ENUM-Wert von |
message |
Eine an Entwickler gerichtete Fehlermeldung, die englischsprachig sein sollte. Jede für Nutzer sichtbare Fehlermeldung sollte lokalisiert und im Feld |
details[] |
Eine Auflistung aller Meldungen, die die Fehlerdetails enthalten. Es gibt einen gemeinsamen Satz von Nachrichtentypen, die APIs verwenden können. Ein Objekt, das Felder eines beliebigen Typs enthält. Ein zusätzliches Feld |
Beliebig
| JSON-Darstellung |
|---|
{ "typeUrl": string, "value": string } |
| Felder | |
|---|---|
typeUrl |
Identifiziert den Typ der serialisierten Protobuf-Nachricht mit einer URI-Referenz, die aus einem Präfix, das mit einem Schrägstrich endet, und dem voll qualifizierten Typnamen besteht. Beispiel: type.googleapis.com/google.protobuf.StringValue Dieser String muss mindestens ein Das Präfix ist beliebig und Protobuf-Implementierungen entfernen einfach alles bis einschließlich des letzten Alle Typ-URL-Strings müssen gültige URI-Referenzen sein. Für das Textformat gilt die zusätzliche Einschränkung, dass der Inhalt der Referenz nur aus alphanumerischen Zeichen, prozentcodierten Escapes und Zeichen aus dem folgenden Satz (ohne die äußeren Backticks) bestehen darf: Im ursprünglichen Design von |
value |
Enthält eine Protobuf-Serialisierung des Typs, der durch „type_url“ beschrieben wird. Ein base64-codierter String. |
EvaluationMetricsThresholds
| JSON-Darstellung |
|---|
{ "goldenEvaluationMetricsThresholds": { object ( |
| Felder | |
|---|---|
goldenEvaluationMetricsThresholds |
Optional. Die Schwellenwerte für die Golden-Bewertungsmesswerte. |
hallucinationMetricBehavior |
Optional. Nicht mehr unterstützt: Verwenden Sie stattdessen |
goldenHallucinationMetricBehavior |
Optional. Das Verhalten des Halluzinationsmesswerts für Golden-Evaluierungen. |
scenarioHallucinationMetricBehavior |
Optional. Das Verhalten des Halluzinationsmesswerts für Szenariobewertungen. |
GoldenEvaluationMetricsThresholds
| JSON-Darstellung |
|---|
{ "turnLevelMetricsThresholds": { object ( |
| Felder | |
|---|---|
turnLevelMetricsThresholds |
Optional. Die Schwellenwerte für die Messwerte auf Turn-Ebene. |
expectationLevelMetricsThresholds |
Optional. Die Messwertgrenzwerte auf Erwartungsebene. |
toolMatchingSettings |
Optional. Die Einstellungen für den Toolabgleich. Ein zusätzlicher Toolaufruf ist ein Toolaufruf, der in der Ausführung vorhanden ist, aber mit keinem Toolaufruf in der Golden Expectation übereinstimmt. |
ToolMatchingSettings
| JSON-Darstellung |
|---|
{
"extraToolCallBehavior": enum ( |
| Felder | |
|---|---|
extraToolCallBehavior |
Optional. Verhalten bei zusätzlichen Toolaufrufen. Die Standardeinstellung ist FAIL. |
EvaluationConfig
| JSON-Darstellung |
|---|
{ "inputAudioConfig": { object ( |
| Felder | |
|---|---|
inputAudioConfig |
Optional. Konfiguration für die Verarbeitung des Eingabeaudios. |
outputAudioConfig |
Optional. Konfiguration zum Generieren des Ausgabeaudios. |
evaluationChannel |
Optional. Der zu bewertende Kanal. |
toolCallBehaviour |
Optional. Gibt an, ob für die Bewertung echte Toolaufrufe oder gefälschte Tools verwendet werden sollen. |
InputAudioConfig
| JSON-Darstellung |
|---|
{
"audioEncoding": enum ( |
| Felder | |
|---|---|
audioEncoding |
Erforderlich. Die Codierung der Eingangsaudiodaten. |
sampleRateHertz |
Erforderlich. Die Abtastrate (in Hertz) der Eingangsaudiodaten. |
noiseSuppressionLevel |
Optional. Gibt an, ob die Geräuschunterdrückung für die Audioeingabe aktiviert werden soll. Mögliche Werte sind „low“, „moderate“, „high“ und „very_high“. |
OutputAudioConfig
| JSON-Darstellung |
|---|
{
"audioEncoding": enum ( |
| Felder | |
|---|---|
audioEncoding |
Erforderlich. Die Codierung der Audioausgabedaten. |
sampleRateHertz |
Erforderlich. Die Abtastrate (in Hertz) der Ausgabeaudiodaten. |
EvaluationMetricsConfig
| JSON-Darstellung |
|---|
{ "goldenMetricsConfig": { object ( |
| Felder | |
|---|---|
goldenMetricsConfig |
Optional. Konfiguration für die Golden Metrics für die Bewertung. |
scenarioMetricsConfig |
Optional. Konfiguration für die Szenariomesswerte für die Bewertung. |
GoldenMetricsConfig
| JSON-Darstellung |
|---|
{ "semanticSimilarityMetricsConfig": { object ( |
| Felder | |
|---|---|
semanticSimilarityMetricsConfig |
Optional. Globale Konfiguration für Messwerte zur semantischen Ähnlichkeit. |
toolCorrectnessMetricsConfig |
Optional. Konfiguration für Messwerte zur Korrektheit von Tools auf Turn-Ebene. |
stepToolCorrectnessMetricsConfig |
Optional. Konfiguration für Messwerte zur Korrektheit von Tools auf Schrittebene. |
ToolCorrectnessMetricsConfig
| JSON-Darstellung |
|---|
{ "enableToolCorrectnessMetrics": boolean } |
| Felder | |
|---|---|
enableToolCorrectnessMetrics |
Optional. Gibt an, ob Messwerte für die Tool-Korrektheit für die Bewertung berechnet werden sollen. |
ScenarioMetricsConfig
| JSON-Darstellung |
|---|
{ "userGoalMetMetricsConfig": { object ( |
| Felder | |
|---|---|
userGoalMetMetricsConfig |
Optional. Konfiguration für Messwerte zu erreichten Nutzerzielen. |
expectationsMetMetricsConfig |
Optional. Konfiguration für Messwerte auf Erwartungsebene. |
UserGoalMetMetricsConfig
| JSON-Darstellung |
|---|
{ "enableUserGoalMetMetrics": boolean } |
| Felder | |
|---|---|
enableUserGoalMetMetrics |
Optional. Gibt an, ob die Messwerte für die Erfüllung des Nutzerziels für die Bewertung berechnet werden sollen. |
ExpectationsMetMetricsConfig
| JSON-Darstellung |
|---|
{ "enableExpectationsMetMetrics": boolean } |
| Felder | |
|---|---|
enableExpectationsMetMetrics |
Optional. Gibt an, ob die Messwerte für die Erwartungsebene für die Bewertung berechnet werden sollen. |
NullValue
Stellt ein JSON-null dar.
NullValue ist ein Sentinel, der ein Enum mit nur einem Wert verwendet, um den Nullwert für die Typunion Value darzustellen.
Ein Feld vom Typ NullValue mit einem anderen Wert als 0 wird als ungültig betrachtet. Die meisten ProtoJSON-Serialisierer geben unabhängig vom Ganzzahlwert einen Value mit einem null_value aus, der als JSON-null festgelegt ist, und runden ihn auf einen 0-Wert.
| Enums | |
|---|---|
NULL_VALUE |
Nullwert. |
RecordingControl
Die Entscheidung der App kann aufgezeichnet und protokolliert werden.
Dieses Enum ist erweiterbar. In Zukunft können neue Werte hinzugefügt werden.
| Enums | |
|---|---|
RECORDING_CONTROL_UNSPECIFIED |
Die App steuert die Aufnahme nicht. Die Logging-Einstellungen der App entscheiden, wie bei jeder Sitzung, in der dieses Feld nicht festgelegt wird. |
RECORDING_ENABLED |
Die Unterhaltung kann ab jetzt aufgezeichnet und protokolliert werden. |
RECORDING_DISABLED |
Die Unterhaltung wird ab jetzt möglicherweise nicht mehr aufgezeichnet oder protokolliert. |
ComparisonType
Unterstützte Vergleichstypen zum Prüfen der Antwort des KI-Agenten.
| Enums | |
|---|---|
COMPARISON_TYPE_UNSPECIFIED |
Nicht angegebener Vergleichstyp. Das Standardverhalten ist SEMANTIC_SIMILARITY für Agent-Antworten und Toolaufrufe. |
EQUALS |
Exakte Übereinstimmung des Strings. |
CONTAINS |
Teilstring-Übereinstimmung (prüft, ob der erwartete String in der tatsächlichen Antwort enthalten ist). |
SEMANTIC_SIMILARITY |
Übereinstimmung bei semantischer Ähnlichkeit (bewertet die Ähnlichkeit der Bedeutung mithilfe eines LLM) |
SemanticSimilarityChannel
Kanal für semantische Ähnlichkeit, der verwendet werden soll.
| Enums | |
|---|---|
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED |
Messwert nicht angegeben. Die Standardeinstellung ist TEXT. |
TEXT |
Semantische Textähnlichkeit verwenden. |
AUDIO |
Semantische Ähnlichkeit von Audioinhalten verwenden. |
HallucinationMetricBehavior
Das Verhalten des Halluzinationsmesswerts. Unabhängig vom Verhalten wird der Messwert immer berechnet. Der Unterschied besteht darin, dass der Messwert bei Deaktivierung nicht zur Berechnung des Gesamtbewertungsergebnisses verwendet wird.
| Enums | |
|---|---|
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED |
Nicht angegebenes Verhalten des Halluzinationsmesswerts. |
DISABLED |
Halluzinationsmesswert deaktivieren. |
ENABLED |
Halluzinationsmesswert aktivieren. |
TaskCompletionBehavior
Das erwartete Verhalten der Nutzeraufgabe. Anhand dieser wird bestimmt, ob das Szenario erfolgreich ist.
| Enums | |
|---|---|
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED |
Verhalten nicht angegeben. Die Standardeinstellung ist TASK_SATISFIED. |
TASK_SATISFIED |
Die Nutzeraufgabe sollte erfolgreich abgeschlossen werden. |
TASK_REJECTED |
Die Nutzeraufgabe sollte abgelehnt werden. |
UserGoalBehavior
Das erwartete Verhalten des Nutzerziels. Anhand dieser wird bestimmt, ob das Szenario erfolgreich ist.
| Enums | |
|---|---|
USER_GOAL_BEHAVIOR_UNSPECIFIED |
Verhalten nicht angegeben. Die Standardeinstellung ist USER_GOAL_SATISFIED. |
USER_GOAL_SATISFIED |
Das Ziel des Nutzers sollte erfolgreich erreicht werden. |
USER_GOAL_REJECTED |
Das Nutzerziel sollte abgelehnt werden. |
USER_GOAL_IGNORED |
Ignorieren Sie den Status des Nutzerziels. |
ScenarioExecutionMode
Der Ausführungsmodus für Szenariobewertungen.
| Enums | |
|---|---|
SCENARIO_EXECUTION_MODE_UNSPECIFIED |
Nicht angegebener Ausführungsmodus. Die Standardeinstellung ist QUALITY_OPTIMIZED. |
QUALITY_OPTIMIZED |
Qualitätsoptimierter Modus. |
SPEED_OPTIMIZED |
Geschwindigkeitsoptimierter Modus. |
Ergebnis
Das Ergebnis der Bewertung oder Erwartung.
| Enums | |
|---|---|
OUTCOME_UNSPECIFIED |
Das Bewertungsergebnis ist nicht angegeben. |
PASS |
Bewertung/Erwartung erfüllt. Im Fall einer Bewertung bedeutet dies, dass alle Erwartungen erfüllt wurden. |
FAIL |
Bewertung/Erwartung fehlgeschlagen. Im Fall einer Bewertung bedeutet dies, dass mindestens eine Erwartung nicht erfüllt wurde. |
SKIPPED |
Bewertung/Erwartung wurde übersprungen. |
ErrorType
Der Fehlertyp
| Enums | |
|---|---|
ERROR_TYPE_UNSPECIFIED |
Unbekannter Fehlertyp. |
RUNTIME_FAILURE |
Fehler während der Laufzeitausführung. |
CONVERSATION_RETRIEVAL_FAILURE |
Unterhaltung konnte nicht aus der CES-Laufzeit abgerufen werden. |
METRIC_CALCULATION_FAILURE |
Ein Messwert oder Ergebnis konnte nicht berechnet werden. |
EVALUATION_UPDATE_FAILURE |
Die Bewertung konnte nicht aktualisiert werden. |
QUOTA_EXHAUSTED |
Kontingent aufgebraucht. |
USER_SIMULATION_FAILURE |
Fehler bei der Nutzersimulation. |
Typ
Der Typ des Spans. In Zukunft werden möglicherweise weitere Werte hinzugefügt.
| Enums | |
|---|---|
TYPE_UNSPECIFIED |
Standardwert. Dieser Wert wird nicht verwendet. |
TOOL |
Span für Toolaufruf. |
USER_CALLBACK |
Nutzer-Callback-Spanne. |
GUARDRAIL |
Schutzmaßnahmenbereich. |
LLM |
LLM-Span. |
MilestoneStatus
Der Status des Meilensteins.
| Enums | |
|---|---|
MILESTONE_STATUS_UNSPECIFIED |
Nicht angegebener Status |
NOT_STARTED |
Der Meilenstein hat noch nicht begonnen. |
IN_PROGRESS |
Der Meilenstein wird gerade bearbeitet. |
COMPLETED |
Der Meilenstein wurde erfolgreich abgeschlossen. |
BackgroundEnvironment
Simulierte Audioumgebung.
| Enums | |
|---|---|
BACKGROUND_ENVIRONMENT_UNSPECIFIED |
Hintergrundumgebung nicht angegeben. |
CALL_CENTER |
Callcenter-Umgebung |
TRAFFIC |
Umgebung mit Verkehrslärm. |
KIDS_NOISE |
Geräuschumgebung für Kinder. |
CAFE |
Café-Umgebung. |
ExecutionState
Der Status der Ausführung des Bewertungsergebnisses.
| Enums | |
|---|---|
EXECUTION_STATE_UNSPECIFIED |
Der Ausführungsstatus des Bewertungsergebnisses ist nicht angegeben. |
QUEUED |
Die Ausführung des Bewertungsergebnisses befindet sich in der Warteschlange. |
RUNNING |
Die Ausführung des Bewertungsergebnisses läuft. |
COMPLETED |
Die Ausführung des Bewertungsergebnisses ist abgeschlossen. |
ERROR |
Die Ausführung des Bewertungsergebnisses ist aufgrund eines internen Fehlers fehlgeschlagen. |
CANCELLED |
Die Ausführung des Bewertungsergebnisses wurde abgebrochen. |
ExtraToolCallBehavior
Definiert das Verhalten, wenn ein zusätzlicher Toolaufruf erkannt wird. Ein zusätzlicher Toolaufruf ist ein Toolaufruf, der in der Ausführung vorhanden ist, aber mit keinem Toolaufruf in der Golden Expectation übereinstimmt.
| Enums | |
|---|---|
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED |
Nicht angegebenes Verhalten. Die Standardeinstellung ist FAIL. |
FAIL |
Die Bewertung schlägt fehl, wenn ein zusätzlicher Toolaufruf erkannt wird. |
ALLOW |
Lassen Sie den zusätzlichen Toolaufruf zu. |
AudioEncoding
„AudioEncoding“ gibt das Codierungsformat für Audiodaten an.
| Enums | |
|---|---|
AUDIO_ENCODING_UNSPECIFIED |
Nicht angegebene Audiocodierung. |
LINEAR16 |
16-Bit-Codierung mit linearer PCM |
MULAW |
8-Bit-Samples zur Kompandierung von 14-Bit-Audiosamples mit G.711 PCMU/mu-law. |
ALAW |
8-Bit-Samples, die 14-Bit-Audio-Samples mit G.711 PCMU/A-law kompandieren. |
EvaluationChannel
Der zu bewertende Kanal.
| Enums | |
|---|---|
EVALUATION_CHANNEL_UNSPECIFIED |
Nicht angegebener Bewertungskanal. |
TEXT |
Bewertungskanal nur für Text. |
AUDIO |
Kanal für die Audiobewertung. |
EvaluationToolCallBehaviour
Konfiguriert das Verhalten von Toolaufrufen für Bewertungsausführungen.
| Enums | |
|---|---|
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED |
Nicht angegebenes Verhalten des Toolaufrufs. Standardmäßig werden echte Toolaufrufe verwendet. |
REAL |
Verwenden Sie echte Toolaufrufe. |
FAKE |
Verwenden Sie gefälschte Toolaufrufe. |
GoldenRunMethod
Die Methode, mit der die Bewertung ausgeführt wird.
| Enums | |
|---|---|
GOLDEN_RUN_METHOD_UNSPECIFIED |
Die Ausführungsmethode ist nicht angegeben. |
STABLE |
Führen Sie die Bewertung als stabile Wiedergabe aus, bei der jede Runde eine eindeutige Sitzung ist, in die die vorherigen erwarteten Runden als Kontext eingefügt werden. |
NAIVE |
Führen Sie die Bewertung als naive Wiedergabe aus, wobei die Ausführung eine einzelne Sitzung ohne eingefügten Kontext ist. |
OutcomeMetadata
Metadaten zum Ergebnis der Bewertung.
| Enums | |
|---|---|
OUTCOME_METADATA_UNSPECIFIED |
Nicht angegebene Ergebnismetadaten. |
GRACEFUL_HANDOFF |
Die Auswertung ergab, dass die Anfrage an einen menschlichen Kundenservicemitarbeiter weitergeleitet werden sollte. |
Tool-Annotationen
Tool-Anmerkungen werden an MCP-Clients gesendet, um das grundlegende Risiko eines bestimmten Tools zu beschreiben. Die meisten Clients behandeln diese Hinweise als nicht vertrauenswürdig, sie können jedoch verwendet werden, um zu entscheiden, wann eine Bestätigungsaufforderung an einen Nutzer gesendet werden soll.
Zusätzlich zum Titelstring werden die folgenden booleschen Hinweise definiert:
readOnlyHint: Wenn „true“, ändert das Tool seine Umgebung nicht. Standardeinstellung: false.destructiveHint: Wenn „true“, kann das Tool destruktive Aktionen ausführen. Wenn „false“, kann das Tool nur additive Aktionen ausführen. Standardeinstellung: true.idempotentHint: Wenn „true“, hat das wiederholte Aufrufen des Tools mit denselben Argumenten keine zusätzlichen Auswirkungen auf die Umgebung. Standardeinstellung: false.openWorldHint: Wenn „true“, kann das Tool mit einer „offenen Welt“ externer Entitäten interagieren. Wenn „false“, kann das Tool nur mit internen Entitäten interagieren. Ein Tool für die Websuche wäre beispielsweise frei verfügbar, ein Tool für gemerkte Informationen jedoch nicht.
Destruktiver Hinweis: ❌ | Idempotenter Hinweis: ✅ | Lesezugriff-Hinweis: ✅ | Open-World-Hinweis: ❌