MCP Tools Reference: ces.googleapis.com

Tool: get_evaluation_run

Ruft Details zum angegebenen Ausführung der Auswertung ab.

Im folgenden Beispiel wird gezeigt, wie Sie mit curl das MCP-Tool get_evaluation_run aufrufen.

Curl-Anfrage 
                  
curl --location 'https://ces.[REGION].rep.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "get_evaluation_run",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Eingabeschema

Anfragenachricht für EvaluationService.GetEvaluationRun.

GetEvaluationRunRequest

JSON-Darstellung 
{
  "name": string
}
Felder
name

string

Erforderlich. Der Ressourcenname des abzurufenden Ausführungszeitraums der Bewertung.

Ausgabeschema

Ein Auswertungsdurchlauf umfasst alle Auswertungsergebnisse einer Ausführung.

EvaluationRun

JSON-Darstellung 
{
  "name": string,
  "displayName": string,
  "evaluationResults": [
    string
  ],
  "createTime": string,
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "evaluations": [
    string
  ],
  "evaluationDataset": string,
  "evaluationType": enum (EvaluationType),
  "state": enum (EvaluationRunState),
  "progress": {
    object (Progress)
  },
  "config": {
    object (EvaluationConfig)
  },
  "error": {
    object (Status)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "evaluationRunSummaries": {
    string: {
      object (EvaluationRunSummary)
    },
    ...
  },
  "latencyReport": {
    object (LatencyReport)
  },
  "runCount": integer,
  "personaRunConfigs": [
    {
      object (PersonaRunConfig)
    }
  ],
  "optimizationConfig": {
    object (OptimizationConfig)
  },
  "scheduledEvaluationRun": string,
  "goldenRunMethod": enum (GoldenRunMethod)
}
Felder
name

string

ID. Die eindeutige ID des Testlaufs. Format: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
displayName

string

Optional. Benutzerdefinierter Anzeigename des Bewertungsdurchlaufs. Standard: „ run – “.
evaluationResults[]

string

Nur Ausgabe. Die Bewertungsergebnisse, die Teil dieses Laufs sind. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung des Testlaufs.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
initiatedBy

string

Nur Ausgabe. Der Nutzer, der den Bewertungsdurchlauf initiiert hat.
appVersion

string

Nur Ausgabe. Die zu bewertende App-Version. Format: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Nur Ausgabe. Der Anzeigename von app_version, für die die Auswertung durchgeführt wurde.
changelog

string

Nur Ausgabe. Das Änderungsprotokoll der App-Version, für die die Überprüfung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer eine Auswertung für die aktuelle Version oder den Entwurf ausführt.
changelogCreateTime

string (Timestamp format)

Nur Ausgabe. Die Erstellungszeit des Changelogs der App-Version, für die die Bewertung ausgeführt wurde. Dieses Feld wird ausgefüllt, wenn der Nutzer eine Auswertung für die aktuelle Version oder den Entwurf ausführt.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
evaluations[]

string

Nur Ausgabe. Die Bewertungen, die Teil dieses Laufs sind. Die Liste kann Bewertungen beider Typen enthalten. Dieses Feld und evaluation_dataset schließen sich gegenseitig aus. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
evaluationDataset

string

Nur Ausgabe. Das Bewertungs-Dataset, mit dem dieser Lauf verknüpft ist. Dieses Feld und evaluations schließen sich gegenseitig aus. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
evaluationType

enum (EvaluationType)

Nur Ausgabe. Der Typ der Auswertungen in diesem Lauf.
state

enum (EvaluationRunState)

Nur Ausgabe. Der Status des Bewertungsdurchlaufs.
progress

object (Progress)

Nur Ausgabe. Der Fortschritt des Bewertungsdurchlaufs.
config

object (EvaluationConfig)

Nur Ausgabe. Die im Lauf verwendete Konfiguration.
error
(deprecated)

object (Status)

Nur Ausgabe. Eingestellt: Verwenden Sie stattdessen „error_info“. Bei der Ausführung sind Fehler aufgetreten.
errorInfo

object (EvaluationErrorInfo)

Nur Ausgabe. Fehlerinformationen für die Bewertungsausführung.
evaluationRunSummaries

map (key: string, value: object (EvaluationRunSummary))

Nur Ausgabe. Zuordnung des Bewertungsnamens zu EvaluationRunSummary.

Ein Objekt, das eine Liste von "key": value-Paaren enthält. Beispiel: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
latencyReport

object (LatencyReport)

Nur Ausgabe. Latenzbericht für den Bewertungsdurchlauf.
runCount

integer

Nur Ausgabe. Die Anzahl der Ausführungen der Bewertungen im Lauf.
personaRunConfigs[]

object (PersonaRunConfig)

Nur Ausgabe. Die Konfiguration, die für den Lauf pro Persona verwendet werden soll.
optimizationConfig

object (OptimizationConfig)

Optional. Konfiguration für die Ausführung des Optimierungsschritts nach dem Auswertungsdurchlauf. Wenn nicht festgelegt, wird der Optimierungsschritt nicht ausgeführt.
scheduledEvaluationRun

string

Nur Ausgabe. Der Ressourcenname des geplanten Bewertungslaufs, mit dem dieser Bewertungslauf erstellt wurde. Dieses Feld wird nur festgelegt, wenn der Bewertungsdurchlauf durch einen geplanten Bewertungsdurchlauf erstellt wurde. Format: projects/{project}/locations/{location}/apps/{app}/scheduledEvaluationRuns/{scheduled_evaluation_run}
goldenRunMethod

enum (GoldenRunMethod)

Nur Ausgabe. Die Methode, mit der die Bewertung durchgeführt wurde.

Zeitstempel

JSON-Darstellung 
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Stellt Sekunden der UTC-Zeit seit Unix-Epoche 1970-01-01T00:00:00Z dar. Muss einschließlich zwischen -62135596800 und 253402300799 liegen (entspricht 0001-01-01T00:00:00Z bis 9999-12-31T23:59:59Z).
nanos

integer

Nicht negative Sekundenbruchteile Nanosekunden-Auflösung. Dieses Feld enthält den Nanosekundenanteil der Dauer und ist keine Alternative zu Sekunden. Negative Sekundenwerte mit Bruchteilen müssen weiterhin nicht negative Nano-Werte haben, die zeitlich vorwärts gezählt werden. Muss zwischen 0 und 999.999.999 liegen.

Fortschritt

JSON-Darstellung 
{
  "totalCount": integer,
  "failedCount": integer,
  "errorCount": integer,
  "completedCount": integer,
  "passedCount": integer
}
Felder
totalCount

integer

Nur Ausgabe. Gesamtzahl der Bewertungsergebnisse in diesem Lauf.
failedCount

integer

Nur Ausgabe. Anzahl der abgeschlossenen Bewertungsergebnisse mit dem Ergebnis „FAIL“. (EvaluationResult.execution_state ist COMPLETED und EvaluationResult.evaluation_status ist FAIL).
errorCount

integer

Nur Ausgabe. Anzahl der Auswertungsergebnisse, die nicht ausgeführt werden konnten. (EvaluationResult.execution_state ist ERROR).
completedCount

integer

Nur Ausgabe. Anzahl der Bewertungsdurchläufe, die erfolgreich abgeschlossen wurden. (EvaluationResult.execution_state ist COMPLETED).
passedCount

integer

Nur Ausgabe. Anzahl der abgeschlossenen Bewertungsergebnisse mit dem Ergebnis „BESTANDEN“. (EvaluationResult.execution_state ist COMPLETED und EvaluationResult.evaluation_status ist PASS).

EvaluationConfig

JSON-Darstellung 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Felder
inputAudioConfig
(deprecated)

object (InputAudioConfig)

Optional. Konfiguration für die Verarbeitung des Audioeingangs.
outputAudioConfig
(deprecated)

object (OutputAudioConfig)

Optional. Konfiguration zum Generieren der Audioausgabe.
evaluationChannel

enum (EvaluationChannel)

Optional. Der auszuwertende Channel.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Optional. Gibt an, ob bei der Auswertung echte Tool-Aufrufe oder gefälschte Tools verwendet werden sollen.

InputAudioConfig

JSON-Darstellung 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Felder
audioEncoding

enum (AudioEncoding)

Erforderlich. Die Codierung der Audioeingabedaten.
sampleRateHertz

integer

Erforderlich. Die Abtastrate (in Hertz) der Audioeingabedaten.
noiseSuppressionLevel

string

Optional. Gibt an, ob die Rauschunterdrückung für das eingegebene Audio aktiviert werden soll. Verfügbare Werte sind „low“, „moderate“, „high“ und „very_high“.

OutputAudioConfig

JSON-Darstellung 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Felder
audioEncoding

enum (AudioEncoding)

Erforderlich. Die Codierung der Audioausgabedaten.
sampleRateHertz

integer

Erforderlich. Die Abtastrate (in Hertz) der Ausgabedaten.

Status

JSON-Darstellung 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Felder
code

integer

Der Statuscode, der idealerweise ein ENUM-Wert von google.rpc.Code ist.
message

string

Eine an Entwickler gerichtete Fehlermeldung, die englischsprachig sein sollte. Jede für Nutzer sichtbare Fehlermeldung sollte lokalisiert und im Feld google.rpc.Status.details gesendet werden. Sie kann auch clientseitig lokalisiert werden.
details[]

object

Eine Auflistung aller Meldungen, die die Fehlerdetails enthalten. Es gibt einen gemeinsamen Satz von Nachrichtentypen, die APIs verwenden können.

Ein Objekt, das Felder eines beliebigen Typs enthält. Ein zusätzliches Feld "@type" enthält einen URI zur Identifizierung des Typs. Beispiel: { "id": 1234, "@type": "types.example.com/standard/id" }.

Beliebig

JSON-Darstellung 
{
  "typeUrl": string,
  "value": string
}
Felder
typeUrl

string

Gibt den Typ der serialisierten Protobuf-Nachricht mit einem URI-Verweis an, der aus einem Präfix, das mit einem Schrägstrich endet, und dem vollständig qualifizierten Typnamen besteht.

Beispiel: type.googleapis.com/google.protobuf.StringValue

Dieser String muss mindestens ein /-Zeichen enthalten. Der Inhalt nach dem letzten / muss der vollständig qualifizierte Name des Typs in kanonischer Form ohne führenden Punkt sein. Schreiben Sie kein Schema für diese URI-Referenzen, damit Clients nicht versuchen, sie zu kontaktieren.

Das Präfix ist beliebig und Protobuf-Implementierungen sollen einfach alles bis zum letzten / (einschließlich) entfernen, um den Typ zu ermitteln. type.googleapis.com/ ist ein häufiges Standardpräfix, das für einige ältere Implementierungen erforderlich ist. Dieses Präfix gibt nicht den Ursprung des Typs an und URIs, die es enthalten, werden voraussichtlich nicht auf Anfragen reagieren.

Alle Typ-URL-Strings müssen gültige URI-Referenzen sein. Für das Textformat gilt die zusätzliche Einschränkung, dass der Inhalt der Referenz nur aus alphanumerischen Zeichen, prozentual codierten Escape-Sequenzen und Zeichen aus der folgenden Menge bestehen darf (ohne die äußeren Backticks): /-.~_!$&()*+,;=. Obwohl wir Prozentcodierungen zulassen, sollten Implementierungen sie nicht dekodieren, um Verwechslungen mit vorhandenen Parsern zu vermeiden. Beispiel: type.googleapis.com%2FFoo sollte abgelehnt werden.

Im ursprünglichen Design von Any wurde die Möglichkeit in Betracht gezogen, einen Dienst zur Typauflösung unter diesen Typ-URLs zu starten. Protobuf hat jedoch nie einen solchen Dienst implementiert und betrachtet das Kontaktieren dieser URLs als problematisch und als potenzielles Sicherheitsproblem. Versuchen Sie nicht, URLs vom Typ „Kontakt“ aufzurufen.
value

string (bytes format)

Enthält eine Protobuf-Serialisierung des Typs, der durch „type_url“ beschrieben wird.

Ein base64-codierter String.

EvaluationErrorInfo

JSON-Darstellung 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string
}
Felder
errorType

enum (ErrorType)

Nur Ausgabe. Der Fehlertyp.
errorMessage

string

Nur Ausgabe. Die Fehlermeldung.
sessionId

string

Nur Ausgabe. Die Sitzungs-ID für die Unterhaltung, die den Fehler verursacht hat.

EvaluationRunSummariesEntry

JSON-Darstellung 
{
  "key": string,
  "value": {
    object (EvaluationRunSummary)
  }
}
Felder
key

string
value

object (EvaluationRunSummary)

EvaluationRunSummary

JSON-Darstellung 
{
  "passedCount": integer,
  "failedCount": integer,
  "errorCount": integer
}
Felder
passedCount

integer

Nur Ausgabe. Anzahl der bestandenen Ergebnisse für die zugehörige Bewertung in diesem Lauf.
failedCount

integer

Nur Ausgabe. Anzahl der fehlgeschlagenen Ergebnisse für die zugehörige Bewertung in diesem Lauf.
errorCount

integer

Nur Ausgabe. Anzahl der Fehlerergebnisse für die zugehörige Bewertung in diesem Lauf.

LatencyReport

JSON-Darstellung 
{
  "toolLatencies": [
    {
      object (ToolLatency)
    }
  ],
  "callbackLatencies": [
    {
      object (CallbackLatency)
    }
  ],
  "guardrailLatencies": [
    {
      object (GuardrailLatency)
    }
  ],
  "llmCallLatencies": [
    {
      object (LlmCallLatency)
    }
  ],
  "sessionCount": integer
}
Felder
toolLatencies[]

object (ToolLatency)

Nur Ausgabe. Unsortierte Liste. Latenzmesswerte für jedes Tool.
callbackLatencies[]

object (CallbackLatency)

Nur Ausgabe. Unsortierte Liste. Latenzmesswerte für jeden Callback.
guardrailLatencies[]

object (GuardrailLatency)

Nur Ausgabe. Unsortierte Liste. Latenzmesswerte für jede Schutzvorrichtung.
llmCallLatencies[]

object (LlmCallLatency)

Nur Ausgabe. Unsortierte Liste. Latenzmesswerte für jeden LLM-Aufruf.
sessionCount

integer

Nur Ausgabe. Die Gesamtzahl der Sitzungen, die im Latenzbericht berücksichtigt werden.

ToolLatency

JSON-Darstellung 
{
  "toolDisplayName": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Felder
toolDisplayName

string

Nur Ausgabe. Der Anzeigename des Tools
latencyMetrics

object (LatencyMetrics)

Nur Ausgabe. Die Latenzmesswerte für das Tool.
Union-Feld tool_identifier. Die Kennung des Tools. Für tool_identifier ist nur einer der folgenden Werte zulässig:
tool

string

Nur Ausgabe. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
toolsetTool

object (ToolsetTool)

Nur Ausgabe. Die Tool-ID des Toolsets.

ToolsetTool

JSON-Darstellung 
{
  "toolset": string,
  "toolId": string
}
Felder
toolset

string

Erforderlich. Der Ressourcenname des Toolsets, aus dem dieses Tool abgeleitet wird. Format: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Optional. Die Tool-ID, nach der die Tools gefiltert werden sollen, um das Schema abzurufen.

LatencyMetrics

JSON-Darstellung 
{
  "p50Latency": string,
  "p90Latency": string,
  "p99Latency": string,
  "callCount": integer
}
Felder
p50Latency

string (Duration format)

Nur Ausgabe. Die Latenz des 50. Perzentils.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
p90Latency

string (Duration format)

Nur Ausgabe. Die Latenz für das 90. Perzentil.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
p99Latency

string (Duration format)

Nur Ausgabe. Die Latenz für das 99. Perzentil.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".
callCount

integer

Nur Ausgabe. Gibt an, wie oft die Ressource aufgerufen wurde.

Dauer

JSON-Darstellung 
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Vorzeichenbehaftete Sekunden des Zeitraums. Muss zwischen -315.576.000.000 und +315.576.000.000 (einschließlich) liegen. Hinweis: Diese Grenzen werden so berechnet: 60 Sek./Min. × 60 Min./Std. × 24 Std./Tag × 365,25 Tage/Jahr × 10.000 Jahre
nanos

integer

Signierte Sekundenbruchteile mit Nanosekunden-Auflösung des Zeitraums. Dauern von weniger als einer Sekunde werden mit dem Feld seconds = 0 und einem positiven oder negativen Feld nanos dargestellt. Bei Zeiträumen von einer Sekunde oder mehr muss ein Wert ungleich null für das Feld nanos dasselbe Vorzeichen wie das Feld seconds haben. Muss zwischen -999.999.999 und +999.999.999 liegen (einschließlich).

CallbackLatency

JSON-Darstellung 
{
  "stage": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  }
}
Felder
stage

string

Nur Ausgabe. Die Phase des Rückrufs.
latencyMetrics

object (LatencyMetrics)

Nur Ausgabe. Die Latenzmesswerte für den Callback.

GuardrailLatency

JSON-Darstellung 
{
  "guardrail": string,
  "guardrailDisplayName": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  }
}
Felder
guardrail

string

Nur Ausgabe. Der Name der Richtlinie. Format: projects/{project}/locations/{location}/apps/{app}/guardrails/{guardrail}.
guardrailDisplayName

string

Nur Ausgabe. Der Anzeigename der Richtlinie.
latencyMetrics

object (LatencyMetrics)

Nur Ausgabe. Die Latenzmesswerte für die Schutzvorrichtung.

LlmCallLatency

JSON-Darstellung 
{
  "model": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  }
}
Felder
model

string

Nur Ausgabe. Der Name des Modells.
latencyMetrics

object (LatencyMetrics)

Nur Ausgabe. Die Latenzmesswerte für den LLM-Aufruf.

PersonaRunConfig

JSON-Darstellung 
{
  "persona": string,
  "taskCount": integer
}
Felder
persona

string

Optional. Die Persona, die für die Bewertung verwendet werden soll. Format: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
taskCount

integer

Optional. Die Anzahl der Aufgaben, die für die Persona ausgeführt werden sollen.

OptimizationConfig

JSON-Darstellung 
{
  "generateLossReport": boolean,
  "assistantSession": string,
  "reportSummary": string,
  "shouldSuggestFix": boolean,
  "status": enum (OptimizationStatus),
  "errorMessage": string,
  "lossReport": {
    object
  }
}
Felder
generateLossReport

boolean

Optional. Gibt an, ob ein Verlustbericht generiert werden soll.
assistantSession

string

Nur Ausgabe. Die Assistentensitzung, die für die Optimierung auf Grundlage dieses Testlaufs verwendet werden soll. Format: projects/{project}/locations/{location}/apps/{app}/assistantSessions/{assistantSession}
reportSummary

string

Nur Ausgabe. Die Zusammenfassung des Verlustberichts.
shouldSuggestFix

boolean

Nur Ausgabe. Gibt an, ob eine Korrektur für die Verluste vorgeschlagen werden soll.
status

enum (OptimizationStatus)

Nur Ausgabe. Der Status des Optimierungslaufs.
errorMessage

string

Nur Ausgabe. Die Fehlermeldung, wenn die Optimierung fehlgeschlagen ist.
lossReport

object (Struct format)

Nur Ausgabe. Der generierte Verlustbericht.

Struct

JSON-Darstellung 
{
  "fields": {
    string: value,
    ...
  }
}
Felder
fields

map (key: string, value: value (Value format))

Ungeordnete Zuordnung von dynamisch typisierten Werten.

Ein Objekt, das eine Liste von "key": value-Paaren enthält. Beispiel: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

JSON-Darstellung 
{
  "key": string,
  "value": value
}
Felder
key

string
value

value (Value format)

Wert

JSON-Darstellung 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Felder
Union-Feld kind. Die Art des Werts. Für kind ist nur einer der folgenden Werte zulässig:
nullValue

null

Stellt einen Nullwert dar.
numberValue

number

Stellt einen Double-Wert dar.
stringValue

string

Stellt einen Stringwert dar.
boolValue

boolean

Stellt einen booleschen Wert dar.
structValue

object (Struct format)

Stellt einen strukturierten Wert dar.
listValue

array (ListValue format)

Stellt eine wiederholte Value dar.

ListValue

JSON-Darstellung 
{
  "values": [
    value
  ]
}
Felder
values[]

value (Value format)

Wiederholtes Feld mit dynamisch typisierten Werten.

Tool-Annotationen

Destruktiver Hinweis: ❌ | Idempotenter Hinweis: ✅ | Nur-Lese-Hinweis: ✅ | Open-World-Hinweis: ❌