MCP Tools Reference: ces.googleapis.com

Tool: update_evaluation_dataset

Aktualisiert das angegebene Bewertungs-Dataset. Achten Sie darauf, immer eine Aktualisierungsmaske in der Eingabe zu übergeben.

Im folgenden Beispiel wird gezeigt, wie Sie mit curl das MCP-Tool update_evaluation_dataset aufrufen.

Curl-Anfrage 
                  
curl --location 'https://ces.[REGION].rep.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "update_evaluation_dataset",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Eingabeschema

Anfragenachricht für EvaluationService.UpdateEvaluationDataset.

UpdateEvaluationDatasetRequest

JSON-Darstellung 
{
  "evaluationDataset": {
    object (EvaluationDataset)
  },
  "updateMask": string
}
Felder
evaluationDataset

object (EvaluationDataset)

Erforderlich. Das zu aktualisierende Bewertungs-Dataset.
updateMask

string (FieldMask format)

Optional. Mit der Feldmaske wird gesteuert, welche Felder aktualisiert werden. Wenn die Maske nicht vorhanden ist, werden alle Felder aktualisiert.

Dies ist eine kommagetrennte Liste vollständig qualifizierter Feldnamen. Beispiel: "user.displayName,photo".

EvaluationDataset

JSON-Darstellung 
{
  "name": string,
  "displayName": string,
  "evaluations": [
    string
  ],
  "createTime": string,
  "updateTime": string,
  "etag": string,
  "createdBy": string,
  "lastUpdatedBy": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  }
}
Felder
name

string

ID. Die eindeutige Kennung dieses Auswertungs-Datasets. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
displayName

string

Erforderlich. Benutzerdefinierter Anzeigename des Bewertungs-Datasets. Eindeutig innerhalb einer App.
evaluations[]

string

Optional. Bewertungen, die in diesem Dataset enthalten sind.
createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung des Auswertungs-Datasets.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
updateTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel der letzten Aktualisierung des Auswertungsdatensatzes.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
etag

string

Nur Ausgabe. Etag, das verwendet wird, um sicherzustellen, dass sich das Objekt während eines Read-Modify-Write-Vorgangs nicht geändert hat. Wenn das ETag leer ist, werden alle gleichzeitigen Änderungen durch das Update überschrieben.
createdBy

string

Nur Ausgabe. Der Nutzer, der das Evaluationsdataset erstellt hat.
lastUpdatedBy

string

Nur Ausgabe. Der Nutzer, der das Auswertungs-Dataset zuletzt aktualisiert hat.
aggregatedMetrics

object (AggregatedMetrics)

Nur Ausgabe. Die aggregierten Messwerte für dieses Auswertungs-Dataset über alle Läufe hinweg.

Zeitstempel

JSON-Darstellung 
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Stellt Sekunden der UTC-Zeit seit Unix-Epoche 1970-01-01T00:00:00Z dar. Muss einschließlich zwischen -62135596800 und 253402300799 liegen (entspricht 0001-01-01T00:00:00Z bis 9999-12-31T23:59:59Z).
nanos

integer

Nicht negative Sekundenbruchteile Nanosekunden-Auflösung. Dieses Feld enthält den Nanosekundenanteil der Dauer und ist keine Alternative zu Sekunden. Negative Sekundenwerte mit Bruchteilen müssen weiterhin nicht negative Nano-Werte haben, die zeitlich vorwärts gezählt werden. Muss zwischen 0 und 999.999.999 liegen.

AggregatedMetrics

JSON-Darstellung 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
Felder
metricsByAppVersion[]

object (MetricsByAppVersion)

Nur Ausgabe. Zusammengefasste Messwerte, gruppiert nach App-Versions-ID.

MetricsByAppVersion

JSON-Darstellung 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
Felder
appVersionId

string

Nur Ausgabe. Die App-Versions-ID.
toolMetrics[]

object (ToolMetrics)

Nur Ausgabe. Messwerte für jedes Tool in dieser App-Version.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Nur Ausgabe. Messwerte für die semantische Ähnlichkeit in dieser App-Version.
hallucinationMetrics[]

object (HallucinationMetrics)

Nur Ausgabe. Messwerte für Halluzinationen in dieser App-Version.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Nur Ausgabe. Messwerte für die Latenz von Tool-Aufrufen in dieser App-Version.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Nur Ausgabe. Messwerte für die Zuglatenz in dieser App-Version.
passCount

integer

Nur Ausgabe. Die Anzahl der bestandenen Auswertungen.
failCount

integer

Nur Ausgabe. Die Anzahl der fehlgeschlagenen Auswertungen.
metricsByTurn[]

object (MetricsByTurn)

Nur Ausgabe. Messwerte, die pro Zug in dieser App-Version zusammengefasst werden.

ToolMetrics

JSON-Darstellung 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
Felder
tool

string

Nur Ausgabe. Der Name des Tools.
passCount

integer

Nur Ausgabe. Die Anzahl der bestandenen Tests.
failCount

integer

Nur Ausgabe. Die Anzahl der fehlgeschlagenen Versuche.

SemanticSimilarityMetrics

JSON-Darstellung 
{
  "score": number
}
Felder
score

number

Nur Ausgabe. Der durchschnittliche Wert für die semantische Ähnlichkeit (0–4).

HallucinationMetrics

JSON-Darstellung 
{
  "score": number
}
Felder
score

number

Nur Ausgabe. Der durchschnittliche Halluzinationswert (0 bis 1).

ToolCallLatencyMetrics

JSON-Darstellung 
{
  "tool": string,
  "averageLatency": string
}
Felder
tool

string

Nur Ausgabe. Der Name des Tools.
averageLatency

string (Duration format)

Nur Ausgabe. Die durchschnittliche Latenz der Tool-Aufrufe.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

Dauer

JSON-Darstellung 
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Vorzeichenbehaftete Sekunden des Zeitraums. Muss zwischen -315.576.000.000 und +315.576.000.000 (einschließlich) liegen. Hinweis: Diese Grenzen werden so berechnet: 60 Sek./Min. × 60 Min./Std. × 24 Std./Tag × 365,25 Tage/Jahr × 10.000 Jahre
nanos

integer

Signierte Sekundenbruchteile mit Nanosekunden-Auflösung des Zeitraums. Dauern von weniger als einer Sekunde werden mit dem Feld seconds = 0 und einem positiven oder negativen Feld nanos dargestellt. Bei Zeiträumen von einer Sekunde oder mehr muss ein Wert ungleich null für das Feld nanos dasselbe Vorzeichen wie das Feld seconds haben. Muss zwischen -999.999.999 und +999.999.999 liegen (einschließlich).

TurnLatencyMetrics

JSON-Darstellung 
{
  "averageLatency": string
}
Felder
averageLatency

string (Duration format)

Nur Ausgabe. Die durchschnittliche Latenz der Züge.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

MetricsByTurn

JSON-Darstellung 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
Felder
turnIndex

integer

Nur Ausgabe. Der Zugindex (0-basiert).
toolMetrics[]

object (ToolMetrics)

Nur Ausgabe. Messwerte für jedes Tool in diesem Zug.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Nur Ausgabe. Messwerte für die semantische Ähnlichkeit in diesem Turn.
hallucinationMetrics[]

object (HallucinationMetrics)

Nur Ausgabe. Messwerte für Halluzinationen in diesem Turn.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Nur Ausgabe. Messwerte für die Latenz von Tool-Aufrufen in diesem Zug.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Nur Ausgabe. Messwerte für die Antwortlatenz in diesem Zug.

FieldMask

JSON-Darstellung 
{
  "paths": [
    string
  ]
}
Felder
paths[]

string

Die Menge der Feldmaskenpfade.

Ausgabeschema

Ein Bewertungs-Dataset stellt eine Reihe von Bewertungen dar, die anhand gemeinsamer Tags gruppiert werden.

EvaluationDataset

JSON-Darstellung 
{
  "name": string,
  "displayName": string,
  "evaluations": [
    string
  ],
  "createTime": string,
  "updateTime": string,
  "etag": string,
  "createdBy": string,
  "lastUpdatedBy": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  }
}
Felder
name

string

ID. Die eindeutige Kennung dieses Auswertungs-Datasets. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
displayName

string

Erforderlich. Benutzerdefinierter Anzeigename des Bewertungs-Datasets. Eindeutig innerhalb einer App.
evaluations[]

string

Optional. Bewertungen, die in diesem Dataset enthalten sind.
createTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel für die Erstellung des Auswertungs-Datasets.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
updateTime

string (Timestamp format)

Nur Ausgabe. Zeitstempel der letzten Aktualisierung des Auswertungsdatensatzes.

Verwendet RFC 3339, wobei die generierte Ausgabe immer Z-normalisiert ist und 0, 3, 6 oder 9 Nachkommastellen verwendet. Andere Offsets als „Z“ werden ebenfalls akzeptiert. Beispiele: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" oder "2014-10-02T15:01:23+05:30"
etag

string

Nur Ausgabe. Etag, das verwendet wird, um sicherzustellen, dass sich das Objekt während eines Read-Modify-Write-Vorgangs nicht geändert hat. Wenn das ETag leer ist, werden alle gleichzeitigen Änderungen durch das Update überschrieben.
createdBy

string

Nur Ausgabe. Der Nutzer, der das Evaluationsdataset erstellt hat.
lastUpdatedBy

string

Nur Ausgabe. Der Nutzer, der das Auswertungs-Dataset zuletzt aktualisiert hat.
aggregatedMetrics

object (AggregatedMetrics)

Nur Ausgabe. Die aggregierten Messwerte für dieses Auswertungs-Dataset über alle Läufe hinweg.

Zeitstempel

JSON-Darstellung 
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Stellt Sekunden der UTC-Zeit seit Unix-Epoche 1970-01-01T00:00:00Z dar. Muss einschließlich zwischen -62135596800 und 253402300799 liegen (entspricht 0001-01-01T00:00:00Z bis 9999-12-31T23:59:59Z).
nanos

integer

Nicht negative Sekundenbruchteile Nanosekunden-Auflösung. Dieses Feld enthält den Nanosekundenanteil der Dauer und ist keine Alternative zu Sekunden. Negative Sekundenwerte mit Bruchteilen müssen weiterhin nicht negative Nano-Werte haben, die zeitlich vorwärts gezählt werden. Muss zwischen 0 und 999.999.999 liegen.

AggregatedMetrics

JSON-Darstellung 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
Felder
metricsByAppVersion[]

object (MetricsByAppVersion)

Nur Ausgabe. Zusammengefasste Messwerte, gruppiert nach App-Versions-ID.

MetricsByAppVersion

JSON-Darstellung 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
Felder
appVersionId

string

Nur Ausgabe. Die App-Versions-ID.
toolMetrics[]

object (ToolMetrics)

Nur Ausgabe. Messwerte für jedes Tool in dieser App-Version.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Nur Ausgabe. Messwerte für die semantische Ähnlichkeit in dieser App-Version.
hallucinationMetrics[]

object (HallucinationMetrics)

Nur Ausgabe. Messwerte für Halluzinationen in dieser App-Version.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Nur Ausgabe. Messwerte für die Latenz von Tool-Aufrufen in dieser App-Version.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Nur Ausgabe. Messwerte für die Zuglatenz in dieser App-Version.
passCount

integer

Nur Ausgabe. Die Anzahl der bestandenen Auswertungen.
failCount

integer

Nur Ausgabe. Die Anzahl der fehlgeschlagenen Auswertungen.
metricsByTurn[]

object (MetricsByTurn)

Nur Ausgabe. Messwerte, die pro Zug in dieser App-Version zusammengefasst werden.

ToolMetrics

JSON-Darstellung 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
Felder
tool

string

Nur Ausgabe. Der Name des Tools.
passCount

integer

Nur Ausgabe. Die Anzahl der bestandenen Tests.
failCount

integer

Nur Ausgabe. Die Anzahl der fehlgeschlagenen Versuche.

SemanticSimilarityMetrics

JSON-Darstellung 
{
  "score": number
}
Felder
score

number

Nur Ausgabe. Der durchschnittliche Wert für die semantische Ähnlichkeit (0–4).

HallucinationMetrics

JSON-Darstellung 
{
  "score": number
}
Felder
score

number

Nur Ausgabe. Der durchschnittliche Halluzinationswert (0 bis 1).

ToolCallLatencyMetrics

JSON-Darstellung 
{
  "tool": string,
  "averageLatency": string
}
Felder
tool

string

Nur Ausgabe. Der Name des Tools.
averageLatency

string (Duration format)

Nur Ausgabe. Die durchschnittliche Latenz der Tool-Aufrufe.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

Dauer

JSON-Darstellung 
{
  "seconds": string,
  "nanos": integer
}
Felder
seconds

string (int64 format)

Vorzeichenbehaftete Sekunden des Zeitraums. Muss zwischen -315.576.000.000 und +315.576.000.000 (einschließlich) liegen. Hinweis: Diese Grenzen werden so berechnet: 60 Sek./Min. × 60 Min./Std. × 24 Std./Tag × 365,25 Tage/Jahr × 10.000 Jahre
nanos

integer

Signierte Sekundenbruchteile mit Nanosekunden-Auflösung des Zeitraums. Dauern von weniger als einer Sekunde werden mit dem Feld seconds = 0 und einem positiven oder negativen Feld nanos dargestellt. Bei Zeiträumen von einer Sekunde oder mehr muss ein Wert ungleich null für das Feld nanos dasselbe Vorzeichen wie das Feld seconds haben. Muss zwischen -999.999.999 und +999.999.999 liegen (einschließlich).

TurnLatencyMetrics

JSON-Darstellung 
{
  "averageLatency": string
}
Felder
averageLatency

string (Duration format)

Nur Ausgabe. Die durchschnittliche Latenz der Züge.

Die Dauer in Sekunden mit bis zu neun Nachkommastellen und am Ende mit „s“. Beispiel: "3.5s".

MetricsByTurn

JSON-Darstellung 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
Felder
turnIndex

integer

Nur Ausgabe. Der Zugindex (0-basiert).
toolMetrics[]

object (ToolMetrics)

Nur Ausgabe. Messwerte für jedes Tool in diesem Zug.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Nur Ausgabe. Messwerte für die semantische Ähnlichkeit in diesem Turn.
hallucinationMetrics[]

object (HallucinationMetrics)

Nur Ausgabe. Messwerte für Halluzinationen in diesem Turn.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Nur Ausgabe. Messwerte für die Latenz von Tool-Aufrufen in diesem Zug.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Nur Ausgabe. Messwerte für die Antwortlatenz in diesem Zug.

Tool-Annotationen

Destructive Hint: ❌ | Idempotent Hint: ❌ | Read Only Hint: ❌ | Open World Hint: ❌