MCP Tools Reference: ces.googleapis.com

Outil : get_evaluation_run

Obtient les détails de l'exécution de l'évaluation spécifiée.

L'exemple de code suivant montre comment utiliser curl pour appeler l'outil MCP get_evaluation_run.

Requête Curl 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "get_evaluation_run",
    "arguments": {
      // Provide these details according to the MCP tool specification.
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Schéma d'entrée

Message de requête pour EvaluationService.GetEvaluationRun.

GetEvaluationRunRequest

Représentation JSON 
{
  "name": string
}
Champs
name

string

Obligatoire. Nom de ressource de l'exécution de l'évaluation à récupérer.

Schéma de sortie

Une exécution d'évaluation représente tous les résultats d'une exécution d'évaluation.

EvaluationRun

Représentation JSON 
{
  "name": string,
  "displayName": string,
  "evaluationResults": [
    string
  ],
  "createTime": string,
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "evaluations": [
    string
  ],
  "evaluationDataset": string,
  "evaluationType": enum (EvaluationType),
  "state": enum (EvaluationRunState),
  "progress": {
    object (Progress)
  },
  "config": {
    object (EvaluationConfig)
  },
  "error": {
    object (Status)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "evaluationRunSummaries": {
    string: {
      object (EvaluationRunSummary)
    },
    ...
  },
  "latencyReport": {
    object (LatencyReport)
  },
  "runCount": integer,
  "personaRunConfigs": [
    {
      object (PersonaRunConfig)
    }
  ],
  "optimizationConfig": {
    object (OptimizationConfig)
  },
  "scheduledEvaluationRun": string,
  "goldenRunMethod": enum (GoldenRunMethod),
  "operation": string
}
Champs
name

string

Identifiant. Identifiant unique de l'exécution de l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
displayName

string

Facultatif. Nom à afficher défini par l'utilisateur pour l'exécution de l'évaluation. Par défaut : " run - ".
evaluationResults[]

string

Uniquement en sortie. Résultats de l'évaluation qui font partie de cette exécution. Format : projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
createTime

string (Timestamp format)

Uniquement en sortie. Code temporel de la création de l'exécution d'évaluation.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
initiatedBy

string

Uniquement en sortie. Utilisateur à l'origine de l'exécution de l'évaluation.
appVersion

string

Uniquement en sortie. Version de l'application à évaluer. Format : projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Uniquement en sortie. Nom à afficher du app_version par rapport auquel l'évaluation a été exécutée.
changelog

string

Uniquement en sortie. Journal des modifications de la version de l'application par rapport à laquelle l'évaluation a été exécutée. Cette valeur est renseignée si l'utilisateur exécute une évaluation sur la dernière version ou le brouillon.
changelogCreateTime

string (Timestamp format)

Uniquement en sortie. Heure de création du journal des modifications de la version de l'application sur laquelle l'évaluation a été exécutée. Cette valeur est renseignée si l'utilisateur exécute une évaluation sur la dernière version ou le brouillon.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
evaluations[]

string

Uniquement en sortie. Évaluations qui font partie de cette exécution. La liste peut contenir des évaluations de l'un ou l'autre type. Ce champ s'exclut mutuellement avec evaluation_dataset. Format : projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
evaluationDataset

string

Uniquement en sortie. Ensemble de données d'évaluation auquel cette exécution est associée. Ce champ s'exclut mutuellement avec evaluations. Format : projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
evaluationType

enum (EvaluationType)

Uniquement en sortie. Type des évaluations de cette exécution.
state

enum (EvaluationRunState)

Uniquement en sortie. État de l'exécution de l'évaluation.
progress

object (Progress)

Uniquement en sortie. Progression de l'exécution de l'évaluation.
config

object (EvaluationConfig)

Uniquement en sortie. Configuration utilisée lors de l'exécution.
error
(deprecated)

object (Status)

Uniquement en sortie. Obsolète : utilisez error_info à la place. Erreurs rencontrées lors de l'exécution.
errorInfo

object (EvaluationErrorInfo)

Uniquement en sortie. Informations sur les erreurs d'exécution de l'évaluation.
evaluationRunSummaries

map (key: string, value: object (EvaluationRunSummary))

Uniquement en sortie. Mappage du nom de l'évaluation à EvaluationRunSummary.

Objet contenant une liste de paires "key": value. Exemple : { "name": "wrench", "mass": "1.3kg", "count": "3" }.
latencyReport

object (LatencyReport)

Uniquement en sortie. Rapport sur la latence pour l'exécution de l'évaluation.
runCount

integer

Uniquement en sortie. Nombre de fois où les évaluations de l'exécution ont été effectuées.
personaRunConfigs[]

object (PersonaRunConfig)

Uniquement en sortie. Configuration à utiliser pour l'exécution par persona.
optimizationConfig

object (OptimizationConfig)

Facultatif. Configuration pour exécuter l'étape d'optimisation après l'exécution de l'évaluation. Si elle n'est pas définie, l'étape d'optimisation ne sera pas exécutée.
scheduledEvaluationRun

string

Uniquement en sortie. Nom de ressource de l'exécution d'évaluation planifiée ayant créé cette exécution d'évaluation. Ce champ n'est défini que si l'exécution de l'évaluation a été créée par une exécution d'évaluation planifiée. Format : projects/{project}/locations/{location}/apps/{app}/scheduledEvaluationRuns/{scheduled_evaluation_run}
goldenRunMethod

enum (GoldenRunMethod)

Uniquement en sortie. Méthode utilisée pour exécuter l'évaluation.
operation

string

Uniquement en sortie. Opération qui a créé cette exécution d'évaluation. Format : projects/{project}/locations/{location}/operations/{operation}

Horodatage

Représentation JSON 
{
  "seconds": string,
  "nanos": integer
}
Champs
seconds

string (int64 format)

Représente les secondes de l'heure UTC à partir de l'epoch Unix 1970-01-01T00:00:00Z. Doit être compris entre -62135596800 et 253402300799 inclus (ce qui correspond à 0001-01-01T00:00:00Z et 9999-12-31T23:59:59Z).
nanos

integer

Fractions de secondes non négatives avec une précision de l'ordre de la nanoseconde. Ce champ correspond à la partie en nanosecondes de la durée, et non à une alternative aux secondes. Les valeurs de secondes négatives avec des fractions doivent toujours comporter des valeurs de nanosecondes non négatives comptabilisées dans le temps. Doit être compris entre 0 et 999 999 999 (inclus).

Progression

Représentation JSON 
{
  "totalCount": integer,
  "failedCount": integer,
  "errorCount": integer,
  "completedCount": integer,
  "passedCount": integer,
  "cancelledCount": integer
}
Champs
totalCount

integer

Uniquement en sortie. Nombre total de résultats d'évaluation dans cette exécution.
failedCount

integer

Uniquement en sortie. Nombre de résultats d'évaluation terminés avec un résultat ÉCHEC. (EvaluationResult.execution_state est COMPLETED et EvaluationResult.evaluation_status est FAIL).
errorCount

integer

Uniquement en sortie. Nombre de résultats d'évaluation dont l'exécution a échoué. (EvaluationResult.execution_state est défini sur ERROR).
completedCount

integer

Uniquement en sortie. Nombre de résultats d'évaluation qui se sont terminés avec succès. (EvaluationResult.execution_state est défini sur COMPLETED).
passedCount

integer

Uniquement en sortie. Nombre de résultats d'évaluation terminés avec un résultat "RÉUSSITE". (EvaluationResult.execution_state est défini sur COMPLETED et EvaluationResult.evaluation_status est défini sur PASS).
cancelledCount

integer

Uniquement en sortie. Nombre de résultats d'évaluation annulés. (EvaluationResult.execution_state est défini sur CANCELLED).

EvaluationConfig

Représentation JSON 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Champs
inputAudioConfig

object (InputAudioConfig)

Facultatif. Configuration pour le traitement de l'audio d'entrée.
outputAudioConfig

object (OutputAudioConfig)

Facultatif. Configuration pour générer l'audio de sortie.
evaluationChannel

enum (EvaluationChannel)

Facultatif. Canal à évaluer.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Facultatif. Indique si l'évaluation doit utiliser de vrais appels d'outils ou de faux outils.

InputAudioConfig

Représentation JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Champs
audioEncoding

enum (AudioEncoding)

Obligatoire. Encodage des données audio d'entrée.
sampleRateHertz

integer

Obligatoire. Taux d'échantillonnage (en hertz) des données audio d'entrée.
noiseSuppressionLevel

string

Facultatif. Indique si la suppression du bruit doit être activée pour l'entrée audio. Les valeurs disponibles sont "low", "moderate", "high" et "very_high".

OutputAudioConfig

Représentation JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Champs
audioEncoding

enum (AudioEncoding)

Obligatoire. Encodage des données audio de sortie.
sampleRateHertz

integer

Obligatoire. Taux d'échantillonnage (en hertz) des données audio de sortie.

État

Représentation JSON 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Champs
code

integer

Code d'état, qui doit être une valeur d'énumération de google.rpc.Code.
message

string

Message d'erreur destiné au développeur, qui doit être en anglais. Tout message d'erreur destiné aux utilisateurs doit être localisé et envoyé dans le champ google.rpc.Status.details, ou localisé par le client.
details[]

object

Liste de messages comportant les détails de l'erreur. Il existe un ensemble commun de types de message utilisable par les API.

Objet contenant des champs d'un type arbitraire. Un champ supplémentaire "@type" contient un URI identifiant le type. Exemple : { "id": 1234, "@type": "types.example.com/standard/id" }.

Tous

Représentation JSON 
{
  "typeUrl": string,
  "value": string
}
Champs
typeUrl

string

Identifie le type du message Protobuf sérialisé avec une référence URI composée d'un préfixe se terminant par une barre oblique et du nom de type complet.

Exemple : type.googleapis.com/google.protobuf.StringValue

Cette chaîne doit contenir au moins un caractère /, et le contenu après le dernier / doit être le nom complet du type sous forme canonique, sans point au début. N'écrivez pas de schéma sur ces références d'URI afin que les clients ne tentent pas de les contacter.

Le préfixe est arbitraire et les implémentations Protobuf sont censées supprimer tout ce qui précède le dernier / (inclus) pour identifier le type. type.googleapis.com/ est un préfixe par défaut courant que certaines anciennes implémentations requièrent. Ce préfixe n'indique pas l'origine du type, et les URI qui le contiennent ne sont pas censés répondre aux requêtes.

Toutes les chaînes d'URL de type doivent être des références URI valides, avec la restriction supplémentaire (pour le format texte) que le contenu de la référence ne doit comporter que des caractères alphanumériques, des séquences d'échappement encodées en pourcentage et des caractères de l'ensemble suivant (sans les accents graves extérieurs) : /-.~_!$&()*+,;=. Bien que nous autorisions les encodages en pourcentage, les implémentations ne doivent pas les décoder pour éviter toute confusion avec les analyseurs existants. Par exemple, type.googleapis.com%2FFoo doit être rejeté.

Dans la conception d'origine de Any, la possibilité de lancer un service de résolution de type à ces URL de type a été envisagée, mais Protobuf n'en a jamais implémenté et considère que contacter ces URL est problématique et constitue un risque potentiel pour la sécurité. N'essayez pas de contacter les URL de type.
value

string (bytes format)

Contient une sérialisation Protobuf du type décrit par type_url.

Chaîne encodée en base64.

EvaluationErrorInfo

Représentation JSON 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string,
  "userFacingErrorMessage": string
}
Champs
errorType

enum (ErrorType)

Uniquement en sortie. Type d'erreur.
errorMessage

string

Uniquement en sortie. Message d'erreur.
sessionId

string

Uniquement en sortie. ID de session de la conversation qui a provoqué l'erreur.
userFacingErrorMessage

string

Uniquement en sortie. Message d'erreur destiné à l'utilisateur.

EvaluationRunSummariesEntry

Représentation JSON 
{
  "key": string,
  "value": {
    object (EvaluationRunSummary)
  }
}
Champs
key

string
value

object (EvaluationRunSummary)

EvaluationRunSummary

Représentation JSON 
{
  "passedCount": integer,
  "failedCount": integer,
  "errorCount": integer
}
Champs
passedCount

integer

Uniquement en sortie. Nombre de résultats réussis pour l'évaluation associée à cette exécution.
failedCount

integer

Uniquement en sortie. Nombre de résultats ayant échoué pour l'évaluation associée à cette exécution.
errorCount

integer

Uniquement en sortie. Nombre de résultats d'erreur pour l'évaluation associée lors de cette exécution.

LatencyReport

Représentation JSON 
{
  "toolLatencies": [
    {
      object (ToolLatency)
    }
  ],
  "callbackLatencies": [
    {
      object (CallbackLatency)
    }
  ],
  "guardrailLatencies": [
    {
      object (GuardrailLatency)
    }
  ],
  "llmCallLatencies": [
    {
      object (LlmCallLatency)
    }
  ],
  "sessionCount": integer
}
Champs
toolLatencies[]

object (ToolLatency)

Uniquement en sortie. Liste non triée. Métriques de latence pour chaque outil.
callbackLatencies[]

object (CallbackLatency)

Uniquement en sortie. Liste non triée. Métriques de latence pour chaque rappel.
guardrailLatencies[]

object (GuardrailLatency)

Uniquement en sortie. Liste non triée. Métriques de latence pour chaque garde-fou.
llmCallLatencies[]

object (LlmCallLatency)

Uniquement en sortie. Liste non triée. Métriques de latence pour chaque appel LLM.
sessionCount

integer

Uniquement en sortie. Nombre total de sessions prises en compte dans le rapport sur la latence.

ToolLatency

Représentation JSON 
{
  "toolDisplayName": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Champs
toolDisplayName

string

Uniquement en sortie. Nom à afficher de l'outil.
latencyMetrics

object (LatencyMetrics)

Uniquement en sortie. Métriques de latence de l'outil.
Champ d'union tool_identifier. Identifiant de l'outil. tool_identifier ne peut être qu'un des éléments suivants :
tool

string

Uniquement en sortie. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
toolsetTool

object (ToolsetTool)

Uniquement en sortie. Identifiant de l'outil dans l'ensemble d'outils.

ToolsetTool

Représentation JSON 
{
  "toolset": string,
  "toolId": string
}
Champs
toolset

string

Obligatoire. Nom de ressource du Toolset à partir duquel cet outil est dérivé. Format : projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Facultatif. ID de l'outil permettant de filtrer les outils pour récupérer le schéma.

LatencyMetrics

Représentation JSON 
{
  "p50Latency": string,
  "p90Latency": string,
  "p99Latency": string,
  "callCount": integer
}
Champs
p50Latency

string (Duration format)

Uniquement en sortie. Latence au 50e centile.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
p90Latency

string (Duration format)

Uniquement en sortie. Latence au 90e centile.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
p99Latency

string (Duration format)

Uniquement en sortie. Latence au 99e centile.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
callCount

integer

Uniquement en sortie. Nombre de fois où la ressource a été appelée.

Durée

Représentation JSON 
{
  "seconds": string,
  "nanos": integer
}
Champs
seconds

string (int64 format)

Secondes signées de la période. La valeur doit être comprise entre -315 576 000 000 et +315 576 000 000 (inclus). Remarque : Ces limites sont calculées à partir de : 60 s/min * 60 min/h * 24 h/jour * 365,25 jours/an * 10 000 ans.
nanos

integer

Fractions de seconde signées avec une résolution en nanosecondes de la durée. Les durées inférieures à une seconde sont représentées par un champ seconds égal à 0 et un champ nanos positif ou négatif. Pour les durées d'une seconde ou plus, une valeur non nulle pour le champ nanos doit avoir le même signe que le champ seconds. La valeur doit être comprise entre -999 999 999 et +999 999 999 inclus.

CallbackLatency

Représentation JSON 
{
  "stage": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  }
}
Champs
stage

string

Uniquement en sortie. Étape du rappel.
latencyMetrics

object (LatencyMetrics)

Uniquement en sortie. Métriques de latence pour le rappel.

GuardrailLatency

Représentation JSON 
{
  "guardrail": string,
  "guardrailDisplayName": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  }
}
Champs
guardrail

string

Uniquement en sortie. Nom de la barrière de sécurité. Format : projects/{project}/locations/{location}/apps/{app}/guardrails/{guardrail}.
guardrailDisplayName

string

Uniquement en sortie. Nom à afficher de la barrière de sécurité.
latencyMetrics

object (LatencyMetrics)

Uniquement en sortie. Métriques de latence pour le garde-fou.

LlmCallLatency

Représentation JSON 
{
  "model": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  }
}
Champs
model

string

Uniquement en sortie. Nom du modèle.
latencyMetrics

object (LatencyMetrics)

Uniquement en sortie. Métriques de latence pour l'appel LLM.

PersonaRunConfig

Représentation JSON 
{
  "persona": string,
  "taskCount": integer
}
Champs
persona

string

Facultatif. Personnalité à utiliser pour l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
taskCount

integer

Facultatif. Nombre de tâches à exécuter pour le persona.

OptimizationConfig

Représentation JSON 
{
  "generateLossReport": boolean,
  "assistantSession": string,
  "reportSummary": string,
  "shouldSuggestFix": boolean,
  "status": enum (OptimizationStatus),
  "errorMessage": string,
  "lossReport": {
    object
  }
}
Champs
generateLossReport

boolean

Facultatif. Indique si un rapport sur les pertes doit être généré.
assistantSession

string

Uniquement en sortie. Session de l'assistant à utiliser pour l'optimisation basée sur cette exécution d'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/assistantSessions/{assistantSession}
reportSummary

string

Uniquement en sortie. Résumé du rapport sur les pertes.
shouldSuggestFix

boolean

Uniquement en sortie. Indique s'il faut suggérer une correction pour les pertes.
status

enum (OptimizationStatus)

Uniquement en sortie. État de l'exécution de l'optimisation.
errorMessage

string

Uniquement en sortie. Message d'erreur si l'exécution de l'optimisation a échoué.
lossReport

object (Struct format)

Uniquement en sortie. Rapport sur les pertes généré.

Struct

Représentation JSON 
{
  "fields": {
    string: value,
    ...
  }
}
Champs
fields

map (key: string, value: value (Value format))

Carte non ordonnée de valeurs typées dynamiquement.

Objet contenant une liste de paires "key": value. Exemple : { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Représentation JSON 
{
  "key": string,
  "value": value
}
Champs
key

string
value

value (Value format)

Valeur

Représentation JSON 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Champs
Champ d'union kind. Type de valeur. kind ne peut être qu'un des éléments suivants :
nullValue

null

Représente un null JSON.
numberValue

number

Représente un nombre JSON. Ne doit pas être NaN, Infinity ni -Infinity, car ces valeurs ne sont pas acceptées au format JSON. Il ne peut pas non plus représenter de grandes valeurs Int64, car le format JSON ne les accepte généralement pas dans son type numérique.
stringValue

string

Représente une chaîne JSON.
boolValue

boolean

Représente une valeur booléenne JSON (littéral true ou false dans JSON).
structValue

object (Struct format)

Représente un objet JSON.
listValue

array (ListValue format)

Représente un tableau JSON.

ListValue

Représentation JSON 
{
  "values": [
    value
  ]
}
Champs
values[]

value (Value format)

Champ répété de valeurs typées de manière dynamique.

EvaluationType

Type des évaluations de cette exécution. D'autres valeurs pourront être ajoutées à l'avenir.

Enums
EVALUATION_TYPE_UNSPECIFIED Le type d'évaluation n'est pas spécifié.
GOLDEN Évaluation de référence.
SCENARIO Évaluation de scénarios.
MIXED Indique que l'exécution inclut un mélange d'évaluations de scénarios et de référence.

EvaluationRunState

État de l'exécution de l'évaluation.

Enums
EVALUATION_RUN_STATE_UNSPECIFIED L'état d'exécution de l'évaluation n'est pas spécifié.
QUEUED Indique que l'exécution de l'évaluation est en file d'attente.
RUNNING L'exécution de l'évaluation est en cours.
COMPLETED L'exécution de l'évaluation est terminée.
ERROR L'exécution de l'évaluation comporte une erreur.
CANCELLED L'exécution de l'évaluation a été annulée.

AudioEncoding

AudioEncoding spécifie le format d'encodage des données audio.

Enums
AUDIO_ENCODING_UNSPECIFIED Encodage audio non spécifié.
LINEAR16 Encodage audio PCM linéaire 16 bits.
MULAW Échantillons de 8 bits compressant des échantillons audio 14 bits qui utilisent la norme G.711 PCMU/MULAW.
ALAW Échantillons de 8 bits compressant des échantillons audio 14 bits qui utilisent la norme G.711 PCMU/A-law.

EvaluationChannel

Canal à évaluer.

Enums
EVALUATION_CHANNEL_UNSPECIFIED Canal d'évaluation non spécifié.
TEXT Canal d'évaluation textuel uniquement.
AUDIO Canal d'évaluation audio.

EvaluationToolCallBehaviour

Configure le comportement d'appel d'outil pour les exécutions d'évaluation.

Enums
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED Comportement d'appel d'outil non spécifié. La valeur par défaut sera les appels d'outils réels.
REAL Utilisez de vrais appels d'outils.
FAKE Utilisez de faux appels d'outils.

ErrorType

Type d'erreur

Enums
ERROR_TYPE_UNSPECIFIED Type d'erreur non spécifié.
RUNTIME_FAILURE Échec lors de l'exécution de l'environnement d'exécution.
CONVERSATION_RETRIEVAL_FAILURE Échec de la récupération de la conversation depuis l'environnement d'exécution CES.
METRIC_CALCULATION_FAILURE Échec du calcul d'une métrique ou d'un résultat.
EVALUATION_UPDATE_FAILURE Échec de la mise à jour de l'évaluation.
QUOTA_EXHAUSTED Le quota a été dépassé.
USER_SIMULATION_FAILURE Échec de la simulation utilisateur.

OptimizationStatus

État de l'exécution de l'optimisation.

Enums
OPTIMIZATION_STATUS_UNSPECIFIED L'état d'optimisation n'est pas spécifié.
RUNNING L'optimisation est en cours.
COMPLETED L'optimisation est terminée.
ERROR L'optimisation a échoué en raison d'une erreur interne.

NullValue

Représente un null JSON.

NullValue est une sentinelle qui utilise une énumération avec une seule valeur pour représenter la valeur nulle de l'union de type Value.

Un champ de type NullValue avec une valeur autre que 0 est considéré comme non valide. La plupart des sérialiseurs ProtoJSON émettent un Value avec un null_value défini comme un null JSON, quelle que soit la valeur entière, et effectuent donc un aller-retour vers une valeur 0.

Enums
NULL_VALUE Valeur nulle.

GoldenRunMethod

Méthode utilisée pour exécuter l'évaluation.

Enums
GOLDEN_RUN_METHOD_UNSPECIFIED La méthode d'exécution n'est pas spécifiée.
STABLE Exécutez l'évaluation en tant que relecture stable, où chaque tour est une session unique avec les tours attendus précédents injectés en tant que contexte.
NAIVE Exécutez l'évaluation en tant que relecture naïve, où l'exécution est une session unique sans contexte injecté.

Annotations d'outils

Les annotations d'outil sont envoyées aux clients MCP pour décrire le risque de base d'un outil donné. La plupart des clients traitent ces indices comme non fiables, mais ils peuvent être utilisés pour déterminer quand un message de confirmation peut être envoyé à un utilisateur.

En plus de la chaîne de titre, les indications booléennes suivantes sont définies comme suit :

  • readOnlyHint : si la valeur est "true", l'outil ne modifie pas son environnement. Valeur par défaut : "false".
  • destructiveHint : si la valeur est "true", l'outil peut effectuer des actions destructrices. Si la valeur est "false", l'outil ne peut effectuer que des actions d'ajout. Valeur par défaut : "true".
  • idempotentHint : si la valeur est "true", appeler l'outil à plusieurs reprises avec les mêmes arguments n'aura aucun effet supplémentaire sur son environnement. Valeur par défaut : "false".
  • openWorldHint : si la valeur est "true", l'outil peut interagir avec un "monde ouvert" d'entités externes. Si la valeur est "false", l'outil ne peut interagir qu'avec des entités internes. Par exemple, un outil de recherche Web serait en monde ouvert, tandis qu'un outil de mémoire ne le serait pas.

Indication destructive : ❌ | Indication idempotente : ✅ | Indication en lecture seule : ✅ | Indication Open World : ❌