MCP Tools Reference: ces.googleapis.com

Outil : list_evaluations

Répertorie les évaluations.

L'exemple de code suivant montre comment utiliser curl pour appeler l'outil MCP list_evaluations.

Requête curl
curl --location 'https://ces.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "list_evaluations", "arguments": { // Provide these details according to the MCP tool specification. } }, "jsonrpc": "2.0", "id": 1 }'

Schéma d'entrée

Message de requête pour EvaluationService.ListEvaluations.

ListEvaluationsRequest

Représentation JSON
{ "parent": string, "pageSize": integer, "pageToken": string, "filter": string, "evaluationFilter": string, "evaluationRunFilter": string, "orderBy": string, "lastTenResults": boolean }

Champs
parent	string Obligatoire. Nom de ressource de l'application dont vous souhaitez lister les évaluations.
pageSize	integer Facultatif. Taille de la page demandée. Le serveur peut renvoyer un nombre d'éléments inférieur à celui demandé. Si aucune valeur n'est spécifiée, le serveur sélectionne une valeur par défaut appropriée.
pageToken	string Facultatif. La valeur next_page_token renvoyée par un appel EvaluationService.ListEvaluations de liste précédent.
filter (deprecated)	string Cet élément est obsolète. Facultatif. Obsolète : utilisez plutôt evaluation_filter et evaluation_run_filter.
evaluationFilter	string Facultatif. Filtre à appliquer à l'évaluation lors de la liste des évaluations. Pour en savoir plus, consultez https://google.aip.dev/160. Champs acceptés : evaluation_datasets
evaluationRunFilter	string Facultatif. Chaîne de filtre pour les champs des ressources EvaluationRun associées. Pour en savoir plus, consultez https://google.aip.dev/160. Champs acceptés : create_time, initiated_by, app_version_display_name
orderBy	string Facultatif. Champ de tri. Seuls "name", "create_time" et "update_time" sont acceptés. Les champs d'heure sont classés par ordre décroissant, et le champ de nom est classé par ordre croissant. Si ce paramètre n'est pas inclus, "update_time" sera utilisé par défaut. Pour en savoir plus, consultez https://google.aip.dev/132#ordering.
lastTenResults	boolean Facultatif. Indique si les 10 derniers résultats d'évaluation doivent être inclus pour chaque évaluation dans la réponse.

Schéma de sortie

Message de réponse pour EvaluationService.ListEvaluations.

ListEvaluationsResponse

Représentation JSON
{ "evaluations": [ { object (Evaluation) } ], "nextPageToken": string }

Champs
evaluations[]	object (Evaluation) Liste des évaluations.
nextPageToken	string Jeton pouvant être envoyé en tant que ListEvaluationsRequest.page_token pour récupérer la page suivante. L'absence de ce champ indique qu'il n'y a pas d'autres pages.

Évaluation

Représentation JSON

{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object (AggregatedMetrics) }, "lastCompletedResult": { object (EvaluationResult) }, "invalid": boolean, "lastTenResults": [ { object (EvaluationResult) } ], "evaluationMetricsThresholdOverride": { object (EvaluationMetricsThresholds) }, "evaluationMetricsConfigOverride": { object (EvaluationMetricsConfig) }, // Union field inputs can be only one of the following: "golden": { object (Golden) }, "scenario": { object (Scenario) } // End of list of possible types for union field inputs. }

Champs
name	string Identifiant. Identifiant unique de cette évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName	string Obligatoire. Nom à afficher de l'évaluation défini par l'utilisateur. Unique dans une application.
description	string Facultatif. Description de l'évaluation définie par l'utilisateur.
tags[]	string Facultatif. Tags définis par l'utilisateur pour catégoriser l'évaluation.
evaluationDatasets[]	string Uniquement en sortie. Liste des ensembles de données d'évaluation auxquels l'évaluation appartient. Format : projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime	string (Timestamp format) Uniquement en sortie. Horodatage de la création de l'évaluation. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
createdBy	string Uniquement en sortie. Utilisateur qui a créé l'évaluation.
updateTime	string (Timestamp format) Uniquement en sortie. Code temporel de la dernière mise à jour de l'évaluation. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
lastUpdatedBy	string Uniquement en sortie. Utilisateur qui a mis à jour l'évaluation pour la dernière fois.
evaluationRuns[]	string Uniquement en sortie. Les EvaluationRuns auxquelles cette Evaluation est associée.
etag	string Uniquement en sortie. Etag utilisé pour s'assurer que l'objet n'a pas changé lors d'une opération de lecture-modification-écriture. Si l'etag est vide, la mise à jour écrasera toutes les modifications simultanées.
aggregatedMetrics	object (AggregatedMetrics) Uniquement en sortie. Métriques agrégées pour cette évaluation sur toutes les exécutions.
lastCompletedResult	object (EvaluationResult) Uniquement en sortie. Le dernier résultat d'évaluation pour cette évaluation.
invalid	boolean Uniquement en sortie. Indique si l'évaluation n'est pas valide. Cela peut se produire si une évaluation fait référence à un outil, un ensemble d'outils ou un agent qui a été supprimé depuis.
lastTenResults[]	object (EvaluationResult) Uniquement en sortie. Les 10 derniers résultats d'évaluation pour cette évaluation. Ce champ n'est renseigné que si "include_last_ten_results" est défini sur "true" dans ListEvaluationsRequest ou GetEvaluationRequest.
evaluationMetricsThresholdOverride	object (EvaluationMetricsThresholds) Facultatif. Remplace les seuils de métriques pour cette évaluation spécifique.
evaluationMetricsConfigOverride	object (EvaluationMetricsConfig) Facultatif. Remplace la configuration des métriques pour cette évaluation spécifique.
Champ d'union inputs. Les entrées de l'évaluation inputs ne peuvent être que l'une des suivantes :
golden	object (Golden) Facultatif. Les étapes de référence à évaluer.
scenario	object (Scenario) Facultatif. Configuration d'un scénario.

Doré

Représentation JSON
{ "turns": [ { object (GoldenTurn) } ], "evaluationExpectations": [ string ] }

Champs
turns[]	object (GoldenTurn) Obligatoire. Tours clés requis pour rejouer une conversation clé. Le nombre maximal de tours autorisé est de 100.
evaluationExpectations[]	string Facultatif. Attentes d'évaluation par rapport auxquelles évaluer la conversation rejouée. Format : projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

Représentation JSON
{ "steps": [ { object (Step) } ], "rootSpan": { object (Span) }, "turnLevelMetricsThresholdsOverride": { object (TurnLevelMetricsThresholds) }, "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior) }

Champs
steps[]	object (Step) Obligatoire. Les étapes requises pour rejouer une conversation de référence.
rootSpan	object (Span) Facultatif. Segment racine du tour de parole idéal pour le traitement et la conservation des informations audio. L'URI du fichier audio doit contenir un fichier audio enregistré avec un taux d'échantillonnage de 16 kHz.
turnLevelMetricsThresholdsOverride	object (TurnLevelMetricsThresholds) Facultatif. Remplacements des seuils de métriques au niveau du tour.
hallucinationMetricBehaviorOverride	enum (HallucinationMetricBehavior) Facultatif. Remplacement du comportement de la métrique d'hallucination au niveau du tour.

Étape

Représentation JSON
{ // Union field step can be only one of the following: "userInput": { object (SessionInput) }, "agentTransfer": { object (AgentTransfer) }, "expectation": { object (GoldenExpectation) } // End of list of possible types for union field step. }

Champs
Champ d'union step. Étape à effectuer. step ne peut être qu'un des éléments suivants :
userInput	object (SessionInput) Facultatif. Données saisies par l'utilisateur pour la conversation.
agentTransfer	object (AgentTransfer) Facultatif. Transférez la conversation à un autre agent.
expectation	object (GoldenExpectation) Facultatif. Exécute une attente sur le tour actuel.

SessionInput

Représentation JSON
{ "willContinue": boolean, "recordingControl": enum (RecordingControl), // Union field input_type can be only one of the following: "text": string, "dtmf": string, "audio": string, "toolResponses": { object (ToolResponses) }, "image": { object (Image) }, "blob": { object (Blob) }, "variables": { object }, "event": { object (Event) } // End of list of possible types for union field input_type. }

Champs
willContinue	boolean Facultatif. Indicateur permettant de spécifier si le message actuel est un fragment d'une entrée plus volumineuse dans la session de streaming bidirectionnel. Lorsqu'il est défini sur true, l'agent diffère le traitement jusqu'à ce qu'il reçoive un message ultérieur où will_continue est défini sur false, ou jusqu'à ce que le système détecte un point de terminaison dans l'entrée audio. REMARQUE : Ce champ ne s'applique pas aux entrées audio et DTMF, car elles sont toujours traitées automatiquement en fonction du signal de détection de fin de phrase.
recordingControl	enum (RecordingControl) Facultatif. Indique si la conversation peut être enregistrée et consignée à partir de ce moment. Utilisez cette option lorsque l'application, et non l'agent, décide de ce qui peut être conservé : par exemple, lorsque l'utilisateur final doit accepter d'être enregistré avant que des informations sur l'appel puissent être stockées. La valeur reste en vigueur jusqu'à ce que le client en envoie une autre. Elle ne doit donc être envoyée que lorsque la réponse change. La configuration en vigueur à la fin d'un tour de parole détermine si l'audio de ce tour est envoyé au bucket d'enregistrement, et si sa transcription est envoyée à l'historique des conversations, à BigQuery et à Cloud Logging. Il couvre à la fois le côté de l'agent et celui de l'utilisateur final. Les tours qui se terminent avant que le client n'envoie ce champ pour la première fois sont enregistrés conformément aux paramètres de journalisation de l'application, comme si le champ n'existait pas. Si plusieurs entrées de la même requête le définissent, la dernière l'emporte.
Champ d'union input_type. Type de l'entrée. input_type ne peut être qu'un des éléments suivants :
text	string Facultatif. Données textuelles de l'utilisateur final.
dtmf	string Facultatif. Chiffres DTMF de l'utilisateur final.
audio	string (bytes format) Facultatif. Données audio de l'utilisateur final. Chaîne encodée en base64.
toolResponses	object (ToolResponses) Facultatif. Résultats d'exécution des appels d'outils du client.
image	object (Image) Facultatif. Données d'image de l'utilisateur final.
blob	object (Blob) Facultatif. Données blob de l'utilisateur final.
variables	object (Struct format) Facultatif. Variables contextuelles de la session, indexées par nom. Seules les variables déclarées dans l'application seront utilisées par l'agent CES. Les variables non reconnues seront toujours envoyées à l'[agent Dialogflow][Agent.RemoteDialogflowAgent] en tant que paramètres de session supplémentaires.
event	object (Event) Facultatif. Entrée d'événement.

ToolResponses

Représentation JSON
{ "toolResponses": [ { object (ToolResponse) } ] }

Champs
toolResponses[]	object (ToolResponse) Facultatif. Liste des résultats d'exécution de l'outil.

ToolResponse

Représentation JSON
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Champs
id	string Facultatif. Identifiant de mise en correspondance de l'élément tool call auquel la réponse est destinée.
displayName	string Uniquement en sortie. Nom à afficher de l'outil.
response	object (Struct format) Obligatoire. Résultat de l'exécution de l'outil au format d'objet JSON. Utilisez la clé "output" pour spécifier la réponse de l'outil et la clé "error" pour spécifier les détails de l'erreur (le cas échéant). Si les clés "output" et "error" ne sont pas spécifiées, l'intégralité de la "réponse" est traitée comme le résultat de l'exécution de l'outil.
parentToolCallId	string Uniquement en sortie. ID de l'appel d'outil à l'origine de celui-ci, lorsqu'il a été émis par un sous-agent travaillant pour le compte d'un appel parent. Vide pour les appels de premier niveau. Permet à un client de regrouper le travail d'un sous-agent sous l'appel qui l'a démarré au lieu d'afficher chaque étape comme un élément frère.
agentName	string Uniquement en sortie. Nom lisible par l'humain de l'agent qui a émis cet appel, par exemple "Architecte de contrat". Vide lorsque l'agent racine l'a émis.
targetApp	string Uniquement en sortie. Application ciblée par l'outil exécuté ; reflète ToolCall.target_app.
Champ d'union tool_identifier. Identifiant de l'outil qui a été exécuté. Il peut s'agir d'un outil persistant ou d'un outil d'un ensemble d'outils. tool_identifier ne peut être qu'un des éléments suivants :
tool	string Facultatif. Nom de l'outil à exécuter. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Facultatif. Outil de l'ensemble d'outils qui a été exécuté.

ToolsetTool

Représentation JSON
{ "toolset": string, "toolId": string }

Champs
toolset	string Obligatoire. Nom de ressource de l'ensemble d'outils dont cet outil est dérivé. Format : projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId	string Facultatif. ID de l'outil permettant de filtrer les outils pour lesquels récupérer le schéma.

Struct

Représentation JSON
{ "fields": { string: value, ... } }

Champs
fields	map (key: string, value: value (Value format)) Mappage non ordonné de valeurs saisies de manière dynamique. Objet contenant une liste de paires "key": value. Exemple : { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Représentation JSON
{ "key": string, "value": value }

Champs
key	string
value	value (Value format)

Valeur

Représentation JSON
{ // Union field kind can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field kind. }

Champs
Champ d'union kind. Type de valeur. kind ne peut être qu'un des éléments suivants :
nullValue	null Représente un null JSON.
numberValue	number Représente un nombre JSON. Ne doit pas être NaN, Infinity ni -Infinity, car ces valeurs ne sont pas compatibles avec JSON. Il ne peut pas non plus représenter de grandes valeurs Int64, car le format JSON ne les accepte généralement pas dans son type de nombre.
stringValue	string Représente une chaîne JSON.
boolValue	boolean Représente une valeur booléenne JSON (littéral true ou false en JSON).
structValue	object (Struct format) Représente un objet JSON.
listValue	array (ListValue format) Représente un tableau JSON.

ListValue

Représentation JSON
{ "values": [ value ] }

Champs
values[]	value (Value format) Champ répété de valeurs saisies de manière dynamique.

Image

Représentation JSON
{ "mimeType": string, "data": string, "altText": string }

Champs
mimeType	string Obligatoire. Type MIME standard IANA des données sources. Types d'images compatibles : * image/png * image/jpeg * image/webp
data	string (bytes format) Obligatoire. Octets bruts de l'image. Chaîne encodée en base64.
altText	string Facultatif. Texte alternatif de l'image.

Blob

Représentation JSON
{ "mimeType": string, "data": string }

Champs
mimeType	string Obligatoire. Type MIME standard IANA des données sources.
data	string (bytes format) Obligatoire. Octets bruts du blob. Chaîne encodée en base64.

Événement

Représentation JSON
{ "event": string, "variables": { object } }

Champs
event	string Obligatoire. Nom de l'événement.
variables	object (Struct format) Facultatif. Variables supplémentaires associées à l'événement.

AgentTransfer

Représentation JSON
{ "targetAgent": string, "displayName": string }

Champs
targetAgent	string Obligatoire. Agent auquel la conversation est transférée. L'agent gérera la conversation à partir de ce moment. Format : projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName	string Uniquement en sortie. Nom à afficher de l'agent.

GoldenExpectation

Représentation JSON

{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object (ExpectationLevelMetricsThresholds) }, "agentResponseSemanticSimilarityMetricsConfigOverride": { object (SemanticSimilarityMetricsConfig) }, "agentResponseHallucinationMetricsConfigOverride": { object (HallucinationMetricsConfig) }, "comparisonType": enum (ComparisonType), // Union field condition can be only one of the following: "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentResponse": { object (Message) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "mockToolResponse": { object (ToolResponse) }, "noToolCalls": boolean // End of list of possible types for union field condition. }

Champs
note	string Facultatif. Note pour cette exigence, utile pour les rapports lorsque des vérifications spécifiques échouent. Exemple : "Check_Payment_Tool_Called".
skipEvaluation	boolean Facultatif. Si ce champ est défini sur "true", cette attente spécifique ne sera pas évaluée.
expectationLevelMetricsThresholdsOverride	object (ExpectationLevelMetricsThresholds) Facultatif. Remplace les métriques au niveau de l'étape.
agentResponseSemanticSimilarityMetricsConfigOverride	object (SemanticSimilarityMetricsConfig) Facultatif. Remplacements pour les métriques de similarité sémantique agent_response.
agentResponseHallucinationMetricsConfigOverride	object (HallucinationMetricsConfig) Facultatif. Remplacements pour les métriques d'hallucination agent_response.
comparisonType	enum (ComparisonType) Facultatif. Type de comparaison à utiliser pour la vérification des attentes.
Champ d'union condition. Vérification réelle à effectuer. condition ne peut être qu'un des éléments suivants :
toolCall	object (ToolCall) Facultatif. Vérifiez qu'un outil spécifique a été appelé avec les paramètres.
toolResponse	object (ToolResponse) Facultatif. Vérifiez qu'un outil spécifique a renvoyé la réponse attendue.
agentResponse	object (Message) Facultatif. Vérifiez que l'agent a répondu correctement. Le rôle "agent" est implicite.
agentTransfer	object (AgentTransfer) Facultatif. Vérifiez que l'agent a transféré la conversation à un autre agent.
updatedVariables	object (Struct format) Facultatif. Vérifiez que l'agent a mis à jour les variables de session avec les valeurs attendues. Permet également de capturer les mises à jour des variables de l'agent pour les évaluations de référence.
mockToolResponse	object (ToolResponse) Facultatif. Réponse de l'outil à simuler, avec les paramètres d'intérêt spécifiés. Tous les paramètres non spécifiés seront hallucinés par le LLM.
noToolCalls	boolean Facultatif. Vérifiez qu'aucun outil n'a été appelé pendant ce tour.

ToolCall

Représentation JSON
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Champs
id	string Facultatif. Identifiant unique de l'appel d'outil. Si ce champ est renseigné, le client doit renvoyer le résultat de l'exécution avec l'ID correspondant dans ToolResponse.
displayName	string Uniquement en sortie. Nom à afficher de l'outil.
args	object (Struct format) Facultatif. Paramètres d'entrée et valeurs de l'outil au format d'objet JSON.
parentToolCallId	string Uniquement en sortie. ID de l'appel d'outil à l'origine de celui-ci, lorsqu'il a été émis par un sous-agent travaillant pour le compte d'un appel parent. Vide pour les appels de premier niveau. Permet à un client de regrouper le travail d'un sous-agent sous l'appel qui l'a démarré au lieu d'afficher chaque étape comme un élément frère.
agentName	string Uniquement en sortie. Nom lisible par l'humain de l'agent qui a émis cet appel, par exemple "Architecte de contrat". Vide lorsque l'agent racine l'a émis.
targetApp	string Uniquement en sortie. Application ciblée par cet appel, dérivée par l'assistant à partir des arguments de ressource de l'appel : un nom de ressource d'application, PROJECT pour les outils limités à un emplacement ou vide pour les outils locaux de session. Défini uniquement dans les sessions de l'assistant au niveau du projet.
Champ d'union tool_identifier. Identifiant de l'outil à exécuter. Il peut s'agir d'un outil persistant ou d'un outil d'un ensemble d'outils. tool_identifier ne peut être qu'un des éléments suivants :
tool	string Facultatif. Nom de l'outil à exécuter. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Facultatif. Outil de l'ensemble d'outils à exécuter.

Message

Représentation JSON
{ "role": string, "chunks": [ { object (Chunk) } ], "eventTime": string }

Champs
role	string Facultatif. Rôle dans la conversation (par exemple, utilisateur, agent).
chunks[]	object (Chunk) Facultatif. Contenu du message sous forme de série de fragments.
eventTime	string (Timestamp format) Facultatif. Horodatage de l'envoi ou de la réception du message. Ne doit pas être utilisé si le message fait partie d'un example. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

Mininja

Représentation JSON

{ // Union field data can be only one of the following: "text": string, "transcript": string, "blob": { object (Blob) }, "payload": { object }, "image": { object (Image) }, "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field data. }

Champs
Champ d'union data. Données de fragment. data ne peut être qu'un des éléments suivants :
text	string Facultatif. Données textuelles.
transcript	string Facultatif. Transcription associée à l'audio.
blob	object (Blob) Facultatif. Données blob.
payload	object (Struct format) Facultatif. Données de charge utile personnalisées.
image	object (Image) Facultatif. Données d'image.
toolCall	object (ToolCall) Facultatif. Requête d'exécution de l'outil.
toolResponse	object (ToolResponse) Facultatif. Réponse de l'exécution de l'outil.
agentTransfer	object (AgentTransfer) Facultatif. Événement de transfert d'agent.
updatedVariables	object (Struct format) Une structure représente les variables qui ont été mises à jour dans la conversation, indexées par nom de variable.
defaultVariables	object (Struct format) Une structure représente les variables par défaut au début de la conversation, indexées par les noms des variables.

Horodatage

Représentation JSON
{ "seconds": string, "nanos": integer }

Champs
seconds	string (int64 format) Représente les secondes de l'heure UTC à partir de l'epoch Unix 1970-01-01T00:00:00Z. Doit être compris entre -62135596800 et 253402300799 inclus (ce qui correspond à 0001-01-01T00:00:00Z à 9999-12-31T23:59:59Z).
nanos	integer Fractions de secondes non négatives avec une précision de l'ordre de la nanoseconde. Ce champ correspond à la partie en nanosecondes de la durée, et non à une alternative aux secondes. Les valeurs de secondes négatives avec des fractions doivent toujours comporter des valeurs de nanosecondes non négatives comptabilisées dans le temps. La valeur doit être comprise entre 0 et 999 999 999 (inclus).

ExpectationLevelMetricsThresholds

Représentation JSON
{ // Union field _tool_invocation_parameter_correctness_threshold can be only one // of the following: "toolInvocationParameterCorrectnessThreshold": number // End of list of possible types for union field // _tool_invocation_parameter_correctness_threshold. }

Champs
Champ d'union _tool_invocation_parameter_correctness_threshold. _tool_invocation_parameter_correctness_threshold ne peut être qu'un des éléments suivants :
toolInvocationParameterCorrectnessThreshold	number Facultatif. Seuil de réussite pour l'exactitude des paramètres d'appel d'un outil individuel. La valeur doit être un nombre à virgule flottante compris entre 0 et 1. La valeur par défaut est 1.0.

SemanticSimilarityMetricsConfig

Représentation JSON
{ "enableSemanticSimilarityMetrics": boolean }

Champs
enableSemanticSimilarityMetrics	boolean Facultatif. Indique si des métriques de similarité sémantique doivent être calculées pour l'évaluation.

HallucinationMetricsConfig

Représentation JSON
{ "enableHallucinationMetrics": boolean }

Champs
enableHallucinationMetrics	boolean Facultatif. Indique si des métriques d'hallucination doivent être calculées pour l'évaluation.

Segment

Représentation JSON
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (Span) } ] }

Champs
name	string Uniquement en sortie. Nom de l'intervalle.
startTime	string (Timestamp format) Uniquement en sortie. Heure de début de l'intervalle. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Uniquement en sortie. Heure de fin de l'intervalle. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
duration	string (Duration format) Uniquement en sortie. Durée du segment. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
attributes	object (Struct format) Uniquement en sortie. Attributs clé-valeur associés au segment.
childSpans[]	object (Span) Uniquement en sortie. Segments enfants imbriqués sous ce segment.

Durée

Représentation JSON
{ "seconds": string, "nanos": integer }

Champs
seconds	string (int64 format) Secondes signées de l'intervalle de temps. Doit être compris entre -315 576 000 000 et [phone] inclus. Remarque : Ces limites sont calculées à partir de : 60 s/min * 60 min/h * 24 h/jour * 365,25 jours/an * 10 000 ans.
nanos	integer Fractions de seconde signées à une résolution de l'ordre de la nanoseconde de l'intervalle de temps. Les durées inférieures à une seconde sont représentées par un champ seconds de valeur 0 et un champ nanos positif ou négatif. Pour les durées d'une seconde ou plus, une valeur non nulle pour le champ nanos doit avoir le même signe que le champ seconds. Doit être compris entre -999 999 999 et [phone] inclus.

TurnLevelMetricsThresholds

Représentation JSON

{ "semanticSimilarityChannel": enum (SemanticSimilarityChannel), // Union field _semantic_similarity_success_threshold can be only one of the // following: "semanticSimilaritySuccessThreshold": integer // End of list of possible types for union field // _semantic_similarity_success_threshold. // Union field _overall_tool_invocation_correctness_threshold can be only one // of the following: "overallToolInvocationCorrectnessThreshold": number // End of list of possible types for union field // _overall_tool_invocation_correctness_threshold. }

Champs
semanticSimilarityChannel	enum (SemanticSimilarityChannel) Facultatif. Canal de similarité sémantique à utiliser pour l'évaluation.
Champ d'union _semantic_similarity_success_threshold. _semantic_similarity_success_threshold ne peut être qu'un des éléments suivants :
semanticSimilaritySuccessThreshold	integer Facultatif. Seuil de réussite pour la similarité sémantique. Veuillez saisir un nombre entier compris entre 0 et 4. La valeur par défaut est >= 3.
Champ d'union _overall_tool_invocation_correctness_threshold. _overall_tool_invocation_correctness_threshold ne peut être qu'un des éléments suivants :
overallToolInvocationCorrectnessThreshold	number Facultatif. Seuil de réussite pour l'exactitude globale de l'appel d'outil. La valeur doit être un nombre à virgule flottante compris entre 0 et 1. La valeur par défaut est 1.0.

Scénario

Représentation JSON

{ "task": string, "userFacts": [ { object (UserFact) } ], "maxTurns": integer, "rubrics": [ string ], "scenarioExpectations": [ { object (ScenarioExpectation) } ], "variableOverrides": { object }, "taskCompletionBehavior": enum (TaskCompletionBehavior), "userGoalBehavior": enum (UserGoalBehavior), "evaluationExpectations": [ string ], "milestones": [ { object (Milestone) } ], "scenarioExecutionMode": enum (ScenarioExecutionMode) }

Champs
task	string Obligatoire. Tâche à cibler par le scénario.
userFacts[]	object (UserFact) Facultatif. Faits utilisateur à utiliser par le scénario.
maxTurns	integer Facultatif. Nombre maximal de tours à simuler. La valeur maximale autorisée est de 100. La valeur par défaut est 100.
rubrics[]	string Obligatoire. Les rubriques à utiliser pour évaluer le scénario.
scenarioExpectations[]	object (ScenarioExpectation) Obligatoire. ScenarioExpectations pour évaluer la conversation produite par la simulation utilisateur.
variableOverrides	object (Struct format) Facultatif. Variables/paramètres de session en tant que contexte de la session, indexés par noms de variables. Les membres de cette structure remplaceront toutes les valeurs par défaut définies par le système. Notez qu'ils sont différents des faits utilisateur, qui sont des faits connus de l'utilisateur. Les variables sont des paramètres connus de l'agent, par exemple le MDN (numéro de téléphone) transmis par le système de téléphonie.
taskCompletionBehavior (deprecated)	enum (TaskCompletionBehavior) Cet élément est obsolète. Facultatif. Obsolète. Utilisez plutôt user_goal_behavior.
userGoalBehavior	enum (UserGoalBehavior) Facultatif. Le comportement attendu de l'objectif de l'utilisateur.
evaluationExpectations[]	string Facultatif. Les attentes d'évaluation par rapport auxquelles évaluer la conversation produite par la simulation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
milestones[]	object (Milestone) Facultatif. Les étapes de ce scénario.
scenarioExecutionMode	enum (ScenarioExecutionMode) Facultatif. Mode d'exécution pour les évaluations de scénarios.

UserFact

Représentation JSON
{ "name": string, "value": string }

Champs
name	string Obligatoire. Nom du fait utilisateur.
value	string Obligatoire. Valeur du fait utilisateur.

ScenarioExpectation

Représentation JSON
{ // Union field expectation can be only one of the following: "toolExpectation": { object (ToolExpectation) }, "agentResponse": { object (Message) } // End of list of possible types for union field expectation. }

Champs
Champ d'union expectation. L'attente pour évaluer la conversation produite par la simulation. expectation ne peut être qu'un des éléments suivants :
toolExpectation	object (ToolExpectation) Facultatif. Paire d'appel d'outil et de réponse à évaluer.
agentResponse	object (Message) Facultatif. La réponse de l'agent à évaluer.

ToolExpectation

Représentation JSON
{ "expectedToolCall": { object (ToolCall) }, "mockToolResponse": { object (ToolResponse) } }

Champs
expectedToolCall	object (ToolCall) Obligatoire. Appel d'outil attendu, avec les paramètres d'intérêt spécifiés. Tous les paramètres non spécifiés seront hallucinés par le LLM.
mockToolResponse	object (ToolResponse) Obligatoire. Réponse de l'outil à simuler, avec les paramètres d'intérêt spécifiés. Tous les paramètres non spécifiés seront hallucinés par le LLM.

Jalon

Représentation JSON
{ "goal": string, "maxTurnCount": integer, "successCriteria": string, "protocol": string, "staticUtterance": string, "event": { object (Event) } }

Champs
goal	string Obligatoire. Objectif du jalon.
maxTurnCount	integer Facultatif. Nombre maximal de tours pour ce jalon.
successCriteria	string Facultatif. Les critères de réussite de l'étape.
protocol	string Facultatif. Consignes que l'agent doit suivre pendant la conversation.
staticUtterance	string Facultatif. Énoncé statique que le simulateur enverra exactement, au lieu de générer dynamiquement une entrée utilisateur.
event	object (Event) Facultatif. Entrée d'événement à envoyer au lieu de la génération dynamique.

AggregatedMetrics

Représentation JSON
{ "metricsByAppVersion": [ { object (MetricsByAppVersion) } ] }

Champs
metricsByAppVersion[]	object (MetricsByAppVersion) Uniquement en sortie. Métriques agrégées, regroupées par ID de version de l'application.

MetricsByAppVersion

Représentation JSON

{ "appVersionId": string, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ], "passCount": integer, "failCount": integer, "metricsByTurn": [ { object (MetricsByTurn) } ] }

Champs
appVersionId	string Uniquement en sortie. ID de la version de l'application.
toolMetrics[]	object (ToolMetrics) Uniquement en sortie. Métriques pour chaque outil de cette version de l'application.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Uniquement en sortie. Métriques de similarité sémantique dans cette version de l'application.
hallucinationMetrics[]	object (HallucinationMetrics) Uniquement en sortie. Métriques d'hallucination dans cette version de l'application.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Uniquement en sortie. Métriques de latence des appels d'outils dans cette version de l'application.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Uniquement en sortie. Métriques de latence des tours dans cette version de l'application.
passCount	integer Uniquement en sortie. Nombre de fois où l'évaluation a réussi.
failCount	integer Uniquement en sortie. Nombre d'échecs de l'évaluation.
metricsByTurn[]	object (MetricsByTurn) Uniquement en sortie. Métriques agrégées par tour dans cette version de l'application.

ToolMetrics

Représentation JSON
{ "tool": string, "passCount": integer, "failCount": integer }

Champs
tool	string Uniquement en sortie. Nom de l'outil.
passCount	integer Uniquement en sortie. Nombre de fois où l'outil a réussi.
failCount	integer Uniquement en sortie. Nombre d'échecs de l'outil.

SemanticSimilarityMetrics

Représentation JSON
{ "score": number }

Champs
score	number Uniquement en sortie. Score moyen de similarité sémantique (0-4).

HallucinationMetrics

Représentation JSON
{ "score": number }

Champs
score	number Uniquement en sortie. Score d'hallucination moyen (de 0 à 1).

ToolCallLatencyMetrics

Représentation JSON
{ "tool": string, "averageLatency": string }

Champs
tool	string Uniquement en sortie. Nom de l'outil.
averageLatency	string (Duration format) Uniquement en sortie. Latence moyenne des appels d'outils. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"

TurnLatencyMetrics

Représentation JSON
{ "averageLatency": string }

Champs
averageLatency	string (Duration format) Uniquement en sortie. Latence moyenne des tours. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"

MetricsByTurn

Représentation JSON
{ "turnIndex": integer, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ] }

Champs
turnIndex	integer Uniquement en sortie. Index du tour (basé sur 0).
toolMetrics[]	object (ToolMetrics) Uniquement en sortie. Métriques pour chaque outil de ce tour.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Uniquement en sortie. Métriques de similarité sémantique dans ce tour.
hallucinationMetrics[]	object (HallucinationMetrics) Uniquement en sortie. Métriques d'hallucination dans ce tour.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Uniquement en sortie. Métriques de latence des appels d'outils au cours de ce tour.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Uniquement en sortie. Métriques de latence de la réponse dans ce tour.

EvaluationResult

Représentation JSON

{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum (Outcome), "evaluationRun": string, "persona": { object (EvaluationPersona) }, "errorInfo": { object (EvaluationErrorInfo) }, "error": { object (Status) }, "initiatedBy": string, "appVersion": string, "appVersionDisplayName": string, "changelog": string, "changelogCreateTime": string, "executionState": enum (ExecutionState), "evaluationMetricsThresholds": { object (EvaluationMetricsThresholds) }, "config": { object (EvaluationConfig) }, "goldenRunMethod": enum (GoldenRunMethod), "rootSpan": { object (Span) }, "outcomeMetadata": enum (OutcomeMetadata), // Union field result can be only one of the following: "goldenResult": { object (GoldenResult) }, "scenarioResult": { object (ScenarioResult) } // End of list of possible types for union field result. }

Champs
name	string Identifiant. Identifiant unique du résultat de l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName	string Obligatoire. Nom à afficher du résultat de l'évaluation. Unique dans une évaluation. Par défaut, il est au format suivant : " result - ".
createTime	string (Timestamp format) Uniquement en sortie. Horodatage de la création du résultat de l'évaluation. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
evaluationStatus	enum (Outcome) Uniquement en sortie. Résultat de l'évaluation. N'est renseigné que si execution_state est défini sur COMPLETE.
evaluationRun	string Uniquement en sortie. L'exécution d'évaluation qui a produit ce résultat. Format : projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona	object (EvaluationPersona) Uniquement en sortie. Persona utilisé pour générer la conversation pour le résultat de l'évaluation.
errorInfo	object (EvaluationErrorInfo) Uniquement en sortie. Informations sur l'erreur pour le résultat de l'évaluation.
error (deprecated)	object (Status) Cet élément est obsolète. Uniquement en sortie. Obsolète : utilisez error_info à la place. Erreurs rencontrées lors de l'exécution.
initiatedBy	string Uniquement en sortie. Utilisateur qui a lancé l'exécution de l'évaluation ayant généré ce résultat.
appVersion	string Uniquement en sortie. Version de l'application utilisée pour générer la conversation qui a abouti à ce résultat. Format : projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName	string Uniquement en sortie. Nom à afficher de l'app_version sur lequel l'évaluation a été exécutée.
changelog	string Uniquement en sortie. Journal des modifications de la version de l'application sur laquelle l'évaluation a été exécutée. Ce champ est renseigné si l'utilisateur exécute l'évaluation sur la dernière version ou le brouillon.
changelogCreateTime	string (Timestamp format) Uniquement en sortie. Heure de création du journal des modifications de la version de l'application sur laquelle l'évaluation a été exécutée. Ce champ est renseigné si l'utilisateur exécute l'évaluation sur la dernière version ou le brouillon. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionState	enum (ExecutionState) Uniquement en sortie. État de l'exécution du résultat de l'évaluation.
evaluationMetricsThresholds	object (EvaluationMetricsThresholds) Uniquement en sortie. Seuils d'évaluation du résultat.
config	object (EvaluationConfig) Uniquement en sortie. Configuration utilisée dans l'exécution d'évaluation qui a généré ce résultat.
goldenRunMethod	enum (GoldenRunMethod) Uniquement en sortie. Méthode utilisée pour exécuter l'évaluation de référence.
rootSpan	object (Span) Uniquement en sortie. Le segment racine de l'exécution de l'évaluation, qui inclut des informations sur chaque étape de l'évaluation.
outcomeMetadata	enum (OutcomeMetadata) Uniquement en sortie. Métadonnées de résultat de l'évaluation. N'est renseigné que si execution_state est défini sur COMPLETE.
Champ d'union result. Résultat de l'évaluation. Uniquement renseigné lorsque execution_state est défini sur COMPLETED. result ne peut être qu'un des éléments suivants :
goldenResult	object (GoldenResult) Uniquement en sortie. Résultat d'une évaluation de référence.
scenarioResult	object (ScenarioResult) Uniquement en sortie. Résultat d'une évaluation de scénario.

GoldenResult

Représentation JSON
{ "turnReplayResults": [ { object (TurnReplayResult) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ] }

Champs
turnReplayResults[]	object (TurnReplayResult) Uniquement en sortie. Résultat de l'exécution de chaque tour de la conversation de référence.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Uniquement en sortie. Les résultats de l'évaluation.

TurnReplayResult

Représentation JSON

{ "conversation": string, "expectationOutcome": [ { object (GoldenExpectationOutcome) } ], "hallucinationResult": { object (HallucinationResult) }, "toolInvocationScore": number, "turnLatency": string, "toolCallLatencies": [ { object (ToolCallLatency) } ], "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "overallToolInvocationResult": { object (OverallToolInvocationResult) }, "errorInfo": { object (EvaluationErrorInfo) }, "spanLatencies": [ { object (SpanLatency) } ], // Union field _tool_ordered_invocation_score can be only one of the following: "toolOrderedInvocationScore": number // End of list of possible types for union field // _tool_ordered_invocation_score. }

Champs
conversation	string Uniquement en sortie. La conversation qui a été générée pour ce tour.
expectationOutcome[]	object (GoldenExpectationOutcome) Uniquement en sortie. Le résultat de chaque attente.
hallucinationResult	object (HallucinationResult) Uniquement en sortie. Résultat de la vérification des hallucinations.
toolInvocationScore (deprecated)	number Cet élément est obsolète. Uniquement en sortie. Obsolète. Utilisez plutôt OverallToolInvocationResult.
turnLatency	string (Duration format) Uniquement en sortie. Durée de l'étape. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
toolCallLatencies[]	object (ToolCallLatency) Uniquement en sortie. La latence de chaque appel d'outil dans le tour.
semanticSimilarityResult	object (SemanticSimilarityResult) Uniquement en sortie. Résultat de la vérification de la similarité sémantique.
overallToolInvocationResult	object (OverallToolInvocationResult) Uniquement en sortie. Résultat de la vérification globale de l'appel de l'outil.
errorInfo	object (EvaluationErrorInfo) Uniquement en sortie. Informations sur l'erreur qui s'est produite pendant ce tour.
spanLatencies[]	object (SpanLatency) Uniquement en sortie. Latence des segments dans le tour.
Champ d'union _tool_ordered_invocation_score. _tool_ordered_invocation_score ne peut être qu'un des éléments suivants :
toolOrderedInvocationScore	number Uniquement en sortie. Score global d'appel d'outils ordonné pour ce tour. Il indique le pourcentage global d'outils du tour attendu qui ont été réellement appelés dans l'ordre attendu.

GoldenExpectationOutcome

Représentation JSON

{ "expectation": { object (GoldenExpectation) }, "outcome": enum (Outcome), "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "toolInvocationResult": { object (ToolInvocationResult) }, // Union field result can be only one of the following: "observedToolCall": { object (ToolCall) }, "observedToolResponse": { object (ToolResponse) }, "observedAgentResponse": { object (Message) }, "observedAgentTransfer": { object (AgentTransfer) }, "observedPayload": { object } // End of list of possible types for union field result. }

Champs
expectation	object (GoldenExpectation) Uniquement en sortie. L'attente qui a été évaluée.
outcome	enum (Outcome) Uniquement en sortie. Résultat de l'attente.
semanticSimilarityResult (deprecated)	object (SemanticSimilarityResult) Cet élément est obsolète. Uniquement en sortie. Résultat de la vérification de la similarité sémantique.
toolInvocationResult	object (ToolInvocationResult) Uniquement en sortie. Résultat de la vérification de l'appel de l'outil.
Champ d'union result. Résultat de l'attente. result ne peut être qu'un des éléments suivants :
observedToolCall	object (ToolCall) Uniquement en sortie. Résultat de l'attente de l'appel d'outil.
observedToolResponse	object (ToolResponse) Uniquement en sortie. Résultat de l'attente de réponse de l'outil.
observedAgentResponse	object (Message) Uniquement en sortie. Résultat de l'attente de réponse de l'agent.
observedAgentTransfer	object (AgentTransfer) Uniquement en sortie. Résultat de l'attente de transfert de l'agent.
observedPayload	object (Struct format) Uniquement en sortie. Une charge utile personnalisée observée. Il n'y a pas d'attentes concernant les charges utiles personnalisées. Cette valeur n'est utilisée que pour calculer les métriques. Le résultat est toujours SKIPPED.

SemanticSimilarityResult

Représentation JSON
{ "label": string, "explanation": string, "outcome": enum (Outcome), // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Champs
label	string Uniquement en sortie. L'étiquette associée à chaque score. Score 4 : entièrement cohérent ; Score 3 : plutôt cohérent ; Score 2 : partiellement cohérent (omissions mineures) ; Score 1 : largement incohérent (omissions majeures) ; Score 0 : complètement incohérent/contradictoire
explanation	string Uniquement en sortie. Explication du score de similarité sémantique.
outcome	enum (Outcome) Uniquement en sortie. Résultat de la vérification de la similarité sémantique. Pour cela, le score est comparé à semantic_similarity_success_threshold. Si le score est supérieur ou égal au seuil, le résultat sera "PASS" (Réussite). Sinon, le résultat sera "FAIL".
Champ d'union _score. _score ne peut être qu'un des éléments suivants :
score	integer Uniquement en sortie. Le score de similarité sémantique. Il peut s'agir de 0, 1, 2, 3 ou 4.

ToolInvocationResult

Représentation JSON
{ "outcome": enum (Outcome), "explanation": string, // Union field _parameter_correctness_score can be only one of the following: "parameterCorrectnessScore": number // End of list of possible types for union field _parameter_correctness_score. }

Champs
outcome	enum (Outcome) Uniquement en sortie. Résultat de la vérification de l'appel d'outil. Pour cela, le parameter_correctness_score est comparé au seuil. Si le score est supérieur ou égal au seuil, le résultat sera "PASS" (Réussite). Sinon, le résultat sera "FAIL".
explanation	string Uniquement en sortie. Explication en texte libre du résultat de l'appel de l'outil.
Champ d'union _parameter_correctness_score. _parameter_correctness_score ne peut être qu'un des éléments suivants :
parameterCorrectnessScore	number Uniquement en sortie. Score d'exactitude des paramètres d'appel de l'outil. Il indique le pourcentage de paramètres de l'appel d'outil attendu qui étaient également présents dans l'appel d'outil réel.

HallucinationResult

Représentation JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Champs
label	string Uniquement en sortie. L'étiquette associée à chaque score. Score 1 : Justifié Score 0 : Non justifié Score -1 : Aucune affirmation à évaluer
explanation	string Uniquement en sortie. Explication du score d'hallucination.
Champ d'union _score. _score ne peut être qu'un des éléments suivants :
score	integer Uniquement en sortie. Score d'hallucination. Peut être -1, 0 ou 1.

ToolCallLatency

Représentation JSON
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

Champs
tool	string Uniquement en sortie. Nom de l'outil qui a été exécuté. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName	string Uniquement en sortie. Nom à afficher de l'outil.
startTime	string (Timestamp format) Uniquement en sortie. Heure de début de l'exécution de l'appel d'outil. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Uniquement en sortie. Heure de fin de l'exécution de l'appel d'outil. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Uniquement en sortie. Latence de l'exécution de l'appel d'outil. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"

OverallToolInvocationResult

Représentation JSON
{ "outcome": enum (Outcome), // Union field _tool_invocation_score can be only one of the following: "toolInvocationScore": number // End of list of possible types for union field _tool_invocation_score. }

Champs
outcome	enum (Outcome) Uniquement en sortie. Résultat de la vérification de l'appel d'outil. Ce score est déterminé en comparant le tool_invocation_score au overall_tool_invocation_correctness_threshold. Si le score est supérieur ou égal au seuil, le résultat sera "PASS" (Réussite). Sinon, le résultat sera "FAIL".
Champ d'union _tool_invocation_score. _tool_invocation_score ne peut être qu'un des éléments suivants :
toolInvocationScore	number Score global d'appel d'outil pour ce tour. Indique le pourcentage global d'outils du tour attendu qui ont été réellement appelés.

EvaluationErrorInfo

Représentation JSON
{ "errorType": enum (ErrorType), "errorMessage": string, "sessionId": string, "userFacingErrorMessage": string }

Champs
errorType	enum (ErrorType) Uniquement en sortie. Type d'erreur.
errorMessage	string Uniquement en sortie. Message d'erreur.
sessionId	string Uniquement en sortie. ID de session de la conversation à l'origine de l'erreur.
userFacingErrorMessage	string Uniquement en sortie. Message d'erreur visible par l'utilisateur.

SpanLatency

Représentation JSON
{ "type": enum (Type), "displayName": string, "startTime": string, "endTime": string, "executionLatency": string, // Union field identifier can be only one of the following: "resource": string, "toolset": { object (ToolsetTool) }, "model": string, "callback": string // End of list of possible types for union field identifier. }

Champs
type	enum (Type) Uniquement en sortie. Type de segment.
displayName	string Uniquement en sortie. Nom à afficher de l'intervalle. Applicable aux segments d'outil et de garde-fou.
startTime	string (Timestamp format) Uniquement en sortie. Heure de début de l'intervalle. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Uniquement en sortie. Heure de fin de l'intervalle. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Uniquement en sortie. Latence du segment. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
Champ d'union identifier. Identifiant de l'élément spécifique en fonction de son type. identifier ne peut être qu'un des éléments suivants :
resource	string Uniquement en sortie. Nom de ressource des segments de garde-fous ou d'outils.
toolset	object (ToolsetTool) Uniquement en sortie. Identifiant de l'outil de l'ensemble d'outils.
model	string Uniquement en sortie. Nom de l'intervalle LLM.
callback	string Uniquement en sortie. Nom de l'intervalle de rappel utilisateur.

EvaluationExpectationResult

Représentation JSON
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (Outcome), "explanation": string }

Champs
evaluationExpectation	string Uniquement en sortie. L'attente de l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt	string Uniquement en sortie. La requête utilisée pour l'évaluation.
outcome	enum (Outcome) Uniquement en sortie. Résultat de l'attente d'évaluation.
explanation	string Uniquement en sortie. Explication du résultat.

ScenarioResult

Représentation JSON

{ "conversation": string, "task": string, "userFacts": [ { object (UserFact) } ], "expectationOutcomes": [ { object (ScenarioExpectationOutcome) } ], "rubricOutcomes": [ { object (ScenarioRubricOutcome) } ], "hallucinationResult": [ { object (HallucinationResult) } ], "taskCompletionResult": { object (TaskCompletionResult) }, "toolCallLatencies": [ { object (ToolCallLatency) } ], "userGoalSatisfactionResult": { object (UserGoalSatisfactionResult) }, "spanLatencies": [ { object (SpanLatency) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ], "milestoneResults": [ { object (MilestoneResult) } ], // Union field _all_expectations_satisfied can be only one of the following: "allExpectationsSatisfied": boolean // End of list of possible types for union field _all_expectations_satisfied. // Union field _task_completed can be only one of the following: "taskCompleted": boolean // End of list of possible types for union field _task_completed. }

Champs
conversation	string Uniquement en sortie. La conversation générée dans le scénario.
task	string Uniquement en sortie. Tâche utilisée lors de l'exécution du scénario pour ce résultat.
userFacts[]	object (UserFact) Uniquement en sortie. Les faits utilisateur qui ont été utilisés par le scénario pour ce résultat.
expectationOutcomes[]	object (ScenarioExpectationOutcome) Uniquement en sortie. Le résultat de chaque attente.
rubricOutcomes[]	object (ScenarioRubricOutcome) Uniquement en sortie. Résultat de la grille d'évaluation.
hallucinationResult[]	object (HallucinationResult) Uniquement en sortie. Résultat de la vérification des hallucinations. Il y aura un résultat d'hallucination pour chaque tour de la conversation.
taskCompletionResult (deprecated)	object (TaskCompletionResult) Cet élément est obsolète. Uniquement en sortie. Résultat de la vérification de l'achèvement de la tâche.
toolCallLatencies[]	object (ToolCallLatency) Uniquement en sortie. Latence de chaque exécution d'appel d'outil dans la conversation.
userGoalSatisfactionResult	object (UserGoalSatisfactionResult) Uniquement en sortie. Résultat de la vérification de la satisfaction de l'objectif de l'utilisateur.
spanLatencies[]	object (SpanLatency) Uniquement en sortie. La latence des segments de la conversation.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Uniquement en sortie. Les résultats de l'évaluation.
milestoneResults[]	object (MilestoneResult) Uniquement en sortie. Les résultats de chaque jalon du scénario.
Champ d'union _all_expectations_satisfied. _all_expectations_satisfied ne peut être qu'un des éléments suivants :
allExpectationsSatisfied	boolean Uniquement en sortie. Indique si toutes les attentes ont été satisfaites pour ce tour.
Champ d'union _task_completed. _task_completed ne peut être qu'un des éléments suivants :
taskCompleted	boolean Uniquement en sortie. Indique si la tâche a été effectuée pour ce tour. Il s'agit d'un composite de toutes les attentes satisfaites, de l'absence d'hallucinations et de la satisfaction de l'objectif de l'utilisateur.

ScenarioExpectationOutcome

Représentation JSON
{ "expectation": { object (ScenarioExpectation) }, "outcome": enum (Outcome), // Union field result can be only one of the following: "observedToolCall": { object (ObservedToolCall) }, "observedAgentResponse": { object (Message) } // End of list of possible types for union field result. }

Champs
expectation	object (ScenarioExpectation) Uniquement en sortie. L'attente qui a été évaluée.
outcome	enum (Outcome) Uniquement en sortie. Résultat de ScenarioExpectation.
Champ d'union result. Résultat de l'attente. result ne peut être qu'un des éléments suivants :
observedToolCall	object (ObservedToolCall) Uniquement en sortie. L'appel d'outil observé.
observedAgentResponse	object (Message) Uniquement en sortie. Réponse de l'agent observée.

ObservedToolCall

Représentation JSON
{ "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) } }

Champs
toolCall	object (ToolCall) Uniquement en sortie. L'appel d'outil observé.
toolResponse	object (ToolResponse) Uniquement en sortie. Réponse de l'outil observée.

ScenarioRubricOutcome

Représentation JSON
{ "rubric": string, "scoreExplanation": string, // Union field _score can be only one of the following: "score": number // End of list of possible types for union field _score. }

Champs
rubric	string Uniquement en sortie. La grille d'évaluation utilisée pour évaluer la conversation.
scoreExplanation	string Uniquement en sortie. Réponse de l'évaluateur à la grille d'évaluation.
Champ d'union _score. _score ne peut être qu'un des éléments suivants :
score	number Uniquement en sortie. Score de la conversation par rapport à la grille d'évaluation.

TaskCompletionResult

Représentation JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Champs
label	string Uniquement en sortie. L'étiquette associée à chaque score. Score 1 : tâche terminée Score 0 : tâche non terminée Score -1 : objectif de l'utilisateur non défini
explanation	string Uniquement en sortie. Explication du score d'achèvement de la tâche.
Champ d'union _score. _score ne peut être qu'un des éléments suivants :
score	integer Uniquement en sortie. Le score d'achèvement de la tâche. Valeurs autorisées : -1, 0, 1

UserGoalSatisfactionResult

Représentation JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Champs
label	string Uniquement en sortie. L'étiquette associée à chaque score. Score 2 : Transfert fluide Score 1 : Tâche de l'utilisateur satisfaite Score 0 : Tâche de l'utilisateur non satisfaite Score -1 : Tâche de l'utilisateur non spécifiée
explanation	string Uniquement en sortie. Explication du score de satisfaction de l'utilisateur pour la tâche.
Champ d'union _score. _score ne peut être qu'un des éléments suivants :
score	integer Uniquement en sortie. Score de satisfaction de l'utilisateur concernant la tâche. Valeurs autorisées : -1, 0, 1, 2.

MilestoneResult

Représentation JSON
{ "milestone": { object (Milestone) }, "status": enum (MilestoneStatus), "justification": string }

Champs
milestone	object (Milestone) Uniquement en sortie. Le jalon suivi.
status	enum (MilestoneStatus) Uniquement en sortie. État actuel de l'étape.
justification	string Uniquement en sortie. Justification de l'état actuel.

EvaluationPersona

Représentation JSON
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (SpeechConfig) } }

Champs
name	string Obligatoire. Identifiant unique du persona. Format : projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description	string Facultatif. Description du persona.
displayName	string Obligatoire. Nom à afficher du persona. Unique dans une application.
personality	string Obligatoire. Instruction indiquant à l'agent comment se comporter lors de l'évaluation.
speechConfig	object (SpeechConfig) Facultatif. Configuration de la voix du persona (paramètres TTS).

SpeechConfig

Représentation JSON
{ "speakingRate": number, "environment": enum (BackgroundEnvironment), "voiceId": string }

Champs
speakingRate	number Facultatif. Vitesse d'élocution. La valeur par défaut est 1,0. Une valeur faible est plus lente (par exemple, 0,8), une valeur élevée est plus rapide (par exemple, 1,5). Utile pour tester la façon dont l'agent gère les personnes qui parlent vite.
environment	enum (BackgroundEnvironment) Facultatif. Environnement audio simulé.
voiceId	string Facultatif. Identifiant/accent de la voix spécifique à utiliser. Exemple : "en-US-Wavenet-D" ou "en-GB-Standard-A"

État

Représentation JSON
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

Champs
code	integer Code d'état, qui doit être une valeur d'énumération de google.rpc.Code.
message	string Message d'erreur destiné au développeur, qui doit être en anglais. Tout message d'erreur destiné aux utilisateurs doit être localisé et envoyé dans le champ google.rpc.Status.details, ou localisé par le client.
details[]	object Liste de messages comportant les détails de l'erreur. Il existe un ensemble commun de types de message utilisable par les API. Objet contenant des champs d'un type arbitraire. Un champ supplémentaire "@type" contient un URI identifiant le type. Exemple : { "id": 1234, "@type": "types.example.com/standard/id" }.

Tous

Représentation JSON
{ "typeUrl": string, "value": string }

Champs
typeUrl	string Identifie le type du message Protobuf sérialisé avec une référence d'URI composée d'un préfixe se terminant par une barre oblique et du nom de type complet. Exemple : type.googleapis.com/google.protobuf.StringValue Cette chaîne doit contenir au moins un caractère /, et le contenu après le dernier / doit être le nom complet du type sous forme canonique, sans point de début. N'écrivez pas de schéma sur ces références d'URI afin que les clients n'essaient pas de les contacter. Le préfixe est arbitraire et les implémentations Protobuf sont censées simplement supprimer tout ce qui précède et inclut le dernier / pour identifier le type. type.googleapis.com/ est un préfixe par défaut courant requis par certaines anciennes implémentations. Ce préfixe n'indique pas l'origine du type, et les URI qui le contiennent ne sont pas censés répondre aux requêtes. Toutes les chaînes d'URL de type doivent être des références d'URI légales avec la restriction supplémentaire (pour le format texte) que le contenu de la référence ne doit être composé que de caractères alphanumériques, de caractères d'échappement encodés en pourcentage et de caractères de l'ensemble suivant (sans inclure les accents graves externes) : /-.~_!$&()*+,;=. Bien que nous autorisions l'encodage en pourcentage, les implémentations ne doivent pas annuler l'échappement pour éviter toute confusion avec les analyseurs existants. Par exemple, type.googleapis.com%2FFoo doit être rejeté. Dans la conception d'origine de Any, la possibilité de lancer un service de résolution de types à ces URL de type a été envisagée, mais Protobuf n'en a jamais implémenté et considère que contacter ces URL est problématique et constitue un problème de sécurité potentiel. N'essayez pas de contacter les URL de type.
value	string (bytes format) Contient une sérialisation Protobuf du type décrit par type_url. Chaîne encodée en base64.

EvaluationMetricsThresholds

Représentation JSON
{ "goldenEvaluationMetricsThresholds": { object (GoldenEvaluationMetricsThresholds) }, "hallucinationMetricBehavior": enum (HallucinationMetricBehavior), "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior), "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior) }

Champs
goldenEvaluationMetricsThresholds	object (GoldenEvaluationMetricsThresholds) Facultatif. Seuils des métriques d'évaluation de référence.
hallucinationMetricBehavior (deprecated)	enum (HallucinationMetricBehavior) Cet élément est obsolète. Facultatif. Obsolète : utilisez golden_hallucination_metric_behavior à la place. Le comportement de la métrique d'hallucination est actuellement utilisé pour les évaluations de référence.
goldenHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Facultatif. Comportement de la métrique d'hallucination pour les évaluations de référence.
scenarioHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Facultatif. Comportement de la métrique d'hallucination pour les évaluations de scénarios.

GoldenEvaluationMetricsThresholds

Représentation JSON
{ "turnLevelMetricsThresholds": { object (TurnLevelMetricsThresholds) }, "expectationLevelMetricsThresholds": { object (ExpectationLevelMetricsThresholds) }, "toolMatchingSettings": { object (ToolMatchingSettings) } }

Champs
turnLevelMetricsThresholds	object (TurnLevelMetricsThresholds) Facultatif. Seuils des métriques au niveau du tour de parole.
expectationLevelMetricsThresholds	object (ExpectationLevelMetricsThresholds) Facultatif. Seuils des métriques au niveau de l'attente.
toolMatchingSettings	object (ToolMatchingSettings) Facultatif. Paramètres de correspondance de l'outil. Un appel d'outil supplémentaire est un appel d'outil présent dans l'exécution, mais qui ne correspond à aucun appel d'outil dans l'attente de référence.

ToolMatchingSettings

Représentation JSON
{ "extraToolCallBehavior": enum (ExtraToolCallBehavior) }

Champs
extraToolCallBehavior	enum (ExtraToolCallBehavior) Facultatif. Comportement pour les appels d'outils supplémentaires. La valeur par défaut est "FAIL".

EvaluationConfig

Représentation JSON
{ "inputAudioConfig": { object (InputAudioConfig) }, "outputAudioConfig": { object (OutputAudioConfig) }, "evaluationChannel": enum (EvaluationChannel), "toolCallBehaviour": enum (EvaluationToolCallBehaviour) }

Champs
inputAudioConfig	object (InputAudioConfig) Facultatif. Configuration pour le traitement de l'audio d'entrée.
outputAudioConfig	object (OutputAudioConfig) Facultatif. Configuration pour générer l'audio de sortie.
evaluationChannel	enum (EvaluationChannel) Facultatif. Canal à évaluer.
toolCallBehaviour	enum (EvaluationToolCallBehaviour) Facultatif. Indique si l'évaluation doit utiliser de vrais appels d'outils ou de faux outils.

InputAudioConfig

Représentation JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

Champs
audioEncoding	enum (AudioEncoding) Obligatoire. Encodage des données audio d'entrée.
sampleRateHertz	integer Obligatoire. Taux d'échantillonnage (en hertz) des données audio d'entrée.
noiseSuppressionLevel	string Facultatif. Indique si la suppression du bruit doit être activée sur l'audio d'entrée. Les valeurs disponibles sont "low", "moderate", "high" et "very_high".

OutputAudioConfig

Représentation JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer }

Champs
audioEncoding	enum (AudioEncoding) Obligatoire. L'encodage des données audio de sortie.
sampleRateHertz	integer Obligatoire. Taux d'échantillonnage (en hertz) des données audio de sortie.

EvaluationMetricsConfig

Représentation JSON
{ "goldenMetricsConfig": { object (GoldenMetricsConfig) }, "scenarioMetricsConfig": { object (ScenarioMetricsConfig) } }

Champs
goldenMetricsConfig	object (GoldenMetricsConfig) Facultatif. Configuration des métriques de référence pour l'évaluation.
scenarioMetricsConfig	object (ScenarioMetricsConfig) Facultatif. Configuration des métriques de scénario pour l'évaluation.

GoldenMetricsConfig

Représentation JSON
{ "semanticSimilarityMetricsConfig": { object (SemanticSimilarityMetricsConfig) }, "toolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) }, "stepToolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) } }

Champs
semanticSimilarityMetricsConfig	object (SemanticSimilarityMetricsConfig) Facultatif. Configuration globale des métriques de similarité sémantique.
toolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) Facultatif. Configuration des métriques d'exactitude des outils au niveau du tour.
stepToolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) Facultatif. Configuration des métriques d'exactitude des outils au niveau de l'étape.

ToolCorrectnessMetricsConfig

Représentation JSON
{ "enableToolCorrectnessMetrics": boolean }

Champs
enableToolCorrectnessMetrics	boolean Facultatif. Indique si les métriques d'exactitude des outils doivent être calculées pour l'évaluation.

ScenarioMetricsConfig

Représentation JSON
{ "userGoalMetMetricsConfig": { object (UserGoalMetMetricsConfig) }, "expectationsMetMetricsConfig": { object (ExpectationsMetMetricsConfig) } }

Champs
userGoalMetMetricsConfig	object (UserGoalMetMetricsConfig) Facultatif. Configuration des métriques d'atteinte des objectifs de l'utilisateur.
expectationsMetMetricsConfig	object (ExpectationsMetMetricsConfig) Facultatif. Configuration des métriques au niveau des attentes.

UserGoalMetMetricsConfig

Représentation JSON
{ "enableUserGoalMetMetrics": boolean }

Champs
enableUserGoalMetMetrics	boolean Facultatif. Indique si les métriques d'atteinte de l'objectif utilisateur doivent être calculées pour l'évaluation.

ExpectationsMetMetricsConfig

Représentation JSON
{ "enableExpectationsMetMetrics": boolean }

Champs
enableExpectationsMetMetrics	boolean Facultatif. Indique si les métriques de niveau d'attente doivent être calculées pour l'évaluation.

NullValue

Représente un null JSON.

NullValue est une sentinelle qui utilise une énumération avec une seule valeur pour représenter la valeur nulle pour l'union de types Value.

Un champ de type NullValue avec une valeur autre que 0 est considéré comme non valide. La plupart des sérialiseurs ProtoJSON émettent un Value avec un null_value défini comme un null JSON, quelle que soit la valeur entière, et effectuent donc un aller-retour vers une valeur 0.

Enums
NULL_VALUE	Valeur nulle.

RecordingControl

La décision de l'application peut être enregistrée et consignée.

Cet énum est extensible. De nouvelles valeurs pourront être ajoutées à l'avenir.

Enums
RECORDING_CONTROL_UNSPECIFIED	L'application ne contrôle pas l'enregistrement. Les paramètres de journalisation de l'application décident, comme pour chaque session qui ne définit jamais ce champ.
RECORDING_ENABLED	La conversation peut être enregistrée et consignée à partir de maintenant.
RECORDING_DISABLED	La conversation ne sera peut-être pas enregistrée à partir de maintenant.

ComparisonType

Types de comparaison acceptés pour vérifier la réponse de l'agent.

Enums
COMPARISON_TYPE_UNSPECIFIED	Type de comparaison non spécifié. Le comportement par défaut est SEMANTIC_SIMILARITY pour les réponses de l'agent et les appels d'outils.
EQUALS	Correspondance de chaîne exacte.
CONTAINS	Correspondance de sous-chaîne (vérifie si la chaîne attendue est contenue dans la réponse réelle).
SEMANTIC_SIMILARITY	Correspondance de similarité sémantique (évalue la similarité de sens à l'aide d'un LLM).

SemanticSimilarityChannel

Canal de similarité sémantique à utiliser.

Enums
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED	Métrique non spécifiée. La valeur par défaut est TEXT.
TEXT	Utilisez la similarité sémantique du texte.
AUDIO	Utilisez la similarité sémantique audio.

HallucinationMetricBehavior

Comportement de la métrique d'hallucination. Quel que soit le comportement, la métrique sera toujours calculée. La différence est que, lorsqu'elle est désactivée, la métrique n'est pas utilisée pour calculer le score d'évaluation global.

Enums
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED	Comportement de la métrique d'hallucination non spécifié.
DISABLED	Désactivez la métrique d'hallucination.
ENABLED	Activer la métrique d'hallucination.

TaskCompletionBehavior

Comportement attendu de la tâche utilisateur. Cela permet de déterminer si le scénario est réussi.

Enums
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED	Comportement non spécifié. La valeur par défaut est TASK_SATISFIED.
TASK_SATISFIED	La tâche utilisateur doit être terminée.
TASK_REJECTED	La tâche utilisateur doit être rejetée.

UserGoalBehavior

Le comportement attendu de l'objectif de l'utilisateur. Cela permet de déterminer si le scénario est réussi.

Enums
USER_GOAL_BEHAVIOR_UNSPECIFIED	Comportement non spécifié. La valeur par défaut est USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED	L'objectif de l'utilisateur doit être atteint.
USER_GOAL_REJECTED	L'objectif de l'utilisateur doit être rejeté.
USER_GOAL_IGNORED	Ignorer l'état de l'objectif de l'utilisateur.

ScenarioExecutionMode

Mode d'exécution pour les évaluations de scénarios.

Enums
SCENARIO_EXECUTION_MODE_UNSPECIFIED	Mode d'exécution non spécifié. La valeur par défaut est QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED	Mode optimisé pour la qualité.
SPEED_OPTIMIZED	Mode optimisé pour la vitesse.

Résultat

Résultat de l'évaluation ou de l'attente.

Enums
OUTCOME_UNSPECIFIED	Le résultat de l'évaluation n'est pas spécifié.
PASS	Évaluation/Attente réussie. Dans le cas d'une évaluation, cela signifie que toutes les attentes ont été satisfaites.
FAIL	Échec de l'évaluation/de l'attente. Dans le cas d'une évaluation, cela signifie qu'au moins une attente n'a pas été satisfaite.
SKIPPED	L'évaluation/l'attente a été ignorée.

ErrorType

Type d'erreur

Enums
ERROR_TYPE_UNSPECIFIED	Type d'erreur non spécifié.
RUNTIME_FAILURE	Échec lors de l'exécution de l'environnement d'exécution.
CONVERSATION_RETRIEVAL_FAILURE	Échec de la récupération de la conversation à partir de l'environnement d'exécution CES.
METRIC_CALCULATION_FAILURE	Échec du calcul d'une métrique/d'un résultat.
EVALUATION_UPDATE_FAILURE	Échec de la mise à jour de l'évaluation.
QUOTA_EXHAUSTED	Quota épuisé.
USER_SIMULATION_FAILURE	Échec lors de la simulation utilisateur.

Type

Type de segment. D'autres valeurs pourront être ajoutées à l'avenir.

Enums
TYPE_UNSPECIFIED	Valeur par défaut. Cette valeur n'est pas utilisée.
TOOL	Segment d'appel d'outil.
USER_CALLBACK	Intervalle de rappel de l'utilisateur.
GUARDRAIL	Intervalle de garde-fous.
LLM	Intervalle LLM.

MilestoneStatus

État du jalon.

Enums
MILESTONE_STATUS_UNSPECIFIED	État non spécifié.
NOT_STARTED	L'étape n'a pas encore commencé.
IN_PROGRESS	Le jalon est en cours.
COMPLETED	L'étape a bien été franchie.

BackgroundEnvironment

Environnement audio simulé.

Enums
BACKGROUND_ENVIRONMENT_UNSPECIFIED	Environnement d'arrière-plan non spécifié.
CALL_CENTER	Environnement de centre d'appels.
TRAFFIC	Environnement avec bruit de circulation.
KIDS_NOISE	Environnement bruyant avec des enfants.
CAFE	Environnement de café.

ExecutionState

État de l'exécution du résultat de l'évaluation.

Enums
EXECUTION_STATE_UNSPECIFIED	L'état d'exécution du résultat de l'évaluation n'est pas spécifié.
QUEUED	L'exécution du résultat de l'évaluation est en file d'attente.
RUNNING	L'exécution du résultat de l'évaluation est en cours.
COMPLETED	L'exécution du résultat de l'évaluation est terminée.
ERROR	Échec de l'exécution du résultat de l'évaluation en raison d'une erreur interne.
CANCELLED	L'exécution du résultat de l'évaluation a été annulée.

ExtraToolCallBehavior

Définit le comportement lorsqu'un appel d'outil supplémentaire est rencontré. Un appel d'outil supplémentaire est un appel d'outil présent dans l'exécution, mais qui ne correspond à aucun appel d'outil dans l'attente de référence.

Enums
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED	Comportement non spécifié. La valeur par défaut est "FAIL".
FAIL	Échouer l'évaluation si un appel d'outil supplémentaire est rencontré.
ALLOW	Autorisez l'appel d'outil supplémentaire.

AudioEncoding

"AudioEncoding" spécifie le format d'encodage des données audio.

Enums
AUDIO_ENCODING_UNSPECIFIED	Encodage audio non spécifié.
LINEAR16	Encodage audio PCM linéaire 16 bits.
MULAW	Échantillons de 8 bits compressant des échantillons audio 14 bits qui utilisent la norme G.711 PCMU/MULAW.
ALAW	Échantillons de 8 bits compressant des échantillons audio 14 bits qui utilisent la norme G.711 PCMU/A-law.

EvaluationChannel

Canal à évaluer.

Enums
EVALUATION_CHANNEL_UNSPECIFIED	Canal d'évaluation non spécifié.
TEXT	Canal d'évaluation textuelle.
AUDIO	Canal d'évaluation audio.

EvaluationToolCallBehaviour

Configure le comportement des appels d'outils pour les exécutions d'évaluation.

Enums
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED	Comportement d'appel d'outil non spécifié. La valeur par défaut sera les appels d'outil réels.
REAL	Utilisez de vrais appels d'outils.
FAKE	Utilisez de faux appels d'outils.

GoldenRunMethod

Méthode utilisée pour exécuter l'évaluation.

Enums
GOLDEN_RUN_METHOD_UNSPECIFIED	La méthode d'exécution n'est pas spécifiée.
STABLE	Exécutez l'évaluation en tant que relecture stable, où chaque tour est une session unique avec les tours attendus précédents injectés en tant que contexte.
NAIVE	Exécutez l'évaluation en tant que relecture naïve, où l'exécution est une session unique sans contexte injecté.

OutcomeMetadata

Métadonnées sur le résultat de l'évaluation.

Enums
OUTCOME_METADATA_UNSPECIFIED	Métadonnées de résultat non spécifiées.
GRACEFUL_HANDOFF	L'évaluation a abouti à un transfert fluide vers un conseiller humain.

Annotations d'outils

Les annotations d'outil sont envoyées aux clients MCP pour décrire le risque de base d'un outil donné. La plupart des clients considèrent ces indications comme non fiables, mais elles peuvent être utilisées pour décider quand envoyer une invite de confirmation à un utilisateur.

En plus de la chaîne de titre, les indices booléens suivants sont définis comme suit :

• readOnlyHint : si la valeur est "true", l'outil ne modifie pas son environnement. Valeur par défaut : "false".
• destructiveHint : si la valeur est "true", l'outil peut effectuer des actions destructrices. Si la valeur est "false", l'outil ne peut effectuer que des actions d'ajout. Valeur par défaut : "true".
• idempotentHint : si la valeur est "true", l'appel répété de l'outil avec les mêmes arguments n'aura aucun effet supplémentaire sur son environnement. Valeur par défaut : "false".
• openWorldHint : si la valeur est "true", l'outil peut interagir avec un "monde ouvert" d'entités externes. Si la valeur est "false", l'outil ne peut interagir qu'avec des entités internes. Par exemple, un outil de recherche sur le Web serait en monde ouvert, tandis qu'un outil de mémoire ne le serait pas.

Indice "Destructive" : ❌ | Indice "Idempotent" : ✅ | Indice "Read Only" : ✅ | Indice "Open World" : ❌