MCP Tools Reference: ces.googleapis.com

Outil : create_evaluation

Crée une évaluation.

L'exemple de code suivant montre comment utiliser curl pour appeler l'outil MCP create_evaluation.

Requête curl
curl --location 'https://ces.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "create_evaluation", "arguments": { // provide these details according to the tool's MCP specification } }, "jsonrpc": "2.0", "id": 1 }'

Schéma d'entrée

Message de requête pour EvaluationService.CreateEvaluation.

CreateEvaluationRequest

Représentation JSON
{ "parent": string, "evaluationId": string, "evaluation": { object (Evaluation) } }

Champs
parent	string Obligatoire. Application pour laquelle créer l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}
evaluationId	string Facultatif. ID à utiliser pour l'évaluation, qui constituera le composant final du nom de ressource de l'évaluation. Si aucun ID n'est fourni, un ID unique est attribué automatiquement à l'évaluation.
evaluation	object (Evaluation) Obligatoire. Évaluation à créer.

Évaluation

Représentation JSON

{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object (AggregatedMetrics) }, "lastCompletedResult": { object (EvaluationResult) }, "invalid": boolean, "lastTenResults": [ { object (EvaluationResult) } ], "evaluationMetricsThresholdOverride": { object (EvaluationMetricsThresholds) }, "evaluationMetricsConfigOverride": { object (EvaluationMetricsConfig) }, // Union field inputs can be only one of the following: "golden": { object (Golden) }, "scenario": { object (Scenario) } // End of list of possible types for union field inputs. }

Champs
name	string Identifiant. Identifiant unique de cette évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName	string Obligatoire. Nom à afficher de l'évaluation défini par l'utilisateur. Unique dans une application.
description	string Facultatif. Description de l'évaluation définie par l'utilisateur.
tags[]	string Facultatif. Tags définis par l'utilisateur pour catégoriser l'évaluation.
evaluationDatasets[]	string Uniquement en sortie. Liste des ensembles de données d'évaluation auxquels appartient l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime	string (Timestamp format) Uniquement en sortie. Horodatage de la création de l'évaluation. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
createdBy	string Uniquement en sortie. Utilisateur qui a créé l'évaluation.
updateTime	string (Timestamp format) Uniquement en sortie. Code temporel de la dernière mise à jour de l'évaluation. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
lastUpdatedBy	string Uniquement en sortie. L'utilisateur qui a mis à jour l'évaluation pour la dernière fois.
evaluationRuns[]	string Uniquement en sortie. Les EvaluationRuns auxquels cette évaluation est associée.
etag	string Uniquement en sortie. Etag utilisé pour s'assurer que l'objet n'a pas été modifié lors d'une opération de lecture/modification/écriture. Si l'etag est vide, la mise à jour écrasera toutes les modifications simultanées.
aggregatedMetrics	object (AggregatedMetrics) Uniquement en sortie. Métriques agrégées pour cette évaluation sur toutes les exécutions.
lastCompletedResult	object (EvaluationResult) Uniquement en sortie. Le dernier résultat de l'évaluation.
invalid	boolean Uniquement en sortie. Indique si l'évaluation n'est pas valide. Cela peut se produire si une évaluation fait référence à un outil, un ensemble d'outils ou un agent qui a été supprimé depuis.
lastTenResults[]	object (EvaluationResult) Uniquement en sortie. Les 10 derniers résultats d'évaluation pour cette évaluation. Cette valeur n'est renseignée que si include_last_ten_results est défini sur "true" dans ListEvaluationsRequest ou GetEvaluationRequest.
evaluationMetricsThresholdOverride	object (EvaluationMetricsThresholds) Facultatif. Remplace les seuils de métriques pour cette évaluation spécifique.
evaluationMetricsConfigOverride	object (EvaluationMetricsConfig) Facultatif. Remplace la configuration des métriques pour cette évaluation spécifique.
Champ d'union inputs. Les entrées de l'évaluation inputs ne peuvent être que l'une des suivantes :
golden	object (Golden) Facultatif. Étapes de référence à évaluer.
scenario	object (Scenario) Facultatif. Configuration d'un scénario.

Doré

Représentation JSON
{ "turns": [ { object (GoldenTurn) } ], "evaluationExpectations": [ string ] }

Champs
turns[]	object (GoldenTurn) Obligatoire. Nombre de tours en or requis pour rejouer une conversation en or. Le nombre maximal de tours autorisés est de 100.
evaluationExpectations[]	string Facultatif. Attentes d'évaluation par rapport auxquelles évaluer la conversation rejouée. Format : projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

Représentation JSON
{ "steps": [ { object (Step) } ], "rootSpan": { object (Span) }, "turnLevelMetricsThresholdsOverride": { object (TurnLevelMetricsThresholds) }, "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior) }

Champs
steps[]	object (Step) Obligatoire. Étapes à suivre pour rejouer une conversation de référence.
rootSpan	object (Span) Facultatif. Portée racine du tour d'or pour le traitement et la gestion des informations audio. L'URI de l'audio doit contenir un fichier audio enregistré avec un taux d'échantillonnage de 16 kHz.
turnLevelMetricsThresholdsOverride	object (TurnLevelMetricsThresholds) Facultatif. Remplacements pour les seuils de métriques au niveau du tour.
hallucinationMetricBehaviorOverride	enum (HallucinationMetricBehavior) Facultatif. Ignorer le comportement de la métrique d'hallucination au niveau du tour.

Étape

Représentation JSON
{ // Union field step can be only one of the following: "userInput": { object (SessionInput) }, "agentTransfer": { object (AgentTransfer) }, "expectation": { object (GoldenExpectation) } // End of list of possible types for union field step. }

Champs
Champ d'union step. Étape à suivre. step ne peut être qu'un des éléments suivants :
userInput	object (SessionInput) Facultatif. Entrée utilisateur pour la conversation.
agentTransfer	object (AgentTransfer) Facultatif. transférer la conversation à un autre agent ;
expectation	object (GoldenExpectation) Facultatif. Exécute une attente pour le tour actuel.

SessionInput

Représentation JSON
{ "willContinue": boolean, // Union field input_type can be only one of the following: "text": string, "dtmf": string, "audio": string, "toolResponses": { object (ToolResponses) }, "image": { object (Image) }, "blob": { object (Blob) }, "variables": { object }, "event": { object (Event) } // End of list of possible types for union field input_type. }

Champs
willContinue	boolean Facultatif. Indicateur permettant de déterminer si le message actuel est un fragment d'une entrée plus grande dans la session de streaming bidirectionnel. Si ce paramètre est défini sur true, l'agent diffère le traitement jusqu'à ce qu'il reçoive un message ultérieur où will_continue est défini sur false, ou jusqu'à ce que le système détecte un point de terminaison dans l'entrée audio. REMARQUE : Ce champ ne s'applique pas aux entrées audio et DTMF, car elles sont toujours traitées automatiquement en fonction du signal de fin.
Champ d'union input_type. Type d'entrée. input_type ne peut être qu'un des éléments suivants :
text	string Facultatif. Données textuelles de l'utilisateur final.
dtmf	string Facultatif. Chiffres DTMF de l'utilisateur final.
audio	string (bytes format) Facultatif. Données audio de l'utilisateur final. Chaîne encodée en base64.
toolResponses	object (ToolResponses) Facultatif. Résultats d'exécution des appels d'outils du client.
image	object (Image) Facultatif. Données d'image de l'utilisateur final.
blob	object (Blob) Facultatif. Données blob de l'utilisateur final.
variables	object (Struct format) Facultatif. Variables contextuelles pour la session, identifiées par leur nom. L'agent CES n'utilisera que les variables déclarées dans l'application. Les variables non reconnues seront toujours envoyées à l'[agent Dialogflow][Agent.RemoteDialogflowAgent] en tant que paramètres de session supplémentaires.
event	object (Event) Facultatif. Saisie d'événement.

ToolResponses

Représentation JSON
{ "toolResponses": [ { object (ToolResponse) } ] }

Champs
toolResponses[]	object (ToolResponse) Facultatif. Liste des résultats d'exécution de l'outil.

ToolResponse

Représentation JSON
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Champs
id	string Facultatif. ID correspondant du tool call auquel la réponse se rapporte.
displayName	string Uniquement en sortie. Nom à afficher de l'outil.
response	object (Struct format) Obligatoire. Résultat de l'exécution de l'outil au format d'objet JSON. Utilisez la clé "output" pour spécifier la réponse de l'outil et la clé "error" pour spécifier les détails de l'erreur (le cas échéant). Si les clés "output" et "error" ne sont pas spécifiées, l'ensemble de la "response" est traité comme le résultat de l'exécution de l'outil.
parentToolCallId	string Uniquement en sortie. ID de l'appel d'outil qui a déclenché celui-ci, lorsqu'il a été émis par un sous-agent travaillant pour le compte d'un appel parent. Vide pour les appels de premier niveau. Permet à un client de regrouper le travail d'un sous-agent sous l'appel qui l'a déclenché au lieu de rendre chaque étape en tant que frère.
agentName	string Uniquement en sortie. Nom lisible de l'agent qui a émis cet appel, par exemple "Architecte de contrat". Vide lorsque l'agent racine l'a émis.
Champ d'union tool_identifier. Identifiant de l'outil qui a été exécuté. Il peut s'agir d'un outil persistant ou d'un outil d'un ensemble d'outils. tool_identifier ne peut être qu'un des éléments suivants :
tool	string Facultatif. Nom de l'outil à exécuter. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Facultatif. Outil de l'ensemble d'outils qui a été exécuté.

ToolsetTool

Représentation JSON
{ "toolset": string, "toolId": string }

Champs
toolset	string Obligatoire. Nom de ressource de l'ensemble d'outils à partir duquel cet outil est dérivé. Format : projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId	string Facultatif. ID de l'outil permettant de filtrer les outils pour récupérer le schéma.

Struct

Représentation JSON
{ "fields": { string: value, ... } }

Champs
fields	map (key: string, value: value (Value format)) Carte non ordonnée de valeurs typées dynamiquement. Objet contenant une liste de paires "key": value. Exemple : { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Représentation JSON
{ "key": string, "value": value }

Champs
key	string
value	value (Value format)

Valeur

Représentation JSON
{ // Union field kind can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field kind. }

Champs
Champ d'union kind. Type de valeur. kind ne peut être qu'un des éléments suivants :
nullValue	null Représente un null JSON.
numberValue	number Représente un nombre JSON. Ne doit pas être NaN, Infinity ni -Infinity, car ces valeurs ne sont pas acceptées dans JSON. Il ne peut pas non plus représenter de grandes valeurs Int64, car le format JSON ne les accepte généralement pas dans son type numérique.
stringValue	string Représente une chaîne JSON.
boolValue	boolean Représente une valeur booléenne JSON (littéral true ou false en JSON).
structValue	object (Struct format) Représente un objet JSON.
listValue	array (ListValue format) Représente un tableau JSON.

ListValue

Représentation JSON
{ "values": [ value ] }

Champs
values[]	value (Value format) Champ répété de valeurs typées de manière dynamique.

Image

Représentation JSON
{ "mimeType": string, "data": string }

Champs
mimeType	string Obligatoire. Type MIME standard IANA des données sources. Les types d'images acceptés sont les suivants : * image/png * image/jpeg * image/webp
data	string (bytes format) Obligatoire. Octets bruts de l'image. Chaîne encodée en base64.

Blob

Représentation JSON
{ "mimeType": string, "data": string }

Champs
mimeType	string Obligatoire. Type MIME standard IANA des données sources.
data	string (bytes format) Obligatoire. Octets bruts du blob. Chaîne encodée en base64.

Événement

Représentation JSON
{ "event": string }

Champs
event	string Obligatoire. Nom de l'événement.

AgentTransfer

Représentation JSON
{ "targetAgent": string, "displayName": string }

Champs
targetAgent	string Obligatoire. Agent auquel la conversation est transférée. L'agent prendra le relais à partir de ce moment. Format : projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName	string Uniquement en sortie. Nom à afficher de l'agent.

GoldenExpectation

Représentation JSON

{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object (ExpectationLevelMetricsThresholds) }, "agentResponseSemanticSimilarityMetricsConfigOverride": { object (SemanticSimilarityMetricsConfig) }, "agentResponseHallucinationMetricsConfigOverride": { object (HallucinationMetricsConfig) }, "comparisonType": enum (ComparisonType), // Union field condition can be only one of the following: "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentResponse": { object (Message) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "mockToolResponse": { object (ToolResponse) }, "noToolCalls": boolean // End of list of possible types for union field condition. }

Champs
note	string Facultatif. Note concernant cette exigence, utile pour les rapports lorsque des vérifications spécifiques échouent. Exemple : "Check_Payment_Tool_Called".
skipEvaluation	boolean Facultatif. Si la valeur est définie sur "true", cette attente spécifique ne sera pas évaluée.
expectationLevelMetricsThresholdsOverride	object (ExpectationLevelMetricsThresholds) Facultatif. Remplace les métriques au niveau de l'étape.
agentResponseSemanticSimilarityMetricsConfigOverride	object (SemanticSimilarityMetricsConfig) Facultatif. Remplacements pour les métriques de similarité sémantique de agent_response.
agentResponseHallucinationMetricsConfigOverride	object (HallucinationMetricsConfig) Facultatif. Remplace les métriques d'hallucination agent_response.
comparisonType	enum (ComparisonType) Facultatif. Type de comparaison à utiliser pour la vérification des attentes.
Champ d'union condition. Vérification à effectuer. condition ne peut être qu'un des éléments suivants :
toolCall	object (ToolCall) Facultatif. Vérifiez qu'un outil spécifique a été appelé avec les paramètres.
toolResponse	object (ToolResponse) Facultatif. Vérifiez qu'un outil spécifique a donné la réponse attendue.
agentResponse	object (Message) Facultatif. Vérifiez que l'agent a répondu correctement. Le rôle "agent" est implicite.
agentTransfer	object (AgentTransfer) Facultatif. Vérifiez que l'agent a transféré la conversation à un autre agent.
updatedVariables	object (Struct format) Facultatif. Vérifiez que l'agent a défini les variables de session sur les valeurs attendues. Permet également de capturer les mises à jour des variables d'agent pour les évaluations de référence.
mockToolResponse	object (ToolResponse) Facultatif. Réponse de l'outil à simuler, avec les paramètres d'intérêt spécifiés. Tous les paramètres non spécifiés seront générés par le LLM.
noToolCalls	boolean Facultatif. Vérifiez qu'aucun outil n'a été appelé pendant ce tour.

ToolCall

Représentation JSON
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Champs
id	string Facultatif. Identifiant unique de l'appel d'outil. Si ce champ est renseigné, le client doit renvoyer le résultat de l'exécution avec l'ID correspondant dans ToolResponse.
displayName	string Uniquement en sortie. Nom à afficher de l'outil.
args	object (Struct format) Facultatif. Paramètres et valeurs d'entrée de l'outil au format d'objet JSON.
parentToolCallId	string Uniquement en sortie. ID de l'appel d'outil qui a déclenché celui-ci, lorsqu'il a été émis par un sous-agent travaillant pour le compte d'un appel parent. Vide pour les appels de premier niveau. Permet à un client de regrouper le travail d'un sous-agent sous l'appel qui l'a déclenché au lieu de rendre chaque étape en tant que frère.
agentName	string Uniquement en sortie. Nom lisible de l'agent qui a émis cet appel, par exemple "Architecte de contrat". Vide lorsque l'agent racine l'a émis.
Champ d'union tool_identifier. Identifiant de l'outil à exécuter. Il peut s'agir d'un outil persistant ou d'un outil d'un ensemble d'outils. tool_identifier ne peut être qu'un des éléments suivants :
tool	string Facultatif. Nom de l'outil à exécuter. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Facultatif. Outil de l'ensemble d'outils à exécuter.

Message

Représentation JSON
{ "role": string, "chunks": [ { object (Chunk) } ], "eventTime": string }

Champs
role	string Facultatif. Rôle dans la conversation (utilisateur, agent, etc.).
chunks[]	object (Chunk) Facultatif. Contenu du message sous forme de série de blocs.
eventTime	string (Timestamp format) Facultatif. Code temporel de l'envoi ou de la réception du message. Ne doit pas être utilisé si le message fait partie d'un example. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

Bloc

Représentation JSON

{ // Union field data can be only one of the following: "text": string, "transcript": string, "blob": { object (Blob) }, "payload": { object }, "image": { object (Image) }, "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field data. }

Champs
Champ d'union data. Regroupez les données. data ne peut être qu'un des éléments suivants :
text	string Facultatif. Données textuelles.
transcript	string Facultatif. Transcription associée à l'élément audio.
blob	object (Blob) Facultatif. Données blob.
payload	object (Struct format) Facultatif. Données de charge utile personnalisées.
image	object (Image) Facultatif. Données d'image.
toolCall	object (ToolCall) Facultatif. Requête d'exécution d'outil.
toolResponse	object (ToolResponse) Facultatif. Réponse à l'exécution de l'outil.
agentTransfer	object (AgentTransfer) Facultatif. Événement de transfert d'agent.
updatedVariables	object (Struct format) Une structure représente les variables qui ont été mises à jour dans la conversation, avec les noms de variables comme clés.
defaultVariables	object (Struct format) Une structure représente les variables par défaut au début de la conversation, avec les noms de variables comme clés.

Horodatage

Représentation JSON
{ "seconds": string, "nanos": integer }

Champs
seconds	string (int64 format) Représente les secondes de l'heure UTC à partir de l'epoch Unix 1970-01-01T00:00:00Z. La valeur doit être comprise entre -62135596800 et 253402300799 inclus (ce qui correspond à 0001-01-01T00:00:00Z et 9999-12-31T23:59:59Z).
nanos	integer Fractions de secondes non négatives avec une précision de l'ordre de la nanoseconde. Ce champ correspond à la partie en nanosecondes de la durée, et non à une alternative aux secondes. Les valeurs de secondes négatives avec des fractions doivent toujours comporter des valeurs de nanosecondes non négatives comptabilisées dans le temps. La valeur doit être comprise entre 0 et 999 999 999 inclus.

ExpectationLevelMetricsThresholds

Représentation JSON
{ // Union field _tool_invocation_parameter_correctness_threshold can be only one // of the following: "toolInvocationParameterCorrectnessThreshold": number // End of list of possible types for union field // _tool_invocation_parameter_correctness_threshold. }

Champs
Champ d'union _tool_invocation_parameter_correctness_threshold. _tool_invocation_parameter_correctness_threshold ne peut être qu'un des éléments suivants :
toolInvocationParameterCorrectnessThreshold	number Facultatif. Seuil de réussite pour la justesse des paramètres d'appel d'outil individuel. Doit être un nombre à virgule flottante compris entre 0 et 1. La valeur par défaut est 1.0.

SemanticSimilarityMetricsConfig

Représentation JSON
{ "enableSemanticSimilarityMetrics": boolean }

Champs
enableSemanticSimilarityMetrics	boolean Facultatif. Indique si les métriques de similarité sémantique doivent être calculées pour l'évaluation.

HallucinationMetricsConfig

Représentation JSON
{ "enableHallucinationMetrics": boolean }

Champs
enableHallucinationMetrics	boolean Facultatif. Indique si les métriques d'hallucination doivent être calculées pour l'évaluation.

Segment

Représentation JSON
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (Span) } ] }

Champs
name	string Uniquement en sortie. Nom du segment.
startTime	string (Timestamp format) Uniquement en sortie. Heure de début du segment. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Uniquement en sortie. Heure de fin de l'étendue. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
duration	string (Duration format) Uniquement en sortie. Durée du segment. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
attributes	object (Struct format) Uniquement en sortie. Attributs clé-valeur associés à la portée.
childSpans[]	object (Span) Uniquement en sortie. Les portées enfants imbriquées sous cette portée.

Durée

Représentation JSON
{ "seconds": string, "nanos": integer }

Champs
seconds	string (int64 format) Secondes signées de la période. La valeur doit être comprise entre -315 576 000 000 et [phone] (inclus). Remarque : Ces limites sont calculées à partir de : 60 s/min * 60 min/h * 24 h/jour * 365,25 jours/an * 10 000 ans
nanos	integer Fractions de secondes signées avec une précision de l'ordre de la nanoseconde pour la durée. Les durées inférieures à une seconde sont représentées par un champ seconds égal à 0 et un champ nanos positif ou négatif. Pour les durées d'une seconde ou plus, une valeur non nulle pour le champ nanos doit avoir le même signe que le champ seconds. La valeur doit être comprise entre -999 999 999 et [phone] inclus.

TurnLevelMetricsThresholds

Représentation JSON

{ "semanticSimilarityChannel": enum (SemanticSimilarityChannel), // Union field _semantic_similarity_success_threshold can be only one of the // following: "semanticSimilaritySuccessThreshold": integer // End of list of possible types for union field // _semantic_similarity_success_threshold. // Union field _overall_tool_invocation_correctness_threshold can be only one // of the following: "overallToolInvocationCorrectnessThreshold": number // End of list of possible types for union field // _overall_tool_invocation_correctness_threshold. }

Champs
semanticSimilarityChannel	enum (SemanticSimilarityChannel) Facultatif. Canal de similarité sémantique à utiliser pour l'évaluation.
Champ d'union _semantic_similarity_success_threshold. _semantic_similarity_success_threshold ne peut être qu'un des éléments suivants :
semanticSimilaritySuccessThreshold	integer Facultatif. Seuil de réussite pour la similarité sémantique. Veuillez saisir un nombre entier compris entre 0 et 4. La valeur par défaut est >= 3.
Champ d'union _overall_tool_invocation_correctness_threshold. _overall_tool_invocation_correctness_threshold ne peut être qu'un des éléments suivants :
overallToolInvocationCorrectnessThreshold	number Facultatif. Seuil de réussite pour la correction globale de l'appel d'outil. Doit être un nombre à virgule flottante compris entre 0 et 1. La valeur par défaut est 1.0.

Scénario

Représentation JSON
{ "task": string, "userFacts": [ { object (UserFact) } ], "maxTurns": integer, "rubrics": [ string ], "scenarioExpectations": [ { object (ScenarioExpectation) } ], "variableOverrides": { object }, "taskCompletionBehavior": enum (TaskCompletionBehavior), "userGoalBehavior": enum (UserGoalBehavior), "evaluationExpectations": [ string ], "scenarioExecutionMode": enum (ScenarioExecutionMode) }

Champs
task	string Obligatoire. Tâche à cibler par le scénario.
userFacts[]	object (UserFact) Facultatif. Faits utilisateur à utiliser par le scénario.
maxTurns	integer Facultatif. Nombre maximal de tours à simuler. La valeur maximale autorisée est de 100. La valeur par défaut est 100.
rubrics[]	string Obligatoire. Rubriques permettant d'évaluer le scénario.
scenarioExpectations[]	object (ScenarioExpectation) Obligatoire. Les ScenarioExpectations permettant d'évaluer la conversation produite par la simulation utilisateur.
variableOverrides	object (Struct format) Facultatif. Variables / paramètres de session en tant que contexte pour la session, avec les noms de variables comme clés. Les membres de cette structure remplaceront toutes les valeurs par défaut définies par le système. Notez que ces faits sont différents des faits utilisateur, qui sont des faits connus de l'utilisateur. Les variables sont des paramètres connus de l'agent, c'est-à-dire le numéro de téléphone transmis par le système de téléphonie.
taskCompletionBehavior (deprecated)	enum (TaskCompletionBehavior) Cet élément est obsolète. Facultatif. Obsolète. Utilisez plutôt user_goal_behavior.
userGoalBehavior	enum (UserGoalBehavior) Facultatif. Comportement attendu de l'objectif utilisateur.
evaluationExpectations[]	string Facultatif. Attentes d'évaluation pour évaluer la conversation produite par la simulation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode	enum (ScenarioExecutionMode) Facultatif. Mode d'exécution pour les évaluations de scénarios.

UserFact

Représentation JSON
{ "name": string, "value": string }

Champs
name	string Obligatoire. Nom du fait utilisateur.
value	string Obligatoire. Valeur du fait utilisateur.

ScenarioExpectation

Représentation JSON
{ // Union field expectation can be only one of the following: "toolExpectation": { object (ToolExpectation) }, "agentResponse": { object (Message) } // End of list of possible types for union field expectation. }

Champs
Champ d'union expectation. L'attente d'évaluer la conversation produite par la simulation. expectation ne peut être qu'un des éléments suivants :
toolExpectation	object (ToolExpectation) Facultatif. Paire d'appel et de réponse de l'outil à évaluer.
agentResponse	object (Message) Facultatif. Réponse de l'agent à évaluer.

ToolExpectation

Représentation JSON
{ "expectedToolCall": { object (ToolCall) }, "mockToolResponse": { object (ToolResponse) } }

Champs
expectedToolCall	object (ToolCall) Obligatoire. Appel d'outil attendu, avec les paramètres d'intérêt spécifiés. Tous les paramètres non spécifiés seront générés par le LLM.
mockToolResponse	object (ToolResponse) Obligatoire. Réponse de l'outil à simuler, avec les paramètres d'intérêt spécifiés. Tous les paramètres non spécifiés seront générés par le LLM.

AggregatedMetrics

Représentation JSON
{ "metricsByAppVersion": [ { object (MetricsByAppVersion) } ] }

Champs
metricsByAppVersion[]	object (MetricsByAppVersion) Uniquement en sortie. Métriques agrégées, regroupées par ID de version de l'application.

MetricsByAppVersion

Représentation JSON

{ "appVersionId": string, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ], "passCount": integer, "failCount": integer, "metricsByTurn": [ { object (MetricsByTurn) } ] }

Champs
appVersionId	string Uniquement en sortie. ID de version de l'application.
toolMetrics[]	object (ToolMetrics) Uniquement en sortie. Métriques pour chaque outil de cette version de l'application.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Uniquement en sortie. Métriques de similarité sémantique dans cette version de l'application.
hallucinationMetrics[]	object (HallucinationMetrics) Uniquement en sortie. Métriques concernant les hallucinations dans cette version de l'application.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Uniquement en sortie. Métriques pour la latence des appels d'outils dans cette version de l'application.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Uniquement en sortie. Métriques pour la latence des tours dans cette version de l'application.
passCount	integer Uniquement en sortie. Nombre de fois où l'évaluation a été réussie.
failCount	integer Uniquement en sortie. Nombre d'échecs de l'évaluation.
metricsByTurn[]	object (MetricsByTurn) Uniquement en sortie. Métriques agrégées par tour dans cette version de l'application.

ToolMetrics

Représentation JSON
{ "tool": string, "passCount": integer, "failCount": integer }

Champs
tool	string Uniquement en sortie. Nom de l'outil.
passCount	integer Uniquement en sortie. Nombre de fois où l'outil a réussi.
failCount	integer Uniquement en sortie. Nombre d'échecs de l'outil.

SemanticSimilarityMetrics

Représentation JSON
{ "score": number }

Champs
score	number Uniquement en sortie. Score moyen de similarité sémantique (de 0 à 4).

HallucinationMetrics

Représentation JSON
{ "score": number }

Champs
score	number Uniquement en sortie. Score moyen d'hallucination (de 0 à 1).

ToolCallLatencyMetrics

Représentation JSON
{ "tool": string, "averageLatency": string }

Champs
tool	string Uniquement en sortie. Nom de l'outil.
averageLatency	string (Duration format) Uniquement en sortie. Latence moyenne des appels d'outils. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"

TurnLatencyMetrics

Représentation JSON
{ "averageLatency": string }

Champs
averageLatency	string (Duration format) Uniquement en sortie. Latence moyenne des tours. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"

MetricsByTurn

Représentation JSON
{ "turnIndex": integer, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ] }

Champs
turnIndex	integer Uniquement en sortie. Index du tour (basé sur 0).
toolMetrics[]	object (ToolMetrics) Uniquement en sortie. Métriques pour chaque outil de ce tour.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Uniquement en sortie. Métriques de similarité sémantique pour ce tour.
hallucinationMetrics[]	object (HallucinationMetrics) Uniquement en sortie. Métriques pour l'hallucination au cours de ce tour.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Uniquement en sortie. Métriques de latence des appels d'outils au cours de ce tour.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Uniquement en sortie. Métriques de latence de tour dans ce tour.

EvaluationResult

Représentation JSON

{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum (Outcome), "evaluationRun": string, "persona": { object (EvaluationPersona) }, "errorInfo": { object (EvaluationErrorInfo) }, "error": { object (Status) }, "initiatedBy": string, "appVersion": string, "appVersionDisplayName": string, "changelog": string, "changelogCreateTime": string, "executionState": enum (ExecutionState), "evaluationMetricsThresholds": { object (EvaluationMetricsThresholds) }, "config": { object (EvaluationConfig) }, "goldenRunMethod": enum (GoldenRunMethod), "rootSpan": { object (Span) }, "outcomeMetadata": enum (OutcomeMetadata), // Union field result can be only one of the following: "goldenResult": { object (GoldenResult) }, "scenarioResult": { object (ScenarioResult) } // End of list of possible types for union field result. }

Champs
name	string Identifiant. Identifiant unique du résultat de l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName	string Obligatoire. Nom à afficher du résultat de l'évaluation. Unique dans une évaluation. Par défaut, il se présente au format suivant : " résultat – .
createTime	string (Timestamp format) Uniquement en sortie. Code temporel de la création du résultat de l'évaluation. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
evaluationStatus	enum (Outcome) Uniquement en sortie. Résultat de l'évaluation. N'est renseigné que si execution_state est défini sur "COMPLETE".
evaluationRun	string Uniquement en sortie. Exécution de l'évaluation ayant généré ce résultat. Format : projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona	object (EvaluationPersona) Uniquement en sortie. Personnalité utilisée pour générer la conversation pour le résultat de l'évaluation.
errorInfo	object (EvaluationErrorInfo) Uniquement en sortie. Informations sur les erreurs liées au résultat de l'évaluation.
error (deprecated)	object (Status) Cet élément est obsolète. Uniquement en sortie. Obsolète : utilisez plutôt error_info. Erreurs rencontrées lors de l'exécution.
initiatedBy	string Uniquement en sortie. Utilisateur ayant lancé l'exécution de l'évaluation qui a généré ce résultat.
appVersion	string Uniquement en sortie. Version de l'application utilisée pour générer la conversation ayant abouti à ce résultat. Format : projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName	string Uniquement en sortie. Nom à afficher du app_version par rapport auquel l'évaluation a été exécutée.
changelog	string Uniquement en sortie. Journal des modifications de la version de l'application par rapport à laquelle l'évaluation a été exécutée. Cette valeur est renseignée si l'utilisateur exécute l'évaluation sur la dernière version ou le brouillon.
changelogCreateTime	string (Timestamp format) Uniquement en sortie. Heure de création du journal des modifications de la version de l'application par rapport à laquelle l'évaluation a été exécutée. Cette valeur est renseignée si l'utilisateur exécute l'évaluation sur la dernière version ou le brouillon. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionState	enum (ExecutionState) Uniquement en sortie. État de l'exécution du résultat de l'évaluation.
evaluationMetricsThresholds	object (EvaluationMetricsThresholds) Uniquement en sortie. Seuils d'évaluation pour le résultat.
config	object (EvaluationConfig) Uniquement en sortie. Configuration utilisée lors de l'exécution de l'évaluation ayant généré ce résultat.
goldenRunMethod	enum (GoldenRunMethod) Uniquement en sortie. Méthode utilisée pour exécuter l'évaluation de référence.
rootSpan	object (Span) Uniquement en sortie. Portée racine de l'exécution de l'évaluation, qui inclut des informations sur chaque étape de l'évaluation.
outcomeMetadata	enum (OutcomeMetadata) Uniquement en sortie. Métadonnées de résultat de l'évaluation. N'est renseigné que si execution_state est défini sur "COMPLETE".
Champ d'union result. Résultat de l'évaluation. N'est renseigné que lorsque l'état d'exécution est "COMPLETED". result ne peut être qu'un des éléments suivants :
goldenResult	object (GoldenResult) Uniquement en sortie. Résultat d'une évaluation de référence.
scenarioResult	object (ScenarioResult) Uniquement en sortie. Résultat d'une évaluation de scénario.

GoldenResult

Représentation JSON
{ "turnReplayResults": [ { object (TurnReplayResult) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ] }

Champs
turnReplayResults[]	object (TurnReplayResult) Uniquement en sortie. Résultat de l'exécution de chaque tour de la conversation de référence.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Uniquement en sortie. les résultats attendus de l'évaluation.

TurnReplayResult

Représentation JSON

{ "conversation": string, "expectationOutcome": [ { object (GoldenExpectationOutcome) } ], "hallucinationResult": { object (HallucinationResult) }, "toolInvocationScore": number, "turnLatency": string, "toolCallLatencies": [ { object (ToolCallLatency) } ], "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "overallToolInvocationResult": { object (OverallToolInvocationResult) }, "errorInfo": { object (EvaluationErrorInfo) }, "spanLatencies": [ { object (SpanLatency) } ], // Union field _tool_ordered_invocation_score can be only one of the following: "toolOrderedInvocationScore": number // End of list of possible types for union field // _tool_ordered_invocation_score. }

Champs
conversation	string Uniquement en sortie. Conversation générée pour ce tour.
expectationOutcome[]	object (GoldenExpectationOutcome) Uniquement en sortie. Le résultat de chaque attente.
hallucinationResult	object (HallucinationResult) Uniquement en sortie. Résultat de la vérification des hallucinations.
toolInvocationScore (deprecated)	number Cet élément est obsolète. Uniquement en sortie. Obsolète. Utilisez plutôt OverallToolInvocationResult.
turnLatency	string (Duration format) Uniquement en sortie. Durée du tour. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
toolCallLatencies[]	object (ToolCallLatency) Uniquement en sortie. Latence de chaque appel d'outil dans le tour.
semanticSimilarityResult	object (SemanticSimilarityResult) Uniquement en sortie. Résultat de la vérification de la similarité sémantique.
overallToolInvocationResult	object (OverallToolInvocationResult) Uniquement en sortie. Résultat de la vérification globale de l'appel d'outil.
errorInfo	object (EvaluationErrorInfo) Uniquement en sortie. Informations sur l'erreur qui s'est produite lors de ce tour.
spanLatencies[]	object (SpanLatency) Uniquement en sortie. Latence des spans dans le tour.
Champ d'union _tool_ordered_invocation_score. _tool_ordered_invocation_score ne peut être qu'un des éléments suivants :
toolOrderedInvocationScore	number Uniquement en sortie. Score global d'invocation d'outil pour ce tour. Indique le pourcentage global d'outils du tour attendu qui ont été réellement appelés dans l'ordre attendu.

GoldenExpectationOutcome

Représentation JSON

{ "expectation": { object (GoldenExpectation) }, "outcome": enum (Outcome), "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "toolInvocationResult": { object (ToolInvocationResult) }, // Union field result can be only one of the following: "observedToolCall": { object (ToolCall) }, "observedToolResponse": { object (ToolResponse) }, "observedAgentResponse": { object (Message) }, "observedAgentTransfer": { object (AgentTransfer) }, "observedPayload": { object } // End of list of possible types for union field result. }

Champs
expectation	object (GoldenExpectation) Uniquement en sortie. L'attente qui a été évaluée.
outcome	enum (Outcome) Uniquement en sortie. Résultat attendu.
semanticSimilarityResult (deprecated)	object (SemanticSimilarityResult) Cet élément est obsolète. Uniquement en sortie. Résultat de la vérification de la similarité sémantique.
toolInvocationResult	object (ToolInvocationResult) Uniquement en sortie. Résultat de la vérification de l'appel d'outil.
Champ d'union result. Résultat de l'attente. result ne peut être qu'un des éléments suivants :
observedToolCall	object (ToolCall) Uniquement en sortie. Résultat attendu de l'appel d'outil.
observedToolResponse	object (ToolResponse) Uniquement en sortie. Résultat de l'attente de réponse de l'outil.
observedAgentResponse	object (Message) Uniquement en sortie. Résultat de l'attente de réponse de l'agent.
observedAgentTransfer	object (AgentTransfer) Uniquement en sortie. Résultat de l'attente de transfert de l'agent.
observedPayload	object (Struct format) Uniquement en sortie. Charge utile personnalisée observée. Il n'y a aucune attente concernant les charges utiles personnalisées. Elle n'est utilisée que pour le calcul des métriques. Le résultat est toujours "SKIPPED" (IGNORÉ).

SemanticSimilarityResult

Représentation JSON
{ "label": string, "explanation": string, "outcome": enum (Outcome), // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Champs
label	string Uniquement en sortie. Libellé associé à chaque score. Score 4 : entièrement cohérent Score 3 : principalement cohérent Score 2 : partiellement cohérent (omissions mineures) Score 1 : largement incohérent (omissions majeures) Score 0 : complètement incohérent / contradictoire
explanation	string Uniquement en sortie. Explication du score de similarité sémantique.
outcome	enum (Outcome) Uniquement en sortie. Résultat de la vérification de la similarité sémantique. Pour ce faire, le score est comparé à semantic_similarity_success_threshold. Si le score est égal ou supérieur au seuil, le résultat est "RÉUSSITE". Sinon, le résultat sera FAIL.
Champ d'union _score. _score ne peut être qu'un des éléments suivants :
score	integer Uniquement en sortie. Score de similarité sémantique. Peut être égal à 0, 1, 2, 3 ou 4.

ToolInvocationResult

Représentation JSON
{ "outcome": enum (Outcome), "explanation": string, // Union field _parameter_correctness_score can be only one of the following: "parameterCorrectnessScore": number // End of list of possible types for union field _parameter_correctness_score. }

Champs
outcome	enum (Outcome) Uniquement en sortie. Résultat de la vérification de l'appel d'outil. Pour ce faire, le paramètre "parameter_correctness_score" est comparé au seuil. Si le score est égal ou supérieur au seuil, le résultat est "RÉUSSITE". Sinon, le résultat sera FAIL.
explanation	string Uniquement en sortie. Explication en texte libre du résultat de l'appel d'outil.
Champ d'union _parameter_correctness_score. _parameter_correctness_score ne peut être qu'un des éléments suivants :
parameterCorrectnessScore	number Uniquement en sortie. Score d'exactitude du paramètre d'invocation d'outil. Indique le pourcentage de paramètres de l'appel d'outil attendu qui étaient également présents dans l'appel d'outil réel.

HallucinationResult

Représentation JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Champs
label	string Uniquement en sortie. Libellé associé à chaque score. Score 1 : Justifié Score 0 : Non justifié Score -1 : Aucune affirmation à évaluer
explanation	string Uniquement en sortie. Explication du score d'hallucination.
Champ d'union _score. _score ne peut être qu'un des éléments suivants :
score	integer Uniquement en sortie. Score d'hallucination. Valeurs possibles : -1, 0 ou 1.

ToolCallLatency

Représentation JSON
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

Champs
tool	string Uniquement en sortie. Nom de l'outil exécuté. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName	string Uniquement en sortie. Nom à afficher de l'outil.
startTime	string (Timestamp format) Uniquement en sortie. Heure de début de l'exécution de l'appel d'outil. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Uniquement en sortie. Heure de fin de l'exécution de l'appel d'outil. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Uniquement en sortie. Latence de l'exécution de l'appel d'outil. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"

OverallToolInvocationResult

Représentation JSON
{ "outcome": enum (Outcome), // Union field _tool_invocation_score can be only one of the following: "toolInvocationScore": number // End of list of possible types for union field _tool_invocation_score. }

Champs
outcome	enum (Outcome) Uniquement en sortie. Résultat de la vérification de l'appel d'outil. Cette valeur est déterminée en comparant tool_invocation_score au seuil overall_tool_invocation_correctness_threshold. Si le score est égal ou supérieur au seuil, le résultat est "RÉUSSITE". Sinon, le résultat sera FAIL.
Champ d'union _tool_invocation_score. _tool_invocation_score ne peut être qu'un des éléments suivants :
toolInvocationScore	number Score global d'appel d'outil pour ce tour. Indique le pourcentage global d'outils de la réponse attendue qui ont été réellement appelés.

EvaluationErrorInfo

Représentation JSON
{ "errorType": enum (ErrorType), "errorMessage": string, "sessionId": string, "userFacingErrorMessage": string }

Champs
errorType	enum (ErrorType) Uniquement en sortie. Type d'erreur.
errorMessage	string Uniquement en sortie. Message d'erreur.
sessionId	string Uniquement en sortie. ID de session de la conversation à l'origine de l'erreur.
userFacingErrorMessage	string Uniquement en sortie. Message d'erreur visible par l'utilisateur.

SpanLatency

Représentation JSON
{ "type": enum (Type), "displayName": string, "startTime": string, "endTime": string, "executionLatency": string, // Union field identifier can be only one of the following: "resource": string, "toolset": { object (ToolsetTool) }, "model": string, "callback": string // End of list of possible types for union field identifier. }

Champs
type	enum (Type) Uniquement en sortie. Type de span.
displayName	string Uniquement en sortie. Nom à afficher du segment. S'applique aux étendues d'outils et de garde-fous.
startTime	string (Timestamp format) Uniquement en sortie. Heure de début du segment. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Uniquement en sortie. Heure de fin du segment. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Uniquement en sortie. Latence du segment. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
Champ d'union identifier. Identifiant de l'élément spécifique en fonction de son type. identifier ne peut être qu'un des éléments suivants :
resource	string Uniquement en sortie. Nom de ressource des étendues de garde-fou ou d'outil.
toolset	object (ToolsetTool) Uniquement en sortie. Identifiant de l'outil dans l'ensemble d'outils.
model	string Uniquement en sortie. Nom du segment LLM.
callback	string Uniquement en sortie. Nom de la portée du rappel utilisateur.

EvaluationExpectationResult

Représentation JSON
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (Outcome), "explanation": string }

Champs
evaluationExpectation	string Uniquement en sortie. L'attente d'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt	string Uniquement en sortie. Requête utilisée pour l'évaluation.
outcome	enum (Outcome) Uniquement en sortie. Résultat attendu de l'évaluation.
explanation	string Uniquement en sortie. Explication du résultat.

ScenarioResult

Représentation JSON

{ "conversation": string, "task": string, "userFacts": [ { object (UserFact) } ], "expectationOutcomes": [ { object (ScenarioExpectationOutcome) } ], "rubricOutcomes": [ { object (ScenarioRubricOutcome) } ], "hallucinationResult": [ { object (HallucinationResult) } ], "taskCompletionResult": { object (TaskCompletionResult) }, "toolCallLatencies": [ { object (ToolCallLatency) } ], "userGoalSatisfactionResult": { object (UserGoalSatisfactionResult) }, "spanLatencies": [ { object (SpanLatency) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ], // Union field _all_expectations_satisfied can be only one of the following: "allExpectationsSatisfied": boolean // End of list of possible types for union field _all_expectations_satisfied. // Union field _task_completed can be only one of the following: "taskCompleted": boolean // End of list of possible types for union field _task_completed. }

Champs
conversation	string Uniquement en sortie. Conversation générée dans le scénario.
task	string Uniquement en sortie. Tâche utilisée lors de l'exécution du scénario pour ce résultat.
userFacts[]	object (UserFact) Uniquement en sortie. Faits sur l'utilisateur utilisés par le scénario pour ce résultat.
expectationOutcomes[]	object (ScenarioExpectationOutcome) Uniquement en sortie. Le résultat de chaque attente.
rubricOutcomes[]	object (ScenarioRubricOutcome) Uniquement en sortie. Résultat de la grille d'évaluation.
hallucinationResult[]	object (HallucinationResult) Uniquement en sortie. Résultat de la vérification des hallucinations. Il y aura un résultat d'hallucination pour chaque tour de conversation.
taskCompletionResult (deprecated)	object (TaskCompletionResult) Cet élément est obsolète. Uniquement en sortie. Résultat de la vérification de l'exécution de la tâche.
toolCallLatencies[]	object (ToolCallLatency) Uniquement en sortie. Latence de l'exécution de chaque appel d'outil dans la conversation.
userGoalSatisfactionResult	object (UserGoalSatisfactionResult) Uniquement en sortie. Résultat de la vérification de la satisfaction de l'objectif de l'utilisateur.
spanLatencies[]	object (SpanLatency) Uniquement en sortie. Latence des portées dans la conversation.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Uniquement en sortie. les résultats attendus de l'évaluation.
Champ d'union _all_expectations_satisfied. _all_expectations_satisfied ne peut être qu'un des éléments suivants :
allExpectationsSatisfied	boolean Uniquement en sortie. Indique si toutes les attentes ont été satisfaites pour ce tour.
Champ d'union _task_completed. _task_completed ne peut être qu'un des éléments suivants :
taskCompleted	boolean Uniquement en sortie. Indique si la tâche a été effectuée pour ce tour. Il s'agit d'une combinaison de toutes les attentes satisfaites, de l'absence d'hallucinations et de la satisfaction de l'objectif de l'utilisateur.

ScenarioExpectationOutcome

Représentation JSON
{ "expectation": { object (ScenarioExpectation) }, "outcome": enum (Outcome), // Union field result can be only one of the following: "observedToolCall": { object (ObservedToolCall) }, "observedAgentResponse": { object (Message) } // End of list of possible types for union field result. }

Champs
expectation	object (ScenarioExpectation) Uniquement en sortie. L'attente qui a été évaluée.
outcome	enum (Outcome) Uniquement en sortie. Résultat de ScenarioExpectation.
Champ d'union result. Résultat de l'attente. result ne peut être qu'un des éléments suivants :
observedToolCall	object (ObservedToolCall) Uniquement en sortie. Appel d'outil observé.
observedAgentResponse	object (Message) Uniquement en sortie. Réponse de l'agent observée.

ObservedToolCall

Représentation JSON
{ "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) } }

Champs
toolCall	object (ToolCall) Uniquement en sortie. Appel d'outil observé.
toolResponse	object (ToolResponse) Uniquement en sortie. Réponse de l'outil observée.

ScenarioRubricOutcome

Représentation JSON
{ "rubric": string, "scoreExplanation": string, // Union field _score can be only one of the following: "score": number // End of list of possible types for union field _score. }

Champs
rubric	string Uniquement en sortie. Grille d'évaluation utilisée pour évaluer la conversation.
scoreExplanation	string Uniquement en sortie. Réponse de l'évaluateur à la grille d'évaluation.
Champ d'union _score. _score ne peut être qu'un des éléments suivants :
score	number Uniquement en sortie. Score de la conversation par rapport à la grille d'évaluation.

TaskCompletionResult

Représentation JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Champs
label	string Uniquement en sortie. Libellé associé à chaque score. Score 1 : tâche terminée Score 0 : tâche non terminée Score -1 : objectif de l'utilisateur non défini
explanation	string Uniquement en sortie. Explication du score d'accomplissement des tâches.
Champ d'union _score. _score ne peut être qu'un des éléments suivants :
score	integer Uniquement en sortie. Score d'exécution de la tâche. Valeurs possibles : -1, 0 ou 1

UserGoalSatisfactionResult

Représentation JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Champs
label	string Uniquement en sortie. Libellé associé à chaque score. Score 2 : Transfert fluide Score 1 : Tâche utilisateur effectuée Score 0 : Tâche utilisateur non effectuée Score -1 : Tâche utilisateur non spécifiée
explanation	string Uniquement en sortie. Explication du score de satisfaction des tâches utilisateur.
Champ d'union _score. _score ne peut être qu'un des éléments suivants :
score	integer Uniquement en sortie. Score de satisfaction de l'utilisateur concernant la tâche. Valeurs possibles : -1, 0, 1, 2.

EvaluationPersona

Représentation JSON
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (SpeechConfig) } }

Champs
name	string Obligatoire. Identifiant unique de la persona. Format : projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description	string Facultatif. Description du persona.
displayName	string Obligatoire. Nom à afficher de la persona. Unique dans une application.
personality	string Obligatoire. Instruction indiquant à l'agent comment se comporter lors de l'évaluation.
speechConfig	object (SpeechConfig) Facultatif. Configuration de la voix de la persona (paramètres TTS).

SpeechConfig

Représentation JSON
{ "speakingRate": number, "environment": enum (BackgroundEnvironment), "voiceId": string }

Champs
speakingRate	number Facultatif. Vitesse d'élocution. 1.0 est la valeur normale. Une valeur faible (par exemple, 0,8) indique une vitesse lente, tandis qu'une valeur élevée (par exemple, 1,5) indique une vitesse rapide. Utile pour tester la façon dont l'agent gère les personnes qui parlent vite.
environment	enum (BackgroundEnvironment) Facultatif. Environnement audio simulé.
voiceId	string Facultatif. Identifiant/accent de voix spécifique à utiliser. Exemple : "en-US-Wavenet-D" ou "en-GB-Standard-A"

État

Représentation JSON
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

Champs
code	integer Code d'état, qui doit être une valeur d'énumération de google.rpc.Code.
message	string Message d'erreur destiné au développeur, qui doit être en anglais. Tout message d'erreur destiné aux utilisateurs doit être localisé et envoyé dans le champ google.rpc.Status.details, ou localisé par le client.
details[]	object Liste de messages comportant les détails de l'erreur. Il existe un ensemble commun de types de message utilisable par les API. Objet contenant des champs d'un type arbitraire. Un champ supplémentaire "@type" contient un URI identifiant le type. Exemple : { "id": 1234, "@type": "types.example.com/standard/id" }.

Tous

Représentation JSON
{ "typeUrl": string, "value": string }

Champs
typeUrl	string Identifie le type du message Protobuf sérialisé avec une référence URI composée d'un préfixe se terminant par une barre oblique et du nom de type complet. Exemple : type.googleapis.com/google.protobuf.StringValue Cette chaîne doit contenir au moins un caractère /, et le contenu après le dernier / doit être le nom complet du type sous forme canonique, sans point au début. N'écrivez pas de schéma sur ces références URI afin que les clients ne tentent pas de les contacter. Le préfixe est arbitraire et les implémentations Protobuf sont censées supprimer tout ce qui précède le dernier / (inclus) pour identifier le type. type.googleapis.com/ est un préfixe par défaut courant que certaines anciennes implémentations requièrent. Ce préfixe n'indique pas l'origine du type, et les URI qui le contiennent ne sont pas censés répondre aux requêtes. Toutes les chaînes d'URL de type doivent être des références URI valides, avec la restriction supplémentaire (pour le format texte) que le contenu de la référence ne doit comporter que des caractères alphanumériques, des séquences d'échappement encodées en pourcentage et des caractères de l'ensemble suivant (sans les accents graves extérieurs) : /-.~_!$&()*+,;=. Bien que nous autorisions les encodages en pourcentage, les implémentations ne doivent pas les décoder pour éviter toute confusion avec les analyseurs existants. Par exemple, type.googleapis.com%2FFoo doit être rejeté. Dans la conception d'origine de Any, la possibilité de lancer un service de résolution de type à ces URL de type a été envisagée, mais Protobuf n'en a jamais implémenté un et considère que la prise de contact avec ces URL est problématique et constitue un problème de sécurité potentiel. N'essayez pas de contacter les URL de type.
value	string (bytes format) Contient une sérialisation Protobuf du type décrit par type_url. Chaîne encodée en base64.

EvaluationMetricsThresholds

Représentation JSON
{ "goldenEvaluationMetricsThresholds": { object (GoldenEvaluationMetricsThresholds) }, "hallucinationMetricBehavior": enum (HallucinationMetricBehavior), "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior), "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior) }

Champs
goldenEvaluationMetricsThresholds	object (GoldenEvaluationMetricsThresholds) Facultatif. Seuils des métriques d'évaluation privilégiées.
hallucinationMetricBehavior (deprecated)	enum (HallucinationMetricBehavior) Cet élément est obsolète. Facultatif. Obsolète : utilisez plutôt golden_hallucination_metric_behavior. Le comportement de la métrique d'hallucination est actuellement utilisé pour les évaluations de référence.
goldenHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Facultatif. Comportement de la métrique d'hallucination pour les évaluations de référence.
scenarioHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Facultatif. Comportement de la métrique d'hallucination pour les évaluations de scénarios.

GoldenEvaluationMetricsThresholds

Représentation JSON
{ "turnLevelMetricsThresholds": { object (TurnLevelMetricsThresholds) }, "expectationLevelMetricsThresholds": { object (ExpectationLevelMetricsThresholds) }, "toolMatchingSettings": { object (ToolMatchingSettings) } }

Champs
turnLevelMetricsThresholds	object (TurnLevelMetricsThresholds) Facultatif. Seuils des métriques au niveau du tour.
expectationLevelMetricsThresholds	object (ExpectationLevelMetricsThresholds) Facultatif. Seuils des métriques de niveau d'attente.
toolMatchingSettings	object (ToolMatchingSettings) Facultatif. Paramètres de correspondance de l'outil. Un appel d'outil supplémentaire est un appel d'outil présent dans l'exécution, mais qui ne correspond à aucun appel d'outil dans l'attente de référence.

ToolMatchingSettings

Représentation JSON
{ "extraToolCallBehavior": enum (ExtraToolCallBehavior) }

Champs
extraToolCallBehavior	enum (ExtraToolCallBehavior) Facultatif. Comportement pour les appels d'outils supplémentaires. La valeur par défaut est "FAIL".

EvaluationConfig

Représentation JSON
{ "inputAudioConfig": { object (InputAudioConfig) }, "outputAudioConfig": { object (OutputAudioConfig) }, "evaluationChannel": enum (EvaluationChannel), "toolCallBehaviour": enum (EvaluationToolCallBehaviour) }

Champs
inputAudioConfig	object (InputAudioConfig) Facultatif. Configuration pour le traitement de l'entrée audio.
outputAudioConfig	object (OutputAudioConfig) Facultatif. Configuration pour générer le contenu audio de sortie.
evaluationChannel	enum (EvaluationChannel) Facultatif. Canal à évaluer.
toolCallBehaviour	enum (EvaluationToolCallBehaviour) Facultatif. Indique si l'évaluation doit utiliser de vrais appels d'outils ou de faux outils.

InputAudioConfig

Représentation JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

Champs
audioEncoding	enum (AudioEncoding) Obligatoire. Encodage des données audio d'entrée.
sampleRateHertz	integer Obligatoire. Taux d'échantillonnage (en hertz) des données audio d'entrée.
noiseSuppressionLevel	string Facultatif. Indique si la suppression du bruit doit être activée pour l'entrée audio. Les valeurs disponibles sont "low", "moderate", "high" et "very_high".

OutputAudioConfig

Représentation JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer }

Champs
audioEncoding	enum (AudioEncoding) Obligatoire. Encodage des données audio de sortie.
sampleRateHertz	integer Obligatoire. Taux d'échantillonnage (en hertz) des données audio de sortie.

EvaluationMetricsConfig

Représentation JSON
{ "goldenMetricsConfig": { object (GoldenMetricsConfig) }, "scenarioMetricsConfig": { object (ScenarioMetricsConfig) } }

Champs
goldenMetricsConfig	object (GoldenMetricsConfig) Facultatif. Configuration des métriques clés pour l'évaluation.
scenarioMetricsConfig	object (ScenarioMetricsConfig) Facultatif. Configuration des métriques de scénario pour l'évaluation.

GoldenMetricsConfig

Représentation JSON
{ "semanticSimilarityMetricsConfig": { object (SemanticSimilarityMetricsConfig) }, "toolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) }, "stepToolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) } }

Champs
semanticSimilarityMetricsConfig	object (SemanticSimilarityMetricsConfig) Facultatif. Configuration globale pour les métriques de similarité sémantique.
toolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) Facultatif. Configuration des métriques d'exactitude de l'outil au niveau du tour.
stepToolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) Facultatif. Configuration des métriques d'exactitude des outils au niveau des étapes.

ToolCorrectnessMetricsConfig

Représentation JSON
{ "enableToolCorrectnessMetrics": boolean }

Champs
enableToolCorrectnessMetrics	boolean Facultatif. Indique si les métriques d'exactitude des outils doivent être calculées pour l'évaluation.

ScenarioMetricsConfig

Représentation JSON
{ "userGoalMetMetricsConfig": { object (UserGoalMetMetricsConfig) }, "expectationsMetMetricsConfig": { object (ExpectationsMetMetricsConfig) } }

Champs
userGoalMetMetricsConfig	object (UserGoalMetMetricsConfig) Facultatif. Configuration des métriques "Objectif utilisateur atteint".
expectationsMetMetricsConfig	object (ExpectationsMetMetricsConfig) Facultatif. Configuration des métriques de niveau d'attente.

UserGoalMetMetricsConfig

Représentation JSON
{ "enableUserGoalMetMetrics": boolean }

Champs
enableUserGoalMetMetrics	boolean Facultatif. Indique si les métriques sur les objectifs utilisateur atteints doivent être calculées pour l'évaluation.

ExpectationsMetMetricsConfig

Représentation JSON
{ "enableExpectationsMetMetrics": boolean }

Champs
enableExpectationsMetMetrics	boolean Facultatif. Indique si les métriques de niveau d'attente doivent être calculées pour l'évaluation.

NullValue

Représente un null JSON.

NullValue est une sentinelle qui utilise une énumération avec une seule valeur pour représenter la valeur nulle de l'union de type Value.

Un champ de type NullValue avec une valeur autre que 0 est considéré comme non valide. La plupart des sérialiseurs ProtoJSON émettent un Value avec un null_value défini comme null JSON, quelle que soit la valeur entière, et effectuent donc un aller-retour vers une valeur 0.

Enums
NULL_VALUE	Valeur nulle.

ComparisonType

Types de comparaison acceptés pour vérifier la réponse de l'agent.

Enums
COMPARISON_TYPE_UNSPECIFIED	Type de comparaison non spécifié. Le comportement par défaut est SEMANTIC_SIMILARITY pour les réponses de l'agent et les appels d'outils.
EQUALS	Correspondance exacte de chaîne.
CONTAINS	Correspondance de sous-chaîne (vérifie si la chaîne attendue est contenue dans la réponse réelle).
SEMANTIC_SIMILARITY	Correspondance de similarité sémantique (évalue la similarité de sens à l'aide d'un LLM).

SemanticSimilarityChannel

Canal de similarité sémantique à utiliser.

Enums
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED	Métrique non spécifiée. La valeur par défaut est TEXT.
TEXT	Utilisez la similarité sémantique du texte.
AUDIO	Utilisez la similarité sémantique audio.

HallucinationMetricBehavior

Comportement de la métrique d'hallucination. Quel que soit le comportement, la métrique sera toujours calculée. La différence est que, lorsqu'elle est désactivée, la métrique n'est pas utilisée pour calculer le score d'évaluation global.

Enums
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED	Comportement non spécifié de la métrique d'hallucination.
DISABLED	Désactivez la métrique d'hallucination.
ENABLED	Activez la métrique d'hallucination.

TaskCompletionBehavior

Comportement attendu de la tâche utilisateur. Il permet de déterminer si le scénario est réussi.

Enums
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED	Comportement non spécifié. La valeur par défaut est TASK_SATISFIED.
TASK_SATISFIED	La tâche de l'utilisateur doit être effectuée avec succès.
TASK_REJECTED	La tâche de l'utilisateur doit être refusée.

UserGoalBehavior

Comportement attendu de l'objectif utilisateur. Il permet de déterminer si le scénario est réussi.

Enums
USER_GOAL_BEHAVIOR_UNSPECIFIED	Comportement non spécifié. La valeur par défaut est USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED	L'objectif de l'utilisateur doit être atteint.
USER_GOAL_REJECTED	L'objectif de l'utilisateur doit être refusé.
USER_GOAL_IGNORED	Ignorez l'état de l'objectif de l'utilisateur.

ScenarioExecutionMode

Mode d'exécution pour les évaluations de scénarios.

Enums
SCENARIO_EXECUTION_MODE_UNSPECIFIED	Mode d'exécution non spécifié. La valeur par défaut est QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED	Mode optimisé pour la qualité.
SPEED_OPTIMIZED	Mode optimisé pour la vitesse.

Résultat

Résultat de l'évaluation ou de l'attente.

Enums
OUTCOME_UNSPECIFIED	Le résultat de l'évaluation n'est pas spécifié.
PASS	L'évaluation/l'attente a été respectée. Dans le cas d'une évaluation, cela signifie que toutes les attentes ont été satisfaites.
FAIL	Échec de l'évaluation/de l'attente. Dans le cas d'une évaluation, cela signifie qu'au moins une attente n'a pas été satisfaite.
SKIPPED	L'évaluation/l'attente a été ignorée.

ErrorType

Type d'erreur

Enums
ERROR_TYPE_UNSPECIFIED	Type d'erreur non spécifié.
RUNTIME_FAILURE	Échec lors de l'exécution de l'environnement d'exécution.
CONVERSATION_RETRIEVAL_FAILURE	Échec de la récupération de la conversation depuis l'environnement d'exécution CES.
METRIC_CALCULATION_FAILURE	Échec du calcul d'une métrique ou d'un résultat.
EVALUATION_UPDATE_FAILURE	Échec de la mise à jour de l'évaluation.
QUOTA_EXHAUSTED	Le quota a été épuisé.
USER_SIMULATION_FAILURE	Échec lors de la simulation de l'utilisateur.

Type

Type de span. D'autres valeurs pourront être ajoutées à l'avenir.

Enums
TYPE_UNSPECIFIED	Valeur par défaut. Cette valeur n'est pas utilisée.
TOOL	Segment d'appel d'outil.
USER_CALLBACK	Portée du rappel utilisateur.
GUARDRAIL	Portée du garde-fou.
LLM	Portée du LLM.

BackgroundEnvironment

Environnement audio simulé.

Enums
BACKGROUND_ENVIRONMENT_UNSPECIFIED	Environnement d'arrière-plan non spécifié.
CALL_CENTER	Environnement de centre d'appels.
TRAFFIC	Environnement bruyant lié au trafic.
KIDS_NOISE	Environnement bruyant pour les enfants.
CAFE	Environnement de café.

ExecutionState

État de l'exécution du résultat de l'évaluation.

Enums
EXECUTION_STATE_UNSPECIFIED	L'état d'exécution du résultat de l'évaluation n'est pas spécifié.
QUEUED	L'exécution du résultat de l'évaluation est mise en file d'attente.
RUNNING	L'exécution du résultat de l'évaluation est en cours.
COMPLETED	L'exécution du résultat de l'évaluation est terminée.
ERROR	L'exécution du résultat de l'évaluation a échoué en raison d'une erreur interne.
CANCELLED	L'exécution du résultat de l'évaluation a été annulée.

ExtraToolCallBehavior

Définit le comportement lorsqu'un appel d'outil supplémentaire est rencontré. Un appel d'outil supplémentaire est un appel d'outil présent dans l'exécution, mais qui ne correspond à aucun appel d'outil dans l'attente de référence.

Enums
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED	Comportement non spécifié. La valeur par défaut est "FAIL".
FAIL	Échoue l'évaluation si un appel d'outil supplémentaire est rencontré.
ALLOW	Autorisez l'appel d'outil supplémentaire.

AudioEncoding

AudioEncoding spécifie le format d'encodage des données audio.

Enums
AUDIO_ENCODING_UNSPECIFIED	Encodage audio non spécifié.
LINEAR16	Encodage audio PCM linéaire 16 bits
MULAW	Échantillons de 8 bits compressant des échantillons audio 14 bits qui utilisent la norme G.711 PCMU/MULAW.
ALAW	Échantillons de 8 bits compressant des échantillons audio 14 bits qui utilisent la norme G.711 PCMU/A-law.

EvaluationChannel

Canal à évaluer.

Enums
EVALUATION_CHANNEL_UNSPECIFIED	Canal d'évaluation non spécifié.
TEXT	Canal d'évaluation textuel uniquement.
AUDIO	Canal d'évaluation audio.

EvaluationToolCallBehaviour

Configure le comportement d'appel d'outil pour les exécutions d'évaluation.

Enums
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED	Comportement d'appel d'outil non spécifié. Les appels d'outils réels seront définis par défaut.
REAL	Utilisez de vrais appels d'outils.
FAKE	Utilisez de faux appels d'outils.

GoldenRunMethod

Méthode utilisée pour exécuter l'évaluation.

Enums
GOLDEN_RUN_METHOD_UNSPECIFIED	La méthode d'exécution n'est pas spécifiée.
STABLE	Exécutez l'évaluation en tant que relecture stable, où chaque tour est une session unique avec les tours attendus précédents injectés en tant que contexte.
NAIVE	Exécutez l'évaluation en tant que relecture naïve, où l'exécution est une session unique sans contexte injecté.

OutcomeMetadata

Métadonnées sur le résultat de l'évaluation.

Enums
OUTCOME_METADATA_UNSPECIFIED	Métadonnées de résultat non spécifiées.
GRACEFUL_HANDOFF	L'évaluation a permis de transférer la demande à un représentant humain.

Schéma de sortie

Une évaluation représente toutes les informations nécessaires pour simuler et évaluer un agent.

Évaluation

Représentation JSON

{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object (AggregatedMetrics) }, "lastCompletedResult": { object (EvaluationResult) }, "invalid": boolean, "lastTenResults": [ { object (EvaluationResult) } ], "evaluationMetricsThresholdOverride": { object (EvaluationMetricsThresholds) }, "evaluationMetricsConfigOverride": { object (EvaluationMetricsConfig) }, // Union field inputs can be only one of the following: "golden": { object (Golden) }, "scenario": { object (Scenario) } // End of list of possible types for union field inputs. }

Champs
name	string Identifiant. Identifiant unique de cette évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName	string Obligatoire. Nom à afficher de l'évaluation défini par l'utilisateur. Unique dans une application.
description	string Facultatif. Description de l'évaluation définie par l'utilisateur.
tags[]	string Facultatif. Tags définis par l'utilisateur pour catégoriser l'évaluation.
evaluationDatasets[]	string Uniquement en sortie. Liste des ensembles de données d'évaluation auxquels appartient l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime	string (Timestamp format) Uniquement en sortie. Horodatage de la création de l'évaluation. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
createdBy	string Uniquement en sortie. Utilisateur qui a créé l'évaluation.
updateTime	string (Timestamp format) Uniquement en sortie. Code temporel de la dernière mise à jour de l'évaluation. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
lastUpdatedBy	string Uniquement en sortie. L'utilisateur qui a mis à jour l'évaluation pour la dernière fois.
evaluationRuns[]	string Uniquement en sortie. Les EvaluationRuns auxquels cette évaluation est associée.
etag	string Uniquement en sortie. Etag utilisé pour s'assurer que l'objet n'a pas été modifié lors d'une opération de lecture/modification/écriture. Si l'etag est vide, la mise à jour écrasera toutes les modifications simultanées.
aggregatedMetrics	object (AggregatedMetrics) Uniquement en sortie. Métriques agrégées pour cette évaluation sur toutes les exécutions.
lastCompletedResult	object (EvaluationResult) Uniquement en sortie. Le dernier résultat de l'évaluation.
invalid	boolean Uniquement en sortie. Indique si l'évaluation n'est pas valide. Cela peut se produire si une évaluation fait référence à un outil, un ensemble d'outils ou un agent qui a été supprimé depuis.
lastTenResults[]	object (EvaluationResult) Uniquement en sortie. Les 10 derniers résultats d'évaluation pour cette évaluation. Cette valeur n'est renseignée que si include_last_ten_results est défini sur "true" dans ListEvaluationsRequest ou GetEvaluationRequest.
evaluationMetricsThresholdOverride	object (EvaluationMetricsThresholds) Facultatif. Remplace les seuils de métriques pour cette évaluation spécifique.
evaluationMetricsConfigOverride	object (EvaluationMetricsConfig) Facultatif. Remplace la configuration des métriques pour cette évaluation spécifique.
Champ d'union inputs. Les entrées de l'évaluation inputs ne peuvent être que l'une des suivantes :
golden	object (Golden) Facultatif. Étapes de référence à évaluer.
scenario	object (Scenario) Facultatif. Configuration d'un scénario.

Doré

Représentation JSON
{ "turns": [ { object (GoldenTurn) } ], "evaluationExpectations": [ string ] }

Champs
turns[]	object (GoldenTurn) Obligatoire. Nombre de tours en or requis pour rejouer une conversation en or. Le nombre maximal de tours autorisés est de 100.
evaluationExpectations[]	string Facultatif. Attentes d'évaluation par rapport auxquelles évaluer la conversation rejouée. Format : projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

Représentation JSON
{ "steps": [ { object (Step) } ], "rootSpan": { object (Span) }, "turnLevelMetricsThresholdsOverride": { object (TurnLevelMetricsThresholds) }, "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior) }

Champs
steps[]	object (Step) Obligatoire. Étapes à suivre pour rejouer une conversation de référence.
rootSpan	object (Span) Facultatif. Portée racine du tour d'or pour le traitement et la gestion des informations audio. L'URI de l'audio doit contenir un fichier audio enregistré avec un taux d'échantillonnage de 16 kHz.
turnLevelMetricsThresholdsOverride	object (TurnLevelMetricsThresholds) Facultatif. Remplacements pour les seuils de métriques au niveau du tour.
hallucinationMetricBehaviorOverride	enum (HallucinationMetricBehavior) Facultatif. Ignorer le comportement de la métrique d'hallucination au niveau du tour.

Étape

Représentation JSON
{ // Union field step can be only one of the following: "userInput": { object (SessionInput) }, "agentTransfer": { object (AgentTransfer) }, "expectation": { object (GoldenExpectation) } // End of list of possible types for union field step. }

Champs
Champ d'union step. Étape à suivre. step ne peut être qu'un des éléments suivants :
userInput	object (SessionInput) Facultatif. Entrée utilisateur pour la conversation.
agentTransfer	object (AgentTransfer) Facultatif. transférer la conversation à un autre agent ;
expectation	object (GoldenExpectation) Facultatif. Exécute une attente pour le tour actuel.

SessionInput

Représentation JSON
{ "willContinue": boolean, // Union field input_type can be only one of the following: "text": string, "dtmf": string, "audio": string, "toolResponses": { object (ToolResponses) }, "image": { object (Image) }, "blob": { object (Blob) }, "variables": { object }, "event": { object (Event) } // End of list of possible types for union field input_type. }

Champs
willContinue	boolean Facultatif. Indicateur permettant de déterminer si le message actuel est un fragment d'une entrée plus grande dans la session de streaming bidirectionnel. Si ce paramètre est défini sur true, l'agent diffère le traitement jusqu'à ce qu'il reçoive un message ultérieur où will_continue est défini sur false, ou jusqu'à ce que le système détecte un point de terminaison dans l'entrée audio. REMARQUE : Ce champ ne s'applique pas aux entrées audio et DTMF, car elles sont toujours traitées automatiquement en fonction du signal de fin.
Champ d'union input_type. Type d'entrée. input_type ne peut être qu'un des éléments suivants :
text	string Facultatif. Données textuelles de l'utilisateur final.
dtmf	string Facultatif. Chiffres DTMF de l'utilisateur final.
audio	string (bytes format) Facultatif. Données audio de l'utilisateur final. Chaîne encodée en base64.
toolResponses	object (ToolResponses) Facultatif. Résultats d'exécution des appels d'outils du client.
image	object (Image) Facultatif. Données d'image de l'utilisateur final.
blob	object (Blob) Facultatif. Données blob de l'utilisateur final.
variables	object (Struct format) Facultatif. Variables contextuelles pour la session, identifiées par leur nom. L'agent CES n'utilisera que les variables déclarées dans l'application. Les variables non reconnues seront toujours envoyées à l'[agent Dialogflow][Agent.RemoteDialogflowAgent] en tant que paramètres de session supplémentaires.
event	object (Event) Facultatif. Saisie d'événement.

ToolResponses

Représentation JSON
{ "toolResponses": [ { object (ToolResponse) } ] }

Champs
toolResponses[]	object (ToolResponse) Facultatif. Liste des résultats d'exécution de l'outil.

ToolResponse

Représentation JSON
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Champs
id	string Facultatif. ID correspondant du tool call auquel la réponse se rapporte.
displayName	string Uniquement en sortie. Nom à afficher de l'outil.
response	object (Struct format) Obligatoire. Résultat de l'exécution de l'outil au format d'objet JSON. Utilisez la clé "output" pour spécifier la réponse de l'outil et la clé "error" pour spécifier les détails de l'erreur (le cas échéant). Si les clés "output" et "error" ne sont pas spécifiées, l'ensemble de la "response" est traité comme le résultat de l'exécution de l'outil.
parentToolCallId	string Uniquement en sortie. ID de l'appel d'outil qui a déclenché celui-ci, lorsqu'il a été émis par un sous-agent travaillant pour le compte d'un appel parent. Vide pour les appels de premier niveau. Permet à un client de regrouper le travail d'un sous-agent sous l'appel qui l'a déclenché au lieu de rendre chaque étape en tant que frère.
agentName	string Uniquement en sortie. Nom lisible de l'agent qui a émis cet appel, par exemple "Architecte de contrat". Vide lorsque l'agent racine l'a émis.
Champ d'union tool_identifier. Identifiant de l'outil qui a été exécuté. Il peut s'agir d'un outil persistant ou d'un outil d'un ensemble d'outils. tool_identifier ne peut être qu'un des éléments suivants :
tool	string Facultatif. Nom de l'outil à exécuter. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Facultatif. Outil de l'ensemble d'outils qui a été exécuté.

ToolsetTool

Représentation JSON
{ "toolset": string, "toolId": string }

Champs
toolset	string Obligatoire. Nom de ressource de l'ensemble d'outils à partir duquel cet outil est dérivé. Format : projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId	string Facultatif. ID de l'outil permettant de filtrer les outils pour récupérer le schéma.

Struct

Représentation JSON
{ "fields": { string: value, ... } }

Champs
fields	map (key: string, value: value (Value format)) Carte non ordonnée de valeurs typées dynamiquement. Objet contenant une liste de paires "key": value. Exemple : { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Représentation JSON
{ "key": string, "value": value }

Champs
key	string
value	value (Value format)

Valeur

Représentation JSON
{ // Union field kind can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field kind. }

Champs
Champ d'union kind. Type de valeur. kind ne peut être qu'un des éléments suivants :
nullValue	null Représente un null JSON.
numberValue	number Représente un nombre JSON. Ne doit pas être NaN, Infinity ni -Infinity, car ces valeurs ne sont pas acceptées dans JSON. Il ne peut pas non plus représenter de grandes valeurs Int64, car le format JSON ne les accepte généralement pas dans son type numérique.
stringValue	string Représente une chaîne JSON.
boolValue	boolean Représente une valeur booléenne JSON (littéral true ou false en JSON).
structValue	object (Struct format) Représente un objet JSON.
listValue	array (ListValue format) Représente un tableau JSON.

ListValue

Représentation JSON
{ "values": [ value ] }

Champs
values[]	value (Value format) Champ répété de valeurs typées de manière dynamique.

Image

Représentation JSON
{ "mimeType": string, "data": string }

Champs
mimeType	string Obligatoire. Type MIME standard IANA des données sources. Les types d'images acceptés sont les suivants : * image/png * image/jpeg * image/webp
data	string (bytes format) Obligatoire. Octets bruts de l'image. Chaîne encodée en base64.

Blob

Représentation JSON
{ "mimeType": string, "data": string }

Champs
mimeType	string Obligatoire. Type MIME standard IANA des données sources.
data	string (bytes format) Obligatoire. Octets bruts du blob. Chaîne encodée en base64.

Événement

Représentation JSON
{ "event": string }

Champs
event	string Obligatoire. Nom de l'événement.

AgentTransfer

Représentation JSON
{ "targetAgent": string, "displayName": string }

Champs
targetAgent	string Obligatoire. Agent auquel la conversation est transférée. L'agent prendra le relais à partir de ce moment. Format : projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName	string Uniquement en sortie. Nom à afficher de l'agent.

GoldenExpectation

Représentation JSON

{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object (ExpectationLevelMetricsThresholds) }, "agentResponseSemanticSimilarityMetricsConfigOverride": { object (SemanticSimilarityMetricsConfig) }, "agentResponseHallucinationMetricsConfigOverride": { object (HallucinationMetricsConfig) }, "comparisonType": enum (ComparisonType), // Union field condition can be only one of the following: "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentResponse": { object (Message) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "mockToolResponse": { object (ToolResponse) }, "noToolCalls": boolean // End of list of possible types for union field condition. }

Champs
note	string Facultatif. Note concernant cette exigence, utile pour les rapports lorsque des vérifications spécifiques échouent. Exemple : "Check_Payment_Tool_Called".
skipEvaluation	boolean Facultatif. Si la valeur est définie sur "true", cette attente spécifique ne sera pas évaluée.
expectationLevelMetricsThresholdsOverride	object (ExpectationLevelMetricsThresholds) Facultatif. Remplace les métriques au niveau de l'étape.
agentResponseSemanticSimilarityMetricsConfigOverride	object (SemanticSimilarityMetricsConfig) Facultatif. Remplacements pour les métriques de similarité sémantique de agent_response.
agentResponseHallucinationMetricsConfigOverride	object (HallucinationMetricsConfig) Facultatif. Remplace les métriques d'hallucination agent_response.
comparisonType	enum (ComparisonType) Facultatif. Type de comparaison à utiliser pour la vérification des attentes.
Champ d'union condition. Vérification à effectuer. condition ne peut être qu'un des éléments suivants :
toolCall	object (ToolCall) Facultatif. Vérifiez qu'un outil spécifique a été appelé avec les paramètres.
toolResponse	object (ToolResponse) Facultatif. Vérifiez qu'un outil spécifique a donné la réponse attendue.
agentResponse	object (Message) Facultatif. Vérifiez que l'agent a répondu correctement. Le rôle "agent" est implicite.
agentTransfer	object (AgentTransfer) Facultatif. Vérifiez que l'agent a transféré la conversation à un autre agent.
updatedVariables	object (Struct format) Facultatif. Vérifiez que l'agent a défini les variables de session sur les valeurs attendues. Permet également de capturer les mises à jour des variables d'agent pour les évaluations de référence.
mockToolResponse	object (ToolResponse) Facultatif. Réponse de l'outil à simuler, avec les paramètres d'intérêt spécifiés. Tous les paramètres non spécifiés seront générés par le LLM.
noToolCalls	boolean Facultatif. Vérifiez qu'aucun outil n'a été appelé pendant ce tour.

ToolCall

Représentation JSON
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Champs
id	string Facultatif. Identifiant unique de l'appel d'outil. Si ce champ est renseigné, le client doit renvoyer le résultat de l'exécution avec l'ID correspondant dans ToolResponse.
displayName	string Uniquement en sortie. Nom à afficher de l'outil.
args	object (Struct format) Facultatif. Paramètres et valeurs d'entrée de l'outil au format d'objet JSON.
parentToolCallId	string Uniquement en sortie. ID de l'appel d'outil qui a déclenché celui-ci, lorsqu'il a été émis par un sous-agent travaillant pour le compte d'un appel parent. Vide pour les appels de premier niveau. Permet à un client de regrouper le travail d'un sous-agent sous l'appel qui l'a déclenché au lieu de rendre chaque étape en tant que frère.
agentName	string Uniquement en sortie. Nom lisible de l'agent qui a émis cet appel, par exemple "Architecte de contrat". Vide lorsque l'agent racine l'a émis.
Champ d'union tool_identifier. Identifiant de l'outil à exécuter. Il peut s'agir d'un outil persistant ou d'un outil d'un ensemble d'outils. tool_identifier ne peut être qu'un des éléments suivants :
tool	string Facultatif. Nom de l'outil à exécuter. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Facultatif. Outil de l'ensemble d'outils à exécuter.

Message

Représentation JSON
{ "role": string, "chunks": [ { object (Chunk) } ], "eventTime": string }

Champs
role	string Facultatif. Rôle dans la conversation (utilisateur, agent, etc.).
chunks[]	object (Chunk) Facultatif. Contenu du message sous forme de série de blocs.
eventTime	string (Timestamp format) Facultatif. Code temporel de l'envoi ou de la réception du message. Ne doit pas être utilisé si le message fait partie d'un example. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

Bloc

Représentation JSON

{ // Union field data can be only one of the following: "text": string, "transcript": string, "blob": { object (Blob) }, "payload": { object }, "image": { object (Image) }, "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field data. }

Champs
Champ d'union data. Regroupez les données. data ne peut être qu'un des éléments suivants :
text	string Facultatif. Données textuelles.
transcript	string Facultatif. Transcription associée à l'élément audio.
blob	object (Blob) Facultatif. Données blob.
payload	object (Struct format) Facultatif. Données de charge utile personnalisées.
image	object (Image) Facultatif. Données d'image.
toolCall	object (ToolCall) Facultatif. Requête d'exécution d'outil.
toolResponse	object (ToolResponse) Facultatif. Réponse à l'exécution de l'outil.
agentTransfer	object (AgentTransfer) Facultatif. Événement de transfert d'agent.
updatedVariables	object (Struct format) Une structure représente les variables qui ont été mises à jour dans la conversation, avec les noms de variables comme clés.
defaultVariables	object (Struct format) Une structure représente les variables par défaut au début de la conversation, avec les noms de variables comme clés.

Horodatage

Représentation JSON
{ "seconds": string, "nanos": integer }

Champs
seconds	string (int64 format) Représente les secondes de l'heure UTC à partir de l'epoch Unix 1970-01-01T00:00:00Z. La valeur doit être comprise entre -62135596800 et 253402300799 inclus (ce qui correspond à 0001-01-01T00:00:00Z et 9999-12-31T23:59:59Z).
nanos	integer Fractions de secondes non négatives avec une précision de l'ordre de la nanoseconde. Ce champ correspond à la partie en nanosecondes de la durée, et non à une alternative aux secondes. Les valeurs de secondes négatives avec des fractions doivent toujours comporter des valeurs de nanosecondes non négatives comptabilisées dans le temps. La valeur doit être comprise entre 0 et 999 999 999 inclus.

ExpectationLevelMetricsThresholds

Représentation JSON
{ // Union field _tool_invocation_parameter_correctness_threshold can be only one // of the following: "toolInvocationParameterCorrectnessThreshold": number // End of list of possible types for union field // _tool_invocation_parameter_correctness_threshold. }

Champs
Champ d'union _tool_invocation_parameter_correctness_threshold. _tool_invocation_parameter_correctness_threshold ne peut être qu'un des éléments suivants :
toolInvocationParameterCorrectnessThreshold	number Facultatif. Seuil de réussite pour la justesse des paramètres d'appel d'outil individuel. Doit être un nombre à virgule flottante compris entre 0 et 1. La valeur par défaut est 1.0.

SemanticSimilarityMetricsConfig

Représentation JSON
{ "enableSemanticSimilarityMetrics": boolean }

Champs
enableSemanticSimilarityMetrics	boolean Facultatif. Indique si les métriques de similarité sémantique doivent être calculées pour l'évaluation.

HallucinationMetricsConfig

Représentation JSON
{ "enableHallucinationMetrics": boolean }

Champs
enableHallucinationMetrics	boolean Facultatif. Indique si les métriques d'hallucination doivent être calculées pour l'évaluation.

Segment

Représentation JSON
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (Span) } ] }

Champs
name	string Uniquement en sortie. Nom du segment.
startTime	string (Timestamp format) Uniquement en sortie. Heure de début du segment. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Uniquement en sortie. Heure de fin de l'étendue. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
duration	string (Duration format) Uniquement en sortie. Durée du segment. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
attributes	object (Struct format) Uniquement en sortie. Attributs clé-valeur associés à la portée.
childSpans[]	object (Span) Uniquement en sortie. Les portées enfants imbriquées sous cette portée.

Durée

Représentation JSON
{ "seconds": string, "nanos": integer }

Champs
seconds	string (int64 format) Secondes signées de la période. La valeur doit être comprise entre -315 576 000 000 et [phone] (inclus). Remarque : Ces limites sont calculées à partir de : 60 s/min * 60 min/h * 24 h/jour * 365,25 jours/an * 10 000 ans
nanos	integer Fractions de secondes signées avec une précision de l'ordre de la nanoseconde pour la durée. Les durées inférieures à une seconde sont représentées par un champ seconds égal à 0 et un champ nanos positif ou négatif. Pour les durées d'une seconde ou plus, une valeur non nulle pour le champ nanos doit avoir le même signe que le champ seconds. La valeur doit être comprise entre -999 999 999 et [phone] inclus.

TurnLevelMetricsThresholds

Représentation JSON

{ "semanticSimilarityChannel": enum (SemanticSimilarityChannel), // Union field _semantic_similarity_success_threshold can be only one of the // following: "semanticSimilaritySuccessThreshold": integer // End of list of possible types for union field // _semantic_similarity_success_threshold. // Union field _overall_tool_invocation_correctness_threshold can be only one // of the following: "overallToolInvocationCorrectnessThreshold": number // End of list of possible types for union field // _overall_tool_invocation_correctness_threshold. }

Champs
semanticSimilarityChannel	enum (SemanticSimilarityChannel) Facultatif. Canal de similarité sémantique à utiliser pour l'évaluation.
Champ d'union _semantic_similarity_success_threshold. _semantic_similarity_success_threshold ne peut être qu'un des éléments suivants :
semanticSimilaritySuccessThreshold	integer Facultatif. Seuil de réussite pour la similarité sémantique. Veuillez saisir un nombre entier compris entre 0 et 4. La valeur par défaut est >= 3.
Champ d'union _overall_tool_invocation_correctness_threshold. _overall_tool_invocation_correctness_threshold ne peut être qu'un des éléments suivants :
overallToolInvocationCorrectnessThreshold	number Facultatif. Seuil de réussite pour la correction globale de l'appel d'outil. Doit être un nombre à virgule flottante compris entre 0 et 1. La valeur par défaut est 1.0.

Scénario

Représentation JSON
{ "task": string, "userFacts": [ { object (UserFact) } ], "maxTurns": integer, "rubrics": [ string ], "scenarioExpectations": [ { object (ScenarioExpectation) } ], "variableOverrides": { object }, "taskCompletionBehavior": enum (TaskCompletionBehavior), "userGoalBehavior": enum (UserGoalBehavior), "evaluationExpectations": [ string ], "scenarioExecutionMode": enum (ScenarioExecutionMode) }

Champs
task	string Obligatoire. Tâche à cibler par le scénario.
userFacts[]	object (UserFact) Facultatif. Faits utilisateur à utiliser par le scénario.
maxTurns	integer Facultatif. Nombre maximal de tours à simuler. La valeur maximale autorisée est de 100. La valeur par défaut est 100.
rubrics[]	string Obligatoire. Rubriques permettant d'évaluer le scénario.
scenarioExpectations[]	object (ScenarioExpectation) Obligatoire. Les ScenarioExpectations permettant d'évaluer la conversation produite par la simulation utilisateur.
variableOverrides	object (Struct format) Facultatif. Variables / paramètres de session en tant que contexte pour la session, avec les noms de variables comme clés. Les membres de cette structure remplaceront toutes les valeurs par défaut définies par le système. Notez que ces faits sont différents des faits utilisateur, qui sont des faits connus de l'utilisateur. Les variables sont des paramètres connus de l'agent, c'est-à-dire le numéro de téléphone transmis par le système de téléphonie.
taskCompletionBehavior (deprecated)	enum (TaskCompletionBehavior) Cet élément est obsolète. Facultatif. Obsolète. Utilisez plutôt user_goal_behavior.
userGoalBehavior	enum (UserGoalBehavior) Facultatif. Comportement attendu de l'objectif utilisateur.
evaluationExpectations[]	string Facultatif. Attentes d'évaluation pour évaluer la conversation produite par la simulation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode	enum (ScenarioExecutionMode) Facultatif. Mode d'exécution pour les évaluations de scénarios.

UserFact

Représentation JSON
{ "name": string, "value": string }

Champs
name	string Obligatoire. Nom du fait utilisateur.
value	string Obligatoire. Valeur du fait utilisateur.

ScenarioExpectation

Représentation JSON
{ // Union field expectation can be only one of the following: "toolExpectation": { object (ToolExpectation) }, "agentResponse": { object (Message) } // End of list of possible types for union field expectation. }

Champs
Champ d'union expectation. L'attente d'évaluer la conversation produite par la simulation. expectation ne peut être qu'un des éléments suivants :
toolExpectation	object (ToolExpectation) Facultatif. Paire d'appel et de réponse de l'outil à évaluer.
agentResponse	object (Message) Facultatif. Réponse de l'agent à évaluer.

ToolExpectation

Représentation JSON
{ "expectedToolCall": { object (ToolCall) }, "mockToolResponse": { object (ToolResponse) } }

Champs
expectedToolCall	object (ToolCall) Obligatoire. Appel d'outil attendu, avec les paramètres d'intérêt spécifiés. Tous les paramètres non spécifiés seront générés par le LLM.
mockToolResponse	object (ToolResponse) Obligatoire. Réponse de l'outil à simuler, avec les paramètres d'intérêt spécifiés. Tous les paramètres non spécifiés seront générés par le LLM.

AggregatedMetrics

Représentation JSON
{ "metricsByAppVersion": [ { object (MetricsByAppVersion) } ] }

Champs
metricsByAppVersion[]	object (MetricsByAppVersion) Uniquement en sortie. Métriques agrégées, regroupées par ID de version de l'application.

MetricsByAppVersion

Représentation JSON

{ "appVersionId": string, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ], "passCount": integer, "failCount": integer, "metricsByTurn": [ { object (MetricsByTurn) } ] }

Champs
appVersionId	string Uniquement en sortie. ID de version de l'application.
toolMetrics[]	object (ToolMetrics) Uniquement en sortie. Métriques pour chaque outil de cette version de l'application.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Uniquement en sortie. Métriques de similarité sémantique dans cette version de l'application.
hallucinationMetrics[]	object (HallucinationMetrics) Uniquement en sortie. Métriques concernant les hallucinations dans cette version de l'application.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Uniquement en sortie. Métriques pour la latence des appels d'outils dans cette version de l'application.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Uniquement en sortie. Métriques pour la latence des tours dans cette version de l'application.
passCount	integer Uniquement en sortie. Nombre de fois où l'évaluation a été réussie.
failCount	integer Uniquement en sortie. Nombre d'échecs de l'évaluation.
metricsByTurn[]	object (MetricsByTurn) Uniquement en sortie. Métriques agrégées par tour dans cette version de l'application.

ToolMetrics

Représentation JSON
{ "tool": string, "passCount": integer, "failCount": integer }

Champs
tool	string Uniquement en sortie. Nom de l'outil.
passCount	integer Uniquement en sortie. Nombre de fois où l'outil a réussi.
failCount	integer Uniquement en sortie. Nombre d'échecs de l'outil.

SemanticSimilarityMetrics

Représentation JSON
{ "score": number }

Champs
score	number Uniquement en sortie. Score moyen de similarité sémantique (de 0 à 4).

HallucinationMetrics

Représentation JSON
{ "score": number }

Champs
score	number Uniquement en sortie. Score moyen d'hallucination (de 0 à 1).

ToolCallLatencyMetrics

Représentation JSON
{ "tool": string, "averageLatency": string }

Champs
tool	string Uniquement en sortie. Nom de l'outil.
averageLatency	string (Duration format) Uniquement en sortie. Latence moyenne des appels d'outils. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"

TurnLatencyMetrics

Représentation JSON
{ "averageLatency": string }

Champs
averageLatency	string (Duration format) Uniquement en sortie. Latence moyenne des tours. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"

MetricsByTurn

Représentation JSON
{ "turnIndex": integer, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ] }

Champs
turnIndex	integer Uniquement en sortie. Index du tour (basé sur 0).
toolMetrics[]	object (ToolMetrics) Uniquement en sortie. Métriques pour chaque outil de ce tour.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Uniquement en sortie. Métriques de similarité sémantique pour ce tour.
hallucinationMetrics[]	object (HallucinationMetrics) Uniquement en sortie. Métriques pour l'hallucination au cours de ce tour.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Uniquement en sortie. Métriques de latence des appels d'outils au cours de ce tour.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Uniquement en sortie. Métriques de latence de tour dans ce tour.

EvaluationResult

Représentation JSON

{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum (Outcome), "evaluationRun": string, "persona": { object (EvaluationPersona) }, "errorInfo": { object (EvaluationErrorInfo) }, "error": { object (Status) }, "initiatedBy": string, "appVersion": string, "appVersionDisplayName": string, "changelog": string, "changelogCreateTime": string, "executionState": enum (ExecutionState), "evaluationMetricsThresholds": { object (EvaluationMetricsThresholds) }, "config": { object (EvaluationConfig) }, "goldenRunMethod": enum (GoldenRunMethod), "rootSpan": { object (Span) }, "outcomeMetadata": enum (OutcomeMetadata), // Union field result can be only one of the following: "goldenResult": { object (GoldenResult) }, "scenarioResult": { object (ScenarioResult) } // End of list of possible types for union field result. }

Champs
name	string Identifiant. Identifiant unique du résultat de l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName	string Obligatoire. Nom à afficher du résultat de l'évaluation. Unique dans une évaluation. Par défaut, il se présente au format suivant : " résultat – .
createTime	string (Timestamp format) Uniquement en sortie. Code temporel de la création du résultat de l'évaluation. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
evaluationStatus	enum (Outcome) Uniquement en sortie. Résultat de l'évaluation. N'est renseigné que si execution_state est défini sur "COMPLETE".
evaluationRun	string Uniquement en sortie. Exécution de l'évaluation ayant généré ce résultat. Format : projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona	object (EvaluationPersona) Uniquement en sortie. Personnalité utilisée pour générer la conversation pour le résultat de l'évaluation.
errorInfo	object (EvaluationErrorInfo) Uniquement en sortie. Informations sur les erreurs liées au résultat de l'évaluation.
error (deprecated)	object (Status) Cet élément est obsolète. Uniquement en sortie. Obsolète : utilisez plutôt error_info. Erreurs rencontrées lors de l'exécution.
initiatedBy	string Uniquement en sortie. Utilisateur ayant lancé l'exécution de l'évaluation qui a généré ce résultat.
appVersion	string Uniquement en sortie. Version de l'application utilisée pour générer la conversation ayant abouti à ce résultat. Format : projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName	string Uniquement en sortie. Nom à afficher du app_version par rapport auquel l'évaluation a été exécutée.
changelog	string Uniquement en sortie. Journal des modifications de la version de l'application par rapport à laquelle l'évaluation a été exécutée. Cette valeur est renseignée si l'utilisateur exécute l'évaluation sur la dernière version ou le brouillon.
changelogCreateTime	string (Timestamp format) Uniquement en sortie. Heure de création du journal des modifications de la version de l'application par rapport à laquelle l'évaluation a été exécutée. Cette valeur est renseignée si l'utilisateur exécute l'évaluation sur la dernière version ou le brouillon. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionState	enum (ExecutionState) Uniquement en sortie. État de l'exécution du résultat de l'évaluation.
evaluationMetricsThresholds	object (EvaluationMetricsThresholds) Uniquement en sortie. Seuils d'évaluation pour le résultat.
config	object (EvaluationConfig) Uniquement en sortie. Configuration utilisée lors de l'exécution de l'évaluation ayant généré ce résultat.
goldenRunMethod	enum (GoldenRunMethod) Uniquement en sortie. Méthode utilisée pour exécuter l'évaluation de référence.
rootSpan	object (Span) Uniquement en sortie. Portée racine de l'exécution de l'évaluation, qui inclut des informations sur chaque étape de l'évaluation.
outcomeMetadata	enum (OutcomeMetadata) Uniquement en sortie. Métadonnées de résultat de l'évaluation. N'est renseigné que si execution_state est défini sur "COMPLETE".
Champ d'union result. Résultat de l'évaluation. N'est renseigné que lorsque l'état d'exécution est "COMPLETED". result ne peut être qu'un des éléments suivants :
goldenResult	object (GoldenResult) Uniquement en sortie. Résultat d'une évaluation de référence.
scenarioResult	object (ScenarioResult) Uniquement en sortie. Résultat d'une évaluation de scénario.

GoldenResult

Représentation JSON
{ "turnReplayResults": [ { object (TurnReplayResult) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ] }

Champs
turnReplayResults[]	object (TurnReplayResult) Uniquement en sortie. Résultat de l'exécution de chaque tour de la conversation de référence.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Uniquement en sortie. les résultats attendus de l'évaluation.

TurnReplayResult

Représentation JSON

{ "conversation": string, "expectationOutcome": [ { object (GoldenExpectationOutcome) } ], "hallucinationResult": { object (HallucinationResult) }, "toolInvocationScore": number, "turnLatency": string, "toolCallLatencies": [ { object (ToolCallLatency) } ], "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "overallToolInvocationResult": { object (OverallToolInvocationResult) }, "errorInfo": { object (EvaluationErrorInfo) }, "spanLatencies": [ { object (SpanLatency) } ], // Union field _tool_ordered_invocation_score can be only one of the following: "toolOrderedInvocationScore": number // End of list of possible types for union field // _tool_ordered_invocation_score. }

Champs
conversation	string Uniquement en sortie. Conversation générée pour ce tour.
expectationOutcome[]	object (GoldenExpectationOutcome) Uniquement en sortie. Le résultat de chaque attente.
hallucinationResult	object (HallucinationResult) Uniquement en sortie. Résultat de la vérification des hallucinations.
toolInvocationScore (deprecated)	number Cet élément est obsolète. Uniquement en sortie. Obsolète. Utilisez plutôt OverallToolInvocationResult.
turnLatency	string (Duration format) Uniquement en sortie. Durée du tour. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
toolCallLatencies[]	object (ToolCallLatency) Uniquement en sortie. Latence de chaque appel d'outil dans le tour.
semanticSimilarityResult	object (SemanticSimilarityResult) Uniquement en sortie. Résultat de la vérification de la similarité sémantique.
overallToolInvocationResult	object (OverallToolInvocationResult) Uniquement en sortie. Résultat de la vérification globale de l'appel d'outil.
errorInfo	object (EvaluationErrorInfo) Uniquement en sortie. Informations sur l'erreur qui s'est produite lors de ce tour.
spanLatencies[]	object (SpanLatency) Uniquement en sortie. Latence des spans dans le tour.
Champ d'union _tool_ordered_invocation_score. _tool_ordered_invocation_score ne peut être qu'un des éléments suivants :
toolOrderedInvocationScore	number Uniquement en sortie. Score global d'invocation d'outil pour ce tour. Indique le pourcentage global d'outils du tour attendu qui ont été réellement appelés dans l'ordre attendu.

GoldenExpectationOutcome

Représentation JSON

{ "expectation": { object (GoldenExpectation) }, "outcome": enum (Outcome), "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "toolInvocationResult": { object (ToolInvocationResult) }, // Union field result can be only one of the following: "observedToolCall": { object (ToolCall) }, "observedToolResponse": { object (ToolResponse) }, "observedAgentResponse": { object (Message) }, "observedAgentTransfer": { object (AgentTransfer) }, "observedPayload": { object } // End of list of possible types for union field result. }

Champs
expectation	object (GoldenExpectation) Uniquement en sortie. L'attente qui a été évaluée.
outcome	enum (Outcome) Uniquement en sortie. Résultat attendu.
semanticSimilarityResult (deprecated)	object (SemanticSimilarityResult) Cet élément est obsolète. Uniquement en sortie. Résultat de la vérification de la similarité sémantique.
toolInvocationResult	object (ToolInvocationResult) Uniquement en sortie. Résultat de la vérification de l'appel d'outil.
Champ d'union result. Résultat de l'attente. result ne peut être qu'un des éléments suivants :
observedToolCall	object (ToolCall) Uniquement en sortie. Résultat attendu de l'appel d'outil.
observedToolResponse	object (ToolResponse) Uniquement en sortie. Résultat de l'attente de réponse de l'outil.
observedAgentResponse	object (Message) Uniquement en sortie. Résultat de l'attente de réponse de l'agent.
observedAgentTransfer	object (AgentTransfer) Uniquement en sortie. Résultat de l'attente de transfert de l'agent.
observedPayload	object (Struct format) Uniquement en sortie. Charge utile personnalisée observée. Il n'y a aucune attente concernant les charges utiles personnalisées. Elle n'est utilisée que pour le calcul des métriques. Le résultat est toujours "SKIPPED" (IGNORÉ).

SemanticSimilarityResult

Représentation JSON
{ "label": string, "explanation": string, "outcome": enum (Outcome), // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Champs
label	string Uniquement en sortie. Libellé associé à chaque score. Score 4 : entièrement cohérent Score 3 : principalement cohérent Score 2 : partiellement cohérent (omissions mineures) Score 1 : largement incohérent (omissions majeures) Score 0 : complètement incohérent / contradictoire
explanation	string Uniquement en sortie. Explication du score de similarité sémantique.
outcome	enum (Outcome) Uniquement en sortie. Résultat de la vérification de la similarité sémantique. Pour ce faire, le score est comparé à semantic_similarity_success_threshold. Si le score est égal ou supérieur au seuil, le résultat est "RÉUSSITE". Sinon, le résultat sera FAIL.
Champ d'union _score. _score ne peut être qu'un des éléments suivants :
score	integer Uniquement en sortie. Score de similarité sémantique. Peut être égal à 0, 1, 2, 3 ou 4.

ToolInvocationResult

Représentation JSON
{ "outcome": enum (Outcome), "explanation": string, // Union field _parameter_correctness_score can be only one of the following: "parameterCorrectnessScore": number // End of list of possible types for union field _parameter_correctness_score. }

Champs
outcome	enum (Outcome) Uniquement en sortie. Résultat de la vérification de l'appel d'outil. Pour ce faire, le paramètre "parameter_correctness_score" est comparé au seuil. Si le score est égal ou supérieur au seuil, le résultat est "RÉUSSITE". Sinon, le résultat sera FAIL.
explanation	string Uniquement en sortie. Explication en texte libre du résultat de l'appel d'outil.
Champ d'union _parameter_correctness_score. _parameter_correctness_score ne peut être qu'un des éléments suivants :
parameterCorrectnessScore	number Uniquement en sortie. Score d'exactitude du paramètre d'invocation d'outil. Indique le pourcentage de paramètres de l'appel d'outil attendu qui étaient également présents dans l'appel d'outil réel.

HallucinationResult

Représentation JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Champs
label	string Uniquement en sortie. Libellé associé à chaque score. Score 1 : Justifié Score 0 : Non justifié Score -1 : Aucune affirmation à évaluer
explanation	string Uniquement en sortie. Explication du score d'hallucination.
Champ d'union _score. _score ne peut être qu'un des éléments suivants :
score	integer Uniquement en sortie. Score d'hallucination. Valeurs possibles : -1, 0 ou 1.

ToolCallLatency

Représentation JSON
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

Champs
tool	string Uniquement en sortie. Nom de l'outil exécuté. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName	string Uniquement en sortie. Nom à afficher de l'outil.
startTime	string (Timestamp format) Uniquement en sortie. Heure de début de l'exécution de l'appel d'outil. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Uniquement en sortie. Heure de fin de l'exécution de l'appel d'outil. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Uniquement en sortie. Latence de l'exécution de l'appel d'outil. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"

OverallToolInvocationResult

Représentation JSON
{ "outcome": enum (Outcome), // Union field _tool_invocation_score can be only one of the following: "toolInvocationScore": number // End of list of possible types for union field _tool_invocation_score. }

Champs
outcome	enum (Outcome) Uniquement en sortie. Résultat de la vérification de l'appel d'outil. Cette valeur est déterminée en comparant tool_invocation_score au seuil overall_tool_invocation_correctness_threshold. Si le score est égal ou supérieur au seuil, le résultat est "RÉUSSITE". Sinon, le résultat sera FAIL.
Champ d'union _tool_invocation_score. _tool_invocation_score ne peut être qu'un des éléments suivants :
toolInvocationScore	number Score global d'appel d'outil pour ce tour. Indique le pourcentage global d'outils de la réponse attendue qui ont été réellement appelés.

EvaluationErrorInfo

Représentation JSON
{ "errorType": enum (ErrorType), "errorMessage": string, "sessionId": string, "userFacingErrorMessage": string }

Champs
errorType	enum (ErrorType) Uniquement en sortie. Type d'erreur.
errorMessage	string Uniquement en sortie. Message d'erreur.
sessionId	string Uniquement en sortie. ID de session de la conversation à l'origine de l'erreur.
userFacingErrorMessage	string Uniquement en sortie. Message d'erreur visible par l'utilisateur.

SpanLatency

Représentation JSON
{ "type": enum (Type), "displayName": string, "startTime": string, "endTime": string, "executionLatency": string, // Union field identifier can be only one of the following: "resource": string, "toolset": { object (ToolsetTool) }, "model": string, "callback": string // End of list of possible types for union field identifier. }

Champs
type	enum (Type) Uniquement en sortie. Type de span.
displayName	string Uniquement en sortie. Nom à afficher du segment. S'applique aux étendues d'outils et de garde-fous.
startTime	string (Timestamp format) Uniquement en sortie. Heure de début du segment. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Uniquement en sortie. Heure de fin du segment. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Uniquement en sortie. Latence du segment. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
Champ d'union identifier. Identifiant de l'élément spécifique en fonction de son type. identifier ne peut être qu'un des éléments suivants :
resource	string Uniquement en sortie. Nom de ressource des étendues de garde-fou ou d'outil.
toolset	object (ToolsetTool) Uniquement en sortie. Identifiant de l'outil dans l'ensemble d'outils.
model	string Uniquement en sortie. Nom du segment LLM.
callback	string Uniquement en sortie. Nom de la portée du rappel utilisateur.

EvaluationExpectationResult

Représentation JSON
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (Outcome), "explanation": string }

Champs
evaluationExpectation	string Uniquement en sortie. L'attente d'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt	string Uniquement en sortie. Requête utilisée pour l'évaluation.
outcome	enum (Outcome) Uniquement en sortie. Résultat attendu de l'évaluation.
explanation	string Uniquement en sortie. Explication du résultat.

ScenarioResult

Représentation JSON

{ "conversation": string, "task": string, "userFacts": [ { object (UserFact) } ], "expectationOutcomes": [ { object (ScenarioExpectationOutcome) } ], "rubricOutcomes": [ { object (ScenarioRubricOutcome) } ], "hallucinationResult": [ { object (HallucinationResult) } ], "taskCompletionResult": { object (TaskCompletionResult) }, "toolCallLatencies": [ { object (ToolCallLatency) } ], "userGoalSatisfactionResult": { object (UserGoalSatisfactionResult) }, "spanLatencies": [ { object (SpanLatency) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ], // Union field _all_expectations_satisfied can be only one of the following: "allExpectationsSatisfied": boolean // End of list of possible types for union field _all_expectations_satisfied. // Union field _task_completed can be only one of the following: "taskCompleted": boolean // End of list of possible types for union field _task_completed. }

Champs
conversation	string Uniquement en sortie. Conversation générée dans le scénario.
task	string Uniquement en sortie. Tâche utilisée lors de l'exécution du scénario pour ce résultat.
userFacts[]	object (UserFact) Uniquement en sortie. Faits sur l'utilisateur utilisés par le scénario pour ce résultat.
expectationOutcomes[]	object (ScenarioExpectationOutcome) Uniquement en sortie. Le résultat de chaque attente.
rubricOutcomes[]	object (ScenarioRubricOutcome) Uniquement en sortie. Résultat de la grille d'évaluation.
hallucinationResult[]	object (HallucinationResult) Uniquement en sortie. Résultat de la vérification des hallucinations. Il y aura un résultat d'hallucination pour chaque tour de conversation.
taskCompletionResult (deprecated)	object (TaskCompletionResult) Cet élément est obsolète. Uniquement en sortie. Résultat de la vérification de l'exécution de la tâche.
toolCallLatencies[]	object (ToolCallLatency) Uniquement en sortie. Latence de l'exécution de chaque appel d'outil dans la conversation.
userGoalSatisfactionResult	object (UserGoalSatisfactionResult) Uniquement en sortie. Résultat de la vérification de la satisfaction de l'objectif de l'utilisateur.
spanLatencies[]	object (SpanLatency) Uniquement en sortie. Latence des portées dans la conversation.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Uniquement en sortie. les résultats attendus de l'évaluation.
Champ d'union _all_expectations_satisfied. _all_expectations_satisfied ne peut être qu'un des éléments suivants :
allExpectationsSatisfied	boolean Uniquement en sortie. Indique si toutes les attentes ont été satisfaites pour ce tour.
Champ d'union _task_completed. _task_completed ne peut être qu'un des éléments suivants :
taskCompleted	boolean Uniquement en sortie. Indique si la tâche a été effectuée pour ce tour. Il s'agit d'une combinaison de toutes les attentes satisfaites, de l'absence d'hallucinations et de la satisfaction de l'objectif de l'utilisateur.

ScenarioExpectationOutcome

Représentation JSON
{ "expectation": { object (ScenarioExpectation) }, "outcome": enum (Outcome), // Union field result can be only one of the following: "observedToolCall": { object (ObservedToolCall) }, "observedAgentResponse": { object (Message) } // End of list of possible types for union field result. }

Champs
expectation	object (ScenarioExpectation) Uniquement en sortie. L'attente qui a été évaluée.
outcome	enum (Outcome) Uniquement en sortie. Résultat de ScenarioExpectation.
Champ d'union result. Résultat de l'attente. result ne peut être qu'un des éléments suivants :
observedToolCall	object (ObservedToolCall) Uniquement en sortie. Appel d'outil observé.
observedAgentResponse	object (Message) Uniquement en sortie. Réponse de l'agent observée.

ObservedToolCall

Représentation JSON
{ "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) } }

Champs
toolCall	object (ToolCall) Uniquement en sortie. Appel d'outil observé.
toolResponse	object (ToolResponse) Uniquement en sortie. Réponse de l'outil observée.

ScenarioRubricOutcome

Représentation JSON
{ "rubric": string, "scoreExplanation": string, // Union field _score can be only one of the following: "score": number // End of list of possible types for union field _score. }

Champs
rubric	string Uniquement en sortie. Grille d'évaluation utilisée pour évaluer la conversation.
scoreExplanation	string Uniquement en sortie. Réponse de l'évaluateur à la grille d'évaluation.
Champ d'union _score. _score ne peut être qu'un des éléments suivants :
score	number Uniquement en sortie. Score de la conversation par rapport à la grille d'évaluation.

TaskCompletionResult

Représentation JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Champs
label	string Uniquement en sortie. Libellé associé à chaque score. Score 1 : tâche terminée Score 0 : tâche non terminée Score -1 : objectif de l'utilisateur non défini
explanation	string Uniquement en sortie. Explication du score d'accomplissement des tâches.
Champ d'union _score. _score ne peut être qu'un des éléments suivants :
score	integer Uniquement en sortie. Score d'exécution de la tâche. Valeurs possibles : -1, 0 ou 1

UserGoalSatisfactionResult

Représentation JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Champs
label	string Uniquement en sortie. Libellé associé à chaque score. Score 2 : Transfert fluide Score 1 : Tâche utilisateur effectuée Score 0 : Tâche utilisateur non effectuée Score -1 : Tâche utilisateur non spécifiée
explanation	string Uniquement en sortie. Explication du score de satisfaction des tâches utilisateur.
Champ d'union _score. _score ne peut être qu'un des éléments suivants :
score	integer Uniquement en sortie. Score de satisfaction de l'utilisateur concernant la tâche. Valeurs possibles : -1, 0, 1, 2.

EvaluationPersona

Représentation JSON
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (SpeechConfig) } }

Champs
name	string Obligatoire. Identifiant unique de la persona. Format : projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description	string Facultatif. Description du persona.
displayName	string Obligatoire. Nom à afficher de la persona. Unique dans une application.
personality	string Obligatoire. Instruction indiquant à l'agent comment se comporter lors de l'évaluation.
speechConfig	object (SpeechConfig) Facultatif. Configuration de la voix de la persona (paramètres TTS).

SpeechConfig

Représentation JSON
{ "speakingRate": number, "environment": enum (BackgroundEnvironment), "voiceId": string }

Champs
speakingRate	number Facultatif. Vitesse d'élocution. 1.0 est la valeur normale. Une valeur faible (par exemple, 0,8) indique une vitesse lente, tandis qu'une valeur élevée (par exemple, 1,5) indique une vitesse rapide. Utile pour tester la façon dont l'agent gère les personnes qui parlent vite.
environment	enum (BackgroundEnvironment) Facultatif. Environnement audio simulé.
voiceId	string Facultatif. Identifiant/accent de voix spécifique à utiliser. Exemple : "en-US-Wavenet-D" ou "en-GB-Standard-A"

État

Représentation JSON
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

Champs
code	integer Code d'état, qui doit être une valeur d'énumération de google.rpc.Code.
message	string Message d'erreur destiné au développeur, qui doit être en anglais. Tout message d'erreur destiné aux utilisateurs doit être localisé et envoyé dans le champ google.rpc.Status.details, ou localisé par le client.
details[]	object Liste de messages comportant les détails de l'erreur. Il existe un ensemble commun de types de message utilisable par les API. Objet contenant des champs d'un type arbitraire. Un champ supplémentaire "@type" contient un URI identifiant le type. Exemple : { "id": 1234, "@type": "types.example.com/standard/id" }.

Tous

Représentation JSON
{ "typeUrl": string, "value": string }

Champs
typeUrl	string Identifie le type du message Protobuf sérialisé avec une référence URI composée d'un préfixe se terminant par une barre oblique et du nom de type complet. Exemple : type.googleapis.com/google.protobuf.StringValue Cette chaîne doit contenir au moins un caractère /, et le contenu après le dernier / doit être le nom complet du type sous forme canonique, sans point au début. N'écrivez pas de schéma sur ces références URI afin que les clients ne tentent pas de les contacter. Le préfixe est arbitraire et les implémentations Protobuf sont censées supprimer tout ce qui précède le dernier / (inclus) pour identifier le type. type.googleapis.com/ est un préfixe par défaut courant que certaines anciennes implémentations requièrent. Ce préfixe n'indique pas l'origine du type, et les URI qui le contiennent ne sont pas censés répondre aux requêtes. Toutes les chaînes d'URL de type doivent être des références URI valides, avec la restriction supplémentaire (pour le format texte) que le contenu de la référence ne doit comporter que des caractères alphanumériques, des séquences d'échappement encodées en pourcentage et des caractères de l'ensemble suivant (sans les accents graves extérieurs) : /-.~_!$&()*+,;=. Bien que nous autorisions les encodages en pourcentage, les implémentations ne doivent pas les décoder pour éviter toute confusion avec les analyseurs existants. Par exemple, type.googleapis.com%2FFoo doit être rejeté. Dans la conception d'origine de Any, la possibilité de lancer un service de résolution de type à ces URL de type a été envisagée, mais Protobuf n'en a jamais implémenté un et considère que la prise de contact avec ces URL est problématique et constitue un problème de sécurité potentiel. N'essayez pas de contacter les URL de type.
value	string (bytes format) Contient une sérialisation Protobuf du type décrit par type_url. Chaîne encodée en base64.

EvaluationMetricsThresholds

Représentation JSON
{ "goldenEvaluationMetricsThresholds": { object (GoldenEvaluationMetricsThresholds) }, "hallucinationMetricBehavior": enum (HallucinationMetricBehavior), "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior), "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior) }

Champs
goldenEvaluationMetricsThresholds	object (GoldenEvaluationMetricsThresholds) Facultatif. Seuils des métriques d'évaluation privilégiées.
hallucinationMetricBehavior (deprecated)	enum (HallucinationMetricBehavior) Cet élément est obsolète. Facultatif. Obsolète : utilisez plutôt golden_hallucination_metric_behavior. Le comportement de la métrique d'hallucination est actuellement utilisé pour les évaluations de référence.
goldenHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Facultatif. Comportement de la métrique d'hallucination pour les évaluations de référence.
scenarioHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Facultatif. Comportement de la métrique d'hallucination pour les évaluations de scénarios.

GoldenEvaluationMetricsThresholds

Représentation JSON
{ "turnLevelMetricsThresholds": { object (TurnLevelMetricsThresholds) }, "expectationLevelMetricsThresholds": { object (ExpectationLevelMetricsThresholds) }, "toolMatchingSettings": { object (ToolMatchingSettings) } }

Champs
turnLevelMetricsThresholds	object (TurnLevelMetricsThresholds) Facultatif. Seuils des métriques au niveau du tour.
expectationLevelMetricsThresholds	object (ExpectationLevelMetricsThresholds) Facultatif. Seuils des métriques de niveau d'attente.
toolMatchingSettings	object (ToolMatchingSettings) Facultatif. Paramètres de correspondance de l'outil. Un appel d'outil supplémentaire est un appel d'outil présent dans l'exécution, mais qui ne correspond à aucun appel d'outil dans l'attente de référence.

ToolMatchingSettings

Représentation JSON
{ "extraToolCallBehavior": enum (ExtraToolCallBehavior) }

Champs
extraToolCallBehavior	enum (ExtraToolCallBehavior) Facultatif. Comportement pour les appels d'outils supplémentaires. La valeur par défaut est "FAIL".

EvaluationConfig

Représentation JSON
{ "inputAudioConfig": { object (InputAudioConfig) }, "outputAudioConfig": { object (OutputAudioConfig) }, "evaluationChannel": enum (EvaluationChannel), "toolCallBehaviour": enum (EvaluationToolCallBehaviour) }

Champs
inputAudioConfig	object (InputAudioConfig) Facultatif. Configuration pour le traitement de l'entrée audio.
outputAudioConfig	object (OutputAudioConfig) Facultatif. Configuration pour générer le contenu audio de sortie.
evaluationChannel	enum (EvaluationChannel) Facultatif. Canal à évaluer.
toolCallBehaviour	enum (EvaluationToolCallBehaviour) Facultatif. Indique si l'évaluation doit utiliser de vrais appels d'outils ou de faux outils.

InputAudioConfig

Représentation JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

Champs
audioEncoding	enum (AudioEncoding) Obligatoire. Encodage des données audio d'entrée.
sampleRateHertz	integer Obligatoire. Taux d'échantillonnage (en hertz) des données audio d'entrée.
noiseSuppressionLevel	string Facultatif. Indique si la suppression du bruit doit être activée pour l'entrée audio. Les valeurs disponibles sont "low", "moderate", "high" et "very_high".

OutputAudioConfig

Représentation JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer }

Champs
audioEncoding	enum (AudioEncoding) Obligatoire. Encodage des données audio de sortie.
sampleRateHertz	integer Obligatoire. Taux d'échantillonnage (en hertz) des données audio de sortie.

EvaluationMetricsConfig

Représentation JSON
{ "goldenMetricsConfig": { object (GoldenMetricsConfig) }, "scenarioMetricsConfig": { object (ScenarioMetricsConfig) } }

Champs
goldenMetricsConfig	object (GoldenMetricsConfig) Facultatif. Configuration des métriques clés pour l'évaluation.
scenarioMetricsConfig	object (ScenarioMetricsConfig) Facultatif. Configuration des métriques de scénario pour l'évaluation.

GoldenMetricsConfig

Représentation JSON
{ "semanticSimilarityMetricsConfig": { object (SemanticSimilarityMetricsConfig) }, "toolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) }, "stepToolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) } }

Champs
semanticSimilarityMetricsConfig	object (SemanticSimilarityMetricsConfig) Facultatif. Configuration globale pour les métriques de similarité sémantique.
toolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) Facultatif. Configuration des métriques d'exactitude de l'outil au niveau du tour.
stepToolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) Facultatif. Configuration des métriques d'exactitude des outils au niveau des étapes.

ToolCorrectnessMetricsConfig

Représentation JSON
{ "enableToolCorrectnessMetrics": boolean }

Champs
enableToolCorrectnessMetrics	boolean Facultatif. Indique si les métriques d'exactitude des outils doivent être calculées pour l'évaluation.

ScenarioMetricsConfig

Représentation JSON
{ "userGoalMetMetricsConfig": { object (UserGoalMetMetricsConfig) }, "expectationsMetMetricsConfig": { object (ExpectationsMetMetricsConfig) } }

Champs
userGoalMetMetricsConfig	object (UserGoalMetMetricsConfig) Facultatif. Configuration des métriques "Objectif utilisateur atteint".
expectationsMetMetricsConfig	object (ExpectationsMetMetricsConfig) Facultatif. Configuration des métriques de niveau d'attente.

UserGoalMetMetricsConfig

Représentation JSON
{ "enableUserGoalMetMetrics": boolean }

Champs
enableUserGoalMetMetrics	boolean Facultatif. Indique si les métriques sur les objectifs utilisateur atteints doivent être calculées pour l'évaluation.

ExpectationsMetMetricsConfig

Représentation JSON
{ "enableExpectationsMetMetrics": boolean }

Champs
enableExpectationsMetMetrics	boolean Facultatif. Indique si les métriques de niveau d'attente doivent être calculées pour l'évaluation.

NullValue

Représente un null JSON.

NullValue est une sentinelle qui utilise une énumération avec une seule valeur pour représenter la valeur nulle de l'union de type Value.

Un champ de type NullValue avec une valeur autre que 0 est considéré comme non valide. La plupart des sérialiseurs ProtoJSON émettent un Value avec un null_value défini comme null JSON, quelle que soit la valeur entière, et effectuent donc un aller-retour vers une valeur 0.

Enums
NULL_VALUE	Valeur nulle.

ComparisonType

Types de comparaison acceptés pour vérifier la réponse de l'agent.

Enums
COMPARISON_TYPE_UNSPECIFIED	Type de comparaison non spécifié. Le comportement par défaut est SEMANTIC_SIMILARITY pour les réponses de l'agent et les appels d'outils.
EQUALS	Correspondance exacte de chaîne.
CONTAINS	Correspondance de sous-chaîne (vérifie si la chaîne attendue est contenue dans la réponse réelle).
SEMANTIC_SIMILARITY	Correspondance de similarité sémantique (évalue la similarité de sens à l'aide d'un LLM).

SemanticSimilarityChannel

Canal de similarité sémantique à utiliser.

Enums
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED	Métrique non spécifiée. La valeur par défaut est TEXT.
TEXT	Utilisez la similarité sémantique du texte.
AUDIO	Utilisez la similarité sémantique audio.

HallucinationMetricBehavior

Comportement de la métrique d'hallucination. Quel que soit le comportement, la métrique sera toujours calculée. La différence est que, lorsqu'elle est désactivée, la métrique n'est pas utilisée pour calculer le score d'évaluation global.

Enums
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED	Comportement non spécifié de la métrique d'hallucination.
DISABLED	Désactivez la métrique d'hallucination.
ENABLED	Activez la métrique d'hallucination.

TaskCompletionBehavior

Comportement attendu de la tâche utilisateur. Il permet de déterminer si le scénario est réussi.

Enums
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED	Comportement non spécifié. La valeur par défaut est TASK_SATISFIED.
TASK_SATISFIED	La tâche de l'utilisateur doit être effectuée avec succès.
TASK_REJECTED	La tâche de l'utilisateur doit être refusée.

UserGoalBehavior

Comportement attendu de l'objectif utilisateur. Il permet de déterminer si le scénario est réussi.

Enums
USER_GOAL_BEHAVIOR_UNSPECIFIED	Comportement non spécifié. La valeur par défaut est USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED	L'objectif de l'utilisateur doit être atteint.
USER_GOAL_REJECTED	L'objectif de l'utilisateur doit être refusé.
USER_GOAL_IGNORED	Ignorez l'état de l'objectif de l'utilisateur.

ScenarioExecutionMode

Mode d'exécution pour les évaluations de scénarios.

Enums
SCENARIO_EXECUTION_MODE_UNSPECIFIED	Mode d'exécution non spécifié. La valeur par défaut est QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED	Mode optimisé pour la qualité.
SPEED_OPTIMIZED	Mode optimisé pour la vitesse.

Résultat

Résultat de l'évaluation ou de l'attente.

Enums
OUTCOME_UNSPECIFIED	Le résultat de l'évaluation n'est pas spécifié.
PASS	L'évaluation/l'attente a été respectée. Dans le cas d'une évaluation, cela signifie que toutes les attentes ont été satisfaites.
FAIL	Échec de l'évaluation/de l'attente. Dans le cas d'une évaluation, cela signifie qu'au moins une attente n'a pas été satisfaite.
SKIPPED	L'évaluation/l'attente a été ignorée.

ErrorType

Type d'erreur

Enums
ERROR_TYPE_UNSPECIFIED	Type d'erreur non spécifié.
RUNTIME_FAILURE	Échec lors de l'exécution de l'environnement d'exécution.
CONVERSATION_RETRIEVAL_FAILURE	Échec de la récupération de la conversation depuis l'environnement d'exécution CES.
METRIC_CALCULATION_FAILURE	Échec du calcul d'une métrique ou d'un résultat.
EVALUATION_UPDATE_FAILURE	Échec de la mise à jour de l'évaluation.
QUOTA_EXHAUSTED	Le quota a été épuisé.
USER_SIMULATION_FAILURE	Échec lors de la simulation de l'utilisateur.

Type

Type de span. D'autres valeurs pourront être ajoutées à l'avenir.

Enums
TYPE_UNSPECIFIED	Valeur par défaut. Cette valeur n'est pas utilisée.
TOOL	Segment d'appel d'outil.
USER_CALLBACK	Portée du rappel utilisateur.
GUARDRAIL	Portée du garde-fou.
LLM	Portée du LLM.

BackgroundEnvironment

Environnement audio simulé.

Enums
BACKGROUND_ENVIRONMENT_UNSPECIFIED	Environnement d'arrière-plan non spécifié.
CALL_CENTER	Environnement de centre d'appels.
TRAFFIC	Environnement bruyant lié au trafic.
KIDS_NOISE	Environnement bruyant pour les enfants.
CAFE	Environnement de café.

ExecutionState

État de l'exécution du résultat de l'évaluation.

Enums
EXECUTION_STATE_UNSPECIFIED	L'état d'exécution du résultat de l'évaluation n'est pas spécifié.
QUEUED	L'exécution du résultat de l'évaluation est mise en file d'attente.
RUNNING	L'exécution du résultat de l'évaluation est en cours.
COMPLETED	L'exécution du résultat de l'évaluation est terminée.
ERROR	L'exécution du résultat de l'évaluation a échoué en raison d'une erreur interne.
CANCELLED	L'exécution du résultat de l'évaluation a été annulée.

ExtraToolCallBehavior

Définit le comportement lorsqu'un appel d'outil supplémentaire est rencontré. Un appel d'outil supplémentaire est un appel d'outil présent dans l'exécution, mais qui ne correspond à aucun appel d'outil dans l'attente de référence.

Enums
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED	Comportement non spécifié. La valeur par défaut est "FAIL".
FAIL	Échoue l'évaluation si un appel d'outil supplémentaire est rencontré.
ALLOW	Autorisez l'appel d'outil supplémentaire.

AudioEncoding

AudioEncoding spécifie le format d'encodage des données audio.

Enums
AUDIO_ENCODING_UNSPECIFIED	Encodage audio non spécifié.
LINEAR16	Encodage audio PCM linéaire 16 bits
MULAW	Échantillons de 8 bits compressant des échantillons audio 14 bits qui utilisent la norme G.711 PCMU/MULAW.
ALAW	Échantillons de 8 bits compressant des échantillons audio 14 bits qui utilisent la norme G.711 PCMU/A-law.

EvaluationChannel

Canal à évaluer.

Enums
EVALUATION_CHANNEL_UNSPECIFIED	Canal d'évaluation non spécifié.
TEXT	Canal d'évaluation textuel uniquement.
AUDIO	Canal d'évaluation audio.

EvaluationToolCallBehaviour

Configure le comportement d'appel d'outil pour les exécutions d'évaluation.

Enums
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED	Comportement d'appel d'outil non spécifié. Les appels d'outils réels seront définis par défaut.
REAL	Utilisez de vrais appels d'outils.
FAKE	Utilisez de faux appels d'outils.

GoldenRunMethod

Méthode utilisée pour exécuter l'évaluation.

Enums
GOLDEN_RUN_METHOD_UNSPECIFIED	La méthode d'exécution n'est pas spécifiée.
STABLE	Exécutez l'évaluation en tant que relecture stable, où chaque tour est une session unique avec les tours attendus précédents injectés en tant que contexte.
NAIVE	Exécutez l'évaluation en tant que relecture naïve, où l'exécution est une session unique sans contexte injecté.

OutcomeMetadata

Métadonnées sur le résultat de l'évaluation.

Enums
OUTCOME_METADATA_UNSPECIFIED	Métadonnées de résultat non spécifiées.
GRACEFUL_HANDOFF	L'évaluation a permis de transférer la demande à un représentant humain.

Annotations d'outils

Les annotations d'outil sont envoyées aux clients MCP pour décrire le risque de base d'un outil donné. La plupart des clients traitent ces indices comme non fiables, mais ils peuvent être utilisés pour déterminer quand un message de confirmation peut être envoyé à un utilisateur.

En plus de la chaîne de titre, les indications booléennes suivantes sont définies comme suit :

• readOnlyHint : si la valeur est "true", l'outil ne modifie pas son environnement. Valeur par défaut : "false".
• destructiveHint : si la valeur est "true", l'outil peut effectuer des actions destructrices. Si la valeur est "false", l'outil ne peut effectuer que des actions d'ajout. Valeur par défaut : "true".
• idempotentHint : si la valeur est "true", appeler l'outil à plusieurs reprises avec les mêmes arguments n'aura aucun effet supplémentaire sur son environnement. Valeur par défaut : "false".
• openWorldHint : si la valeur est "true", l'outil peut interagir avec un "monde ouvert" d'entités externes. Si la valeur est "false", l'outil ne peut interagir qu'avec des entités internes. Par exemple, un outil de recherche Web serait en monde ouvert, tandis qu'un outil de mémoire ne le serait pas.

Indication destructive : ❌ | Indication d'idempotence : ❌ | Indication de lecture seule : ❌ | Indication de monde ouvert : ❌