MCP Tools Reference: ces.googleapis.com

Outil : get_evaluation_result

Récupère les détails du résultat d'évaluation spécifié.

L'exemple de code suivant montre comment utiliser curl pour appeler l'outil MCP get_evaluation_result.

Requête curl 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "get_evaluation_result",
    "arguments": {
      // Provide these details according to the MCP tool specification.
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Schéma d'entrée

Message de requête pour EvaluationService.GetEvaluationResult.

GetEvaluationResultRequest

Représentation JSON 
{
  "name": string
}
Champs
name

string

Obligatoire. Nom de ressource du résultat d'évaluation à récupérer.

Schéma de sortie

Un résultat d'évaluation représente le résultat de l'exécution d'une évaluation.

EvaluationResult

Représentation JSON 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
Champs
name

string

Identifiant. Identifiant unique du résultat de l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

Obligatoire. Nom à afficher du résultat de l'évaluation. Unique dans une évaluation. Par défaut, il est au format suivant : " result - ".
createTime

string (Timestamp format)

Uniquement en sortie. Horodatage de la création du résultat de l'évaluation.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
evaluationStatus

enum (Outcome)

Uniquement en sortie. Résultat de l'évaluation. N'est renseigné que si execution_state est défini sur COMPLETE.
evaluationRun

string

Uniquement en sortie. L'exécution d'évaluation qui a produit ce résultat. Format : projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

Uniquement en sortie. Persona utilisé pour générer la conversation pour le résultat de l'évaluation.
errorInfo

object (EvaluationErrorInfo)

Uniquement en sortie. Informations sur l'erreur pour le résultat de l'évaluation.
error
(deprecated)

object (Status)

Uniquement en sortie. Obsolète : utilisez error_info à la place. Erreurs rencontrées lors de l'exécution.
initiatedBy

string

Uniquement en sortie. Utilisateur qui a lancé l'exécution de l'évaluation ayant généré ce résultat.
appVersion

string

Uniquement en sortie. Version de l'application utilisée pour générer la conversation qui a abouti à ce résultat. Format : projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Uniquement en sortie. Nom à afficher de l'app_version sur lequel l'évaluation a été exécutée.
changelog

string

Uniquement en sortie. Journal des modifications de la version de l'application sur laquelle l'évaluation a été exécutée. Ce champ est renseigné si l'utilisateur exécute l'évaluation sur la dernière version ou le brouillon.
changelogCreateTime

string (Timestamp format)

Uniquement en sortie. Heure de création du journal des modifications de la version de l'application sur laquelle l'évaluation a été exécutée. Ce champ est renseigné si l'utilisateur exécute l'évaluation sur la dernière version ou le brouillon.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionState

enum (ExecutionState)

Uniquement en sortie. État de l'exécution du résultat de l'évaluation.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Uniquement en sortie. Seuils d'évaluation du résultat.
config

object (EvaluationConfig)

Uniquement en sortie. Configuration utilisée dans l'exécution d'évaluation qui a généré ce résultat.
goldenRunMethod

enum (GoldenRunMethod)

Uniquement en sortie. Méthode utilisée pour exécuter l'évaluation de référence.
rootSpan

object (Span)

Uniquement en sortie. Le segment racine de l'exécution de l'évaluation, qui inclut des informations sur chaque étape de l'évaluation.
outcomeMetadata

enum (OutcomeMetadata)

Uniquement en sortie. Métadonnées de résultat de l'évaluation. N'est renseigné que si execution_state est défini sur COMPLETE.
Champ d'union result. Résultat de l'évaluation. Uniquement renseigné lorsque execution_state est défini sur COMPLETED. result ne peut être qu'un des éléments suivants :
goldenResult

object (GoldenResult)

Uniquement en sortie. Résultat d'une évaluation de référence.
scenarioResult

object (ScenarioResult)

Uniquement en sortie. Résultat d'une évaluation de scénario.

GoldenResult

Représentation JSON 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
Champs
turnReplayResults[]

object (TurnReplayResult)

Uniquement en sortie. Résultat de l'exécution de chaque tour de la conversation de référence.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Uniquement en sortie. Les résultats de l'évaluation.

TurnReplayResult

Représentation JSON 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
Champs
conversation

string

Uniquement en sortie. La conversation qui a été générée pour ce tour.
expectationOutcome[]

object (GoldenExpectationOutcome)

Uniquement en sortie. Le résultat de chaque attente.
hallucinationResult

object (HallucinationResult)

Uniquement en sortie. Résultat de la vérification des hallucinations.
toolInvocationScore
(deprecated)

number

Uniquement en sortie. Obsolète. Utilisez plutôt OverallToolInvocationResult.
turnLatency

string (Duration format)

Uniquement en sortie. Durée de l'étape.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
toolCallLatencies[]

object (ToolCallLatency)

Uniquement en sortie. La latence de chaque appel d'outil dans le tour.
semanticSimilarityResult

object (SemanticSimilarityResult)

Uniquement en sortie. Résultat de la vérification de la similarité sémantique.
overallToolInvocationResult

object (OverallToolInvocationResult)

Uniquement en sortie. Résultat de la vérification globale de l'appel de l'outil.
errorInfo

object (EvaluationErrorInfo)

Uniquement en sortie. Informations sur l'erreur qui s'est produite pendant ce tour.
spanLatencies[]

object (SpanLatency)

Uniquement en sortie. Latence des segments dans le tour.

Champ d'union _tool_ordered_invocation_score.

_tool_ordered_invocation_score ne peut être qu'un des éléments suivants :
toolOrderedInvocationScore

number

Uniquement en sortie. Score global d'appel d'outils ordonné pour ce tour. Il indique le pourcentage global d'outils du tour attendu qui ont été réellement appelés dans l'ordre attendu.

GoldenExpectationOutcome

Représentation JSON 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}
Champs
expectation

object (GoldenExpectation)

Uniquement en sortie. L'attente qui a été évaluée.
outcome

enum (Outcome)

Uniquement en sortie. Résultat de l'attente.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

Uniquement en sortie. Résultat de la vérification de la similarité sémantique.
toolInvocationResult

object (ToolInvocationResult)

Uniquement en sortie. Résultat de la vérification de l'appel de l'outil.
Champ d'union result. Résultat de l'attente. result ne peut être qu'un des éléments suivants :
observedToolCall

object (ToolCall)

Uniquement en sortie. Résultat de l'attente de l'appel d'outil.
observedToolResponse

object (ToolResponse)

Uniquement en sortie. Résultat de l'attente de réponse de l'outil.
observedAgentResponse

object (Message)

Uniquement en sortie. Résultat de l'attente de réponse de l'agent.
observedAgentTransfer

object (AgentTransfer)

Uniquement en sortie. Résultat de l'attente de transfert de l'agent.
observedPayload

object (Struct format)

Uniquement en sortie. Une charge utile personnalisée observée. Il n'y a pas d'attentes concernant les charges utiles personnalisées. Cette valeur n'est utilisée que pour calculer les métriques. Le résultat est toujours SKIPPED.

ToolCall

Représentation JSON 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,
  "targetApp": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Champs
id

string

Facultatif. Identifiant unique de l'appel d'outil. Si ce champ est renseigné, le client doit renvoyer le résultat de l'exécution avec l'ID correspondant dans ToolResponse.
displayName

string

Uniquement en sortie. Nom à afficher de l'outil.
args

object (Struct format)

Facultatif. Paramètres d'entrée et valeurs de l'outil au format d'objet JSON.
parentToolCallId

string

Uniquement en sortie. ID de l'appel d'outil à l'origine de celui-ci, lorsqu'il a été émis par un sous-agent travaillant pour le compte d'un appel parent. Vide pour les appels de premier niveau. Permet à un client de regrouper le travail d'un sous-agent sous l'appel qui l'a démarré au lieu d'afficher chaque étape comme un élément frère.
agentName

string

Uniquement en sortie. Nom lisible par l'humain de l'agent qui a émis cet appel, par exemple "Architecte de contrat". Vide lorsque l'agent racine l'a émis.
targetApp

string

Uniquement en sortie. Application ciblée par cet appel, dérivée par l'assistant à partir des arguments de ressource de l'appel : un nom de ressource d'application, PROJECT pour les outils limités à un emplacement ou vide pour les outils locaux de session. Défini uniquement dans les sessions de l'assistant au niveau du projet.
Champ d'union tool_identifier. Identifiant de l'outil à exécuter. Il peut s'agir d'un outil persistant ou d'un outil d'un ensemble d'outils. tool_identifier ne peut être qu'un des éléments suivants :
tool

string

Facultatif. Nom de l'outil à exécuter. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Facultatif. Outil de l'ensemble d'outils à exécuter.

ToolsetTool

Représentation JSON 
{
  "toolset": string,
  "toolId": string
}
Champs
toolset

string

Obligatoire. Nom de ressource de l'ensemble d'outils dont cet outil est dérivé. Format : projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Facultatif. ID de l'outil permettant de filtrer les outils pour lesquels récupérer le schéma.

Struct

Représentation JSON 
{
  "fields": {
    string: value,
    ...
  }
}
Champs
fields

map (key: string, value: value (Value format))

Mappage non ordonné de valeurs saisies de manière dynamique.

Objet contenant une liste de paires "key": value. Exemple : { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Représentation JSON 
{
  "key": string,
  "value": value
}
Champs
key

string
value

value (Value format)

Valeur

Représentation JSON 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Champs
Champ d'union kind. Type de valeur. kind ne peut être qu'un des éléments suivants :
nullValue

null

Représente un null JSON.
numberValue

number

Représente un nombre JSON. Ne doit pas être NaN, Infinity ni -Infinity, car ces valeurs ne sont pas compatibles avec JSON. Il ne peut pas non plus représenter de grandes valeurs Int64, car le format JSON ne les accepte généralement pas dans son type de nombre.
stringValue

string

Représente une chaîne JSON.
boolValue

boolean

Représente une valeur booléenne JSON (littéral true ou false en JSON).
structValue

object (Struct format)

Représente un objet JSON.
listValue

array (ListValue format)

Représente un tableau JSON.

ListValue

Représentation JSON 
{
  "values": [
    value
  ]
}
Champs
values[]

value (Value format)

Champ répété de valeurs saisies de manière dynamique.

ToolResponse

Représentation JSON 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,
  "targetApp": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Champs
id

string

Facultatif. Identifiant de mise en correspondance de l'élément tool call auquel la réponse est destinée.
displayName

string

Uniquement en sortie. Nom à afficher de l'outil.
response

object (Struct format)

Obligatoire. Résultat de l'exécution de l'outil au format d'objet JSON. Utilisez la clé "output" pour spécifier la réponse de l'outil et la clé "error" pour spécifier les détails de l'erreur (le cas échéant). Si les clés "output" et "error" ne sont pas spécifiées, l'intégralité de la "réponse" est traitée comme le résultat de l'exécution de l'outil.
parentToolCallId

string

Uniquement en sortie. ID de l'appel d'outil à l'origine de celui-ci, lorsqu'il a été émis par un sous-agent travaillant pour le compte d'un appel parent. Vide pour les appels de premier niveau. Permet à un client de regrouper le travail d'un sous-agent sous l'appel qui l'a démarré au lieu d'afficher chaque étape comme un élément frère.
agentName

string

Uniquement en sortie. Nom lisible par l'humain de l'agent qui a émis cet appel, par exemple "Architecte de contrat". Vide lorsque l'agent racine l'a émis.
targetApp

string

Uniquement en sortie. Application ciblée par l'outil exécuté ; reflète ToolCall.target_app.
Champ d'union tool_identifier. Identifiant de l'outil qui a été exécuté. Il peut s'agir d'un outil persistant ou d'un outil d'un ensemble d'outils. tool_identifier ne peut être qu'un des éléments suivants :
tool

string

Facultatif. Nom de l'outil à exécuter. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Facultatif. Outil de l'ensemble d'outils qui a été exécuté.

Message

Représentation JSON 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
Champs
role

string

Facultatif. Rôle dans la conversation (par exemple, utilisateur, agent).
chunks[]

object (Chunk)

Facultatif. Contenu du message sous forme de série de fragments.
eventTime

string (Timestamp format)

Facultatif. Horodatage de l'envoi ou de la réception du message. Ne doit pas être utilisé si le message fait partie d'un example.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

Mininja

Représentation JSON 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
Champs
Champ d'union data. Données de fragment. data ne peut être qu'un des éléments suivants :
text

string

Facultatif. Données textuelles.
transcript

string

Facultatif. Transcription associée à l'audio.
blob

object (Blob)

Facultatif. Données blob.
payload

object (Struct format)

Facultatif. Données de charge utile personnalisées.
image

object (Image)

Facultatif. Données d'image.
toolCall

object (ToolCall)

Facultatif. Requête d'exécution de l'outil.
toolResponse

object (ToolResponse)

Facultatif. Réponse de l'exécution de l'outil.
agentTransfer

object (AgentTransfer)

Facultatif. Événement de transfert d'agent.
updatedVariables

object (Struct format)

Une structure représente les variables qui ont été mises à jour dans la conversation, indexées par nom de variable.
defaultVariables

object (Struct format)

Une structure représente les variables par défaut au début de la conversation, indexées par les noms des variables.

Blob

Représentation JSON 
{
  "mimeType": string,
  "data": string
}
Champs
mimeType

string

Obligatoire. Type MIME standard IANA des données sources.
data

string (bytes format)

Obligatoire. Octets bruts du blob.

Chaîne encodée en base64.

Image

Représentation JSON 
{
  "mimeType": string,
  "data": string,
  "altText": string
}
Champs
mimeType

string

Obligatoire. Type MIME standard IANA des données sources. Types d'images compatibles : * image/png * image/jpeg * image/webp
data

string (bytes format)

Obligatoire. Octets bruts de l'image.

Chaîne encodée en base64.
altText

string

Facultatif. Texte alternatif de l'image.

AgentTransfer

Représentation JSON 
{
  "targetAgent": string,
  "displayName": string
}
Champs
targetAgent

string

Obligatoire. Agent auquel la conversation est transférée. L'agent gérera la conversation à partir de ce moment. Format : projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

Uniquement en sortie. Nom à afficher de l'agent.

Horodatage

Représentation JSON 
{
  "seconds": string,
  "nanos": integer
}
Champs
seconds

string (int64 format)

Représente les secondes de l'heure UTC à partir de l'epoch Unix 1970-01-01T00:00:00Z. Doit être compris entre -62135596800 et 253402300799 inclus (ce qui correspond à 0001-01-01T00:00:00Z à 9999-12-31T23:59:59Z).
nanos

integer

Fractions de secondes non négatives avec une précision de l'ordre de la nanoseconde. Ce champ correspond à la partie en nanosecondes de la durée, et non à une alternative aux secondes. Les valeurs de secondes négatives avec des fractions doivent toujours comporter des valeurs de nanosecondes non négatives comptabilisées dans le temps. La valeur doit être comprise entre 0 et 999 999 999 (inclus).

GoldenExpectation

Représentation JSON 
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}
Champs
note

string

Facultatif. Note pour cette exigence, utile pour les rapports lorsque des vérifications spécifiques échouent. Exemple : "Check_Payment_Tool_Called".
skipEvaluation

boolean

Facultatif. Si ce champ est défini sur "true", cette attente spécifique ne sera pas évaluée.
expectationLevelMetricsThresholdsOverride

object (ExpectationLevelMetricsThresholds)

Facultatif. Remplace les métriques au niveau de l'étape.
agentResponseSemanticSimilarityMetricsConfigOverride

object (SemanticSimilarityMetricsConfig)

Facultatif. Remplacements pour les métriques de similarité sémantique agent_response.
agentResponseHallucinationMetricsConfigOverride

object (HallucinationMetricsConfig)

Facultatif. Remplacements pour les métriques d'hallucination agent_response.
comparisonType

enum (ComparisonType)

Facultatif. Type de comparaison à utiliser pour la vérification des attentes.
Champ d'union condition. Vérification réelle à effectuer. condition ne peut être qu'un des éléments suivants :
toolCall

object (ToolCall)

Facultatif. Vérifiez qu'un outil spécifique a été appelé avec les paramètres.
toolResponse

object (ToolResponse)

Facultatif. Vérifiez qu'un outil spécifique a renvoyé la réponse attendue.
agentResponse

object (Message)

Facultatif. Vérifiez que l'agent a répondu correctement. Le rôle "agent" est implicite.
agentTransfer

object (AgentTransfer)

Facultatif. Vérifiez que l'agent a transféré la conversation à un autre agent.
updatedVariables

object (Struct format)

Facultatif. Vérifiez que l'agent a mis à jour les variables de session avec les valeurs attendues. Permet également de capturer les mises à jour des variables de l'agent pour les évaluations de référence.
mockToolResponse

object (ToolResponse)

Facultatif. Réponse de l'outil à simuler, avec les paramètres d'intérêt spécifiés. Tous les paramètres non spécifiés seront hallucinés par le LLM.
noToolCalls

boolean

Facultatif. Vérifiez qu'aucun outil n'a été appelé pendant ce tour.

ExpectationLevelMetricsThresholds

Représentation JSON 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
Champs

Champ d'union _tool_invocation_parameter_correctness_threshold.

_tool_invocation_parameter_correctness_threshold ne peut être qu'un des éléments suivants :
toolInvocationParameterCorrectnessThreshold

number

Facultatif. Seuil de réussite pour l'exactitude des paramètres d'appel d'un outil individuel. La valeur doit être un nombre à virgule flottante compris entre 0 et 1. La valeur par défaut est 1.0.

SemanticSimilarityMetricsConfig

Représentation JSON 
{
  "enableSemanticSimilarityMetrics": boolean
}
Champs
enableSemanticSimilarityMetrics

boolean

Facultatif. Indique si des métriques de similarité sémantique doivent être calculées pour l'évaluation.

HallucinationMetricsConfig

Représentation JSON 
{
  "enableHallucinationMetrics": boolean
}
Champs
enableHallucinationMetrics

boolean

Facultatif. Indique si des métriques d'hallucination doivent être calculées pour l'évaluation.

SemanticSimilarityResult

Représentation JSON 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Champs
label

string

Uniquement en sortie. L'étiquette associée à chaque score. Score 4 : entièrement cohérent ; Score 3 : plutôt cohérent ; Score 2 : partiellement cohérent (omissions mineures) ; Score 1 : largement incohérent (omissions majeures) ; Score 0 : complètement incohérent/contradictoire
explanation

string

Uniquement en sortie. Explication du score de similarité sémantique.
outcome

enum (Outcome)

Uniquement en sortie. Résultat de la vérification de la similarité sémantique. Pour cela, le score est comparé à semantic_similarity_success_threshold. Si le score est supérieur ou égal au seuil, le résultat sera "PASS" (Réussite). Sinon, le résultat sera "FAIL".

Champ d'union _score.

_score ne peut être qu'un des éléments suivants :
score

integer

Uniquement en sortie. Le score de similarité sémantique. Il peut s'agir de 0, 1, 2, 3 ou 4.

ToolInvocationResult

Représentation JSON 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
Champs
outcome

enum (Outcome)

Uniquement en sortie. Résultat de la vérification de l'appel d'outil. Pour cela, le parameter_correctness_score est comparé au seuil. Si le score est supérieur ou égal au seuil, le résultat sera "PASS" (Réussite). Sinon, le résultat sera "FAIL".
explanation

string

Uniquement en sortie. Explication en texte libre du résultat de l'appel de l'outil.

Champ d'union _parameter_correctness_score.

_parameter_correctness_score ne peut être qu'un des éléments suivants :
parameterCorrectnessScore

number

Uniquement en sortie. Score d'exactitude des paramètres d'appel de l'outil. Il indique le pourcentage de paramètres de l'appel d'outil attendu qui étaient également présents dans l'appel d'outil réel.

HallucinationResult

Représentation JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Champs
label

string

Uniquement en sortie. L'étiquette associée à chaque score. Score 1 : Justifié Score 0 : Non justifié Score -1 : Aucune affirmation à évaluer
explanation

string

Uniquement en sortie. Explication du score d'hallucination.

Champ d'union _score.

_score ne peut être qu'un des éléments suivants :
score

integer

Uniquement en sortie. Score d'hallucination. Peut être -1, 0 ou 1.

Durée

Représentation JSON 
{
  "seconds": string,
  "nanos": integer
}
Champs
seconds

string (int64 format)

Secondes signées de l'intervalle de temps. Doit être compris entre -315 576 000 000 et +315 576 000 000 inclus. Remarque : Ces limites sont calculées à partir de : 60 s/min * 60 min/h * 24 h/jour * 365,25 jours/an * 10 000 ans.
nanos

integer

Fractions de seconde signées à une résolution de l'ordre de la nanoseconde de l'intervalle de temps. Les durées inférieures à une seconde sont représentées par un champ seconds de valeur 0 et un champ nanos positif ou négatif. Pour les durées d'une seconde ou plus, une valeur non nulle pour le champ nanos doit avoir le même signe que le champ seconds. Doit être compris entre -999 999 999 et +999 999 999 inclus.

ToolCallLatency

Représentation JSON 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Champs
tool

string

Uniquement en sortie. Nom de l'outil qui a été exécuté. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName

string

Uniquement en sortie. Nom à afficher de l'outil.
startTime

string (Timestamp format)

Uniquement en sortie. Heure de début de l'exécution de l'appel d'outil.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Uniquement en sortie. Heure de fin de l'exécution de l'appel d'outil.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Uniquement en sortie. Latence de l'exécution de l'appel d'outil.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"

OverallToolInvocationResult

Représentation JSON 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
Champs
outcome

enum (Outcome)

Uniquement en sortie. Résultat de la vérification de l'appel d'outil. Ce score est déterminé en comparant le tool_invocation_score au overall_tool_invocation_correctness_threshold. Si le score est supérieur ou égal au seuil, le résultat sera "PASS" (Réussite). Sinon, le résultat sera "FAIL".

Champ d'union _tool_invocation_score.

_tool_invocation_score ne peut être qu'un des éléments suivants :
toolInvocationScore

number

Score global d'appel d'outil pour ce tour. Indique le pourcentage global d'outils du tour attendu qui ont été réellement appelés.

EvaluationErrorInfo

Représentation JSON 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string,
  "userFacingErrorMessage": string
}
Champs
errorType

enum (ErrorType)

Uniquement en sortie. Type d'erreur.
errorMessage

string

Uniquement en sortie. Message d'erreur.
sessionId

string

Uniquement en sortie. ID de session de la conversation à l'origine de l'erreur.
userFacingErrorMessage

string

Uniquement en sortie. Message d'erreur visible par l'utilisateur.

SpanLatency

Représentation JSON 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
Champs
type

enum (Type)

Uniquement en sortie. Type de segment.
displayName

string

Uniquement en sortie. Nom à afficher de l'intervalle. Applicable aux segments d'outil et de garde-fou.
startTime

string (Timestamp format)

Uniquement en sortie. Heure de début de l'intervalle.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Uniquement en sortie. Heure de fin de l'intervalle.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Uniquement en sortie. Latence du segment.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
Champ d'union identifier. Identifiant de l'élément spécifique en fonction de son type. identifier ne peut être qu'un des éléments suivants :
resource

string

Uniquement en sortie. Nom de ressource des segments de garde-fous ou d'outils.
toolset

object (ToolsetTool)

Uniquement en sortie. Identifiant de l'outil de l'ensemble d'outils.
model

string

Uniquement en sortie. Nom de l'intervalle LLM.
callback

string

Uniquement en sortie. Nom de l'intervalle de rappel utilisateur.

EvaluationExpectationResult

Représentation JSON 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
Champs
evaluationExpectation

string

Uniquement en sortie. L'attente de l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

Uniquement en sortie. La requête utilisée pour l'évaluation.
outcome

enum (Outcome)

Uniquement en sortie. Résultat de l'attente d'évaluation.
explanation

string

Uniquement en sortie. Explication du résultat.

ScenarioResult

Représentation JSON 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],
  "milestoneResults": [
    {
      object (MilestoneResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
Champs
conversation

string

Uniquement en sortie. La conversation générée dans le scénario.
task

string

Uniquement en sortie. Tâche utilisée lors de l'exécution du scénario pour ce résultat.
userFacts[]

object (UserFact)

Uniquement en sortie. Les faits utilisateur qui ont été utilisés par le scénario pour ce résultat.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

Uniquement en sortie. Le résultat de chaque attente.
rubricOutcomes[]

object (ScenarioRubricOutcome)

Uniquement en sortie. Résultat de la grille d'évaluation.
hallucinationResult[]

object (HallucinationResult)

Uniquement en sortie. Résultat de la vérification des hallucinations. Il y aura un résultat d'hallucination pour chaque tour de la conversation.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

Uniquement en sortie. Résultat de la vérification de l'achèvement de la tâche.
toolCallLatencies[]

object (ToolCallLatency)

Uniquement en sortie. Latence de chaque exécution d'appel d'outil dans la conversation.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

Uniquement en sortie. Résultat de la vérification de la satisfaction de l'objectif de l'utilisateur.
spanLatencies[]

object (SpanLatency)

Uniquement en sortie. La latence des segments de la conversation.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Uniquement en sortie. Les résultats de l'évaluation.
milestoneResults[]

object (MilestoneResult)

Uniquement en sortie. Les résultats de chaque jalon du scénario.

Champ d'union _all_expectations_satisfied.

_all_expectations_satisfied ne peut être qu'un des éléments suivants :
allExpectationsSatisfied

boolean

Uniquement en sortie. Indique si toutes les attentes ont été satisfaites pour ce tour.

Champ d'union _task_completed.

_task_completed ne peut être qu'un des éléments suivants :
taskCompleted

boolean

Uniquement en sortie. Indique si la tâche a été effectuée pour ce tour. Il s'agit d'un composite de toutes les attentes satisfaites, de l'absence d'hallucinations et de la satisfaction de l'objectif de l'utilisateur.

UserFact

Représentation JSON 
{
  "name": string,
  "value": string
}
Champs
name

string

Obligatoire. Nom du fait utilisateur.
value

string

Obligatoire. Valeur du fait utilisateur.

ScenarioExpectationOutcome

Représentation JSON 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
Champs
expectation

object (ScenarioExpectation)

Uniquement en sortie. L'attente qui a été évaluée.
outcome

enum (Outcome)

Uniquement en sortie. Résultat de ScenarioExpectation.
Champ d'union result. Résultat de l'attente. result ne peut être qu'un des éléments suivants :
observedToolCall

object (ObservedToolCall)

Uniquement en sortie. L'appel d'outil observé.
observedAgentResponse

object (Message)

Uniquement en sortie. Réponse de l'agent observée.

ObservedToolCall

Représentation JSON 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Champs
toolCall

object (ToolCall)

Uniquement en sortie. L'appel d'outil observé.
toolResponse

object (ToolResponse)

Uniquement en sortie. Réponse de l'outil observée.

ScenarioExpectation

Représentation JSON 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
Champs
Champ d'union expectation. L'attente pour évaluer la conversation produite par la simulation. expectation ne peut être qu'un des éléments suivants :
toolExpectation

object (ToolExpectation)

Facultatif. Paire d'appel d'outil et de réponse à évaluer.
agentResponse

object (Message)

Facultatif. La réponse de l'agent à évaluer.

ToolExpectation

Représentation JSON 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
Champs
expectedToolCall

object (ToolCall)

Obligatoire. Appel d'outil attendu, avec les paramètres d'intérêt spécifiés. Tous les paramètres non spécifiés seront hallucinés par le LLM.
mockToolResponse

object (ToolResponse)

Obligatoire. Réponse de l'outil à simuler, avec les paramètres d'intérêt spécifiés. Tous les paramètres non spécifiés seront hallucinés par le LLM.

ScenarioRubricOutcome

Représentation JSON 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
Champs
rubric

string

Uniquement en sortie. La grille d'évaluation utilisée pour évaluer la conversation.
scoreExplanation

string

Uniquement en sortie. Réponse de l'évaluateur à la grille d'évaluation.

Champ d'union _score.

_score ne peut être qu'un des éléments suivants :
score

number

Uniquement en sortie. Score de la conversation par rapport à la grille d'évaluation.

TaskCompletionResult

Représentation JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Champs
label

string

Uniquement en sortie. L'étiquette associée à chaque score. Score 1 : tâche terminée Score 0 : tâche non terminée Score -1 : objectif de l'utilisateur non défini
explanation

string

Uniquement en sortie. Explication du score d'achèvement de la tâche.

Champ d'union _score.

_score ne peut être qu'un des éléments suivants :
score

integer

Uniquement en sortie. Le score d'achèvement de la tâche. Valeurs autorisées : -1, 0, 1

UserGoalSatisfactionResult

Représentation JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Champs
label

string

Uniquement en sortie. L'étiquette associée à chaque score. Score 2 : Transfert fluide Score 1 : Tâche de l'utilisateur satisfaite Score 0 : Tâche de l'utilisateur non satisfaite Score -1 : Tâche de l'utilisateur non spécifiée
explanation

string

Uniquement en sortie. Explication du score de satisfaction de l'utilisateur pour la tâche.

Champ d'union _score.

_score ne peut être qu'un des éléments suivants :
score

integer

Uniquement en sortie. Score de satisfaction de l'utilisateur concernant la tâche. Valeurs autorisées : -1, 0, 1, 2.

MilestoneResult

Représentation JSON 
{
  "milestone": {
    object (Milestone)
  },
  "status": enum (MilestoneStatus),
  "justification": string
}
Champs
milestone

object (Milestone)

Uniquement en sortie. Le jalon suivi.
status

enum (MilestoneStatus)

Uniquement en sortie. État actuel de l'étape.
justification

string

Uniquement en sortie. Justification de l'état actuel.

Jalon

Représentation JSON 
{
  "goal": string,
  "maxTurnCount": integer,
  "successCriteria": string,
  "protocol": string,
  "staticUtterance": string,
  "event": {
    object (Event)
  }
}
Champs
goal

string

Obligatoire. Objectif du jalon.
maxTurnCount

integer

Facultatif. Nombre maximal de tours pour ce jalon.
successCriteria

string

Facultatif. Les critères de réussite de l'étape.
protocol

string

Facultatif. Consignes que l'agent doit suivre pendant la conversation.
staticUtterance

string

Facultatif. Énoncé statique que le simulateur enverra exactement, au lieu de générer dynamiquement une entrée utilisateur.
event

object (Event)

Facultatif. Entrée d'événement à envoyer au lieu de la génération dynamique.

Événement

Représentation JSON 
{
  "event": string,
  "variables": {
    object
  }
}
Champs
event

string

Obligatoire. Nom de l'événement.
variables

object (Struct format)

Facultatif. Variables supplémentaires associées à l'événement.

EvaluationPersona

Représentation JSON 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
Champs
name

string

Obligatoire. Identifiant unique du persona. Format : projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

Facultatif. Description du persona.
displayName

string

Obligatoire. Nom à afficher du persona. Unique dans une application.
personality

string

Obligatoire. Instruction indiquant à l'agent comment se comporter lors de l'évaluation.
speechConfig

object (SpeechConfig)

Facultatif. Configuration de la voix du persona (paramètres TTS).

SpeechConfig

Représentation JSON 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
Champs
speakingRate

number

Facultatif. Vitesse d'élocution. La valeur par défaut est 1,0. Une valeur faible est plus lente (par exemple, 0,8), une valeur élevée est plus rapide (par exemple, 1,5). Utile pour tester la façon dont l'agent gère les personnes qui parlent vite.
environment

enum (BackgroundEnvironment)

Facultatif. Environnement audio simulé.
voiceId

string

Facultatif. Identifiant/accent de la voix spécifique à utiliser. Exemple : "en-US-Wavenet-D" ou "en-GB-Standard-A"

État

Représentation JSON 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Champs
code

integer

Code d'état, qui doit être une valeur d'énumération de google.rpc.Code.
message

string

Message d'erreur destiné au développeur, qui doit être en anglais. Tout message d'erreur destiné aux utilisateurs doit être localisé et envoyé dans le champ google.rpc.Status.details, ou localisé par le client.
details[]

object

Liste de messages comportant les détails de l'erreur. Il existe un ensemble commun de types de message utilisable par les API.

Objet contenant des champs d'un type arbitraire. Un champ supplémentaire "@type" contient un URI identifiant le type. Exemple : { "id": 1234, "@type": "types.example.com/standard/id" }.

Tous

Représentation JSON 
{
  "typeUrl": string,
  "value": string
}
Champs
typeUrl

string

Identifie le type du message Protobuf sérialisé avec une référence d'URI composée d'un préfixe se terminant par une barre oblique et du nom de type complet.

Exemple : type.googleapis.com/google.protobuf.StringValue

Cette chaîne doit contenir au moins un caractère /, et le contenu après le dernier / doit être le nom complet du type sous forme canonique, sans point de début. N'écrivez pas de schéma sur ces références d'URI afin que les clients n'essaient pas de les contacter.

Le préfixe est arbitraire et les implémentations Protobuf sont censées simplement supprimer tout ce qui précède et inclut le dernier / pour identifier le type. type.googleapis.com/ est un préfixe par défaut courant requis par certaines anciennes implémentations. Ce préfixe n'indique pas l'origine du type, et les URI qui le contiennent ne sont pas censés répondre aux requêtes.

Toutes les chaînes d'URL de type doivent être des références d'URI légales avec la restriction supplémentaire (pour le format texte) que le contenu de la référence ne doit être composé que de caractères alphanumériques, de caractères d'échappement encodés en pourcentage et de caractères de l'ensemble suivant (sans inclure les accents graves externes) : /-.~_!$&()*+,;=. Bien que nous autorisions l'encodage en pourcentage, les implémentations ne doivent pas annuler l'échappement pour éviter toute confusion avec les analyseurs existants. Par exemple, type.googleapis.com%2FFoo doit être rejeté.

Dans la conception d'origine de Any, la possibilité de lancer un service de résolution de types à ces URL de type a été envisagée, mais Protobuf n'en a jamais implémenté et considère que contacter ces URL est problématique et constitue un problème de sécurité potentiel. N'essayez pas de contacter les URL de type.
value

string (bytes format)

Contient une sérialisation Protobuf du type décrit par type_url.

Chaîne encodée en base64.

EvaluationMetricsThresholds

Représentation JSON 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
Champs
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

Facultatif. Seuils des métriques d'évaluation de référence.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

Facultatif. Obsolète : utilisez golden_hallucination_metric_behavior à la place. Le comportement de la métrique d'hallucination est actuellement utilisé pour les évaluations de référence.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Facultatif. Comportement de la métrique d'hallucination pour les évaluations de référence.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Facultatif. Comportement de la métrique d'hallucination pour les évaluations de scénarios.

GoldenEvaluationMetricsThresholds

Représentation JSON 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
Champs
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

Facultatif. Seuils des métriques au niveau du tour de parole.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

Facultatif. Seuils des métriques au niveau de l'attente.
toolMatchingSettings

object (ToolMatchingSettings)

Facultatif. Paramètres de correspondance de l'outil. Un appel d'outil supplémentaire est un appel d'outil présent dans l'exécution, mais qui ne correspond à aucun appel d'outil dans l'attente de référence.

TurnLevelMetricsThresholds

Représentation JSON 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
Champs
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

Facultatif. Canal de similarité sémantique à utiliser pour l'évaluation.

Champ d'union _semantic_similarity_success_threshold.

_semantic_similarity_success_threshold ne peut être qu'un des éléments suivants :
semanticSimilaritySuccessThreshold

integer

Facultatif. Seuil de réussite pour la similarité sémantique. Veuillez saisir un nombre entier compris entre 0 et 4. La valeur par défaut est >= 3.

Champ d'union _overall_tool_invocation_correctness_threshold.

_overall_tool_invocation_correctness_threshold ne peut être qu'un des éléments suivants :
overallToolInvocationCorrectnessThreshold

number

Facultatif. Seuil de réussite pour l'exactitude globale de l'appel d'outil. La valeur doit être un nombre à virgule flottante compris entre 0 et 1. La valeur par défaut est 1.0.

ToolMatchingSettings

Représentation JSON 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
Champs
extraToolCallBehavior

enum (ExtraToolCallBehavior)

Facultatif. Comportement pour les appels d'outils supplémentaires. La valeur par défaut est "FAIL".

EvaluationConfig

Représentation JSON 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Champs
inputAudioConfig

object (InputAudioConfig)

Facultatif. Configuration pour le traitement de l'audio d'entrée.
outputAudioConfig

object (OutputAudioConfig)

Facultatif. Configuration pour générer l'audio de sortie.
evaluationChannel

enum (EvaluationChannel)

Facultatif. Canal à évaluer.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Facultatif. Indique si l'évaluation doit utiliser de vrais appels d'outils ou de faux outils.

InputAudioConfig

Représentation JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Champs
audioEncoding

enum (AudioEncoding)

Obligatoire. Encodage des données audio d'entrée.
sampleRateHertz

integer

Obligatoire. Taux d'échantillonnage (en hertz) des données audio d'entrée.
noiseSuppressionLevel

string

Facultatif. Indique si la suppression du bruit doit être activée sur l'audio d'entrée. Les valeurs disponibles sont "low", "moderate", "high" et "very_high".

OutputAudioConfig

Représentation JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Champs
audioEncoding

enum (AudioEncoding)

Obligatoire. L'encodage des données audio de sortie.
sampleRateHertz

integer

Obligatoire. Taux d'échantillonnage (en hertz) des données audio de sortie.

Segment

Représentation JSON 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
Champs
name

string

Uniquement en sortie. Nom de l'intervalle.
startTime

string (Timestamp format)

Uniquement en sortie. Heure de début de l'intervalle.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Uniquement en sortie. Heure de fin de l'intervalle.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
duration

string (Duration format)

Uniquement en sortie. Durée du segment.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
attributes

object (Struct format)

Uniquement en sortie. Attributs clé-valeur associés au segment.
childSpans[]

object (Span)

Uniquement en sortie. Segments enfants imbriqués sous ce segment.

NullValue

Représente un null JSON.

NullValue est une sentinelle qui utilise une énumération avec une seule valeur pour représenter la valeur nulle pour l'union de types Value.

Un champ de type NullValue avec une valeur autre que 0 est considéré comme non valide. La plupart des sérialiseurs ProtoJSON émettent un Value avec un null_value défini comme un null JSON, quelle que soit la valeur entière, et effectuent donc un aller-retour vers une valeur 0.

Enums
NULL_VALUE Valeur nulle.

ComparisonType

Types de comparaison acceptés pour vérifier la réponse de l'agent.

Enums
COMPARISON_TYPE_UNSPECIFIED Type de comparaison non spécifié. Le comportement par défaut est SEMANTIC_SIMILARITY pour les réponses de l'agent et les appels d'outils.
EQUALS Correspondance de chaîne exacte.
CONTAINS Correspondance de sous-chaîne (vérifie si la chaîne attendue est contenue dans la réponse réelle).
SEMANTIC_SIMILARITY Correspondance de similarité sémantique (évalue la similarité de sens à l'aide d'un LLM).

Résultat

Résultat de l'évaluation ou de l'attente.

Enums
OUTCOME_UNSPECIFIED Le résultat de l'évaluation n'est pas spécifié.
PASS Évaluation/Attente réussie. Dans le cas d'une évaluation, cela signifie que toutes les attentes ont été satisfaites.
FAIL Échec de l'évaluation/de l'attente. Dans le cas d'une évaluation, cela signifie qu'au moins une attente n'a pas été satisfaite.
SKIPPED L'évaluation/l'attente a été ignorée.

ErrorType

Type d'erreur

Enums
ERROR_TYPE_UNSPECIFIED Type d'erreur non spécifié.
RUNTIME_FAILURE Échec lors de l'exécution de l'environnement d'exécution.
CONVERSATION_RETRIEVAL_FAILURE Échec de la récupération de la conversation à partir de l'environnement d'exécution CES.
METRIC_CALCULATION_FAILURE Échec du calcul d'une métrique/d'un résultat.
EVALUATION_UPDATE_FAILURE Échec de la mise à jour de l'évaluation.
QUOTA_EXHAUSTED Quota épuisé.
USER_SIMULATION_FAILURE Échec lors de la simulation utilisateur.

Type

Type de segment. D'autres valeurs pourront être ajoutées à l'avenir.

Enums
TYPE_UNSPECIFIED Valeur par défaut. Cette valeur n'est pas utilisée.
TOOL Segment d'appel d'outil.
USER_CALLBACK Intervalle de rappel de l'utilisateur.
GUARDRAIL Intervalle de garde-fous.
LLM Intervalle LLM.

MilestoneStatus

État du jalon.

Enums
MILESTONE_STATUS_UNSPECIFIED État non spécifié.
NOT_STARTED L'étape n'a pas encore commencé.
IN_PROGRESS Le jalon est en cours.
COMPLETED L'étape a bien été franchie.

BackgroundEnvironment

Environnement audio simulé.

Enums
BACKGROUND_ENVIRONMENT_UNSPECIFIED Environnement d'arrière-plan non spécifié.
CALL_CENTER Environnement de centre d'appels.
TRAFFIC Environnement avec bruit de circulation.
KIDS_NOISE Environnement bruyant avec des enfants.
CAFE Environnement de café.

ExecutionState

État de l'exécution du résultat de l'évaluation.

Enums
EXECUTION_STATE_UNSPECIFIED L'état d'exécution du résultat de l'évaluation n'est pas spécifié.
QUEUED L'exécution du résultat de l'évaluation est en file d'attente.
RUNNING L'exécution du résultat de l'évaluation est en cours.
COMPLETED L'exécution du résultat de l'évaluation est terminée.
ERROR Échec de l'exécution du résultat de l'évaluation en raison d'une erreur interne.
CANCELLED L'exécution du résultat de l'évaluation a été annulée.

SemanticSimilarityChannel

Canal de similarité sémantique à utiliser.

Enums
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED Métrique non spécifiée. La valeur par défaut est TEXT.
TEXT Utilisez la similarité sémantique du texte.
AUDIO Utilisez la similarité sémantique audio.

ExtraToolCallBehavior

Définit le comportement lorsqu'un appel d'outil supplémentaire est rencontré. Un appel d'outil supplémentaire est un appel d'outil présent dans l'exécution, mais qui ne correspond à aucun appel d'outil dans l'attente de référence.

Enums
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED Comportement non spécifié. La valeur par défaut est "FAIL".
FAIL Échouer l'évaluation si un appel d'outil supplémentaire est rencontré.
ALLOW Autorisez l'appel d'outil supplémentaire.

HallucinationMetricBehavior

Comportement de la métrique d'hallucination. Quel que soit le comportement, la métrique sera toujours calculée. La différence est que, lorsqu'elle est désactivée, la métrique n'est pas utilisée pour calculer le score d'évaluation global.

Enums
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED Comportement de la métrique d'hallucination non spécifié.
DISABLED Désactivez la métrique d'hallucination.
ENABLED Activer la métrique d'hallucination.

AudioEncoding

"AudioEncoding" spécifie le format d'encodage des données audio.

Enums
AUDIO_ENCODING_UNSPECIFIED Encodage audio non spécifié.
LINEAR16 Encodage audio PCM linéaire 16 bits.
MULAW Échantillons de 8 bits compressant des échantillons audio 14 bits qui utilisent la norme G.711 PCMU/MULAW.
ALAW Échantillons de 8 bits compressant des échantillons audio 14 bits qui utilisent la norme G.711 PCMU/A-law.

EvaluationChannel

Canal à évaluer.

Enums
EVALUATION_CHANNEL_UNSPECIFIED Canal d'évaluation non spécifié.
TEXT Canal d'évaluation textuelle.
AUDIO Canal d'évaluation audio.

EvaluationToolCallBehaviour

Configure le comportement des appels d'outils pour les exécutions d'évaluation.

Enums
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED Comportement d'appel d'outil non spécifié. La valeur par défaut sera les appels d'outil réels.
REAL Utilisez de vrais appels d'outils.
FAKE Utilisez de faux appels d'outils.

GoldenRunMethod

Méthode utilisée pour exécuter l'évaluation.

Enums
GOLDEN_RUN_METHOD_UNSPECIFIED La méthode d'exécution n'est pas spécifiée.
STABLE Exécutez l'évaluation en tant que relecture stable, où chaque tour est une session unique avec les tours attendus précédents injectés en tant que contexte.
NAIVE Exécutez l'évaluation en tant que relecture naïve, où l'exécution est une session unique sans contexte injecté.

OutcomeMetadata

Métadonnées sur le résultat de l'évaluation.

Enums
OUTCOME_METADATA_UNSPECIFIED Métadonnées de résultat non spécifiées.
GRACEFUL_HANDOFF L'évaluation a abouti à un transfert fluide vers un conseiller humain.

Annotations d'outils

Les annotations d'outil sont envoyées aux clients MCP pour décrire le risque de base d'un outil donné. La plupart des clients considèrent ces indications comme non fiables, mais elles peuvent être utilisées pour décider quand envoyer une invite de confirmation à un utilisateur.

En plus de la chaîne de titre, les indices booléens suivants sont définis comme suit :

  • readOnlyHint : si la valeur est "true", l'outil ne modifie pas son environnement. Valeur par défaut : "false".
  • destructiveHint : si la valeur est "true", l'outil peut effectuer des actions destructrices. Si la valeur est "false", l'outil ne peut effectuer que des actions d'ajout. Valeur par défaut : "true".
  • idempotentHint : si la valeur est "true", l'appel répété de l'outil avec les mêmes arguments n'aura aucun effet supplémentaire sur son environnement. Valeur par défaut : "false".
  • openWorldHint : si la valeur est "true", l'outil peut interagir avec un "monde ouvert" d'entités externes. Si la valeur est "false", l'outil ne peut interagir qu'avec des entités internes. Par exemple, un outil de recherche sur le Web serait en monde ouvert, tandis qu'un outil de mémoire ne le serait pas.

Indice "Destructive" : ❌ | Indice "Idempotent" : ✅ | Indice "Read Only" : ✅ | Indice "Open World" : ❌