MCP Tools Reference: ces.googleapis.com

Outil : list_evaluations

Répertorie les évaluations.

L'exemple suivant montre comment utiliser curl pour appeler l'outil MCP list_evaluations.

Requête curl 
                  
curl --location 'https://ces.[REGION].rep.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "list_evaluations",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Schéma d'entrée

Message de requête pour EvaluationService.ListEvaluations.

ListEvaluationsRequest

Représentation JSON 
{
  "parent": string,
  "pageSize": integer,
  "pageToken": string,
  "filter": string,
  "evaluationFilter": string,
  "evaluationRunFilter": string,
  "orderBy": string,
  "lastTenResults": boolean
}
Champs
parent

string

Obligatoire. Nom de ressource de l'application à partir de laquelle lister les évaluations.
pageSize

integer

Facultatif. Taille de la page demandée. Le serveur peut renvoyer un nombre d'éléments inférieur à celui demandé. Si aucune valeur n'est spécifiée, le serveur sélectionne une valeur par défaut appropriée.
pageToken

string

Facultatif. Valeur next_page_token renvoyée par un appel EvaluationService.ListEvaluations de liste précédent.
filter
(deprecated)

string

Facultatif. Obsolète : utilisez plutôt evaluation_filter et evaluation_run_filter.
evaluationFilter

string

Facultatif. Filtre à appliquer à l'évaluation lors de la liste des évaluations. Pour en savoir plus, consultez https://google.aip.dev/160. Champs acceptés : evaluation_datasets
evaluationRunFilter

string

Facultatif. Chaîne de filtre pour les champs des ressources EvaluationRun associées. Pour en savoir plus, consultez https://google.aip.dev/160. Champs acceptés : create_time, initiated_by, app_version_display_name
orderBy

string

Facultatif. Champ de tri. Seuls "name", "create_time" et "update_time" sont acceptés. Les champs de temps sont triés par ordre décroissant, et le champ de nom est trié par ordre croissant. Si elle n'est pas incluse, "update_time" sera la valeur par défaut. Pour en savoir plus, consultez https://google.aip.dev/132#ordering.
lastTenResults

boolean

Facultatif. Indique si les 10 derniers résultats d'évaluation pour chaque évaluation doivent être inclus dans la réponse.

Schéma de sortie

Message de réponse pour EvaluationService.ListEvaluations.

ListEvaluationsResponse

Représentation JSON 
{
  "evaluations": [
    {
      object (Evaluation)
    }
  ],
  "nextPageToken": string
}
Champs
evaluations[]

object (Evaluation)

Liste des évaluations.
nextPageToken

string

Jeton pouvant être envoyé en tant que ListEvaluationsRequest.page_token pour récupérer la page suivante. L'absence de ce champ indique qu'il n'y a pas d'autres pages.

Évaluation

Représentation JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
Champs
name

string

Identifiant. Identifiant unique de cette évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

Obligatoire. Nom à afficher de l'évaluation défini par l'utilisateur. Unique dans une application.
description

string

Facultatif. Description de l'évaluation définie par l'utilisateur.
tags[]

string

Facultatif. Tags définis par l'utilisateur pour catégoriser l'évaluation.
evaluationDatasets[]

string

Uniquement en sortie. Liste des ensembles de données d'évaluation auxquels appartient l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

Uniquement en sortie. Horodatage de la création de l'évaluation.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
createdBy

string

Uniquement en sortie. Utilisateur qui a créé l'évaluation.
updateTime

string (Timestamp format)

Uniquement en sortie. Code temporel de la dernière mise à jour de l'évaluation.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
lastUpdatedBy

string

Uniquement en sortie. L'utilisateur qui a mis à jour l'évaluation pour la dernière fois.
evaluationRuns[]

string

Uniquement en sortie. EvaluationRuns auxquels cette évaluation est associée.
etag

string

Uniquement en sortie. Etag utilisé pour s'assurer que l'objet n'a pas été modifié lors d'une opération de lecture/modification/écriture. Si l'etag est vide, la mise à jour écrasera toutes les modifications simultanées.
aggregatedMetrics

object (AggregatedMetrics)

Uniquement en sortie. Métriques agrégées pour cette évaluation sur toutes les exécutions.
lastCompletedResult

object (EvaluationResult)

Uniquement en sortie. Le dernier résultat de l'évaluation.
invalid

boolean

Uniquement en sortie. Indique si l'évaluation n'est pas valide. Cela peut se produire si une évaluation fait référence à un outil, un ensemble d'outils ou un agent qui a été supprimé depuis.
lastTenResults[]

object (EvaluationResult)

Uniquement en sortie. Les 10 derniers résultats d'évaluation pour cette évaluation. Cette valeur n'est renseignée que si include_last_ten_results est défini sur "true" dans ListEvaluationsRequest ou GetEvaluationRequest.
Champ d'union inputs. Les entrées de l'évaluation inputs ne peuvent être que l'une des suivantes :
golden

object (Golden)

Facultatif. Étapes optimales à évaluer.
scenario

object (Scenario)

Facultatif. Configuration d'un scénario.

Doré

Représentation JSON 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
Champs
turns[]

object (GoldenTurn)

Obligatoire. Nombre de tours en or requis pour rejouer une conversation en or.
evaluationExpectations[]

string

Facultatif. Attentes d'évaluation par rapport auxquelles évaluer la conversation rejouée. Format : projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

Représentation JSON 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  }
}
Champs
steps[]

object (Step)

Obligatoire. Étapes à suivre pour rejouer une conversation en or.
rootSpan

object (Span)

Facultatif. Portée racine du tour d'or pour le traitement et la gestion des informations audio.

Étape

Représentation JSON 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
Champs
Champ d'union step. Étape à suivre. step ne peut être qu'un des éléments suivants :
userInput

object (SessionInput)

Facultatif. Données saisies par l'utilisateur pour la conversation.
agentTransfer

object (AgentTransfer)

Facultatif. transférer la conversation à un autre agent ;
expectation

object (GoldenExpectation)

Facultatif. Exécute une attente pour le tour actuel.

SessionInput

Représentation JSON 
{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
Champs
willContinue

boolean

Facultatif. Indicateur permettant de déterminer si le message actuel est un fragment d'une entrée plus grande dans la session de streaming bidirectionnel.

Si la valeur est définie sur true, l'agent diffère le traitement jusqu'à ce qu'il reçoive un message ultérieur où will_continue est défini sur false, ou jusqu'à ce que le système détecte un point de terminaison dans l'entrée audio.

REMARQUE : Ce champ ne s'applique pas aux entrées audio et DTMF, car elles sont toujours traitées automatiquement en fonction du signal de fin.
Champ d'union input_type. Type d'entrée. input_type ne peut être qu'un des éléments suivants :
text

string

Facultatif. Données textuelles de l'utilisateur final.
dtmf

string

Facultatif. Chiffres DTMF de l'utilisateur final.
audio

string (bytes format)

Facultatif. Données audio de l'utilisateur final.

Chaîne encodée en base64.
toolResponses

object (ToolResponses)

Facultatif. Résultats d'exécution des appels d'outils du client.
image

object (Image)

Facultatif. Données d'image de l'utilisateur final.
blob

object (Blob)

Facultatif. Données blob de l'utilisateur final.
variables

object (Struct format)

Facultatif. Variables contextuelles pour la session, identifiées par leur nom. L'agent CES n'utilisera que les variables déclarées dans l'application.

Les variables non reconnues seront toujours envoyées à l'[agent Dialogflow][Agent.RemoteDialogflowAgent] en tant que paramètres de session supplémentaires.
event

object (Event)

Facultatif. Saisie d'événement.

ToolResponses

Représentation JSON 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
Champs
toolResponses[]

object (ToolResponse)

Facultatif. Liste des résultats d'exécution de l'outil.

ToolResponse

Représentation JSON 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Champs
id

string

Facultatif. ID correspondant du tool call auquel la réponse se rapporte.
displayName

string

Uniquement en sortie. Nom à afficher de l'outil.
response

object (Struct format)

Obligatoire. Résultat de l'exécution de l'outil au format d'objet JSON. Utilisez la clé "output" pour spécifier la réponse de l'outil et la clé "error" pour spécifier les détails de l'erreur (le cas échéant). Si les clés "output" et "error" ne sont pas spécifiées, l'ensemble de la "response" est traité comme le résultat de l'exécution de l'outil.
Champ d'union tool_identifier. Identifiant de l'outil qui a été exécuté. Il peut s'agir d'un outil persistant ou d'un outil d'un ensemble d'outils. tool_identifier ne peut être qu'un des éléments suivants :
tool

string

Facultatif. Nom de l'outil à exécuter. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Facultatif. Outil de l'ensemble d'outils qui a été exécuté.

ToolsetTool

Représentation JSON 
{
  "toolset": string,
  "toolId": string
}
Champs
toolset

string

Obligatoire. Nom de ressource de l'ensemble d'outils à partir duquel cet outil est dérivé. Format : projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Facultatif. ID de l'outil permettant de filtrer les outils pour récupérer le schéma.

Struct

Représentation JSON 
{
  "fields": {
    string: value,
    ...
  }
}
Champs
fields

map (key: string, value: value (Value format))

Carte non ordonnée de valeurs typées de manière dynamique.

Objet contenant une liste de paires "key": value. Exemple : { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Représentation JSON 
{
  "key": string,
  "value": value
}
Champs
key

string
value

value (Value format)

Valeur

Représentation JSON 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Champs
Champ d'union kind. Type de valeur. kind ne peut être qu'un des éléments suivants :
nullValue

null

Représente une valeur nulle.
numberValue

number

Représente une valeur double.
stringValue

string

Représente une valeur de chaîne.
boolValue

boolean

Représente une valeur booléenne.
structValue

object (Struct format)

Représente une valeur structurée.
listValue

array (ListValue format)

Représente un Value répété.

ListValue

Représentation JSON 
{
  "values": [
    value
  ]
}
Champs
values[]

value (Value format)

Champ répété de valeurs typées de manière dynamique.

Image

Représentation JSON 
{
  "mimeType": string,
  "data": string
}
Champs
mimeType

string

Obligatoire. Type MIME standard IANA des données sources. Les types d'images acceptés sont les suivants : * image/png * image/jpeg * image/webp
data

string (bytes format)

Obligatoire. Octets bruts de l'image.

Chaîne encodée en base64.

Blob

Représentation JSON 
{
  "mimeType": string,
  "data": string
}
Champs
mimeType

string

Obligatoire. Type MIME standard IANA des données sources.
data

string (bytes format)

Obligatoire. Octets bruts du blob.

Chaîne encodée en base64.

Événement

Représentation JSON 
{
  "event": string
}
Champs
event

string

Obligatoire. Nom de l'événement.

AgentTransfer

Représentation JSON 
{
  "targetAgent": string,
  "displayName": string
}
Champs
targetAgent

string

Obligatoire. Agent auquel la conversation est transférée. L'agent prendra le relais à partir de ce moment. Format : projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

Uniquement en sortie. Nom à afficher de l'agent.

GoldenExpectation

Représentation JSON 
{
  "note": string,

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
  // End of list of possible types for union field condition.
}
Champs
note

string

Facultatif. Note concernant cette exigence, utile pour les rapports lorsque des vérifications spécifiques échouent. Exemple : "Check_Payment_Tool_Called".
Champ d'union condition. Vérification à effectuer. condition ne peut être qu'un des éléments suivants :
toolCall

object (ToolCall)

Facultatif. Vérifiez qu'un outil spécifique a été appelé avec les paramètres.
toolResponse

object (ToolResponse)

Facultatif. Vérifiez qu'un outil spécifique a donné la réponse attendue.
agentResponse

object (Message)

Facultatif. Vérifiez que l'agent a répondu correctement. Le rôle "agent" est implicite.
agentTransfer

object (AgentTransfer)

Facultatif. Vérifiez que l'agent a transféré la conversation à un autre agent.
updatedVariables

object (Struct format)

Facultatif. Vérifiez que l'agent a défini les variables de session sur les valeurs attendues. Permet également de capturer les mises à jour des variables d'agent pour les évaluations de référence.
mockToolResponse

object (ToolResponse)

Facultatif. Réponse de l'outil à simuler, avec les paramètres qui vous intéressent spécifiés. Tous les paramètres non spécifiés seront générés par le LLM.

ToolCall

Représentation JSON 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Champs
id

string

Facultatif. Identifiant unique de l'appel d'outil. Si ce champ est renseigné, le client doit renvoyer le résultat de l'exécution avec l'ID correspondant dans ToolResponse.
displayName

string

Uniquement en sortie. Nom à afficher de l'outil.
args

object (Struct format)

Facultatif. Paramètres et valeurs d'entrée de l'outil au format d'objet JSON.
Champ d'union tool_identifier. Identifiant de l'outil à exécuter. Il peut s'agir d'un outil persistant ou d'un outil d'un ensemble d'outils. tool_identifier ne peut être qu'un des éléments suivants :
tool

string

Facultatif. Nom de l'outil à exécuter. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Facultatif. Outil de l'ensemble d'outils à exécuter.

Message

Représentation JSON 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
Champs
role

string

Facultatif. Rôle dans la conversation (par exemple, utilisateur ou agent).
chunks[]

object (Chunk)

Facultatif. Contenu du message sous forme de série de blocs.
eventTime

string (Timestamp format)

Facultatif. Horodatage de l'envoi ou de la réception du message. Ne doit pas être utilisé si le message fait partie d'un example.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

Bloc

Représentation JSON 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
Champs
Champ d'union data. Regroupez les données. data ne peut être qu'un des éléments suivants :
text

string

Facultatif. Données textuelles.
transcript

string

Facultatif. Transcription associée à l'élément audio.
blob

object (Blob)

Facultatif. Données blob.
payload

object (Struct format)

Facultatif. Données de charge utile personnalisées.
image

object (Image)

Facultatif. Données d'image.
toolCall

object (ToolCall)

Facultatif. Requête d'exécution de l'outil.
toolResponse

object (ToolResponse)

Facultatif. Réponse à l'exécution de l'outil.
agentTransfer

object (AgentTransfer)

Facultatif. Événement de transfert d'agent.
updatedVariables

object (Struct format)

Une structure représente les variables qui ont été mises à jour dans la conversation, avec les noms de variables comme clés.
defaultVariables

object (Struct format)

Une structure représente les variables par défaut au début de la conversation, avec les noms de variables comme clés.

Horodatage

Représentation JSON 
{
  "seconds": string,
  "nanos": integer
}
Champs
seconds

string (int64 format)

Représente les secondes de l'heure UTC à partir de l'epoch Unix 1970-01-01T00:00:00Z. La valeur doit être comprise entre -62135596800 et 253402300799 inclus (ce qui correspond à 0001-01-01T00:00:00Z et 9999-12-31T23:59:59Z).
nanos

integer

Fractions de secondes non négatives avec une précision de l'ordre de la nanoseconde. Ce champ correspond à la partie en nanosecondes de la durée, et non à une alternative aux secondes. Les valeurs de secondes négatives avec des fractions doivent toujours comporter des valeurs de nanosecondes non négatives comptabilisées dans le temps. La valeur doit être comprise entre 0 et 999 999 999 inclus.

Segment

Représentation JSON 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
Champs
name

string

Uniquement en sortie. Nom de la portée.
startTime

string (Timestamp format)

Uniquement en sortie. Heure de début de la période.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Uniquement en sortie. Heure de fin de la période.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
duration

string (Duration format)

Uniquement en sortie. Durée du segment.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
attributes

object (Struct format)

Uniquement en sortie. Attributs clé-valeur associés à la portée.
childSpans[]

object (Span)

Uniquement en sortie. Les étendues enfants imbriquées sous cette étendue.

Durée

Représentation JSON 
{
  "seconds": string,
  "nanos": integer
}
Champs
seconds

string (int64 format)

Secondes signées de la période. La valeur doit être comprise entre -315 576 000 000 et +315 576 000 000 (inclus). Remarque : Ces limites sont calculées à partir de : 60 s/min * 60 min/h * 24 h/jour * 365,25 jours/an * 10 000 ans
nanos

integer

Fractions de secondes signées avec une précision de l'ordre de la nanoseconde pour la durée. Les durées inférieures à une seconde sont représentées par un champ seconds égal à 0 et un champ nanos positif ou négatif. Pour les durées d'une seconde ou plus, une valeur non nulle pour le champ nanos doit avoir le même signe que le champ seconds. La valeur doit être comprise entre -999 999 999 et +999 999 999 inclus.

Scénario

Représentation JSON 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ]
}
Champs
task

string

Obligatoire. Tâche à cibler par le scénario.
userFacts[]

object (UserFact)

Facultatif. Faits utilisateur à utiliser par le scénario.
maxTurns

integer

Facultatif. Nombre maximal de tours à simuler. Si aucune valeur n'est spécifiée, la simulation se poursuit jusqu'à ce que la tâche soit terminée.
rubrics[]

string

Obligatoire. Rubriques permettant d'évaluer le scénario.
scenarioExpectations[]

object (ScenarioExpectation)

Obligatoire. Les ScenarioExpectations permettant d'évaluer la conversation produite par la simulation utilisateur.
variableOverrides

object (Struct format)

Facultatif. Variables / paramètres de session en tant que contexte pour la session, avec les noms de variables comme clés. Les membres de cette structure remplaceront toutes les valeurs par défaut définies par le système.

Notez que ces faits sont différents des faits utilisateur, qui sont des faits connus de l'utilisateur. Les variables sont des paramètres connus de l'agent, c'est-à-dire le numéro de téléphone transmis par le système de téléphonie.
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

Facultatif. Obsolète. Utilisez plutôt user_goal_behavior.
userGoalBehavior

enum (UserGoalBehavior)

Facultatif. Comportement attendu de l'objectif utilisateur.
evaluationExpectations[]

string

Facultatif. Attentes d'évaluation pour évaluer la conversation produite par la simulation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

UserFact

Représentation JSON 
{
  "name": string,
  "value": string
}
Champs
name

string

Obligatoire. Nom du fait utilisateur.
value

string

Obligatoire. Valeur du fait utilisateur.

ScenarioExpectation

Représentation JSON 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
Champs
Champ d'union expectation. L'attente d'évaluer la conversation produite par la simulation. expectation ne peut être qu'un des éléments suivants :
toolExpectation

object (ToolExpectation)

Facultatif. Paire d'appel et de réponse de l'outil à évaluer.
agentResponse

object (Message)

Facultatif. Réponse de l'agent à évaluer.

ToolExpectation

Représentation JSON 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
Champs
expectedToolCall

object (ToolCall)

Obligatoire. Appel d'outil attendu, avec les paramètres d'intérêt spécifiés. Tous les paramètres non spécifiés seront générés par le LLM.
mockToolResponse

object (ToolResponse)

Obligatoire. Réponse de l'outil à simuler, avec les paramètres qui vous intéressent spécifiés. Tous les paramètres non spécifiés seront générés par le LLM.

AggregatedMetrics

Représentation JSON 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
Champs
metricsByAppVersion[]

object (MetricsByAppVersion)

Uniquement en sortie. Métriques agrégées, regroupées par ID de version de l'application.

MetricsByAppVersion

Représentation JSON 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
Champs
appVersionId

string

Uniquement en sortie. ID de version de l'application.
toolMetrics[]

object (ToolMetrics)

Uniquement en sortie. Métriques pour chaque outil de cette version de l'application.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Uniquement en sortie. Métriques de similarité sémantique dans cette version de l'application.
hallucinationMetrics[]

object (HallucinationMetrics)

Uniquement en sortie. Métriques concernant les hallucinations dans cette version de l'application.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Uniquement en sortie. Métriques pour la latence des appels d'outils dans cette version de l'application.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Uniquement en sortie. Métriques pour la latence des tours dans cette version de l'application.
passCount

integer

Uniquement en sortie. Nombre de fois où l'évaluation a été réussie.
failCount

integer

Uniquement en sortie. Nombre de fois où l'évaluation a échoué.
metricsByTurn[]

object (MetricsByTurn)

Uniquement en sortie. Métriques agrégées par tour dans cette version de l'application.

ToolMetrics

Représentation JSON 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
Champs
tool

string

Uniquement en sortie. Nom de l'outil.
passCount

integer

Uniquement en sortie. Nombre de fois où l'outil a réussi.
failCount

integer

Uniquement en sortie. Nombre d'échecs de l'outil.

SemanticSimilarityMetrics

Représentation JSON 
{
  "score": number
}
Champs
score

number

Uniquement en sortie. Score moyen de similarité sémantique (de 0 à 4).

HallucinationMetrics

Représentation JSON 
{
  "score": number
}
Champs
score

number

Uniquement en sortie. Score moyen d'hallucination (de 0 à 1).

ToolCallLatencyMetrics

Représentation JSON 
{
  "tool": string,
  "averageLatency": string
}
Champs
tool

string

Uniquement en sortie. Nom de l'outil.
averageLatency

string (Duration format)

Uniquement en sortie. Latence moyenne des appels d'outils.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"

TurnLatencyMetrics

Représentation JSON 
{
  "averageLatency": string
}
Champs
averageLatency

string (Duration format)

Uniquement en sortie. Latence moyenne des tours.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"

MetricsByTurn

Représentation JSON 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
Champs
turnIndex

integer

Uniquement en sortie. Index du tour (basé sur 0).
toolMetrics[]

object (ToolMetrics)

Uniquement en sortie. Métriques pour chaque outil de ce tour.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Uniquement en sortie. Métriques de similarité sémantique pour ce tour.
hallucinationMetrics[]

object (HallucinationMetrics)

Uniquement en sortie. Métriques pour l'hallucination au cours de ce tour.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Uniquement en sortie. Métriques de latence des appels d'outils au cours de ce tour.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Uniquement en sortie. Métriques de latence de tour dans ce tour.

EvaluationResult

Représentation JSON 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
Champs
name

string

Identifiant. Identifiant unique du résultat de l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

Obligatoire. Nom à afficher du résultat de l'évaluation. Unique dans une évaluation. Par défaut, il se présente au format suivant : " résultat – ".
createTime

string (Timestamp format)

Uniquement en sortie. Code temporel de la création du résultat de l'évaluation.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
evaluationStatus

enum (Outcome)

Uniquement en sortie. Résultat de l'évaluation. N'est renseigné que si execution_state est défini sur "COMPLETE".
evaluationRun

string

Uniquement en sortie. Exécution de l'évaluation ayant généré ce résultat. Format : projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

Uniquement en sortie. Persona utilisé pour générer la conversation pour le résultat de l'évaluation.
errorInfo

object (EvaluationErrorInfo)

Uniquement en sortie. Informations sur les erreurs liées au résultat de l'évaluation.
error
(deprecated)

object (Status)

Uniquement en sortie. Obsolète : utilisez plutôt error_info. Erreurs rencontrées lors de l'exécution.
initiatedBy

string

Uniquement en sortie. Utilisateur ayant lancé l'exécution de l'évaluation qui a généré ce résultat.
appVersion

string

Uniquement en sortie. Version de l'application utilisée pour générer la conversation ayant abouti à ce résultat. Format : projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Uniquement en sortie. Nom à afficher du app_version par rapport auquel l'évaluation a été exécutée.
changelog

string

Uniquement en sortie. Journal des modifications de la version de l'application par rapport à laquelle l'évaluation a été exécutée. Cette valeur est renseignée si l'utilisateur exécute l'évaluation sur la dernière version ou le brouillon.
changelogCreateTime

string (Timestamp format)

Uniquement en sortie. Heure de création du journal des modifications de la version de l'application par rapport à laquelle l'évaluation a été effectuée. Cette valeur est renseignée si l'utilisateur exécute l'évaluation sur la dernière version ou le brouillon.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionState

enum (ExecutionState)

Uniquement en sortie. État de l'exécution du résultat de l'évaluation.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Uniquement en sortie. Seuils d'évaluation pour le résultat.
config

object (EvaluationConfig)

Uniquement en sortie. Configuration utilisée lors de l'exécution de l'évaluation ayant généré ce résultat.
goldenRunMethod

enum (GoldenRunMethod)

Uniquement en sortie. Méthode utilisée pour exécuter l'évaluation de référence.
Champ d'union result. Résultat de l'évaluation. N'est renseigné que lorsque l'état d'exécution est "COMPLETED". result ne peut être qu'un des éléments suivants :
goldenResult

object (GoldenResult)

Uniquement en sortie. Résultat d'une évaluation de référence.
scenarioResult

object (ScenarioResult)

Uniquement en sortie. Résultat d'une évaluation de scénario.

GoldenResult

Représentation JSON 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
Champs
turnReplayResults[]

object (TurnReplayResult)

Uniquement en sortie. Résultat de l'exécution de chaque tour de la conversation de référence.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Uniquement en sortie. Résultats attendus de l'évaluation.

TurnReplayResult

Représentation JSON 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
Champs
conversation

string

Uniquement en sortie. Conversation générée pour ce tour.
expectationOutcome[]

object (GoldenExpectationOutcome)

Uniquement en sortie. Résultat de chaque attente.
hallucinationResult

object (HallucinationResult)

Uniquement en sortie. Résultat de la vérification des hallucinations.
toolInvocationScore
(deprecated)

number

Uniquement en sortie. Obsolète. Utilisez plutôt OverallToolInvocationResult.
turnLatency

string (Duration format)

Uniquement en sortie. Durée du tour.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
toolCallLatencies[]

object (ToolCallLatency)

Uniquement en sortie. Latence de chaque appel d'outil dans le tour.
semanticSimilarityResult

object (SemanticSimilarityResult)

Uniquement en sortie. Résultat de la vérification de la similarité sémantique.
overallToolInvocationResult

object (OverallToolInvocationResult)

Uniquement en sortie. Résultat de la vérification globale de l'appel d'outil.
errorInfo

object (EvaluationErrorInfo)

Uniquement en sortie. Informations sur l'erreur survenue lors de ce tour.
spanLatencies[]

object (SpanLatency)

Uniquement en sortie. Latence des portées dans le tour.

Champ d'union _tool_ordered_invocation_score.

_tool_ordered_invocation_score ne peut être qu'un des éléments suivants :
toolOrderedInvocationScore

number

Uniquement en sortie. Score global d'invocation d'outil pour ce tour. Indique le pourcentage global d'outils du tour attendu qui ont été réellement appelés dans l'ordre attendu.

GoldenExpectationOutcome

Représentation JSON 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  }
  // End of list of possible types for union field result.
}
Champs
expectation

object (GoldenExpectation)

Uniquement en sortie. L'attente qui a été évaluée.
outcome

enum (Outcome)

Uniquement en sortie. Résultat attendu.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

Uniquement en sortie. Résultat de la vérification de la similarité sémantique.
toolInvocationResult

object (ToolInvocationResult)

Uniquement en sortie. Résultat de la vérification de l'appel d'outil.
Champ d'union result. Résultat de l'attente. result ne peut être qu'un des éléments suivants :
observedToolCall

object (ToolCall)

Uniquement en sortie. Résultat attendu de l'appel d'outil.
observedToolResponse

object (ToolResponse)

Uniquement en sortie. Résultat de l'attente de réponse de l'outil.
observedAgentResponse

object (Message)

Uniquement en sortie. Résultat de l'attente de réponse de l'agent.
observedAgentTransfer

object (AgentTransfer)

Uniquement en sortie. Résultat de l'attente de transfert d'agent.

SemanticSimilarityResult

Représentation JSON 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Champs
label

string

Uniquement en sortie. Libellé associé à chaque score. Score 4 : entièrement cohérent Score 3 : principalement cohérent Score 2 : partiellement cohérent (omissions mineures) Score 1 : largement incohérent (omissions majeures) Score 0 : complètement incohérent / contradictoire
explanation

string

Uniquement en sortie. Explication du score de similarité sémantique.
outcome

enum (Outcome)

Uniquement en sortie. Résultat de la vérification de la similarité sémantique. Pour ce faire, le score est comparé à semantic_similarity_success_threshold. Si le score est égal ou supérieur au seuil, le résultat sera "RÉUSSITE". Sinon, le résultat sera FAIL.

Champ d'union _score.

_score ne peut être qu'un des éléments suivants :
score

integer

Uniquement en sortie. Score de similarité sémantique. Peut être égal à 0, 1, 2, 3 ou 4.

ToolInvocationResult

Représentation JSON 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
Champs
outcome

enum (Outcome)

Uniquement en sortie. Résultat de la vérification de l'appel d'outil. Pour ce faire, le paramètre "parameter_correctness_score" est comparé au seuil. Si le score est égal ou supérieur au seuil, le résultat sera "RÉUSSITE". Sinon, le résultat sera FAIL.
explanation

string

Uniquement en sortie. Explication en texte libre du résultat de l'appel d'outil.

Champ d'union _parameter_correctness_score.

_parameter_correctness_score ne peut être qu'un des éléments suivants :
parameterCorrectnessScore

number

Uniquement en sortie. Score d'exactitude des paramètres d'invocation d'outil. Indique le pourcentage de paramètres de l'appel d'outil attendu qui étaient également présents dans l'appel d'outil réel.

HallucinationResult

Représentation JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Champs
label

string

Uniquement en sortie. Libellé associé à chaque score. Score 1 : justifié Score 0 : non justifié Score -1 : aucune affirmation à évaluer
explanation

string

Uniquement en sortie. Explication du score d'hallucination.

Champ d'union _score.

_score ne peut être qu'un des éléments suivants :
score

integer

Uniquement en sortie. Score d'hallucination. Valeurs possibles : -1, 0 ou 1.

ToolCallLatency

Représentation JSON 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Champs
tool

string

Uniquement en sortie. Nom de l'outil exécuté. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName

string

Uniquement en sortie. Nom à afficher de l'outil.
startTime

string (Timestamp format)

Uniquement en sortie. Heure de début de l'exécution de l'appel d'outil.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Uniquement en sortie. Heure de fin de l'exécution de l'appel d'outil.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Uniquement en sortie. Latence de l'exécution de l'appel d'outil.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"

OverallToolInvocationResult

Représentation JSON 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
Champs
outcome

enum (Outcome)

Uniquement en sortie. Résultat de la vérification de l'appel d'outil. Cette valeur est déterminée en comparant tool_invocation_score au seuil overall_tool_invocation_correctness_threshold. Si le score est égal ou supérieur au seuil, le résultat sera "RÉUSSITE". Sinon, le résultat sera FAIL.

Champ d'union _tool_invocation_score.

_tool_invocation_score ne peut être qu'un des éléments suivants :
toolInvocationScore

number

Score global d'appel d'outil pour ce tour. Indique le pourcentage global d'outils de la réponse attendue qui ont été réellement appelés.

EvaluationErrorInfo

Représentation JSON 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string
}
Champs
errorType

enum (ErrorType)

Uniquement en sortie. Type d'erreur.
errorMessage

string

Uniquement en sortie. Message d'erreur.
sessionId

string

Uniquement en sortie. ID de session de la conversation à l'origine de l'erreur.

SpanLatency

Représentation JSON 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
Champs
type

enum (Type)

Uniquement en sortie. Type de portée.
displayName

string

Uniquement en sortie. Nom à afficher de la portée. S'applique aux étendues d'outils et de garde-fous.
startTime

string (Timestamp format)

Uniquement en sortie. Heure de début de la période.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Uniquement en sortie. Heure de fin de la période.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Uniquement en sortie. Latence de la portée.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
Champ d'union identifier. Identifiant de l'élément spécifique en fonction de son type. identifier ne peut être qu'un des éléments suivants :
resource

string

Uniquement en sortie. Nom de ressource des étendues de garde-fou ou d'outil.
toolset

object (ToolsetTool)

Uniquement en sortie. Identifiant de l'outil du toolset.
model

string

Uniquement en sortie. Nom de la portée du LLM.
callback

string

Uniquement en sortie. Nom de la portée du rappel utilisateur.

EvaluationExpectationResult

Représentation JSON 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
Champs
evaluationExpectation

string

Uniquement en sortie. L'attente d'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

Uniquement en sortie. Requête utilisée pour l'évaluation.
outcome

enum (Outcome)

Uniquement en sortie. Résultat attendu de l'évaluation.
explanation

string

Uniquement en sortie. Explication du résultat.

ScenarioResult

Représentation JSON 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
Champs
conversation

string

Uniquement en sortie. Conversation générée dans le scénario.
task

string

Uniquement en sortie. Tâche utilisée lors de l'exécution du scénario pour ce résultat.
userFacts[]

object (UserFact)

Uniquement en sortie. Faits sur l'utilisateur utilisés par le scénario pour ce résultat.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

Uniquement en sortie. Résultat de chaque attente.
rubricOutcomes[]

object (ScenarioRubricOutcome)

Uniquement en sortie. Résultat de la grille d'évaluation.
hallucinationResult[]

object (HallucinationResult)

Uniquement en sortie. Résultat de la vérification des hallucinations. Il y aura un résultat d'hallucination pour chaque tour de conversation.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

Uniquement en sortie. Résultat de la vérification de l'état d'achèvement de la tâche.
toolCallLatencies[]

object (ToolCallLatency)

Uniquement en sortie. Latence de l'exécution de chaque appel d'outil dans la conversation.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

Uniquement en sortie. Résultat de la vérification de la satisfaction de l'objectif de l'utilisateur.
spanLatencies[]

object (SpanLatency)

Uniquement en sortie. Latence des spans dans la conversation.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Uniquement en sortie. Résultats attendus de l'évaluation.

Champ d'union _all_expectations_satisfied.

_all_expectations_satisfied ne peut être qu'un des éléments suivants :
allExpectationsSatisfied

boolean

Uniquement en sortie. Indique si toutes les attentes ont été satisfaites pour ce tour.

Champ d'union _task_completed.

_task_completed ne peut être qu'un des éléments suivants :
taskCompleted

boolean

Uniquement en sortie. Indique si la tâche a été effectuée pour ce tour. Il s'agit d'une combinaison de toutes les attentes satisfaites, de l'absence d'hallucinations et de la satisfaction de l'objectif de l'utilisateur.

ScenarioExpectationOutcome

Représentation JSON 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
Champs
expectation

object (ScenarioExpectation)

Uniquement en sortie. L'attente qui a été évaluée.
outcome

enum (Outcome)

Uniquement en sortie. Résultat de ScenarioExpectation.
Champ d'union result. Résultat de l'attente. result ne peut être qu'un des éléments suivants :
observedToolCall

object (ObservedToolCall)

Uniquement en sortie. Appel d'outil observé.
observedAgentResponse

object (Message)

Uniquement en sortie. Réponse de l'agent observée.

ObservedToolCall

Représentation JSON 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Champs
toolCall

object (ToolCall)

Uniquement en sortie. Appel d'outil observé.
toolResponse

object (ToolResponse)

Uniquement en sortie. Réponse de l'outil observée.

ScenarioRubricOutcome

Représentation JSON 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
Champs
rubric

string

Uniquement en sortie. Grille d'évaluation utilisée pour évaluer la conversation.
scoreExplanation

string

Uniquement en sortie. Réponse de l'évaluateur à la grille.

Champ d'union _score.

_score ne peut être qu'un des éléments suivants :
score

number

Uniquement en sortie. Score de la conversation par rapport à la grille.

TaskCompletionResult

Représentation JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Champs
label

string

Uniquement en sortie. Libellé associé à chaque score. Score 1 : tâche terminée Score 0 : tâche non terminée Score -1 : objectif de l'utilisateur non défini
explanation

string

Uniquement en sortie. Explication du score d'accomplissement des tâches.

Champ d'union _score.

_score ne peut être qu'un des éléments suivants :
score

integer

Uniquement en sortie. Score d'exécution de la tâche. Valeurs possibles : -1, 0 ou 1

UserGoalSatisfactionResult

Représentation JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Champs
label

string

Uniquement en sortie. Libellé associé à chaque score. Score 1 : tâche utilisateur effectuée Score 0 : tâche utilisateur non effectuée Score -1 : tâche utilisateur non spécifiée
explanation

string

Uniquement en sortie. Explication du score de satisfaction concernant la tâche utilisateur.

Champ d'union _score.

_score ne peut être qu'un des éléments suivants :
score

integer

Uniquement en sortie. Score de satisfaction de l'utilisateur concernant la tâche. Valeurs possibles : -1, 0 ou 1.

EvaluationPersona

Représentation JSON 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
Champs
name

string

Obligatoire. Identifiant unique de la persona. Format : projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

Facultatif. Description du persona.
displayName

string

Obligatoire. Nom à afficher de la persona. Unique dans une application.
personality

string

Obligatoire. Instruction indiquant à l'agent comment se comporter lors de l'évaluation.
speechConfig

object (SpeechConfig)

Facultatif. Configuration de la voix de la persona (paramètres TTS).

SpeechConfig

Représentation JSON 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
Champs
speakingRate

number

Facultatif. Vitesse d'élocution. 1.0 est la valeur normale. Plus la valeur est faible, plus la vitesse est lente (par exemple, 0,8), plus la valeur est élevée, plus la vitesse est rapide (par exemple, 1.5). Utile pour tester la façon dont l'agent gère les personnes qui parlent vite.
environment

enum (BackgroundEnvironment)

Facultatif. Environnement audio simulé.
voiceId

string

Facultatif. Identifiant/accent de la voix à utiliser. Exemple : "en-US-Wavenet-D" ou "en-GB-Standard-A"

État

Représentation JSON 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Champs
code

integer

Code d'état, qui doit être une valeur d'énumération de google.rpc.Code.
message

string

Message d'erreur destiné au développeur, qui doit être en anglais. Tout message d'erreur destiné aux utilisateurs doit être localisé et envoyé dans le champ google.rpc.Status.details, ou localisé par le client.
details[]

object

Liste de messages comportant les détails de l'erreur. Il existe un ensemble commun de types de message utilisable par les API.

Objet contenant des champs d'un type arbitraire. Un champ supplémentaire "@type" contient un URI identifiant le type. Exemple : { "id": 1234, "@type": "types.example.com/standard/id" }.

Tous

Représentation JSON 
{
  "typeUrl": string,
  "value": string
}
Champs
typeUrl

string

Identifie le type du message Protobuf sérialisé avec une référence URI composée d'un préfixe se terminant par une barre oblique et du nom de type complet.

Exemple : type.googleapis.com/google.protobuf.StringValue

Cette chaîne doit contenir au moins un caractère /, et le contenu après le dernier / doit être le nom complet du type sous forme canonique, sans point au début. N'écrivez pas de schéma sur ces références URI afin que les clients ne tentent pas de les contacter.

Le préfixe est arbitraire et les implémentations Protobuf sont censées supprimer tout ce qui précède le dernier / (y compris) pour identifier le type. type.googleapis.com/ est un préfixe par défaut courant requis par certaines anciennes implémentations. Ce préfixe n'indique pas l'origine du type, et les URI qui le contiennent ne sont pas censés répondre aux requêtes.

Toutes les chaînes d'URL de type doivent être des références URI légales avec la restriction supplémentaire (pour le format texte) que le contenu de la référence ne doit être composé que de caractères alphanumériques, d'échappements encodés en pourcentage et de caractères de l'ensemble suivant (sans les accents graves extérieurs) : /-.~_!$&()*+,;=. Bien que nous autorisions les encodages en pourcentage, les implémentations ne doivent pas les décoder pour éviter toute confusion avec les analyseurs existants. Par exemple, type.googleapis.com%2FFoo doit être rejeté.

Dans la conception d'origine de Any, la possibilité de lancer un service de résolution de type à ces URL de type a été envisagée, mais Protobuf n'en a jamais implémenté et considère que la prise de contact avec ces URL est problématique et constitue un problème de sécurité potentiel. N'essayez pas de contacter les URL de type.
value

string (bytes format)

Contient une sérialisation Protobuf du type décrit par type_url.

Chaîne encodée en base64.

EvaluationMetricsThresholds

Représentation JSON 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
Champs
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

Facultatif. Seuils des métriques d'évaluation privilégiées.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

Facultatif. Obsolète : utilisez plutôt golden_hallucination_metric_behavior. Le comportement de la métrique d'hallucination est actuellement utilisé pour les évaluations de référence.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Facultatif. Comportement de la métrique d'hallucination pour les évaluations de référence.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Facultatif. Comportement de la métrique d'hallucination pour les évaluations de scénarios.

GoldenEvaluationMetricsThresholds

Représentation JSON 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
Champs
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

Facultatif. Seuils des métriques au niveau du tour.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

Facultatif. Seuils des métriques de niveau d'attente.
toolMatchingSettings

object (ToolMatchingSettings)

Facultatif. Paramètres de correspondance de l'outil. Un appel d'outil supplémentaire est un appel d'outil présent dans l'exécution, mais qui ne correspond à aucun appel d'outil dans l'attente de référence.

TurnLevelMetricsThresholds

Représentation JSON 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
Champs
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

Facultatif. Canal de similarité sémantique à utiliser pour l'évaluation.

Champ d'union _semantic_similarity_success_threshold.

_semantic_similarity_success_threshold ne peut être qu'un des éléments suivants :
semanticSimilaritySuccessThreshold

integer

Facultatif. Seuil de réussite pour la similarité sémantique. Veuillez saisir un nombre entier compris entre 0 et 4. La valeur par défaut est >= 3.

Champ d'union _overall_tool_invocation_correctness_threshold.

_overall_tool_invocation_correctness_threshold ne peut être qu'un des éléments suivants :
overallToolInvocationCorrectnessThreshold

number

Facultatif. Seuil de réussite pour la correction globale de l'appel d'outil. Doit être un nombre à virgule flottante compris entre 0 et 1. La valeur par défaut est 1.0.

ExpectationLevelMetricsThresholds

Représentation JSON 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
Champs

Champ d'union _tool_invocation_parameter_correctness_threshold.

_tool_invocation_parameter_correctness_threshold ne peut être qu'un des éléments suivants :
toolInvocationParameterCorrectnessThreshold

number

Facultatif. Seuil de réussite pour la correction des paramètres d'invocation d'outils individuels. Doit être un nombre à virgule flottante compris entre 0 et 1. La valeur par défaut est 1.0.

ToolMatchingSettings

Représentation JSON 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
Champs
extraToolCallBehavior

enum (ExtraToolCallBehavior)

Facultatif. Comportement pour les appels d'outils supplémentaires. La valeur par défaut est "FAIL".

EvaluationConfig

Représentation JSON 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Champs
inputAudioConfig
(deprecated)

object (InputAudioConfig)

Facultatif. Configuration pour le traitement de l'entrée audio.
outputAudioConfig
(deprecated)

object (OutputAudioConfig)

Facultatif. Configuration pour générer le contenu audio de sortie.
evaluationChannel

enum (EvaluationChannel)

Facultatif. Chaîne à évaluer.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Facultatif. Indique si l'évaluation doit utiliser de vrais appels d'outils ou des outils factices.

InputAudioConfig

Représentation JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Champs
audioEncoding

enum (AudioEncoding)

Obligatoire. Encodage des données audio d'entrée.
sampleRateHertz

integer

Obligatoire. Taux d'échantillonnage (en hertz) des données audio d'entrée.
noiseSuppressionLevel

string

Facultatif. Indique si la suppression du bruit doit être activée pour l'entrée audio. Les valeurs disponibles sont "low", "moderate", "high" et "very_high".

OutputAudioConfig

Représentation JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Champs
audioEncoding

enum (AudioEncoding)

Obligatoire. Encodage des données audio de sortie.
sampleRateHertz

integer

Obligatoire. Taux d'échantillonnage (en hertz) des données audio de sortie.

Annotations d'outils

Indication destructive : ❌ | Indication idempotente : ✅ | Indication en lecture seule : ✅ | Indication Open World : ❌