REST Resource: projects.locations.apps.evaluations

Ressource : Evaluation

Une évaluation représente toutes les informations nécessaires pour simuler et évaluer un agent.

Représentation JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "golden": {
    object (Evaluation.Golden)
  },
  "scenario": {
    object (Evaluation.Scenario)
  }
  // End of mutually exclusive fields.
}
Champs
name

string

Identifiant. Identifiant unique de cette évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

Obligatoire. Nom à afficher de l'évaluation défini par l'utilisateur. Unique dans une application.
description

string

Facultatif. Description de l'évaluation définie par l'utilisateur.
tags[]

string

Facultatif. Tags définis par l'utilisateur pour catégoriser l'évaluation.
evaluationDatasets[]

string

Uniquement en sortie. Liste des ensembles de données d'évaluation auxquels appartient l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

Uniquement en sortie. Code temporel de la création de l'évaluation.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
createdBy

string

Uniquement en sortie. Utilisateur qui a créé l'évaluation.
updateTime

string (Timestamp format)

Uniquement en sortie. Code temporel de la dernière mise à jour de l'évaluation.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
lastUpdatedBy

string

Uniquement en sortie. L'utilisateur qui a mis à jour l'évaluation pour la dernière fois.
evaluationRuns[]

string

Uniquement en sortie. EvaluationRuns auxquels cette évaluation est associée.
etag

string

Uniquement en sortie. Etag utilisé pour s'assurer que l'objet n'a pas été modifié lors d'une opération de lecture-modification-écriture. Si l'etag est vide, la mise à jour écrasera toutes les modifications simultanées.
aggregatedMetrics

object (AggregatedMetrics)

Uniquement en sortie. Métriques agrégées pour cette évaluation sur toutes les exécutions.
lastCompletedResult

object (EvaluationResult)

Uniquement en sortie. Le dernier résultat d'évaluation pour cette évaluation.
invalid

boolean

Uniquement en sortie. Indique si l'évaluation n'est pas valide. Cela peut se produire si une évaluation fait référence à un outil, un ensemble d'outils ou un agent qui a été supprimé depuis.
lastTenResults[]

object (EvaluationResult)

Uniquement en sortie. Les 10 derniers résultats d'évaluation pour cette évaluation. Cette valeur n'est renseignée que si include_last_ten_results est défini sur "true" dans ListEvaluationsRequest ou GetEvaluationRequest.
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

Facultatif. Remplace les seuils de métriques pour cette évaluation spécifique.
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

Facultatif. Remplace la configuration des métriques pour cette évaluation spécifique.
Voici une liste de champs mutuellement exclusifs. Au maximum, un seul des champs sera défini dans une réponse :
golden

object (Evaluation.Golden)

Facultatif. Étapes optimales à évaluer.
scenario

object (Evaluation.Scenario)

Facultatif. Configuration d'un scénario.
Fin des champs qui s'excluent mutuellement.

Evaluation.Golden

Étapes à suivre pour rejouer une conversation en or.

Représentation JSON 
{
  "turns": [
    {
      object (Evaluation.GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
Champs
turns[]

object (Evaluation.GoldenTurn)

Obligatoire. Nombre de tours d'or requis pour rejouer une conversation d'or. Le nombre maximal de tours autorisés est de 100.
evaluationExpectations[]

string

Facultatif. Attentes d'évaluation par rapport auxquelles évaluer la conversation rejouée. Format : projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

Evaluation.GoldenTurn

Un tour de référence définit un seul tour de parole dans une conversation de référence.

Représentation JSON 
{
  "steps": [
    {
      object (Evaluation.Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (EvaluationMetricsThresholds.HallucinationMetricBehavior)
}
Champs
steps[]

object (Evaluation.Step)

Obligatoire. Étapes à suivre pour rejouer une conversation en or.
rootSpan

object (Span)

Facultatif. Portée racine du tour d'or pour le traitement et la gestion des informations audio. L'URI de l'audio doit contenir un fichier audio enregistré avec un taux d'échantillonnage de 16 kHz.
turnLevelMetricsThresholdsOverride

object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.TurnLevelMetricsThresholds)

Facultatif. Remplacements pour les seuils de métriques au niveau du tour.
hallucinationMetricBehaviorOverride

enum (EvaluationMetricsThresholds.HallucinationMetricBehavior)

Facultatif. Remplacement du comportement de la métrique d'hallucination au niveau du tour.

Evaluation.Step

Une étape définit une action unique à effectuer lors de l'évaluation.

Représentation JSON 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (Evaluation.GoldenExpectation)
  }
  // End of mutually exclusive fields.
}
Champs
Étape à effectuer. Vous trouverez ci-dessous la liste des champs mutuellement exclusifs. Au maximum, un seul des champs sera défini dans une réponse :
userInput

object (SessionInput)

Facultatif. Entrée utilisateur pour la conversation.
agentTransfer

object (AgentTransfer)

Facultatif. Transférez la conversation à un autre agent.
expectation

object (Evaluation.GoldenExpectation)

Facultatif. Exécute une attente au tour actuel.
Fin des champs qui s'excluent mutuellement.

SessionInput

Entrée pour la session.

Représentation JSON 
{
  "willContinue": boolean,

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of mutually exclusive fields.
}
Champs
willContinue

boolean

Facultatif. Indicateur permettant de déterminer si le message actuel est un fragment d'une entrée plus grande dans la session de streaming bidirectionnel.

Lorsque la valeur est définie sur true, l'agent diffère le traitement jusqu'à ce qu'il reçoive un message ultérieur où willContinue est défini sur false, ou jusqu'à ce que le système détecte un point de terminaison dans l'entrée audio.

REMARQUE : Ce champ ne s'applique pas aux entrées audio et DTMF, car elles sont toujours traitées automatiquement en fonction du signal de fin.
Type de l'entrée. Vous trouverez ci-dessous la liste des champs mutuellement exclusifs. Au maximum, un seul des champs sera défini dans une réponse :
text

string

Facultatif. Données textuelles de l'utilisateur final.
dtmf

string

Facultatif. Chiffres DTMF de l'utilisateur final.
audio

string (bytes format)

Facultatif. Données audio de l'utilisateur final.

Chaîne encodée en base64.
toolResponses

object (ToolResponses)

Facultatif. Résultats d'exécution des appels d'outils du client.
image

object (Image)

Facultatif. Données d'image de l'utilisateur final.
blob

object (Blob)

Facultatif. Données Blob de l'utilisateur final.
variables

object (Struct format)

Facultatif. Variables contextuelles pour la session, indexées par nom. L'agent CES n'utilisera que les variables déclarées dans l'application.

Les variables non reconnues seront toujours envoyées à l'agent Dialogflow en tant que paramètres de session supplémentaires.
event

object (Event)

Facultatif. Entrée d'événement.
Fin des champs qui s'excluent mutuellement.

ToolResponses

Résultats d'exécution des appels d'outils demandés par le client.

Représentation JSON 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
Champs
toolResponses[]

object (ToolResponse)

Facultatif. Liste des résultats d'exécution de l'outil.

Événement

Entrée d'événement.

Représentation JSON 
{
  "event": string,
  "variables": {
    object
  }
}
Champs
event

string

Obligatoire. Nom de l'événement.
variables

object (Struct format)

Facultatif. Variables supplémentaires associées à l'événement.

Evaluation.Scenario

Configuration d'un scénario

Représentation JSON 
{
  "task": string,
  "userFacts": [
    {
      object (Evaluation.Scenario.UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (Evaluation.ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (Evaluation.Scenario.TaskCompletionBehavior),
  "userGoalBehavior": enum (Evaluation.Scenario.UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (EvaluationSettings.ScenarioExecutionMode)
}
Champs
task

string

Obligatoire. Tâche à cibler par le scénario.
userFacts[]

object (Evaluation.Scenario.UserFact)

Facultatif. Faits sur l'utilisateur à utiliser par le scénario.
maxTurns

integer

Facultatif. Nombre maximal de tours à simuler. La valeur maximale autorisée est de 100. La valeur par défaut est 100.
rubrics[]

string

Obligatoire. Rubriques permettant d'évaluer le scénario.
scenarioExpectations[]

object (Evaluation.ScenarioExpectation)

Obligatoire. Les ScenarioExpectations permettant d'évaluer la conversation produite par la simulation utilisateur.
variableOverrides

object (Struct format)

Facultatif. Variables / paramètres de session en tant que contexte pour la session, avec les noms de variables comme clés. Les membres de cette structure remplaceront toutes les valeurs par défaut définies par le système.

Notez que ces faits sont différents des faits utilisateur, qui sont des faits connus de l'utilisateur. Les variables sont des paramètres connus de l'agent, c'est-à-dire le numéro de téléphone transmis par le système de téléphonie.
taskCompletionBehavior
(deprecated)

enum (Evaluation.Scenario.TaskCompletionBehavior)

Facultatif. Obsolète. Utilisez plutôt userGoalBehavior.
userGoalBehavior

enum (Evaluation.Scenario.UserGoalBehavior)

Facultatif. Comportement attendu de l'objectif utilisateur.
evaluationExpectations[]

string

Facultatif. Attentes d'évaluation pour évaluer la conversation produite par la simulation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode

enum (EvaluationSettings.ScenarioExecutionMode)

Facultatif. Mode d'exécution pour les évaluations de scénarios.

Evaluation.Scenario.TaskCompletionBehavior

Comportement attendu de la tâche utilisateur. Il permet de déterminer si le scénario est réussi.

Enums
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED Comportement non spécifié. La valeur par défaut est TASK_SATISFIED.
TASK_SATISFIED La tâche utilisateur doit être effectuée avec succès.
TASK_REJECTED La tâche utilisateur doit être refusée.

Evaluation.Scenario.UserGoalBehavior

Comportement attendu de l'objectif utilisateur. Il permet de déterminer si le scénario est réussi.

Enums
USER_GOAL_BEHAVIOR_UNSPECIFIED Comportement non spécifié. La valeur par défaut est USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED L'objectif de l'utilisateur doit être atteint.
USER_GOAL_REJECTED L'objectif de l'utilisateur doit être refusé.
USER_GOAL_IGNORED Ignorez l'état de l'objectif de l'utilisateur.

Méthodes

create

 Crée une évaluation.

delete

 Supprime une évaluation.

export

 Exporte les évaluations.

get

 Obtient les détails de l'évaluation spécifiée.

list

 Liste toutes les évaluations de l'application spécifiée.

patch

 Met à jour une évaluation.

uploadEvaluationAudio

 Importe des fichiers audio à utiliser dans les évaluations de référence.