REST Resource: projects.locations.apps.evaluations.results

Ressource : EvaluationResult

Un résultat d'évaluation représente le résultat de l'exécution d'une évaluation.

Représentation JSON
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (EvaluationResult.Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (EvaluationResult.ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (EvaluationResult.OutcomeMetadata),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "goldenResult": {
    object (EvaluationResult.GoldenResult)
  },
  "scenarioResult": {
    object (EvaluationResult.ScenarioResult)
  }
  // End of mutually exclusive fields.
}
Champs
name

string

Identifiant. Identifiant unique du résultat de l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}

displayName

string

Obligatoire. Nom à afficher du résultat de l'évaluation. Unique dans une évaluation. Par défaut, il est au format suivant : " result - ".

createTime

string (Timestamp format)

Uniquement en sortie. Horodatage de la création du résultat de l'évaluation.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

evaluationStatus

enum (EvaluationResult.Outcome)

Uniquement en sortie. Résultat de l'évaluation. N'est renseigné que si executionState est défini sur COMPLETE.

evaluationRun

string

Uniquement en sortie. L'exécution d'évaluation qui a produit ce résultat. Format : projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}

persona

object (EvaluationPersona)

Uniquement en sortie. Persona utilisé pour générer la conversation pour le résultat de l'évaluation.

errorInfo

object (EvaluationErrorInfo)

Uniquement en sortie. Informations sur l'erreur pour le résultat de l'évaluation.

error
(deprecated)

object (Status)

Uniquement en sortie. Obsolète : utilisez errorInfo à la place. Erreurs rencontrées lors de l'exécution.

initiatedBy

string

Uniquement en sortie. Utilisateur qui a lancé l'exécution de l'évaluation ayant généré ce résultat.

appVersion

string

Uniquement en sortie. Version de l'application utilisée pour générer la conversation qui a abouti à ce résultat. Format : projects/{project}/locations/{location}/apps/{app}/versions/{version}

appVersionDisplayName

string

Uniquement en sortie. Nom à afficher de l'appVersion sur lequel l'évaluation a été exécutée.

changelog

string

Uniquement en sortie. Journal des modifications de la version de l'application sur laquelle l'évaluation a été exécutée. Ce champ est renseigné si l'utilisateur exécute l'évaluation sur la dernière version ou le brouillon.

changelogCreateTime

string (Timestamp format)

Uniquement en sortie. Heure de création du journal des modifications de la version de l'application sur laquelle l'évaluation a été exécutée. Ce champ est renseigné si l'utilisateur exécute l'évaluation sur la dernière version ou le brouillon.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

executionState

enum (EvaluationResult.ExecutionState)

Uniquement en sortie. État de l'exécution du résultat de l'évaluation.

evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Uniquement en sortie. Seuils d'évaluation du résultat.

config

object (EvaluationConfig)

Uniquement en sortie. Configuration utilisée dans l'exécution d'évaluation qui a généré ce résultat.

goldenRunMethod

enum (GoldenRunMethod)

Uniquement en sortie. Méthode utilisée pour exécuter l'évaluation de référence.

rootSpan

object (Span)

Uniquement en sortie. Le segment racine de l'exécution de l'évaluation, qui inclut des informations sur chaque étape de l'évaluation.

outcomeMetadata

enum (EvaluationResult.OutcomeMetadata)

Uniquement en sortie. Métadonnées de résultat de l'évaluation. N'est renseigné que si executionState est défini sur COMPLETE.

Résultat de l'évaluation. Uniquement renseigné lorsque execution_state est défini sur COMPLETED. Voici une liste de champs mutuellement exclusifs. Au maximum, un des champs sera défini dans une réponse :
goldenResult

object (EvaluationResult.GoldenResult)

Uniquement en sortie. Résultat d'une évaluation de référence.

scenarioResult

object (EvaluationResult.ScenarioResult)

Uniquement en sortie. Résultat d'une évaluation de scénario.

Fin des champs mutuellement exclusifs.

EvaluationResult.GoldenResult

Résultat d'une évaluation de référence.

Représentation JSON
{
  "turnReplayResults": [
    {
      object (EvaluationResult.GoldenResult.TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationResult.EvaluationExpectationResult)
    }
  ]
}
Champs
turnReplayResults[]

object (EvaluationResult.GoldenResult.TurnReplayResult)

Uniquement en sortie. Résultat de l'exécution de chaque tour de la conversation de référence.

evaluationExpectationResults[]

object (EvaluationResult.EvaluationExpectationResult)

Uniquement en sortie. Les résultats de l'évaluation.

EvaluationResult.GoldenResult.TurnReplayResult

Résultat de l'exécution d'un seul tour de la conversation de référence.

Représentation JSON
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (EvaluationResult.GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (EvaluationResult.HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (EvaluationResult.ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (EvaluationResult.SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (EvaluationResult.OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (EvaluationResult.SpanLatency)
    }
  ],
  "toolOrderedInvocationScore": number
}
Champs
conversation

string

Uniquement en sortie. La conversation qui a été générée pour ce tour.

expectationOutcome[]

object (EvaluationResult.GoldenExpectationOutcome)

Uniquement en sortie. Le résultat de chaque attente.

hallucinationResult

object (EvaluationResult.HallucinationResult)

Uniquement en sortie. Résultat de la vérification des hallucinations.

toolInvocationScore
(deprecated)

number

Uniquement en sortie. Obsolète. Utilisez plutôt OverallToolInvocationResult.

turnLatency

string (Duration format)

Uniquement en sortie. Durée de l'étape.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"

toolCallLatencies[]

object (EvaluationResult.ToolCallLatency)

Uniquement en sortie. La latence de chaque appel d'outil dans le tour.

semanticSimilarityResult

object (EvaluationResult.SemanticSimilarityResult)

Uniquement en sortie. Résultat de la vérification de la similarité sémantique.

overallToolInvocationResult

object (EvaluationResult.OverallToolInvocationResult)

Uniquement en sortie. Résultat de la vérification globale de l'appel de l'outil.

errorInfo

object (EvaluationErrorInfo)

Uniquement en sortie. Informations sur l'erreur qui s'est produite pendant ce tour.

spanLatencies[]

object (EvaluationResult.SpanLatency)

Uniquement en sortie. Latence des segments dans le tour.

toolOrderedInvocationScore

number

Uniquement en sortie. Score global d'appel d'outils ordonné pour ce tour. Il indique le pourcentage global d'outils du tour attendu qui ont été réellement appelés dans l'ordre attendu.

EvaluationResult.GoldenExpectationOutcome

Spécifie l'attente et le résultat de cette attente.

Représentation JSON
{
  "expectation": {
    object (Evaluation.GoldenExpectation)
  },
  "outcome": enum (EvaluationResult.Outcome),
  "semanticSimilarityResult": {
    object (EvaluationResult.SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of mutually exclusive fields.
}
Champs
expectation

object (Evaluation.GoldenExpectation)

Uniquement en sortie. L'attente qui a été évaluée.

outcome

enum (EvaluationResult.Outcome)

Uniquement en sortie. Résultat de l'attente.

semanticSimilarityResult
(deprecated)

object (EvaluationResult.SemanticSimilarityResult)

Uniquement en sortie. Résultat de la vérification de la similarité sémantique.

toolInvocationResult

object (EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult)

Uniquement en sortie. Résultat de la vérification de l'appel de l'outil.

Résultat de l'attente. Voici une liste de champs mutuellement exclusifs. Au maximum, un des champs sera défini dans une réponse :
observedToolCall

object (ToolCall)

Uniquement en sortie. Résultat de l'attente de l'appel d'outil.

observedToolResponse

object (ToolResponse)

Uniquement en sortie. Résultat de l'attente de réponse de l'outil.

observedAgentResponse

object (Message)

Uniquement en sortie. Résultat de l'attente de réponse de l'agent.

observedAgentTransfer

object (AgentTransfer)

Uniquement en sortie. Résultat de l'attente de transfert de l'agent.

observedPayload

object (Struct format)

Uniquement en sortie. Une charge utile personnalisée observée. Il n'y a pas d'attentes concernant les charges utiles personnalisées. Cette valeur n'est utilisée que pour calculer les métriques. Le résultat est toujours SKIPPED.

Fin des champs mutuellement exclusifs.

EvaluationResult.Outcome

Résultat de l'évaluation ou de l'attente.

Enums
OUTCOME_UNSPECIFIED Le résultat de l'évaluation n'est pas spécifié.
PASS Évaluation/Attente réussie. Dans le cas d'une évaluation, cela signifie que toutes les attentes ont été satisfaites.
FAIL Échec de l'évaluation/de l'attente. Dans le cas d'une évaluation, cela signifie qu'au moins une attente n'a pas été satisfaite.
SKIPPED L'évaluation/l'attente a été ignorée.

EvaluationResult.SemanticSimilarityResult

Résultat de la vérification de la similarité sémantique.

Représentation JSON
{
  "label": string,
  "explanation": string,
  "outcome": enum (EvaluationResult.Outcome),
  "score": integer
}
Champs
label

string

Uniquement en sortie. L'étiquette associée à chaque score. Score 4 : entièrement cohérent ; Score 3 : plutôt cohérent ; Score 2 : partiellement cohérent (omissions mineures) ; Score 1 : largement incohérent (omissions majeures) ; Score 0 : complètement incohérent/contradictoire

explanation

string

Uniquement en sortie. Explication du score de similarité sémantique.

outcome

enum (EvaluationResult.Outcome)

Uniquement en sortie. Résultat de la vérification de la similarité sémantique. Pour cela, le score est comparé à semanticSimilaritySuccessThreshold. Si le score est supérieur ou égal au seuil, le résultat sera "PASS" (Réussite). Sinon, le résultat sera "FAIL".

score

integer

Uniquement en sortie. Le score de similarité sémantique. Il peut s'agir de 0, 1, 2, 3 ou 4.

EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult

Résultat de la vérification de l'appel de l'outil.

Représentation JSON
{
  "outcome": enum (EvaluationResult.Outcome),
  "explanation": string,
  "parameterCorrectnessScore": number
}
Champs
outcome

enum (EvaluationResult.Outcome)

Uniquement en sortie. Résultat de la vérification de l'appel d'outil. Pour cela, le paramètreCorrectnessScore est comparé au seuil. Si le score est supérieur ou égal au seuil, le résultat sera "PASS" (Réussite). Sinon, le résultat sera "FAIL".

explanation

string

Uniquement en sortie. Explication en texte libre du résultat de l'appel de l'outil.

parameterCorrectnessScore

number

Uniquement en sortie. Score d'exactitude des paramètres d'appel de l'outil. Il indique le pourcentage de paramètres de l'appel d'outil attendu qui étaient également présents dans l'appel d'outil réel.

EvaluationResult.HallucinationResult

Résultat de la vérification des hallucinations pour un seul tour.

Représentation JSON
{
  "label": string,
  "explanation": string,
  "score": integer
}
Champs
label

string

Uniquement en sortie. L'étiquette associée à chaque score. Score 1 : Justifié Score 0 : Non justifié Score -1 : Aucune affirmation à évaluer

explanation

string

Uniquement en sortie. Explication du score d'hallucination.

score

integer

Uniquement en sortie. Score d'hallucination. Peut être -1, 0 ou 1.

EvaluationResult.ToolCallLatency

Latence de l'exécution d'un appel d'outil.

Représentation JSON
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Champs
tool

string

Uniquement en sortie. Nom de l'outil qui a été exécuté. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}.

displayName

string

Uniquement en sortie. Nom à afficher de l'outil.

startTime

string (Timestamp format)

Uniquement en sortie. Heure de début de l'exécution de l'appel d'outil.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

endTime

string (Timestamp format)

Uniquement en sortie. Heure de fin de l'exécution de l'appel d'outil.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

executionLatency

string (Duration format)

Uniquement en sortie. Latence de l'exécution de l'appel d'outil.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"

EvaluationResult.OverallToolInvocationResult

Résultat de la vérification globale de l'appel de l'outil.

Représentation JSON
{
  "outcome": enum (EvaluationResult.Outcome),
  "toolInvocationScore": number
}
Champs
outcome

enum (EvaluationResult.Outcome)

Uniquement en sortie. Résultat de la vérification de l'appel d'outil. Pour cela, le toolInvocationScore est comparé au overallToolInvocationCorrectnessThreshold. Si le score est supérieur ou égal au seuil, le résultat sera "PASS" (Réussite). Sinon, le résultat sera "FAIL".

toolInvocationScore

number

Score global d'appel d'outil pour ce tour. Indique le pourcentage global d'outils du tour attendu qui ont été réellement appelés.

EvaluationResult.SpanLatency

Latence d'exécution d'un segment.

Représentation JSON
{
  "type": enum (EvaluationResult.SpanLatency.Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of mutually exclusive fields.
}
Champs
type

enum (EvaluationResult.SpanLatency.Type)

Uniquement en sortie. Type de segment.

displayName

string

Uniquement en sortie. Nom à afficher de l'intervalle. Applicable aux segments d'outil et de garde-fou.

startTime

string (Timestamp format)

Uniquement en sortie. Heure de début de l'intervalle.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

endTime

string (Timestamp format)

Uniquement en sortie. Heure de fin de l'intervalle.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

executionLatency

string (Duration format)

Uniquement en sortie. Latence du segment.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"

Identifiant de l'élément spécifique en fonction de son type. Voici une liste de champs mutuellement exclusifs. Au maximum, un des champs sera défini dans une réponse :
resource

string

Uniquement en sortie. Nom de ressource des segments de garde-fous ou d'outils.

toolset

object (ToolsetTool)

Uniquement en sortie. Identifiant de l'outil de l'ensemble d'outils.

model

string

Uniquement en sortie. Nom de l'intervalle LLM.

callback

string

Uniquement en sortie. Nom de l'intervalle de rappel utilisateur.

Fin des champs mutuellement exclusifs.

EvaluationResult.SpanLatency.Type

Type de segment. D'autres valeurs pourront être ajoutées à l'avenir.

Enums
TYPE_UNSPECIFIED Valeur par défaut. Cette valeur n'est pas utilisée.
TOOL Segment d'appel d'outil.
USER_CALLBACK Intervalle de rappel de l'utilisateur.
GUARDRAIL Intervalle de garde-fous.
LLM Intervalle LLM.

EvaluationResult.EvaluationExpectationResult

Résultat d'une seule attente d'évaluation.

Représentation JSON
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (EvaluationResult.Outcome),
  "explanation": string
}
Champs
evaluationExpectation

string

Uniquement en sortie. L'attente de l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

prompt

string

Uniquement en sortie. La requête utilisée pour l'évaluation.

outcome

enum (EvaluationResult.Outcome)

Uniquement en sortie. Résultat de l'attente d'évaluation.

explanation

string

Uniquement en sortie. Explication du résultat.

EvaluationResult.ScenarioResult

Résultat d'une évaluation de scénario.

Représentation JSON
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (Evaluation.Scenario.UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (EvaluationResult.ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (EvaluationResult.ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (EvaluationResult.HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (EvaluationResult.TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (EvaluationResult.ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (EvaluationResult.UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (EvaluationResult.SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationResult.EvaluationExpectationResult)
    }
  ],
  "milestoneResults": [
    {
      object (EvaluationResult.ScenarioResult.MilestoneResult)
    }
  ],
  "allExpectationsSatisfied": boolean,
  "taskCompleted": boolean
}
Champs
conversation

string

Uniquement en sortie. La conversation générée dans le scénario.

task

string

Uniquement en sortie. Tâche utilisée lors de l'exécution du scénario pour ce résultat.

userFacts[]

object (Evaluation.Scenario.UserFact)

Uniquement en sortie. Les faits utilisateur qui ont été utilisés par le scénario pour ce résultat.

expectationOutcomes[]

object (EvaluationResult.ScenarioExpectationOutcome)

Uniquement en sortie. Le résultat de chaque attente.

rubricOutcomes[]

object (EvaluationResult.ScenarioRubricOutcome)

Uniquement en sortie. Résultat de la grille d'évaluation.

hallucinationResult[]

object (EvaluationResult.HallucinationResult)

Uniquement en sortie. Résultat de la vérification des hallucinations. Il y aura un résultat d'hallucination pour chaque tour de la conversation.

taskCompletionResult
(deprecated)

object (EvaluationResult.TaskCompletionResult)

Uniquement en sortie. Résultat de la vérification de l'achèvement de la tâche.

toolCallLatencies[]

object (EvaluationResult.ToolCallLatency)

Uniquement en sortie. Latence de chaque exécution d'appel d'outil dans la conversation.

userGoalSatisfactionResult

object (EvaluationResult.UserGoalSatisfactionResult)

Uniquement en sortie. Résultat de la vérification de la satisfaction de l'objectif de l'utilisateur.

spanLatencies[]

object (EvaluationResult.SpanLatency)

Uniquement en sortie. La latence des segments de la conversation.

evaluationExpectationResults[]

object (EvaluationResult.EvaluationExpectationResult)

Uniquement en sortie. Les résultats de l'évaluation.

milestoneResults[]

object (EvaluationResult.ScenarioResult.MilestoneResult)

Uniquement en sortie. Les résultats de chaque jalon du scénario.

allExpectationsSatisfied

boolean

Uniquement en sortie. Indique si toutes les attentes ont été satisfaites pour ce tour.

taskCompleted

boolean

Uniquement en sortie. Indique si la tâche a été effectuée pour ce tour. Il s'agit d'un composite de toutes les attentes satisfaites, de l'absence d'hallucinations et de la satisfaction de l'objectif de l'utilisateur.

EvaluationResult.ScenarioExpectationOutcome

Résultat d'une attente de scénario.

Représentation JSON
{
  "expectation": {
    object (Evaluation.ScenarioExpectation)
  },
  "outcome": enum (EvaluationResult.Outcome),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "observedToolCall": {
    object (EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of mutually exclusive fields.
}
Champs
expectation

object (Evaluation.ScenarioExpectation)

Uniquement en sortie. L'attente qui a été évaluée.

outcome

enum (EvaluationResult.Outcome)

Uniquement en sortie. Résultat de ScenarioExpectation.

Résultat de l'attente. Voici une liste de champs mutuellement exclusifs. Au maximum, un des champs sera défini dans une réponse :
observedToolCall

object (EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall)

Uniquement en sortie. L'appel d'outil observé.

observedAgentResponse

object (Message)

Uniquement en sortie. Réponse de l'agent observée.

Fin des champs mutuellement exclusifs.

EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall

L'appel d'outil et la réponse observés.

Représentation JSON
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Champs
toolCall

object (ToolCall)

Uniquement en sortie. L'appel d'outil observé.

toolResponse

object (ToolResponse)

Uniquement en sortie. Réponse de l'outil observée.

EvaluationResult.ScenarioRubricOutcome

Résultat de l'évaluation par rapport à la grille d'évaluation.

Représentation JSON
{
  "rubric": string,
  "scoreExplanation": string,
  "score": number
}
Champs
rubric

string

Uniquement en sortie. La grille d'évaluation utilisée pour évaluer la conversation.

scoreExplanation

string

Uniquement en sortie. Réponse de l'évaluateur à la grille d'évaluation.

score

number

Uniquement en sortie. Score de la conversation par rapport à la grille d'évaluation.

EvaluationResult.TaskCompletionResult

Résultat de la vérification de l'achèvement de la tâche pour la conversation.

Représentation JSON
{
  "label": string,
  "explanation": string,
  "score": integer
}
Champs
label

string

Uniquement en sortie. L'étiquette associée à chaque score. Score 1 : tâche terminée Score 0 : tâche non terminée Score -1 : objectif de l'utilisateur non défini

explanation

string

Uniquement en sortie. Explication du score d'achèvement de la tâche.

score

integer

Uniquement en sortie. Le score d'achèvement de la tâche. Valeurs autorisées : -1, 0, 1

EvaluationResult.UserGoalSatisfactionResult

Résultat d'une vérification de la satisfaction des objectifs de l'utilisateur pour une conversation.

Représentation JSON
{
  "label": string,
  "explanation": string,
  "score": integer
}
Champs
label

string

Uniquement en sortie. L'étiquette associée à chaque score. Score 2 : Transfert fluide Score 1 : Tâche de l'utilisateur satisfaite Score 0 : Tâche de l'utilisateur non satisfaite Score -1 : Tâche de l'utilisateur non spécifiée

explanation

string

Uniquement en sortie. Explication du score de satisfaction de l'utilisateur pour la tâche.

score

integer

Uniquement en sortie. Score de satisfaction de l'utilisateur concernant la tâche. Valeurs autorisées : -1, 0, 1, 2.

EvaluationResult.ScenarioResult.MilestoneResult

Représente le résultat de l'exécution d'un jalon.

Représentation JSON
{
  "milestone": {
    object (Evaluation.Scenario.Milestone)
  },
  "status": enum (EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus),
  "justification": string
}
Champs
milestone

object (Evaluation.Scenario.Milestone)

Uniquement en sortie. Le jalon suivi.

status

enum (EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus)

Uniquement en sortie. État actuel de l'étape.

justification

string

Uniquement en sortie. Justification de l'état actuel.

EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus

État du jalon.

Enums
MILESTONE_STATUS_UNSPECIFIED État non spécifié.
NOT_STARTED L'étape n'a pas encore commencé.
IN_PROGRESS Le jalon est en cours.
COMPLETED L'étape a bien été franchie.

EvaluationResult.ExecutionState

État de l'exécution du résultat de l'évaluation.

Enums
EXECUTION_STATE_UNSPECIFIED L'état d'exécution du résultat de l'évaluation n'est pas spécifié.
QUEUED L'exécution du résultat de l'évaluation est en file d'attente.
RUNNING L'exécution du résultat de l'évaluation est en cours.
COMPLETED L'exécution du résultat de l'évaluation est terminée.
ERROR Échec de l'exécution du résultat de l'évaluation en raison d'une erreur interne.
CANCELLED L'exécution du résultat de l'évaluation a été annulée.

EvaluationResult.OutcomeMetadata

Métadonnées sur le résultat de l'évaluation.

Enums
OUTCOME_METADATA_UNSPECIFIED Métadonnées de résultat non spécifiées.
GRACEFUL_HANDOFF L'évaluation a abouti à un transfert fluide vers un conseiller humain.

Méthodes

delete

Supprime un résultat d'évaluation.

export

Exporte les résultats des évaluations.

get

Récupère les détails du résultat d'évaluation spécifié.

list

Liste tous les résultats d'une évaluation donnée.

runEvaluationResultMetrics

Exécute des métriques sur un résultat d'évaluation existant.