- Ressource : EvaluationResult
- Représentation JSON
- EvaluationResult.GoldenResult
- EvaluationResult.GoldenResult.TurnReplayResult
- EvaluationResult.GoldenExpectationOutcome
- EvaluationResult.Outcome
- EvaluationResult.SemanticSimilarityResult
- EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult
- EvaluationResult.HallucinationResult
- EvaluationResult.ToolCallLatency
- EvaluationResult.OverallToolInvocationResult
- EvaluationResult.SpanLatency
- EvaluationResult.SpanLatency.Type
- EvaluationResult.EvaluationExpectationResult
- EvaluationResult.ScenarioResult
- EvaluationResult.ScenarioExpectationOutcome
- EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall
- EvaluationResult.ScenarioRubricOutcome
- EvaluationResult.TaskCompletionResult
- EvaluationResult.UserGoalSatisfactionResult
- EvaluationResult.ScenarioResult.MilestoneResult
- EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus
- EvaluationResult.ExecutionState
- EvaluationResult.OutcomeMetadata
- Méthodes
Ressource : EvaluationResult
Un résultat d'évaluation représente le résultat de l'exécution d'une évaluation.
| Représentation JSON |
|---|
{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum ( |
| Champs | |
|---|---|
name |
Identifiant. Identifiant unique du résultat de l'évaluation. Format : |
displayName |
Obligatoire. Nom à afficher du résultat de l'évaluation. Unique dans une évaluation. Par défaut, il est au format suivant : " |
createTime |
Uniquement en sortie. Horodatage de la création du résultat de l'évaluation. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : |
evaluationStatus |
Uniquement en sortie. Résultat de l'évaluation. N'est renseigné que si executionState est défini sur COMPLETE. |
evaluationRun |
Uniquement en sortie. L'exécution d'évaluation qui a produit ce résultat. Format : |
persona |
Uniquement en sortie. Persona utilisé pour générer la conversation pour le résultat de l'évaluation. |
errorInfo |
Uniquement en sortie. Informations sur l'erreur pour le résultat de l'évaluation. |
error |
Uniquement en sortie. Obsolète : utilisez |
initiatedBy |
Uniquement en sortie. Utilisateur qui a lancé l'exécution de l'évaluation ayant généré ce résultat. |
appVersion |
Uniquement en sortie. Version de l'application utilisée pour générer la conversation qui a abouti à ce résultat. Format : |
appVersionDisplayName |
Uniquement en sortie. Nom à afficher de l' |
changelog |
Uniquement en sortie. Journal des modifications de la version de l'application sur laquelle l'évaluation a été exécutée. Ce champ est renseigné si l'utilisateur exécute l'évaluation sur la dernière version ou le brouillon. |
changelogCreateTime |
Uniquement en sortie. Heure de création du journal des modifications de la version de l'application sur laquelle l'évaluation a été exécutée. Ce champ est renseigné si l'utilisateur exécute l'évaluation sur la dernière version ou le brouillon. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : |
executionState |
Uniquement en sortie. État de l'exécution du résultat de l'évaluation. |
evaluationMetricsThresholds |
Uniquement en sortie. Seuils d'évaluation du résultat. |
config |
Uniquement en sortie. Configuration utilisée dans l'exécution d'évaluation qui a généré ce résultat. |
goldenRunMethod |
Uniquement en sortie. Méthode utilisée pour exécuter l'évaluation de référence. |
rootSpan |
Uniquement en sortie. Le segment racine de l'exécution de l'évaluation, qui inclut des informations sur chaque étape de l'évaluation. |
outcomeMetadata |
Uniquement en sortie. Métadonnées de résultat de l'évaluation. N'est renseigné que si executionState est défini sur COMPLETE. |
| Résultat de l'évaluation. Uniquement renseigné lorsque execution_state est défini sur COMPLETED. Voici une liste de champs mutuellement exclusifs. Au maximum, un des champs sera défini dans une réponse : | |
goldenResult |
Uniquement en sortie. Résultat d'une évaluation de référence. |
scenarioResult |
Uniquement en sortie. Résultat d'une évaluation de scénario. |
| Fin des champs mutuellement exclusifs. | |
EvaluationResult.GoldenResult
Résultat d'une évaluation de référence.
| Représentation JSON |
|---|
{ "turnReplayResults": [ { object ( |
| Champs | |
|---|---|
turnReplayResults[] |
Uniquement en sortie. Résultat de l'exécution de chaque tour de la conversation de référence. |
evaluationExpectationResults[] |
Uniquement en sortie. Les résultats de l'évaluation. |
EvaluationResult.GoldenResult.TurnReplayResult
Résultat de l'exécution d'un seul tour de la conversation de référence.
| Représentation JSON |
|---|
{ "conversation": string, "expectationOutcome": [ { object ( |
| Champs | |
|---|---|
conversation |
Uniquement en sortie. La conversation qui a été générée pour ce tour. |
expectationOutcome[] |
Uniquement en sortie. Le résultat de chaque attente. |
hallucinationResult |
Uniquement en sortie. Résultat de la vérification des hallucinations. |
toolInvocationScore |
Uniquement en sortie. Obsolète. Utilisez plutôt OverallToolInvocationResult. |
turnLatency |
Uniquement en sortie. Durée de l'étape. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par " |
toolCallLatencies[] |
Uniquement en sortie. La latence de chaque appel d'outil dans le tour. |
semanticSimilarityResult |
Uniquement en sortie. Résultat de la vérification de la similarité sémantique. |
overallToolInvocationResult |
Uniquement en sortie. Résultat de la vérification globale de l'appel de l'outil. |
errorInfo |
Uniquement en sortie. Informations sur l'erreur qui s'est produite pendant ce tour. |
spanLatencies[] |
Uniquement en sortie. Latence des segments dans le tour. |
toolOrderedInvocationScore |
Uniquement en sortie. Score global d'appel d'outils ordonné pour ce tour. Il indique le pourcentage global d'outils du tour attendu qui ont été réellement appelés dans l'ordre attendu. |
EvaluationResult.GoldenExpectationOutcome
Spécifie l'attente et le résultat de cette attente.
| Représentation JSON |
|---|
{ "expectation": { object ( |
| Champs | |
|---|---|
expectation |
Uniquement en sortie. L'attente qui a été évaluée. |
outcome |
Uniquement en sortie. Résultat de l'attente. |
semanticSimilarityResult |
Uniquement en sortie. Résultat de la vérification de la similarité sémantique. |
toolInvocationResult |
Uniquement en sortie. Résultat de la vérification de l'appel de l'outil. |
| Résultat de l'attente. Voici une liste de champs mutuellement exclusifs. Au maximum, un des champs sera défini dans une réponse : | |
observedToolCall |
Uniquement en sortie. Résultat de l'attente de l'appel d'outil. |
observedToolResponse |
Uniquement en sortie. Résultat de l'attente de réponse de l'outil. |
observedAgentResponse |
Uniquement en sortie. Résultat de l'attente de réponse de l'agent. |
observedAgentTransfer |
Uniquement en sortie. Résultat de l'attente de transfert de l'agent. |
observedPayload |
Uniquement en sortie. Une charge utile personnalisée observée. Il n'y a pas d'attentes concernant les charges utiles personnalisées. Cette valeur n'est utilisée que pour calculer les métriques. Le résultat est toujours SKIPPED. |
| Fin des champs mutuellement exclusifs. | |
EvaluationResult.Outcome
Résultat de l'évaluation ou de l'attente.
| Enums | |
|---|---|
OUTCOME_UNSPECIFIED |
Le résultat de l'évaluation n'est pas spécifié. |
PASS |
Évaluation/Attente réussie. Dans le cas d'une évaluation, cela signifie que toutes les attentes ont été satisfaites. |
FAIL |
Échec de l'évaluation/de l'attente. Dans le cas d'une évaluation, cela signifie qu'au moins une attente n'a pas été satisfaite. |
SKIPPED |
L'évaluation/l'attente a été ignorée. |
EvaluationResult.SemanticSimilarityResult
Résultat de la vérification de la similarité sémantique.
| Représentation JSON |
|---|
{
"label": string,
"explanation": string,
"outcome": enum ( |
| Champs | |
|---|---|
label |
Uniquement en sortie. L'étiquette associée à chaque score. Score 4 : entièrement cohérent ; Score 3 : plutôt cohérent ; Score 2 : partiellement cohérent (omissions mineures) ; Score 1 : largement incohérent (omissions majeures) ; Score 0 : complètement incohérent/contradictoire |
explanation |
Uniquement en sortie. Explication du score de similarité sémantique. |
outcome |
Uniquement en sortie. Résultat de la vérification de la similarité sémantique. Pour cela, le score est comparé à semanticSimilaritySuccessThreshold. Si le score est supérieur ou égal au seuil, le résultat sera "PASS" (Réussite). Sinon, le résultat sera "FAIL". |
score |
Uniquement en sortie. Le score de similarité sémantique. Il peut s'agir de 0, 1, 2, 3 ou 4. |
EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult
Résultat de la vérification de l'appel de l'outil.
| Représentation JSON |
|---|
{
"outcome": enum ( |
| Champs | |
|---|---|
outcome |
Uniquement en sortie. Résultat de la vérification de l'appel d'outil. Pour cela, le paramètreCorrectnessScore est comparé au seuil. Si le score est supérieur ou égal au seuil, le résultat sera "PASS" (Réussite). Sinon, le résultat sera "FAIL". |
explanation |
Uniquement en sortie. Explication en texte libre du résultat de l'appel de l'outil. |
parameterCorrectnessScore |
Uniquement en sortie. Score d'exactitude des paramètres d'appel de l'outil. Il indique le pourcentage de paramètres de l'appel d'outil attendu qui étaient également présents dans l'appel d'outil réel. |
EvaluationResult.HallucinationResult
Résultat de la vérification des hallucinations pour un seul tour.
| Représentation JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| Champs | |
|---|---|
label |
Uniquement en sortie. L'étiquette associée à chaque score. Score 1 : Justifié Score 0 : Non justifié Score -1 : Aucune affirmation à évaluer |
explanation |
Uniquement en sortie. Explication du score d'hallucination. |
score |
Uniquement en sortie. Score d'hallucination. Peut être -1, 0 ou 1. |
EvaluationResult.ToolCallLatency
Latence de l'exécution d'un appel d'outil.
| Représentation JSON |
|---|
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string } |
| Champs | |
|---|---|
tool |
Uniquement en sortie. Nom de l'outil qui a été exécuté. Format : |
displayName |
Uniquement en sortie. Nom à afficher de l'outil. |
startTime |
Uniquement en sortie. Heure de début de l'exécution de l'appel d'outil. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : |
endTime |
Uniquement en sortie. Heure de fin de l'exécution de l'appel d'outil. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : |
executionLatency |
Uniquement en sortie. Latence de l'exécution de l'appel d'outil. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par " |
EvaluationResult.OverallToolInvocationResult
Résultat de la vérification globale de l'appel de l'outil.
| Représentation JSON |
|---|
{
"outcome": enum ( |
| Champs | |
|---|---|
outcome |
Uniquement en sortie. Résultat de la vérification de l'appel d'outil. Pour cela, le toolInvocationScore est comparé au overallToolInvocationCorrectnessThreshold. Si le score est supérieur ou égal au seuil, le résultat sera "PASS" (Réussite). Sinon, le résultat sera "FAIL". |
toolInvocationScore |
Score global d'appel d'outil pour ce tour. Indique le pourcentage global d'outils du tour attendu qui ont été réellement appelés. |
EvaluationResult.SpanLatency
Latence d'exécution d'un segment.
| Représentation JSON |
|---|
{ "type": enum ( |
| Champs | |
|---|---|
type |
Uniquement en sortie. Type de segment. |
displayName |
Uniquement en sortie. Nom à afficher de l'intervalle. Applicable aux segments d'outil et de garde-fou. |
startTime |
Uniquement en sortie. Heure de début de l'intervalle. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : |
endTime |
Uniquement en sortie. Heure de fin de l'intervalle. Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : |
executionLatency |
Uniquement en sortie. Latence du segment. Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par " |
| Identifiant de l'élément spécifique en fonction de son type. Voici une liste de champs mutuellement exclusifs. Au maximum, un des champs sera défini dans une réponse : | |
resource |
Uniquement en sortie. Nom de ressource des segments de garde-fous ou d'outils. |
toolset |
Uniquement en sortie. Identifiant de l'outil de l'ensemble d'outils. |
model |
Uniquement en sortie. Nom de l'intervalle LLM. |
callback |
Uniquement en sortie. Nom de l'intervalle de rappel utilisateur. |
| Fin des champs mutuellement exclusifs. | |
EvaluationResult.SpanLatency.Type
Type de segment. D'autres valeurs pourront être ajoutées à l'avenir.
| Enums | |
|---|---|
TYPE_UNSPECIFIED |
Valeur par défaut. Cette valeur n'est pas utilisée. |
TOOL |
Segment d'appel d'outil. |
USER_CALLBACK |
Intervalle de rappel de l'utilisateur. |
GUARDRAIL |
Intervalle de garde-fous. |
LLM |
Intervalle LLM. |
EvaluationResult.EvaluationExpectationResult
Résultat d'une seule attente d'évaluation.
| Représentation JSON |
|---|
{
"evaluationExpectation": string,
"prompt": string,
"outcome": enum ( |
| Champs | |
|---|---|
evaluationExpectation |
Uniquement en sortie. L'attente de l'évaluation. Format : |
prompt |
Uniquement en sortie. La requête utilisée pour l'évaluation. |
outcome |
Uniquement en sortie. Résultat de l'attente d'évaluation. |
explanation |
Uniquement en sortie. Explication du résultat. |
EvaluationResult.ScenarioResult
Résultat d'une évaluation de scénario.
| Représentation JSON |
|---|
{ "conversation": string, "task": string, "userFacts": [ { object ( |
| Champs | |
|---|---|
conversation |
Uniquement en sortie. La conversation générée dans le scénario. |
task |
Uniquement en sortie. Tâche utilisée lors de l'exécution du scénario pour ce résultat. |
userFacts[] |
Uniquement en sortie. Les faits utilisateur qui ont été utilisés par le scénario pour ce résultat. |
expectationOutcomes[] |
Uniquement en sortie. Le résultat de chaque attente. |
rubricOutcomes[] |
Uniquement en sortie. Résultat de la grille d'évaluation. |
hallucinationResult[] |
Uniquement en sortie. Résultat de la vérification des hallucinations. Il y aura un résultat d'hallucination pour chaque tour de la conversation. |
taskCompletionResult |
Uniquement en sortie. Résultat de la vérification de l'achèvement de la tâche. |
toolCallLatencies[] |
Uniquement en sortie. Latence de chaque exécution d'appel d'outil dans la conversation. |
userGoalSatisfactionResult |
Uniquement en sortie. Résultat de la vérification de la satisfaction de l'objectif de l'utilisateur. |
spanLatencies[] |
Uniquement en sortie. La latence des segments de la conversation. |
evaluationExpectationResults[] |
Uniquement en sortie. Les résultats de l'évaluation. |
milestoneResults[] |
Uniquement en sortie. Les résultats de chaque jalon du scénario. |
allExpectationsSatisfied |
Uniquement en sortie. Indique si toutes les attentes ont été satisfaites pour ce tour. |
taskCompleted |
Uniquement en sortie. Indique si la tâche a été effectuée pour ce tour. Il s'agit d'un composite de toutes les attentes satisfaites, de l'absence d'hallucinations et de la satisfaction de l'objectif de l'utilisateur. |
EvaluationResult.ScenarioExpectationOutcome
Résultat d'une attente de scénario.
| Représentation JSON |
|---|
{ "expectation": { object ( |
| Champs | |
|---|---|
expectation |
Uniquement en sortie. L'attente qui a été évaluée. |
outcome |
Uniquement en sortie. Résultat de ScenarioExpectation. |
| Résultat de l'attente. Voici une liste de champs mutuellement exclusifs. Au maximum, un des champs sera défini dans une réponse : | |
observedToolCall |
Uniquement en sortie. L'appel d'outil observé. |
observedAgentResponse |
Uniquement en sortie. Réponse de l'agent observée. |
| Fin des champs mutuellement exclusifs. | |
EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall
L'appel d'outil et la réponse observés.
| Représentation JSON |
|---|
{ "toolCall": { object ( |
| Champs | |
|---|---|
toolCall |
Uniquement en sortie. L'appel d'outil observé. |
toolResponse |
Uniquement en sortie. Réponse de l'outil observée. |
EvaluationResult.ScenarioRubricOutcome
Résultat de l'évaluation par rapport à la grille d'évaluation.
| Représentation JSON |
|---|
{ "rubric": string, "scoreExplanation": string, "score": number } |
| Champs | |
|---|---|
rubric |
Uniquement en sortie. La grille d'évaluation utilisée pour évaluer la conversation. |
scoreExplanation |
Uniquement en sortie. Réponse de l'évaluateur à la grille d'évaluation. |
score |
Uniquement en sortie. Score de la conversation par rapport à la grille d'évaluation. |
EvaluationResult.TaskCompletionResult
Résultat de la vérification de l'achèvement de la tâche pour la conversation.
| Représentation JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| Champs | |
|---|---|
label |
Uniquement en sortie. L'étiquette associée à chaque score. Score 1 : tâche terminée Score 0 : tâche non terminée Score -1 : objectif de l'utilisateur non défini |
explanation |
Uniquement en sortie. Explication du score d'achèvement de la tâche. |
score |
Uniquement en sortie. Le score d'achèvement de la tâche. Valeurs autorisées : -1, 0, 1 |
EvaluationResult.UserGoalSatisfactionResult
Résultat d'une vérification de la satisfaction des objectifs de l'utilisateur pour une conversation.
| Représentation JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| Champs | |
|---|---|
label |
Uniquement en sortie. L'étiquette associée à chaque score. Score 2 : Transfert fluide Score 1 : Tâche de l'utilisateur satisfaite Score 0 : Tâche de l'utilisateur non satisfaite Score -1 : Tâche de l'utilisateur non spécifiée |
explanation |
Uniquement en sortie. Explication du score de satisfaction de l'utilisateur pour la tâche. |
score |
Uniquement en sortie. Score de satisfaction de l'utilisateur concernant la tâche. Valeurs autorisées : -1, 0, 1, 2. |
EvaluationResult.ScenarioResult.MilestoneResult
Représente le résultat de l'exécution d'un jalon.
| Représentation JSON |
|---|
{ "milestone": { object ( |
| Champs | |
|---|---|
milestone |
Uniquement en sortie. Le jalon suivi. |
status |
Uniquement en sortie. État actuel de l'étape. |
justification |
Uniquement en sortie. Justification de l'état actuel. |
EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus
État du jalon.
| Enums | |
|---|---|
MILESTONE_STATUS_UNSPECIFIED |
État non spécifié. |
NOT_STARTED |
L'étape n'a pas encore commencé. |
IN_PROGRESS |
Le jalon est en cours. |
COMPLETED |
L'étape a bien été franchie. |
EvaluationResult.ExecutionState
État de l'exécution du résultat de l'évaluation.
| Enums | |
|---|---|
EXECUTION_STATE_UNSPECIFIED |
L'état d'exécution du résultat de l'évaluation n'est pas spécifié. |
QUEUED |
L'exécution du résultat de l'évaluation est en file d'attente. |
RUNNING |
L'exécution du résultat de l'évaluation est en cours. |
COMPLETED |
L'exécution du résultat de l'évaluation est terminée. |
ERROR |
Échec de l'exécution du résultat de l'évaluation en raison d'une erreur interne. |
CANCELLED |
L'exécution du résultat de l'évaluation a été annulée. |
EvaluationResult.OutcomeMetadata
Métadonnées sur le résultat de l'évaluation.
| Enums | |
|---|---|
OUTCOME_METADATA_UNSPECIFIED |
Métadonnées de résultat non spécifiées. |
GRACEFUL_HANDOFF |
L'évaluation a abouti à un transfert fluide vers un conseiller humain. |
Méthodes |
|
|---|---|
|
Supprime un résultat d'évaluation. |
|
Exporte les résultats des évaluations. |
|
Récupère les détails du résultat d'évaluation spécifié. |
|
Liste tous les résultats d'une évaluation donnée. |
|
Exécute des métriques sur un résultat d'évaluation existant. |