Evaluation.GoldenExpectation

Représente une exigence unique pouvant être cochée.

Représentation JSON
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (EvaluationMetricsConfig.SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (EvaluationMetricsConfig.HallucinationMetricsConfig)
  },
  "comparisonType": enum (EvaluationMetricsConfig.ComparisonType),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of mutually exclusive fields.
}
Champs
note

string

Facultatif. Note concernant cette exigence, utile pour les rapports en cas d'échec de vérifications spécifiques. Exemple : "Check_Payment_Tool_Called".

skipEvaluation

boolean

Facultatif. Si la valeur est définie sur "true", cette attente spécifique ne sera pas évaluée.

expectationLevelMetricsThresholdsOverride

object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.ExpectationLevelMetricsThresholds)

Facultatif. Remplace les métriques au niveau de l'étape.

agentResponseSemanticSimilarityMetricsConfigOverride

object (EvaluationMetricsConfig.SemanticSimilarityMetricsConfig)

Facultatif. Remplacements pour les métriques de similarité sémantique agentResponse.

agentResponseHallucinationMetricsConfigOverride

object (EvaluationMetricsConfig.HallucinationMetricsConfig)

Facultatif. Remplace les métriques d'hallucination agentResponse.

comparisonType

enum (EvaluationMetricsConfig.ComparisonType)

Facultatif. Type de comparaison à utiliser pour la vérification des attentes.

Vérification à effectuer. Vous trouverez ci-dessous la liste des champs mutuellement exclusifs. Au maximum, un seul des champs sera défini dans une réponse :
toolCall

object (ToolCall)

Facultatif. Vérifiez qu'un outil spécifique a été appelé avec les paramètres.

toolResponse

object (ToolResponse)

Facultatif. Vérifiez qu'un outil spécifique a donné la réponse attendue.

agentResponse

object (Message)

Facultatif. Vérifiez que l'agent a répondu correctement. Le rôle "agent" est implicite.

agentTransfer

object (AgentTransfer)

Facultatif. Vérifiez que l'agent a transféré la conversation à un autre agent.

updatedVariables

object (Struct format)

Facultatif. Vérifiez que l'agent a défini les variables de session sur les valeurs attendues. Permet également de capturer les mises à jour des variables d'agent pour les évaluations de référence.

mockToolResponse

object (ToolResponse)

Facultatif. Réponse de l'outil à simuler, avec les paramètres d'intérêt spécifiés. Tous les paramètres non spécifiés seront générés par le LLM.

noToolCalls

boolean

Facultatif. Vérifiez qu'aucun outil n'a été appelé pendant ce tour.

Fin des champs qui s'excluent mutuellement.

EvaluationMetricsConfig.HallucinationMetricsConfig

Configuration des métriques d'hallucination pour l'évaluation. Pour désactiver la métrique, définissez le message, mais ne définissez pas le champ enableHallucinationMetrics sur "true" (ou définissez-le explicitement sur "false"). Pour annuler la configuration et revenir au comportement par défaut, omettez complètement le message.

Représentation JSON
{
  "enableHallucinationMetrics": boolean
}
Champs
enableHallucinationMetrics

boolean

Facultatif. Indique si les métriques d'hallucination doivent être calculées pour l'évaluation.

EvaluationMetricsConfig.ComparisonType

Types de comparaison acceptés pour vérifier la réponse de l'agent.

Enums
COMPARISON_TYPE_UNSPECIFIED Type de comparaison non spécifié. Par défaut, le comportement est défini sur SEMANTIC_SIMILARITY pour les réponses de l'agent et les appels d'outils.
EQUALS Correspondance exacte de la chaîne.
CONTAINS Correspondance de sous-chaîne (vérifie si la chaîne attendue est contenue dans la réponse réelle).
SEMANTIC_SIMILARITY Correspondance de similarité sémantique (évalue la similarité de sens à l'aide d'un LLM).