- Représentation JSON
- EvaluationMetricsConfig.HallucinationMetricsConfig
- EvaluationMetricsConfig.ComparisonType
Représente une exigence unique pouvant être cochée.
| Représentation JSON |
|---|
{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object ( |
| Champs | |
|---|---|
note |
Facultatif. Note concernant cette exigence, utile pour les rapports en cas d'échec de vérifications spécifiques. Exemple : "Check_Payment_Tool_Called". |
skipEvaluation |
Facultatif. Si la valeur est définie sur "true", cette attente spécifique ne sera pas évaluée. |
expectationLevelMetricsThresholdsOverride |
Facultatif. Remplace les métriques au niveau de l'étape. |
agentResponseSemanticSimilarityMetricsConfigOverride |
Facultatif. Remplacements pour les métriques de similarité sémantique agentResponse. |
agentResponseHallucinationMetricsConfigOverride |
Facultatif. Remplace les métriques d'hallucination agentResponse. |
comparisonType |
Facultatif. Type de comparaison à utiliser pour la vérification des attentes. |
| Vérification à effectuer. Vous trouverez ci-dessous la liste des champs mutuellement exclusifs. Au maximum, un seul des champs sera défini dans une réponse : | |
toolCall |
Facultatif. Vérifiez qu'un outil spécifique a été appelé avec les paramètres. |
toolResponse |
Facultatif. Vérifiez qu'un outil spécifique a donné la réponse attendue. |
agentResponse |
Facultatif. Vérifiez que l'agent a répondu correctement. Le rôle "agent" est implicite. |
agentTransfer |
Facultatif. Vérifiez que l'agent a transféré la conversation à un autre agent. |
updatedVariables |
Facultatif. Vérifiez que l'agent a défini les variables de session sur les valeurs attendues. Permet également de capturer les mises à jour des variables d'agent pour les évaluations de référence. |
mockToolResponse |
Facultatif. Réponse de l'outil à simuler, avec les paramètres d'intérêt spécifiés. Tous les paramètres non spécifiés seront générés par le LLM. |
noToolCalls |
Facultatif. Vérifiez qu'aucun outil n'a été appelé pendant ce tour. |
| Fin des champs qui s'excluent mutuellement. | |
EvaluationMetricsConfig.HallucinationMetricsConfig
Configuration des métriques d'hallucination pour l'évaluation. Pour désactiver la métrique, définissez le message, mais ne définissez pas le champ enableHallucinationMetrics sur "true" (ou définissez-le explicitement sur "false"). Pour annuler la configuration et revenir au comportement par défaut, omettez complètement le message.
| Représentation JSON |
|---|
{ "enableHallucinationMetrics": boolean } |
| Champs | |
|---|---|
enableHallucinationMetrics |
Facultatif. Indique si les métriques d'hallucination doivent être calculées pour l'évaluation. |
EvaluationMetricsConfig.ComparisonType
Types de comparaison acceptés pour vérifier la réponse de l'agent.
| Enums | |
|---|---|
COMPARISON_TYPE_UNSPECIFIED |
Type de comparaison non spécifié. Par défaut, le comportement est défini sur SEMANTIC_SIMILARITY pour les réponses de l'agent et les appels d'outils. |
EQUALS |
Correspondance exacte de la chaîne. |
CONTAINS |
Correspondance de sous-chaîne (vérifie si la chaîne attendue est contenue dans la réponse réelle). |
SEMANTIC_SIMILARITY |
Correspondance de similarité sémantique (évalue la similarité de sens à l'aide d'un LLM). |