Évaluation

L'évaluation est un outil essentiel pour tester les performances de votre agent et s'assurer qu'il se comporte comme prévu dans des situations spécifiques. Il vous permet d'automatiser les tests, de détecter les régressions après avoir apporté des modifications et d'évaluer la qualité des réponses de votre agent afin de l'améliorer.

Pour commencer, cliquez sur le bouton Évaluer en haut de l'outil de création d'agents.

Concepts d'évaluation

Scénario de test : chaque scénario de test est un scénario ou une requête de test spécifique et autonome conçu pour évaluer les performances de l'agent. Vous pouvez créer trois types de scénarios de test :

  • Scénario : fonctionnalité optimisée par l'IA pour amorcer vos tests et assurer une couverture complète. Vous décrivez l'objectif d'un utilisateur, et le système simule automatiquement l'utilisateur et génère des conversations pour tester la capacité de l'agent à gérer le scénario de manière robuste. Les scénarios sont un moyen utile d'expérimenter et de définir des conversations de référence.
  • Simulation : idéal pour tester des parcours en plusieurs étapes. Au lieu d'un seul objectif utilisateur ouvert, vous divisez la conversation en une liste numérotée d'objectifs (également appelés jalons). L'utilisateur simulé traite les objectifs un par un et ne passe à l'objectif suivant qu'une fois que les critères de réussite de l'objectif actuel sont remplis. Les simulations vous offrent la flexibilité d'un utilisateur simulé tout en maintenant la conversation sur un chemin prévisible.
  • Golden : idéal pour les tests de régression. Vous fournissez un chemin de conversation "idéal" spécifique, et l'évaluation vérifie si le comportement de l'agent correspond à ce chemin idéal, y compris les appels d'outils.

Exécution : une exécution d'évaluation représente une exécution complète et unique d'un ensemble de scénarios de test de référence, de scénarios et de simulation par rapport aux performances de l'agent que vous testez. Chaque exécution peut inclure un ou plusieurs scénarios de test.

Résultat : un résultat de scénario de test fait référence à une seule exécution d'un scénario de test spécifique dans une seule exécution. Si un scénario de test est exécuté plusieurs fois au cours d'une même évaluation (par exemple, pour vérifier la cohérence, l'instabilité, etc.), chaque exécution individuelle constitue un résultat individuel. Les résultats sont affichés sous forme d'icônes rectangulaires dans des colonnes sur chaque ligne de scénario de test. Une croix rouge indique que l'exécution a échoué, et une coche verte qu'elle a réussi.

Tags : les scénarios de test peuvent être regroupés avec des tags pour faciliter la gestion.

Créer des scénarios de test

Pour créer des scénarios de test pour votre agent et y accéder, cliquez sur le bouton Évaluer en haut d'Agent Builder. Vous pouvez créer et gérer des scénarios de test basés sur des références, des scénarios ou des simulations. La colonne Type de la liste des scénarios de test indique le type de chaque scénario de test.

Scénario

Le scénario de test basé sur un scénario utilise l'IA pour générer automatiquement différentes conversations en fonction d'un objectif utilisateur général que vous définissez. Avec ces scénarios de test, au lieu de fournir des conversations de référence spécifiques, vous sélectionnez des scénarios générés ou décrivez des scénarios spécifiques à tester. Cet outil puissant vous aide à explorer les cas particuliers et à tester la robustesse de votre agent sans avoir à écrire manuellement chaque chemin de conversation possible.

Une fois que ces scénarios fonctionnent bien, vous pouvez les enregistrer en tant que conversations de référence.

Pour créer un scénario :

  1. Cliquez sur Créer un scénario. Plusieurs scénarios vous sont proposés.
  2. Vous pouvez générer des scénarios en fonction des sélections ou en créer un de toutes pièces.

Lorsque vous affichez la liste des scénarios, vous pouvez lister les détails et la liste des conversations pour chaque scénario en cliquant dessus.

Pour enregistrer un scénario en tant que conversation de référence :

  1. Sélectionnez le scénario.
  2. Cliquez sur le bouton de menu en haut à droite.
  3. Sélectionnez Enregistrer comme conversation de référence.

Objectif de l'utilisateur dans le scénario

Chaque scénario est associé à un objectif utilisateur, qui décrit les objectifs de l'utilisateur final lorsqu'il utilise l'application de l'agent. Exemple :

Securely book a specific room at a chosen hotel and receive a confirmation.

En fonction de votre objectif utilisateur, CX Agent Studio génère automatiquement des conversations utilisées pour l'évaluation.

Variables de scénario

Lorsque vous définissez un scénario, vous pouvez fournir des variables à utiliser pour le scénario.

Attentes liées au scénario

Pour effectuer une évaluation, vous définissez des attentes pour le scénario de test.

Les attentes peuvent être de deux types :

  • Message : réponse attendue de l'agent.
  • Appel d'outil : appel d'outil avec les entrées et sorties attendues.

Les attentes peuvent avoir les conditions suivantes :

  • Indispensable
  • Ne doit pas contenir
  • Après l'appel d'outil
  • Valeur de la variable

Pour créer une attente :

  • Cliquez sur un scénario pour afficher ses détails.
  • Dans la section Attentes, cliquez sur Tout afficher.
  • Suivez les instructions de l'interface pour créer des attentes pour le scénario.

Simulation

Un scénario de test de simulation décompose une conversation en une liste ordonnée d'étapes, appelées objectifs (également appelés jalons). Chaque objectif décrit une étape du parcours de l'utilisateur et les critères à remplir avant que l'utilisateur simulé ne passe à l'étape suivante.

Une simulation se situe entre un scénario et un scénario de test de référence :

  • Un scénario donne à l'utilisateur simulé un seul objectif ouvert et lui permet d'improviser l'ensemble de la conversation. Cela est utile pour l'exploration, mais la conversation peut prendre un chemin différent à chaque exécution.
  • Un scénario de test golden définit chaque tour de l'utilisateur. Cette méthode est précise pour les tests de régression, mais elle est rigide pour les longs parcours et ne peut pas s'adapter aux variations valides de la formulation de l'agent.
  • Une simulation conserve un utilisateur simulé en direct, mais le limite à vos objectifs, dans l'ordre. Cela permet de répéter des parcours en plusieurs étapes, comme l'authentification suivie d'une recherche, puis d'une mise à jour, sans avoir à coder en dur chaque étape.

Utilisez une simulation dans les cas suivants :

  • Le parcours comporte plusieurs étapes distinctes qui doivent se dérouler dans un ordre fixe.
  • Vous devez confirmer que l'agent atteint un état intermédiaire, par exemple en validant un appelant, avant qu'il ne fasse autre chose.
  • Une conversation idéale serait trop rigide, mais un scénario à objectif unique ne permet pas de tester l'ensemble du parcours de manière fiable.

Créer une simulation

  1. Accédez à l'onglet Évaluation.
  2. Cliquez sur + Ajouter un scénario de test.
  3. Sélectionnez Simulation. L'éditeur de simulation s'ouvre avec un objectif vide.
  4. Saisissez un nom de scénario de test et ajoutez des tags.
  5. Renseignez les champs Objectif de l'utilisateur et Critères de réussite pour le premier objectif, puis définissez le champ Nombre maximal de tours pour atteindre l'objectif.
  6. Cliquez sur Ajouter un objectif et répétez l'opération pour chaque étape du parcours, dans l'ordre. Pour en savoir plus sur chaque type d'étape, consultez Objectifs.
  7. (Facultatif) Dans la section Remplacement de variable, cliquez sur Ajouter des remplacements pour définir des variables de session avant le début de la conversation. Une fois que le scénario de test comporte au moins un remplacement, le bouton libellé est remplacé par un bouton d'icône d'ajout (+) à côté des chips de remplacement existants.
  8. Vous pouvez également cliquer sur Ajouter des attentes pour associer des attentes au niveau de la conversation qui sont vérifiées par rapport à l'intégralité de la transcription.
  9. Cliquez sur Créer.

L'éditeur comporte un onglet UI (UI) et un onglet YAML, qui permettent de modifier le même scénario de test. Pour en savoir plus sur le format YAML, consultez Modifier une simulation au format YAML.

Objectifs

Cliquez sur Ajouter un objectif pour ajouter une étape à la simulation. Chaque étape correspond à l'un des types suivants, que vous sélectionnez dans le menu "Type" de l'étape :

  • Objectif de l'utilisateur : l'utilisateur simulé génère ses propres énoncés jusqu'à ce que les critères de réussite soient remplis. Ces étapes sont libellées Objectif dans l'éditeur. Configurez :
    • Objectif de l'utilisateur : ce que l'utilisateur simulé essaie d'accomplir à cette étape, par exemple Ask for a refund on the most recent order.
    • Critères de réussite : condition qui détermine si l'étape est terminée, par exemple Agent asks for the reason for the refund.
    • Nombre maximal de tours à atteindre : nombre maximal de tours autorisés pour cette étape avant l'arrêt de la simulation. La valeur par défaut est 3.
    • Informations utilisateur : persona facultatif et indices de contexte visibles uniquement par l'utilisateur simulé, et non par l'agent. Utilisez ce paramètre pour fournir des informations que l'utilisateur connaît, comme un numéro de commande ou le motif de l'appel. Pour ajouter ce champ, ouvrez le menu d'options de l'étape, puis cliquez sur Ajouter des informations utilisateur.
  • Énoncé statique : l'utilisateur simulé envoie exactement le texte que vous fournissez, sans génération. Utilisez cette option lorsque la formulation exacte est importante, par exemple lorsque vous testez la façon dont l'agent gère un numéro de compte alphanumérique.
  • Événement : envoie un événement nommé à l'agent au lieu d'un énoncé. Utilisez cette option pour reproduire des entrées non conversationnelles, comme un événement de téléphonie.

Les étapes d'énoncé et d'événement statiques sont libellées Tour dans l'éditeur. Comme les objectifs utilisateur, ils peuvent avoir des critères de réussite, mais ils ne disposent pas de leurs propres champs Nombre maximal de tours pour atteindre l'objectif ni Informations utilisateur.

Rédigez les critères de réussite sous la forme d'un comportement d'agent observable. Les critères qui décrivent ce que l'agent doit dire ou faire sont évalués de manière fiable. Les critères qui décrivent un état interne qui n'apparaît jamais dans la conversation ne le sont pas.

Comment se déroule une simulation

  1. L'utilisateur simulé commence à la première étape.
  2. À chaque tour, l'utilisateur simulé génère un énoncé qui ne concerne que l'étape actuelle.
  3. Une fois que l'agent a répondu, l'étape actuelle est évaluée par rapport à ses critères de réussite. Si les critères sont remplis, l'étape est marquée comme terminée et l'utilisateur simulé passe à l'étape suivante. Une étape terminée n'est jamais rouverte.
  4. Si une étape n'est pas terminée dans la limite du nombre maximal de tours à atteindre, la simulation s'arrête. Les étapes suivantes ne sont jamais tentées.
  5. À la fin de la conversation, la transcription est évaluée pour produire une justification écrite de chaque étape tentée.

En plus des limites par étape, l'ensemble de la conversation est plafonné à la même limite globale que toute autre conversation simulée, à savoir 100 tours. En pratique, les limites de nombre maximal de tours à atteindre par étape arrêtent d'abord une simulation.

Une simulation n'est réussie que si toutes les étapes sont terminées, en plus des autres critères de réussite ou d'échec qui s'appliquent aux conversations simulées. Étant donné que les étapes sont strictement séquentielles, une étape qui échoue bloque le reste du scénario de test. Organisez vos étapes de manière à ce qu'un échec indique clairement l'étape qui a échoué.

Résultats de la simulation

Ouvrez un résultat de simulation pour afficher une section d'objectifs dont l'en-tête indique le nombre d'étapes terminées par rapport au total, par exemple Goals (2/3). La section se développe automatiquement lorsque toutes les étapes ne sont pas terminées. Il contient un panneau réductible par étape :

  • Une coche verte signifie que les critères de réussite de l'étape ont été remplis.
  • Un X rouge signifie que l'étape n'a pas été effectuée, soit parce que les critères n'ont jamais été remplis, soit parce qu'une étape précédente l'a bloquée.

Chaque panneau contient une justification qui explique en langage clair pourquoi l'étape a été considérée comme terminée ou non. Une fois l'exécution terminée, les étapes qui n'ont pas été effectuées sont développées pour vous, avec leur justification, et les étapes terminées sont réduites. Une étape qui n'a jamais été tentée est justifiée par un message indiquant le texte de l'objectif qui l'a bloquée.

Le panneau Conversation situé sous les objectifs contient la transcription simulée complète. Vous pouvez ainsi rejouer exactement ce que l'utilisateur simulé a dit et comment l'agent a répondu.

Si l'exécution s'est terminée par une erreur, une fiche en haut du résultat affiche le message d'erreur. Si l'exécution s'est terminée, mais qu'une étape Énoncé statique n'a pas été effectuée, cette fiche répète la justification de la première étape de ce type. Étant donné que les étapes d'énoncé statique et d'événement sont toutes deux étiquetées Tour dans l'éditeur, consultez la section des objectifs pour savoir à quelle étape la fiche fait référence. Les étapes Objectif de l'utilisateur et Événement non terminées ne sont signalées que dans la section des objectifs.

Modifier une simulation au format YAML

Dans l'éditeur de simulation, cliquez sur l'onglet YAML pour modifier le scénario de test au format YAML. La liste d'objectifs est exprimée sous la forme steps, et chaque étape correspond aux champs décrits dans Objectifs :

evals:
  - name: "billing_refund_request"
    tags:
      - "billing"
    session_parameters:
      product_id: "prod_123"
    steps:
      - goal: "Greet the agent and ask for a refund for product_id."
        success_criteria: "Agent asks for the reason for the refund."
        max_turns: 3
      - goal: "Provide the reason and insist on the refund."
        success_criteria: "Agent agrees to process the refund or escalates."
      - static_utterance: "I want to check my balance."
Clé YAML Champ de la console
name Nom du scénario de test
tags Tags
session_parameters Remplacement de variable
goal Objectif de l'utilisateur
success_criteria Critères de réussite
max_turns Nombre maximal de tours pour atteindre l'objectif
response_guide Informations sur l'utilisateur
static_utterance Étape d'énoncé statique
event Étape de l'événement
expectations Attentes

L'éditeur valide le code YAML au fur et à mesure de votre saisie et applique les règles suivantes :

  • Le document doit contenir une liste evals, et l'éditeur ne lit que la première entrée de cette liste.
  • Chaque entrée doit comporter un name et au moins une étape.
  • Chaque étape doit comporter au moins l'un des éléments suivants : goal, static_utterance ou event.
  • Chaque clé de session_parameters doit être une variable déclarée dans l'application de l'agent.
  • Chaque chaîne de expectations doit correspondre au texte de la requête d'une attente qui existe déjà dans l'application de l'agent. La correspondance ignore la casse et les espaces environnants. Pour créer une attente, utilisez Ajouter des attentes dans l'onglet UI, puis référencez sa requête ici.
  • Les clés non reconnues dans une entrée de la liste evals sont refusées.

Doré

Ces scénarios de test permettent de définir des parcours de conversation idéaux pour les tests de régression, afin que les parcours de conversation essentiels et critiques ne soient pas interrompus lorsque vous mettez à jour l'agent. Il existe plusieurs options pour créer une conversation de référence :

Pour importer une conversation depuis le simulateur :

  1. Lancez une conversation à l'aide du simulateur.
  2. Cliquez sur les trois points verticaux en haut à droite du simulateur pour afficher le menu du simulateur.
  3. Cliquez sur Enregistrer en tant que golden.
  4. Saisissez un nom pour le scénario de test de référence, puis cliquez sur Enregistrer. Il s'affiche désormais dans l'onglet Évaluation.

Pour créer un scénario de test à partir de l'historique des conversations :

  1. Accédez à l'onglet Évaluation.
  2. Cliquez sur + Ajouter un scénario de test.
  3. Sélectionnez Golden.
  4. Cliquez sur Suivant.
  5. Cliquez sur Sélectionner dans l'historique des conversations.
  6. Dans la fenêtre qui s'affiche, sélectionnez la conversation que vous souhaitez enregistrer en tant que scénario de test de référence. Vous pouvez effectuer une recherche par ID de conversation.
  7. Si vous avez activé l'occultation, vérifiez les réponses et les variables de l'agent avant de continuer avec les informations manquantes.
  8. Cliquez sur Ajouter.

Pour créer un scénario de test à partir de zéro :

  1. Accédez à l'onglet Évaluation.
  2. Cliquez sur + Ajouter un scénario de test.
  3. Sélectionnez Golden.
  4. Cliquez sur Suivant.
  5. Cliquez sur Créer de zéro.
  6. Dans la fenêtre qui s'affiche, ajoutez un nom à afficher pour le scénario de test.
  7. Ajoutez du texte pour l'entrée utilisateur et l'attente de l'agent, si nécessaire. Cliquez sur + Add user input (+ Ajouter une entrée utilisateur) et + Add agent expectation (+ Ajouter une attente de l'agent) pour ajouter des réponses. Cliquez sur + Ajouter une réplique pour ajouter une nouvelle réplique de conversation au scénario de test.
  8. Cliquez sur Créer pour ajouter le scénario de test de référence à votre liste de scénarios de test.

Pour créer un scénario de test à partir d'une conversation simulée dans un scénario de test :

  1. Accédez à la page des résultats de l'exécution de l'évaluation.
  2. Cliquez sur l'icône de menu (trois points verticaux) à droite de la conversation sélectionnée, puis sur Enregistrer en tant que conversation de référence.

Pour importer des scénarios de test de manière groupée à partir d'un fichier :

Pour en savoir plus sur le format de fichier et le modèle CSV, consultez la page Format CSV des scénarios de test de référence.

Attentes de référence

Pour effectuer une évaluation, vous devez définir des attentes pour le scénario de test de référence. Une attente est un résultat spécifique que vous attendez de l'agent à un moment précis de la conversation. Lors de l'évaluation, le comportement réel de l'agent est comparé à ces attentes.

Les attentes peuvent être de l'un des types suivants :

  • Message : réponse textuelle attendue de l'agent à l'utilisateur final. L'évaluation vérifie si la réponse de l'agent correspond sémantiquement à cette attente.
  • Appel d'outil : l'agent doit appeler un outil et une réponse spécifiques. Vous pouvez également spécifier les arguments d'entrée attendus pour l'appel d'outil.
  • Transfert d'agent : l'agent doit transférer la conversation à un agent humain ou à un autre bot.

Pour créer une attente :

  1. Cliquez sur un scénario de test de référence pour en afficher les détails.
  2. Dans la section Détails, cliquez sur Afficher la version de référence.
  3. Suivez les instructions de l'interface pour ajouter ou modifier des attentes.

Paramètres d'évaluation

Dans la ligne d'en-tête de la liste des scénarios de test, vous pouvez configurer les paramètres d'évaluation :

  • Goldens :
    • Critères de réussite/d'échec de référence : définissez la logique permettant de déterminer si une conversation simulée est réussie ou non.
    • Niveau de la réplique : ces règles évaluent chaque réplique individuelle. Si l'un de ces seuils n'est pas atteint, la métrique spécifique est signalée en rouge comme un échec.
      • Similarité sémantique : valeur seuil pour la similarité sémantique.
      • Exactitude des outils : valeur de seuil pour l'exactitude des outils.
      • Hallucinations : si cette option est désactivée, les hallucinations sont exclues de la réussite/de l'échec.
    • Niveau d'attente : ces règles évaluent les attentes au cours d'un tour. Si l'un de ces seuils n'est pas atteint, la métrique spécifique est signalée en rouge comme un échec.
      • Exactitude des outils : valeur de seuil pour l'exactitude des outils.
    • Méthode d'exécution de référence : choisissez entre la validation par relecture naïve ou stable.
    • Faux outil : utilisez des données fictives au lieu d'appels d'API de production réels.
  • Scenarios :
    • Critères de réussite/d'échec du scénario : définissez la logique permettant de déterminer si une conversation simulée est réussie ou non.
    • Initiateur de la conversation : définissez qui démarre la conversation, l'utilisateur ou le modèle.
    • Faux outil : utilisez des données fictives au lieu d'appels d'API de production réels.
  • Évaluation audio
    • Enregistrements d'évaluation audio

Exécuter des évaluations

Pour exécuter une évaluation, vous pouvez cliquer sur le bouton d'exécution sur la ligne du scénario de test, ou sélectionner plusieurs scénarios de test et les exécuter.

Si vous avez enregistré plusieurs versions, vous pouvez sélectionner la version de l'agent à utiliser ou enregistrer automatiquement votre brouillon d'agent en tant que nouvelle version pour l'exécution.

Après une exécution d'évaluation, les métriques sont mises à jour et les résultats sont présentés.

Si vous cliquez sur une évaluation d'exécution particulière, vous pouvez afficher les résultats détaillés d'une exécution. En plus des métriques standards, les éléments suivants sont affichés :

  • Tours ayant échoué
  • Liste paginée de tous les détails des tours, qui inclut les réponses réelles et attendues de l'agent.

Pour les scénarios de test de référence, vous pouvez voir le terme "relecture stable", qui indique que le test a été exécuté dans un environnement cohérent (c'est-à-dire sans changement de contexte/d'entrée).

Pour les scénarios de test de simulation, le résultat affiche le résultat de chaque objectif au lieu d'une comparaison étape par étape avec les réponses attendues. Pour en savoir plus, consultez Résultats de la simulation.

Utiliser l'IA pour améliorer les scénarios de test (PREVIEW)

Vous pouvez éventuellement utiliser l'IA pour vous aider à résoudre les problèmes d'une exécution et suggérer des moyens d'améliorer la qualité de l'agent. Les suggestions de l'IA sont optimales lorsque le nombre d'exécutions est d'au moins trois. Pour activer l'IA, sélectionnez le ou les scénarios de test que vous souhaitez évaluer, puis cliquez sur Exécuter la sélection. Dans la fenêtre pop-up, cochez la case à côté de Trouver des problèmes avec l'IA.

Une fois l'exécution terminée, des suggestions basées sur l'IA s'afficheront sur la page des résultats. Gemini génère automatiquement un fichier loss_report téléchargeable qui résume les aspects des performances de l'agent et met en évidence les points à améliorer.

Tous les utilisateurs peuvent voir les corrections suggérées par l'IA, mais seule la personne qui a lancé l'exécution peut prendre des mesures en fonction des résultats.

Cliquez sur Demander à Gemini pour interagir avec l'agent d'assistance. Vous verrez d'abord le rapport sur les pertes, qui explique les problèmes de haut niveau liés au modèle ou à l'agent. Vous pouvez demander à l'agent d'assistance d'expliquer le rapport, ce qui résumera le rapport et pourra suggérer des corrections. Une fois les corrections appliquées, vous pouvez demander à l'agent d'assistance d'exécuter à nouveau l'évaluation.

Importation et exportation

Vous pouvez importer et exporter des scénarios de test, des exécutions et des résultats d'évaluation au format YAML ou JSON. Lors de l'importation, assurez-vous que l'agent de réception contient toutes les ressources (outils, variables et sous-agents) définies dans les données exportées.

Pour exporter des scénarios de test, procédez comme suit :

  1. Sélectionnez un ou plusieurs scénarios de test.
  2. Cliquez sur Exporter des scénarios de test.
  3. Sélectionnez un format.
  4. Un fichier ZIP sera téléchargé.

Pour importer des scénarios de test, procédez comme suit :

  1. Cliquez sur + Ajouter un scénario de test.
  2. Sélectionnez Golden.
  3. Cliquez sur Suivant.
  4. Importez le fichier ZIP.
  5. En cas de conflit avec l'importation, vous serez guidé pour le résoudre.
  6. Cliquez sur Créer.

Pour exporter des exécutions et des résultats d'évaluation :

  1. Sélectionnez une ou plusieurs exécutions d'évaluation.
  2. Cliquez sur Exporter l'exécution.
  3. Sélectionnez un format.
  4. Un fichier ZIP sera téléchargé.

Métriques

Chaque résultat de scénario de test inclut un ensemble de métriques qui mesurent les performances de l'agent par rapport aux scénarios de test sélectionnés. Les métriques sont calculées au niveau du tour ou de l'attente (conversation), comme indiqué dans la console.

Dans tous les cas, vous pouvez personnaliser les valeurs requises pour l'exécution dans le menu Paramètres de l'onglet Évaluer.

Exactitude des outils

Calculé pour les scénarios de test de référence, de scénario et de simulation. Cette métrique reflète le pourcentage de paramètres attendus qui ont été mis en correspondance, compte tenu d'un appel d'outil attendu et de ses valeurs de paramètre attendues. Les appels d'outils manqués sont notés 0, et les appels d'outils sans paramètres d'entrée sont notés 1 s'ils sont présents. Si un appel d'outil inattendu est effectué lors d'une évaluation de référence, le résultat sera considéré comme un échec, mais cela n'aura aucune incidence sur la valeur d'exactitude de l'outil.

Satisfaction des objectifs de l'utilisateur

Calculé pour les scénarios de test de type scénario et simulation. La satisfaction des objectifs de l'utilisateur est une métrique binaire conçue pour les évaluations de simulation utilisateur. Elle mesure si l'utilisateur simulé estime que ses objectifs ont été atteints (0=non, 1=oui). Les entrées sont les user_goal telles que définies par la configuration de l'utilisateur simulé et une transcription de la conversation. Si le user_goal fourni ne spécifie pas d'objectif explicite ou implicite, le score de sortie est -1.

Une simulation ne comporte pas de champ distinct pour un objectif utilisateur global. Cette métrique est donc évaluée par rapport au nom du scénario de test. Donnez aux simulations un nom qui décrit ce que l'utilisateur essaie d'accomplir globalement.

Il ne s'agit pas du seul signal au niveau de la conversation pour une simulation. Une simulation peut également comporter des attentes, qui sont vérifiées par rapport à l'ensemble de la transcription et signalées dans la section Attentes du résultat. Il s'agit des mêmes attentes que celles utilisées par les scénarios. Consultez Attentes des scénarios. Les résultats par étape sont indiqués par Objectifs réalisés.

Objectif réalisé

Signalé uniquement pour les simulations. Au lieu d'un score unique pour la conversation, chaque étape de la simulation est signalée individuellement comme terminée ou non, avec une justification qui explique le résultat. La console résume cela dans l'en-tête de la section des objectifs en indiquant le nombre d'étapes terminées par rapport au total, par exemple Goals (2/3). Le nombre inclut chaque étape de la simulation, y compris les étapes d'énoncé statique et d'événement.

Étant donné que les étapes sont tentées dans l'ordre, la première étape qui n'est pas terminée est la cause de l'échec, et les étapes suivantes ne sont jamais tentées.

Hallucinations

Disponible pour les scénarios de test de référence et de scénario. Les scores d'hallucination sont calculés pour chaque tour généré. Cette métrique indique si l'agent a fait des affirmations qui ne sont pas justifiées par son contexte (0=non, 1=oui). Le contexte est constitué de tous les tours précédents de la conversation, des variables de session, des appels d'outils et des instructions de l'agent. Cette métrique n'est calculée que pour les tours contenant des appels d'outils. Il ne détecte pas les hallucinations dans les appels d'outils. Les appels d'outils fournis comme contexte sont présumés corrects. Pour minimiser les faux positifs, la métrique peut renvoyer un score "N/A" si une réponse ne contient aucune affirmation factuelle ou seulement des connaissances communes déjà établies.

Vous pouvez activer et désactiver les hallucinations dans les paramètres d'évaluation.

Correspondance sémantique

Calculé uniquement pour les scénarios de test de référence. Il n'est pas calculé pour les scénarios de test de simulation ou de scénario. Cette métrique mesure dans quelle mesure un énoncé d'agent observé correspond à un énoncé d'agent attendu. La correspondance sémantique est calculée au niveau du tour de parole. Les valeurs renvoyées sont comprises entre 0 (complètement incohérent ou contradictoire) et 4 (entièrement cohérent).

Attentes liées au scénario

Calculé pour les scénarios de test de type scénario et simulation. Cette métrique mesure si le comportement de l'agent attendu par les utilisateurs simulés était satisfaisant ou non (0=non, 1=oui). Deux types d'attentes d'utilisateurs simulés sont acceptés :

  • Attentes concernant les appels d'outils : calculées de la même manière que l'exactitude des appels d'outils, avec les exceptions suivantes :
    • Les résultats sont soit 0 (non), soit 1 (oui).
    • Les appels d'outils inattendus ne sont pas pénalisés. Les attentes sont destinées à spécifier l'ensemble des appels d'outils essentiels pour qu'une conversation réponde aux attentes de l'utilisateur simulé.
    • Lorsqu'une attente d'entrée d'appel d'outil est satisfaite, l'appel est intercepté et remplacé par une valeur de retour fictive au moment de l'exécution.
  • Attentes concernant les réponses de l'agent : vérifie si une réponse de l'agent dans la conversation contient une chaîne attendue.

Achèvement d'une tâche

Calculé pour les scénarios de test de type scénario et simulation. L'accomplissement de la tâche est une mesure de la qualité de la conversation. Il mesure conjointement si les objectifs de l'utilisateur ont été atteints ET si le comportement de l'agent était correct. Il est défini comme suit :

User_Goal_Satisfied AND no_hallucinations_detected AND Expectations Satisfied

Pour les simulations, une quatrième condition est ajoutée : chaque étape de la simulation doit également être terminée. L'achèvement de la tâche correspond à ce que la console indique comme l'état global de réussite ou d'échec du résultat du scénario de test.

Personas

Les personas sont des personas d'utilisateurs simulés que vous pouvez personnaliser et utiliser pour tester les agents avec des scénarios de test de scénario et de simulation. Cette fonctionnalité est utile pour s'assurer que l'agent interagit de manière appropriée avec les types d'utilisateurs humains qu'il est susceptible de rencontrer lors de l'exécution.

Si vous ne sélectionnez pas de persona, un persona aléatoire sera sélectionné pour chaque résultat de scénario.

Cette fonctionnalité est disponible pour les entrées textuelles et audio.

Créer un persona

  1. Pour créer un persona, accédez à l'onglet Évaluer, puis cliquez sur Gestion des personas (à côté de l'icône Paramètres).
  2. Cliquez sur + Ajouter un persona.
  3. Dans le menu qui s'affiche, saisissez un nom, une personnalité d'utilisateur et tout contexte utilisateur supplémentaire (âge, lieu, motif de l'appel, etc.).
  4. Cliquez sur + Ajouter.

Pour exécuter une évaluation à l'aide d'un persona :

  1. Revenez à la page principale Évaluer et sélectionnez un ou plusieurs scénarios ou scénarios de test de simulation. Cliquez sur Exécuter la sélection.
  2. Dans la fenêtre pop-up, sélectionnez le persona que vous venez de créer dans le menu déroulant Personas, puis cliquez sur Exécuter.

Bonnes pratiques concernant les évaluations et l'optimisation par recherche locale

Lorsque vous créez un agent à l'aide de composants modulaires, créez des scénarios de test dédiés pour chaque variante d'agent, par exemple :

  • Voix et chat
  • SDK pour les SMS et le chat
  • Marque A, B et C, etc.

Créez des cas supplémentaires pour vérifier les fuites d'instructions entre les variantes. Par exemple, les instructions spécifiques au chat ne doivent pas s'afficher pour les cas exécutés en mode vocal, et inversement.

Assurez-vous que les scénarios sont exécutés sur le bon agent :

  • Pour la modalité (chat ou voix) ou les canaux, l'exécution du cas sur le bon déploiement garantit automatiquement l'alignement.
  • Chaque déploiement encapsule la modalité, le modèle utilisé et le canal.
  • Pour les conditions de variable définies par le compilateur, injectez la valeur de la variable lors de l'exécution du cas. Par exemple, brand_name == "Cymbal Retail" ou brand_name == "Acme Corp".

Demandez à votre agent de codage préféré d'améliorer de manière itérative l'agent CX Agent Studio jusqu'à ce que tous les scénarios de test atteignent leurs métriques cibles ou tout autre objectif de qualité.

  • Demandez à votre agent de codage de rapprocher les modifications suggérées à partir de différents scénarios de test qui ont un impact sur les mêmes instructions de l'agent. Demandez-lui de signaler les conflits complexes pour qu'ils soient examinés par un humain, afin que vous puissiez fournir des informations nuancées si nécessaire.
  • Demandez à votre agent de codage de créer des comparaisons côte à côte de toutes les variantes d'agent pour les modifications apportées. Cela permet de comprendre et de valider les corrections qu'il a choisies.
  • Itérer si nécessaire La nature spécifique de ces itérations dépendra de la conception de votre agent CX Agent Studio, de la conception de l'agent de codage, du modèle utilisé et du cadrage de la conversation.
  • Assurez-vous que les résultats de l'agent de codage sont exacts en validant manuellement des échantillons de transcriptions et de résultats réels.
  • Demandez à votre agent de codage de trouver les scénarios manquants dans l'exercice d'ascension de colline et de suggérer de nouveaux cas, le cas échéant. Continuez les itérations si nécessaire.