Tests A/B des agents conversationnels CCAI Platform

Ce guide explique comment configurer des tests A/B pour les agents conversationnels à l'aide de la plate-forme CCAI.

Pourquoi effectuer des tests A/B sur les agents virtuels ?

Les tests A/B (ou tests fractionnés) sont une méthodologie efficace pour optimiser les performances de l'IA conversationnelle. Au lieu de vous fier à votre intuition lorsque vous mettez à jour un flux, vous pouvez laisser les données en temps réel guider vos décisions.

Voici quelques-uns des principaux avantages :

  • Atténuation des risques : testez un nouvel "Agent B" avec un faible pourcentage de trafic (10 %, par exemple) avant de le déployer complètement pour vous assurer qu'il n'a pas d'impact négatif sur les taux de confinement.
  • Comparaison des performances : comparez des KPI spécifiques tels que la précision de la correspondance de l'intention, le taux d'accomplissement des tâches et le sentiment des clients entre différentes versions.
  • Affinement itératif : testez différentes requêtes, personas ou générateurs basés sur des LLM pour trouver le moyen le plus efficace de répondre aux requêtes des utilisateurs.

Configurer les tests

Cette section explique comment configurer CCAI Platform pour prendre en charge les tests A/B pour les capacités d'un agent. Cela s'applique aux agents vocaux et aux canaux numériques tels que le mobile et le Web.

Préparer vos agents virtuels

Avant de configurer la téléphonie ou le routage, assurez-vous d'avoir deux cibles d'agent virtuel distinctes prêtes dans votre environnement. Consultez la documentation sur la configuration des agents virtuels. Vous aurez probablement besoin de deux profils de conversation distincts. Les agents conversationnels réels peuvent être des agents distincts ou le même agent avec des environnements différents.

  • Agent A (contrôle) : votre agent virtuel existant et stable.

  • Agent B (variante) : agent contenant les nouvelles fonctionnalités, requêtes ou modifications logiques que vous souhaitez tester.

Créer des files d'attente CCAI Platform dédiées

Dans le portail CCAI Platform, vous devez établir une hiérarchie de files d'attente pour gérer le flux de trafic. Cela dépendra de l'utilisation de canaux vocaux ou numériques. Pour en savoir plus sur la création de files d'attente, consultez la documentation.

  1. Créez la file d'attente A : accédez à la gestion des files d'attente. Créez une file d'attente nommée Queue_A_Test. Attribuez l'agent virtuel A comme gestionnaire principal de cette file d'attente.

  2. Créez la file d'attente B : créez une deuxième file d'attente nommée "Queue_B_Test". Attribuez l'agent virtuel B comme gestionnaire principal de cette file d'attente.

  3. Créez une file d'attente parente (d'entrée) : créez une file d'attente nommée "Main_Entry_Point". Aucun agent virtuel ne sera directement attribué à cette file d'attente. Elle servira de "répartiteur de trafic".

Implémenter la logique de routage

Pour répartir le trafic, vous devez configurer les règles de routage dans la file d'attente Main_Entry_Point. Cela utilisera la fonctionnalité de redirection automatique pour spécifier les groupes de routage. Chaque groupe de routage inclut le routage vers la file d'attente relative. La répartition en pourcentage sera également associée au groupe de routage spécifique. Pour en savoir plus sur la configuration des règles de routage, consultez la documentation.

Définir la répartition du trafic

Vous utiliserez une règle de distribution basée sur un pourcentage. Vous pouvez ainsi contrôler précisément le volume de demandes que reçoit chaque agent.

Composant Logique Objectif
Déclencheur Tous les appels ou chats entrants vers Main_Entry_Point. Intercepte tout le trafic.
Action 1 Routez X% du trafic vers Queue_A_Test. Établissez le groupe de contrôle.
Action 2 Acheminez le pourcentage restant du trafic vers Queue_B_Test. Établissez le groupe de test.

Workflow de configuration

  1. Ouvrez la configuration Redirection automatique pour votre file d'attente Main_Entry_Point.
  2. Ajoutez un groupe.
  3. Sélectionnez la sélection de redirection de la file d'attente.
  4. Sélectionnez la file d'attente à associer à ce groupe de routage A.
  5. Sélectionnez Répartition en pourcentage.
  6. Sélectionnez Ajouter.
  7. Ajoutez un groupe.
  8. Sélectionnez la sélection de redirection de la file d'attente.
  9. Sélectionnez la file d'attente à associer à ce groupe de routage B.
  10. Sélectionnez Répartition en pourcentage.
  11. Sélectionnez Ajouter.
  12. Définissez votre ratio (par exemple, 50/50 pour un test équilibré ou 90/10 pour une version canary).
  13. Enregistrez la configuration.

Surveiller et analyser

Lorsque le trafic est fluide, utilisez le tableau de bord CCaaS Analytics pour comparer les performances.

  • Filtrer les rapports par Queue_A_Test ou Queue_B_Test.
  • Recherchez la signification statistique dans Temps de traitement moyen et Taux de transfert à un agent humain.
  • Consultez les données analytiques de l'agent conversationnel pour obtenir des informations supplémentaires indiquant un impact positif ou négatif sur les performances.