La plate-forme d'agents virtuels est une fonctionnalité de Quality AI qui fournit des insights sur les performances des agents conversationnels créés avec Dialogflow et Customer Experience Agent Studio. Customer Experience Agent Studio est un outil de création d'agents virtuels qui vous aide à créer des systèmes multi-agents asynchrones avec un streaming bidirectionnel.
Voir la plate-forme
Pour afficher la plate-forme dans la console Insights sur l'expérience client, procédez comme suit.
- Cliquez sur IA de qualité > Agents > Agent virtuel.
- Sélectionnez un agent.
Performances des agents virtuels
La plate-forme d'agent virtuel fournit des informations sur les performances de l'agent virtuel. La plate-forme affiche les détails des métriques d'IA opérationnelles et de qualité.
Métriques opérationnelles
La plate-forme d'agent virtuel affiche chacune des métriques suivantes sous forme de nombre ou de pourcentage.
- Nombre total de sessions : nombre total de conversations traitées par cet agent.
- Taux d'escalade : pourcentage de conversations transférées à un agent humain, calculé à l'aide d'un signal de Dialogflow.
- Tours par session : nombre moyen de tours par conversation.
- Taux d'absence de correspondance : pourcentage de conversations qui ne correspondent à aucun intent. Ne s'applique qu'aux agents virtuels basés sur des flux.
La plate-forme d'agent virtuel affiche un graphique de l'évolution au fil du temps pour chacune des métriques suivantes.
- Volume : nombre total de conversations traitées par cet agent.
- Taux d'escalade : pourcentage de conversations transférées à un agent humain.
Voici comment calculer le taux d'escalade :
- Dialogflow : calculé à l'aide d'un signal provenant de Dialogflow.
- Customer Experience Agent Studio : calculé à l'aide d'un signal provenant du traçage
EndSessionde Customer Experience Agent Studio.
Pour configurer le taux d'escalade dans end_session, procédez comme suit dans Customer Experience Agent Studio :
- Ajoutez l'outil
end_sessionau nœud de l'agent. Accédez à la page Agent dans Quality AI. Cliquez sur Outils pour afficher l'outilend_session. - Fournit des instructions à l'agent.
Exemple : Lorsque le client demande à parler à un agent, exécutez l'outil end_session avec les arguments {session_escalated = true}
- Répartition par type d'escalade : nombre de conversations par initiateur de l'escalade (utilisateur ou agent), analysé en fonction de la question prédéfinie dans le tableau de données prédéfini Qui a escaladé la conversation ?.
- Taux d'échec des outils : pourcentage d'appels d'outils ayant échoué pour toutes les utilisations de l'outil dans les conversations d'un agent spécifique au cours de la période sélectionnée et pour le support de conversation spécifié.
- Latence de l'outil : latence moyenne d'un appel d'outil pour toutes les utilisations de l'outil dans les conversations de l'agent spécifique, au cours de la période et du support de conversation sélectionnés.
- Taux d'absence de correspondance : pourcentage de conversations qui ne correspondent à aucun intent. Ne s'applique qu'aux agents virtuels basés sur des flux.
Répartition de la latence de bout en bout
La latence de bout en bout (E2E) correspond au temps écoulé entre la fin de l'énoncé d'un utilisateur et le début de l'énoncé suivant de l'agent. La plate-forme d'agent virtuel calcule la latence de bout en bout pour chaque interaction utilisateur-agent dans les conversations par chat et vocales.
La plate-forme d'agent virtuel affiche un graphique intitulé "Répartition de la latence de bout en bout", qui illustre la latence de bout en bout au niveau de l'énoncé. L'axe Y affiche le temps par incréments de 50 millisecondes. L'axe X indique que vous pouvez afficher la latence de bout en bout pour les outils, le grand modèle de langage (LLM) et la synthèse vocale (TTS). Enfin, le graphique affiche la latence de bout en bout sous forme de barres distinctes pour trois catégories de centiles : P50 (50e centile), P90 (90e centile) et P99 (99e centile). Par exemple, si la latence P99 du LLM est de 5 secondes, cela signifie que 99 % des valeurs de latence du LLM au niveau de l'énoncé sont inférieures à 5 secondes.
Répartition par type d'escalade
La répartition par type d'escalade indique le nombre de conversations pour chaque initiateur d'escalade : utilisateur ou agent. L'IA de qualité détermine l'initiateur de l'escalade en répondant à la question prédéfinie Qui a escaladé la conversation ? Vous pouvez afficher la liste des conversations avec un initiateur d'escalade en cliquant sur celui-ci.
Outils
Les métriques d'outil sont calculées pour les outils d'agent conversationnel. Les métriques agrégées, comme la latence des outils et les taux d'échec, aident les développeurs de bots à identifier les goulots d'étranglement des performances dans les conversations.
Métriques Quality AI
La plate-forme d'agent virtuel affiche les métriques suivantes de l'IA de qualité.
- Niveau de qualité : niveau de qualité moyen par tableau de données pour les conversations traitées par cet agent.
- Sentiment global : score de sentiment moyen pour les conversations traitées par cet agent.
- Répartition des sentiments : graphique à barres avec code couleur illustrant le nombre de conversations de cet agent par catégorie de sentiment au niveau de la conversation (négatif, neutre ou positif).
- Résultat de la conversation : nombre de conversations pour chaque résultat possible.
- Sentiment par découverte : répartition du nombre de conversations par catégorie de sentiment au niveau de la conversation pour cette métrique.
La plate-forme affiche également des graphiques sur l'évolution au fil du temps des métriques d'IA de qualité suivantes.
- Niveau de qualité : pourcentage de niveaux de qualité pour toutes les conversations traitées par cet agent.
- Répartition des catégories de score : les scores de qualité pour chaque catégorie prédéfinie (entreprise, conformité, client) et pour les catégories personnalisées.
Résultat de la conversation
Le graphique des résultats de conversation indique le nombre de conversations qui se sont terminées avec chacun des résultats possibles suivants :
- Abandonnée
- En partie résolue
- Escaladé
- Redirigée
- Problème résolu
- Inconnu
Calculez les résultats des conversations à l'aide de questions prédéfinies dans le tableau de données prédéfini de Quality AI.
- Pour afficher les données de résultats dans ce graphique, exécutez une analyse de l'IA qualité avec un tableau de données prédéfini.
- Cliquez sur un résultat pour afficher la liste des conversations correspondantes.
Répartition des sentiments
Une fois l'analyse des sentiments exécutée sur toutes vos conversations, le graphique de répartition du sentiment affiche le nombre de conversations dont le sentiment global appartient à chaque catégorie : négatif, neutre et positif.