La plate-forme d'agent virtuel est une fonctionnalité de Quality AI qui fournit des insights sur les performances des agents conversationnels créés avec Dialogflow et Customer Experience Agent Studio. Customer Experience Agent Studio est un outil de création d'agents virtuels qui vous aide à créer des systèmes multi-agents asynchrones avec streaming bidirectionnel.
Voir la plate-forme
Pour afficher la plate-forme dans la console Customer Experience Insights, procédez comme suit :
- Cliquez sur Quality AI > Agents > Virtual agent (Agent virtuel).
- Sélectionnez un agent.
Performances de l'agent virtuel
La plate-forme d'agent virtuel fournit des informations sur les performances de l'agent virtuel. Elle affiche des détails sur les métriques opérationnelles et Quality AI.
Métriques opérationnelles
La plate-forme d'agent virtuel affiche chacune des métriques suivantes sous forme de nombre ou de pourcentage.
- Nombre total de sessions : nombre total de conversations gérées par cet agent.
- Taux d'escalade : pourcentage de conversations transférées à un agent humain, calculé à l'aide d'un signal de Dialogflow.
- Tours par session : nombre moyen de tours par conversation.
- Taux de non-correspondance : pourcentage de conversations qui ne correspondent à aucun intent, applicable uniquement aux agents virtuels basés sur un flux.
La plate-forme d'agent virtuel affiche un graphique de l'évolution au fil du temps pour chacune des métriques suivantes.
- Volume : nombre total de conversations gérées par cet agent.
- Taux d'escalade : pourcentage de conversations transférées à un agent humain.
Pour calculer le taux d'escalade, procédez comme suit :
- Dialogflow : calculé à l'aide d'un signal de Dialogflow.
- Customer Experience Agent Studio : calculé à l'aide d'un signal du traçage
EndSessionde Customer Experience Agent Studio.
Pour configurer le taux d'escalade dans end_session dans Customer Experience Agent Studio, procédez comme suit :
- Ajoutez l'outil
end_sessionau nœud de l'agent. Accédez à la page Agent dans Quality AI. Cliquez sur Tools (Outils) pour afficher l'outilend_session. - Fournissez des instructions à l'agent.
Exemple : lorsque le client demande un agent réel, exécutez l'outil end_session avec les arguments {session_escalated = true}.
- Répartition par type d'escalade : nombre de conversations par initiateur d'escalade (utilisateur ou agent), analysé en fonction de la question prédéfinie dans le tableau de bord prédéfini Qui a transféré la conversation ?.
- Taux d'échec des outils : pourcentage d'appels d'outils ayant échoué pour toutes les utilisations de l'outil dans les conversations d'un agent spécifique au cours de la période sélectionnée et pour le support de conversation spécifié.
- Latence des outils : latence moyenne d'un appel d'outil pour toutes les utilisations de l'outil dans les conversations de l'agent spécifique, au cours de la période sélectionnée et pour le support de conversation.
- Taux de non-correspondance : pourcentage de conversations qui ne correspondent à aucun intent, applicable uniquement aux agents virtuels basés sur un flux.
Répartition de la latence de bout en bout
La latence de bout en bout correspond au délai entre la fin d'une énonciation de l'utilisateur et le début de l'énonciation suivante de l'agent. La plate-forme d'agent virtuel calcule la latence de bout en bout pour chaque interaction utilisateur-agent dans les conversations par chat et vocales.
La plate-forme d'agent virtuel affiche un graphique intitulé "Répartition de la latence de bout en bout", qui illustre la latence de bout en bout au niveau de l'énonciation. L'axe des ordonnées affiche le temps par incréments de 50 millisecondes. L'axe des abscisses indique que vous pouvez afficher la latence de bout en bout pour les outils, le grand modèle de langage (LLM) et la synthèse vocale. Enfin, le graphique affiche la latence de bout en bout sous forme de barres distinctes pour trois catégories de centiles : P50 correspond au 50e centile, P90 au 90e centile et P99 au 99e centile. Par exemple, si la latence P99 du LLM est de 5 secondes, cela signifie que 99% des valeurs de latence du LLM au niveau de l'énonciation sont inférieures à 5 secondes.
Répartition par type d'escalade
La répartition par type d'escalade indique le nombre de conversations pour chaque initiateur d'escalade : utilisateur ou agent. Quality AI détermine l'initiateur de l'escalade en répondant à la question prédéfinie Qui a transféré la conversation ? Vous pouvez explorer un initiateur d'escalade pour afficher la liste des conversations associées.
Outils
Les métriques d'outil sont calculées pour les outils d'agent conversationnel . Les métriques agrégées telles que la latence des outils et les taux d'échec aident les créateurs de bots à identifier les goulots d'étranglement des performances dans les conversations.
Métriques Quality AI
La plate-forme d'agent virtuel affiche les métriques Quality AI suivantes.
- Niveau de qualité : niveau de qualité moyen par tableau de bord pour les conversations gérées par cet agent.
- Sentiment global : score de sentiment moyen pour les conversations gérées par cet agent.
- Répartition des sentiments : graphique à barres avec code couleur illustrant le nombre de conversations de cet agent par catégorie de sentiment au niveau de la conversation : négatif, neutre ou positif.
- Résultat de la conversation : nombre de conversations pour chaque résultat possible.
- Sentiment par découverte : répartition du nombre de conversations par catégorie de sentiment au niveau de la conversation pour cette métrique.
La plate-forme affiche également des graphiques de l'évolution au fil du temps pour les métriques Quality AI suivantes.
- Niveau de qualité : pourcentage de niveaux de qualité pour toutes les conversations gérées par cet agent.
- Répartition par catégorie de score : nombre de niveaux de qualité pour chaque catégorie prédéfinie : entreprise, conformité, client et toutes les catégories personnalisées.
Résultat de la conversation
Le graphique du résultat de la conversation indique le nombre de conversations qui se sont terminées par chacun des résultats possibles suivants :
- Abandonnée
- Partiellement résolue
- Escaladé
- Redirigée
- Résolue
- Inconnu
Calculez les résultats des conversations à l'aide de questions prédéfinies dans le tableau de bord prédéfini de Quality AI.
- Pour afficher les données de résultat dans ce graphique, exécutez une analyse Quality AI avec un tableau de bord prédéfini.
- Cliquez sur un résultat pour afficher la liste des conversations associées.
Répartition des sentiments
Une fois l'analyse des sentiments exécutée sur toutes vos conversations, le graphique de répartition des sentiments affiche le nombre de conversations avec un sentiment global dans chaque catégorie : négatif, neutre et positif.