La plate-forme d'agent virtuel est une fonctionnalité de Quality AI qui fournit des insights sur les performances des agents conversationnels créés avec Dialogflow et Customer Experience Agent Studio (CX Agent Studio). CX Agent Studio est un outil de création d'agents virtuels qui vous permet de créer des systèmes multi-agents asynchrones avec streaming bidirectionnel.
Voir la plate-forme
Pour afficher la plate-forme dans la console Customer Experience Insights (CX Insights), procédez comme suit :
- Cliquez sur Quality AI > Agents > Agent virtuel.
- Sélectionnez un agent.
Performances de l'agent virtuel
La plate-forme d'agent virtuel fournit des informations sur les performances de l'agent virtuel. Elle affiche des détails sur les métriques opérationnelles et Quality AI.
Métriques opérationnelles
La plate-forme d'agent virtuel affiche chacune des métriques suivantes sous forme de nombre ou de pourcentage.
| Nom | Définition | Code |
|---|---|---|
| Volume ou nombre total de sessions | Nombre total de conversations gérées par cet agent. | volume ou total_sessions |
| Taux d'escalade | Pourcentage de conversations transmises à un agent humain. | escalation_rate |
| Tours par session | Nombre moyen de tours par conversation. | turns_per_session |
| Taux d'absence de correspondance | Pourcentage de conversations qui ne correspondent à aucun intent. Ne s'applique qu'aux agents virtuels basés sur un flux. | no_match_rate |
La plate-forme d'agent virtuel affiche un graphique de l'évolution au fil du temps pour chacune des métriques suivantes.
| Nom | Définition | Code |
|---|---|---|
| Volume ou nombre total de sessions | Nombre total de conversations gérées par cet agent. | volume ou total_sessions |
| Répartition de la latence de bout en bout | Délai entre la fin d'un énoncé de l'utilisateur et le début de l'énoncé suivant de l'agent. | percentile_end_to_end_latency |
| Taux d'escalade | Pourcentage de conversations transmises à un agent humain. | escalation_rate |
| Répartition par type d'escalade | Nombre de conversations par initiateur d'escalade. | escalation_type_breakdown |
| Taux d'échec des outils | Pourcentage d'appels d'outils ayant échoué pour toutes les utilisations de l'outil dans les conversations d'un agent spécifique au cours de la période sélectionnée et pour le support de conversation spécifié. | tool_failure_rate |
| Latence de l'outil | Latence moyenne d'un appel d'outil pour toutes les utilisations de l'outil dans les conversations de l'agent spécifique, au cours de la période sélectionnée et pour le support de conversation. | tool_latency |
| Taux d'absence de correspondance | Pourcentage de conversations qui ne correspondent à aucun intent. Ne s'applique qu'aux agents virtuels basés sur un flux. | no_match_rate |
Répartition de la latence de bout en bout
La latence de bout en bout correspond au délai entre la fin d'un énoncé de l'utilisateur et le début de l'énoncé suivant de l'agent. La plate-forme d'agent virtuel calcule la latence de bout en bout pour chaque interaction utilisateur-agent dans les conversations par chat et vocales.
La plate-forme d'agent virtuel affiche un graphique intitulé "Répartition de la latence de bout en bout", qui illustre la latence de bout en bout au niveau de l'énoncé. L'axe Y affiche le temps par incréments de 50 millisecondes. L'axe X indique que vous pouvez afficher la latence de bout en bout pour les outils, le grand modèle de langage (LLM) et la synthèse vocale. Enfin, le graphique affiche la latence de bout en bout sous forme de barres distinctes pour trois catégories de centiles : P50 correspond au 50e centile, P90 au 90e centile et P99 au 99e centile. Par exemple, si la latence P99 du LLM est de 5 secondes, cela signifie que 99% des valeurs de latence du LLM au niveau de l'énoncé sont inférieures à 5 secondes.
Taux d'escalade
Pour calculer le taux d'escalade, procédez comme suit :
- Dialogflow : calculé à l'aide d'un signal de Dialogflow.
- CX Agent Studio : calculé à l'aide d'un signal du traçage de fin de session de CX Agent Studio.
Dans CX Agent Studio, procédez comme suit pour configurer le taux d'escalade avec l'outil end_session :
- Ajoutez l'outil
end_sessionau nœud de l'agent. Accédez à la page Agent dans Quality AI. Cliquez sur Outils pour afficher l'outilend_session. Fournissez une instruction à l'agent.
Exemple : Lorsque le client demande un agent, exécutez l'outil
end_sessionavec l'argument{session_escalated = true}.
Dans l'outil end_session, CX Insights s'appuie sur l'argument session_escalated et le paramètre endSession pour calculer le taux d'escalade.
Répartition par type d'escalade
La répartition par type d'escalade indique le nombre de conversations pour chaque initiateur d'escalade : utilisateur ou agent. Quality AI determines the initiateur d'escalade en répondant à la question prédéfinie Qui a transmis la conversation ? Vous pouvez explorer un initiateur d'escalade pour afficher la liste des conversations associées.
Outils
Les métriques d'outil sont calculées pour les outils d'agent conversationnel. Les métriques agrégées telles que la latence des outils et les taux d'échec aident les créateurs de bots à identifier les goulots d'étranglement des performances dans les conversations.
Métriques Quality AI
La plate-forme d'agent virtuel affiche les métriques Quality AI suivantes.
- Niveau de qualité : niveau de qualité moyen par fiche d'évaluation pour les conversations gérées par cet agent.
- Sentiment global : score de sentiment moyen pour les conversations gérées par cet agent.
- Répartition des sentiments : graphique à barres codé par couleur pour illustrer le nombre de conversations de cet agent par catégorie de sentiment au niveau de la conversation : négatif, neutre ou positif.
- Résultat de la conversation : nombre de conversations pour chaque résultat possible.
- Sentiment par découverte : répartition du nombre de conversations par catégorie de sentiment au niveau de la conversation pour cette métrique.
La plate-forme affiche également des graphiques de l'évolution au fil du temps pour les métriques Quality AI suivantes.
- Niveau de qualité : pourcentage de niveaux de qualité pour toutes les conversations gérées par cet agent.
- Répartition par catégorie de score : nombre de niveaux de qualité pour chaque catégorie prédéfinie : entreprise, conformité, client et toutes les catégories personnalisées.
Résultat de la conversation
Le graphique du résultat de la conversation indique le nombre de conversations qui se sont terminées par chacun des résultats possibles suivants :
- Abandonnée
- En partie résolue
- Escaladé
- Redirigée
- Résolue
- Inconnu
Calculez les résultats des conversations à l'aide de questions prédéfinies dans la fiche d'évaluation prédéfinie de Quality AI.
- Pour afficher les données de résultat dans ce graphique, exécutez une analyse Quality AI avec une fiche d'évaluation prédéfinie.
- Cliquez sur un résultat pour afficher la liste des conversations associées.