Use o painel do Monitoring para avaliar a performance do aplicativo do agente ao longo do tempo e encontrar áreas de melhoria. O monitoramento é útil nas seguintes situações:
- Monitoramento de performance: analise dados históricos e em tempo real sobre a performance do aplicativo do agente, como o número de interações processadas, a média de turnos por sessão e a taxa de encaminhamento.
- Detecção e resolução de problemas: identifique padrões ou tendências nas interações do usuário final em que o aplicativo do agente pode ter dificuldade para entender solicitações ou fornecer respostas precisas. Isso pode ajudar você a identificar problemas e tomar ações corretivas, como isolar falhas de ferramentas, problemas de latência ou atualizar scripts de aplicativos de agentes, ou oferecer mais treinamento.
- Insights do usuário final: analise dados de interações do aplicativo do agente para ter insights valiosos sobre o comportamento, as preferências e as dificuldades do usuário final. Você pode usar essas informações para entender melhor as necessidades do usuário final, personalizar as respostas do aplicativo do agente e melhorar a experiência geral do usuário final.
- Alocação de recursos: analise dados sobre a carga de trabalho, a disponibilidade e o desempenho do aplicativo do agente, permitindo otimizar a alocação de recursos. Por exemplo, você pode identificar os horários de pico em que mais aplicativos de agente podem ser necessários para lidar com o aumento das consultas ou atribuir aplicativos de agente com base na experiência deles.
Abrir o painel de monitoramento
Para abrir o painel de monitoramento:
- Verifique se você ativou o registro de interações nas configurações do aplicativo do agente.
- Na parte de cima do criador de agentes, clique em Monitorar. O painel de monitoramento é exibido.
- O período padrão dos dados é Último dia, mas você pode clicar nele para mudar.
- Clique no campo Período para selecionar um período. Por padrão, ele é definido como 24 horas.
- Clique em Ver conversas para acessar o CX Insights e conferir o registro completo de conversas e fazer análises detalhadas de conversas e transcrições.
Blocos do painel
O painel de monitoramento mostra os seguintes blocos:
- Total de sessões: é o número total de conversas (sessões) que o aplicativo do agente teve com usuários finais. Isso também é mostrado como uma série temporal.
- Taxa de encaminhamento: a porcentagem de interações em que o aplicativo do agente não conseguiu resolver o problema e ele foi encaminhado para um agente humano. Isso pode ocorrer devido à complexidade do problema ou à incapacidade do aplicativo do agente de entender a solicitação. Isso também é mostrado como uma série temporal.
- Contagem de encaminhamentos: o número total de encaminhamentos.
- Turnos por sessão: o número médio de turnos por sessão.
- Latência de ponta a ponta: a latência de ponta a ponta (E2E) é o tempo entre o fim de uma declaração do usuário e o início da declaração seguinte do agente. A métrica calcula a latência de ponta a ponta para cada interação do user agent em conversas por chat e por voz.
- Detalhes da latência de ponta a ponta: ilustra a latência de ponta a ponta no nível da expressão. O eixo y mostra o tempo em incrementos de 50 milissegundos. O eixo x indica que é possível ver a latência de ponta a ponta para ferramentas, o modelo de linguagem grande (LLM) e a conversão de texto em voz (TTS). Por fim, o gráfico mostra a latência de ponta a ponta como barras separadas para três categorias de percentil: P50 é o 50º percentil, P90 é o 90º percentil e P99 é o 99º percentil. Por exemplo, se a latência P99 do LLM for de 5 segundos, 99% dos valores de latência do LLM no nível da expressão serão menores que 5 segundos.
- Taxa de falha da ferramenta: porcentagem de chamadas de ferramenta que falharam em todos os usos da ferramenta em conversas de um agente específico no período selecionado e para o meio de conversa especificado.
- Latência da ferramenta: latência média de uma chamada de ferramenta em todos os usos da ferramenta nas conversas do agente específico, no período e no meio de conversa selecionados.
- Sentimento geral: pontuação média de sentimento nas conversas atendidas por esse agente. Ela está em uma escala de -1 a 1, em que 0 é neutro e 1 é positivo.
- Detalhamento do sentimento: um gráfico de barras com código de cores para ilustrar o número de conversas desse agente por categoria de sentimento no nível da conversa: negativo, neutro ou positivo.
- Resultado da conversa:
mostra o número de conversas que terminaram com
cada um dos seguintes resultados possíveis,
em que os resultados de conversas de computação usam perguntas predefinidas
no scorecard pré-criado do CX Insights:
- Abandonada
- Parcialmente resolvido
- Encaminhamento do problema
- Redirecionado
- Resolvido
- Desconhecido