A plataforma de agente virtual é um recurso da Quality AI que fornece insights sobre a performance de agentes de conversação criados com o Dialogflow e o Customer Experience Agent Studio (CX Agent Studio). O CX Agent Studio é um criador de agentes virtuais que permite criar sistemas multiagentes assíncronos com streaming bidirecional.
Veja a plataforma
Siga estas etapas para visualizar a plataforma no console do Customer Experience Insights (CX Insights).
- Clique em Quality AI > Agentes > Agente virtual.
- Selecione um agente.
Performance do agente virtual
A plataforma de agente virtual fornece detalhes sobre a performance do agente virtual. Ela mostra detalhes das métricas operacionais e da Quality AI.
Métricas operacionais
A plataforma de agente virtual mostra cada uma das seguintes métricas como um número ou porcentagem.
| Nome | Definição | Código |
|---|---|---|
| Volume ou total de sessões | Número total de conversas processadas por esse agente. | volume ou total_sessions |
| Taxa de encaminhamento | Porcentagem de conversas encaminhadas para um agente humano. | escalation_rate |
| Turnos por sessão | Número médio de turnos por conversa. | turns_per_session |
| Taxa de não correspondência | Porcentagem de conversas que não corresponderam a nenhuma intent, aplicável apenas a agentes virtuais baseados em fluxo. | no_match_rate |
A plataforma de agente virtual mostra um gráfico da mudança ao longo do tempo para cada uma das seguintes métricas.
| Nome | Definição | Código |
|---|---|---|
| Volume ou total de sessões | Número total de conversas processadas por esse agente. | volume ou total_sessions |
| Detalhes da latência de ponta a ponta | Quantidade de tempo entre o final de uma declaração do usuário e o início da declaração do agente a seguir. | percentile_end_to_end_latency |
| Taxa de encaminhamento | Porcentagem de conversas encaminhadas para um agente humano. | escalation_rate |
| Detalhes do tipo de encaminhamento | Número de conversas por iniciador de encaminhamento. | escalation_type_breakdown |
| Taxa de falha da ferramenta | Porcentagem de chamadas de ferramentas que falharam em todos os usos da ferramenta em conversas para um agente específico no período selecionado e para o meio de conversa especificado. | tool_failure_rate |
| Latência da ferramenta | Latência média de uma chamada de ferramenta em todos os usos da ferramenta nas conversas do agente específico, no período selecionado e no meio de conversa. | tool_latency |
| Taxa de não correspondência | Porcentagem de conversas que não corresponderam a nenhuma intent, aplicável apenas a agentes virtuais baseados em fluxo. | no_match_rate |
Detalhes da latência de ponta a ponta (E2E)
A latência de ponta a ponta (E2E) é o tempo entre o final de uma declaração do usuário e o início da declaração do agente a seguir. A plataforma de agente virtual calcula a latência de E2E para cada interação usuário-agente em conversas de chat e de voz.
A plataforma de agente virtual mostra um gráfico intitulado "Detalhes da latência de E2E", que ilustra a latência de E2E no nível da declaração. O eixo y mostra o tempo em incrementos de 50 milissegundos. O eixo x indica que é possível visualizar a latência de E2E para ferramentas, o modelo de linguagem grande (LLM) e a conversão de texto em voz (TTS). Por fim, o gráfico mostra a latência de E2E como barras separadas para três categorias de percentis: P50 é o 50º percentil, P90 é o 90º percentil e P99 é o 99º percentil. Por exemplo, se a latência do LLM P99 for de 5 segundos, isso significa que 99% dos valores de latência do LLM no nível da declaração são menores que 5 segundos.
Taxa de encaminhamento
Siga estes métodos para calcular a taxa de encaminhamento:
- Dialogflow: calculado usando um indicador do Dialogflow.
- CX Agent Studio: calculado usando um sinal do rastreamento de sessão final do CX Agent Studio.
Siga estas etapas no CX Agent Studio para configurar a taxa de encaminhamento com a ferramenta end_session:
- Adicione a ferramenta
end_sessionao nó do agente. Acesse a página Agente na Quality AI. Clique em Ferramentas para visualizar a ferramentaend_session. Forneça uma instrução do agente.
Exemplo: quando o cliente pedir um agente humano, execute a
end_sessionferramenta com o argumento{session_escalated = true}
Na ferramenta end_session, o CX Insights depende do argumento session_escalated e do parâmetro endSession para calcular a taxa de encaminhamento.
Detalhes do tipo de encaminhamento
Os detalhes do tipo de encaminhamento mostram o número de conversas para cada iniciador de encaminhamento: usuário ou agente. A Quality AI determina o iniciador de encaminhamento respondendo à pergunta predefinida Quem encaminhou a conversa? É possível detalhar um iniciador de encaminhamento para visualizar uma lista de conversas com ele.
Ferramentas
As métricas de ferramentas são calculadas para ferramentas de agentes de conversação. Métricas agregadas, como latência de ferramentas e taxas de falha, ajudam os criadores de bots a identificar gargalos de performance em conversas.
Métricas da Quality AI
A plataforma de agente virtual mostra as seguintes métricas da Quality AI.
- Índice de qualidade: índice de qualidade médio por scorecard em conversas processadas por esse agente.
- Sentimento geral: índice de sentimento médio em conversas processadas por esse agente.
- Detalhamento do sentimento: um gráfico de barras codificado por cores para ilustrar o número de conversas desse agente por categoria de sentimento no nível da conversa: negativo, neutro ou positivo.
- Resultado da conversa: número de conversas para cada resultado possível.
- Sentimento por descoberta: detalhamento do número de conversas por categoria de sentimento no nível da conversa para essa métrica.
A plataforma também mostra gráficos da mudança ao longo do tempo para as seguintes métricas da Quality AI.
- Índice de qualidade: porcentagem de índices de qualidade para todas as conversas processadas por esse agente.
- Detalhes da categoria de pontuação: números de índice de qualidade para cada categoria predefinida: negócios, conformidade, cliente e categorias personalizadas.
Resultado da conversa
O gráfico de resultado da conversa mostra o número de conversas que terminaram com cada um dos seguintes resultados possíveis:
- Abandonada
- Parcialmente resolvida
- Encaminhamento do problema
- Redirecionada
- Resolvida com sucesso
- Desconhecido
Calcule os resultados da conversa usando perguntas predefinidas no scorecard pré-criado na Quality AI.
- Para visualizar os dados de resultado nesse gráfico, execute uma análise da Quality AI com o scorecard pré-criado.
- Clique em um resultado para conferir uma lista de conversas com esse resultado.
Detalhamento do sentimento
Depois de executar análise de sentimento em todas as suas conversas, o gráfico de detalhamento do sentimento mostra o número de conversas com um sentimento geral em cada categoria: negativo, neutro, e positivo.