Plataforma de agente virtual

A plataforma de agente virtual é um recurso da IA de qualidade que fornece insights sobre a performance dos agentes de conversa criados com o Dialogflow e o Customer Experience Agent Studio. O Customer Experience Agent Studio é um criador agente virtual que ajuda você a criar sistemas multiagentes assíncronos com streaming bidirecional.

Veja a plataforma

Siga estas etapas para acessar a plataforma no console do Customer Experience Insights.

  1. Clique em IA de qualidade > Agentes > Agente virtual.
  2. Selecione um agente.

Performance do agente virtual

A plataforma de agente virtual fornece detalhes sobre a performance do agente. A plataforma mostra detalhes das métricas operacionais e de qualidade da IA.

Métricas operacionais

A plataforma de agente virtual mostra cada uma das seguintes métricas como um número ou porcentagem.

  • Total de sessões: número total de conversas processadas por esse agente.
  • Taxa de encaminhamento: porcentagem de conversas encaminhadas a um agente humano, calculada usando um indicador do Dialogflow.
  • Turnos por sessão: número médio de turnos por conversa.
  • Taxa de não correspondência: porcentagem de conversas que não corresponderam a nenhuma intent, aplicável apenas a agentes virtuais baseados em fluxo.

A plataforma de agente virtual mostra um gráfico da mudança ao longo do tempo para cada uma das seguintes métricas.

  • Volume: número total de conversas atendidas por esse agente.
  • Taxa de encaminhamento: porcentagem de conversas encaminhadas para um agente humano.

Siga estes métodos para calcular a taxa de encaminhamento:

  • Dialogflow: calculado usando um indicador do Dialogflow.
  • Customer Experience Agent Studio: calculado usando um indicador do rastreamento do EndSession do Customer Experience Agent Studio.

Siga estas etapas no Customer Experience Agent Studio para configurar a taxa de encaminhamento em end_session:

  1. Adicione a ferramenta end_session ao nó do agente. Acesse a página Agente na IA de qualidade. Clique em Ferramentas para acessar a ferramenta end_session.
  2. Fornecer instruções ao agente.

Exemplo: quando o cliente pedir um atendente, execute a ferramenta end_session com os argumentos {session_escalated = true}.

  • Detalhes do tipo de encaminhamento: número de conversas por iniciador de encaminhamento, que pode ser o usuário ou o agente, analisado com base na pergunta predefinida no painel pré-criado Quem encaminhou a conversa?.
  • Taxa de falha da ferramenta: porcentagem de chamadas de ferramenta que falharam em todos os usos da ferramenta em conversas de um agente específico no período selecionado e no meio de conversa especificado.
  • Latência da ferramenta: latência média de uma chamada de ferramenta em todos os usos da ferramenta nas conversas do agente específico, no período e no meio de conversa selecionados.
  • Taxa de não correspondência: porcentagem de conversas que não corresponderam a nenhuma intent, aplicável apenas a agentes virtuais baseados em fluxo.

Detalhamento da latência de ponta a ponta (E2E)

A latência de ponta a ponta (E2E) é o tempo entre o fim de uma declaração do usuário e o início da declaração seguinte do agente. A plataforma de agente virtual calcula a latência de ponta a ponta para cada interação do user agent em conversas por chat e por voz.

A plataforma de agente virtual mostra um gráfico chamado "Detalhamento da latência de ponta a ponta", que ilustra a latência de ponta a ponta no nível da expressão. O eixo y mostra o tempo em incrementos de 50 milissegundos. O eixo x indica que é possível ver a latência de ponta a ponta para ferramentas, o modelo de linguagem grande (LLM) e a conversão de texto em voz (TTS). Por fim, o gráfico mostra a latência de ponta a ponta como barras separadas para três categorias de percentil: P50 é o 50º percentil, P90 é o 90º percentil e P99 é o 99º percentil. Por exemplo, se a latência P99 do LLM for de 5 segundos, isso significa que 99% dos valores de latência do LLM no nível da expressão são menores que 5 segundos.

Detalhamento do tipo de encaminhamento

O detalhamento do tipo de encaminhamento mostra o número de conversas para cada iniciador de encaminhamento: usuário ou agente. A IA de qualidade determina quem iniciou o encaminhamento ao responder à pergunta predefinida Quem encaminhou a conversa? É possível detalhar um iniciador de encaminhamento para ver uma lista de conversas com ele.

Ferramentas

As métricas de ferramentas são calculadas para ferramentas de agentes de conversação. Métricas agregadas, como latência da ferramenta e taxas de falha, ajudam os criadores de bots a identificar gargalos de performance nas conversas.

Métricas da IA de qualidade

A plataforma de agente virtual mostra as seguintes métricas de IA de qualidade.

  • Índice de qualidade: índice de qualidade médio por visão geral em conversas atendidas por esse agente.
  • Sentimento geral: pontuação média de sentimento nas conversas atendidas por esse agente.
  • Detalhamento de sentimento: um gráfico de barras com código de cores para ilustrar o número de conversas desse agente por categoria de sentimento no nível da conversa: negativa, neutra ou positiva.
  • Resultado da conversa: número de conversas para cada resultado possível.
  • Sentimento por descoberta: detalhamento do número de conversas por categoria de sentimento no nível da conversa para essa métrica.

A plataforma também mostra gráficos da mudança ao longo do tempo para as seguintes métricas de IA de qualidade.

  • Índice de qualidade: porcentagem de índices de qualidade de todas as conversas atendidas por esse agente.
  • Detalhes da categoria de pontuação: números da pontuação de qualidade para cada categoria predefinida: empresa, conformidade, cliente e categorias personalizadas.

Resultado da conversa

O gráfico de resultado da conversa mostra o número de conversas que terminaram com cada um dos seguintes resultados possíveis:

  • Abandonada
  • Parcialmente resolvido
  • Encaminhamento do problema
  • Redirecionado
  • Resolvido
  • Desconhecido

Calcular os resultados da conversa usando perguntas predefinidas no quadro de visão geral pré-criado da IA de qualidade.

  1. Para conferir os dados de resultado nesse gráfico, execute uma análise da IA de qualidade com um quadro de pontuação predefinido.
  2. Clique em um resultado para ver uma lista de conversas com ele.

Detalhamento do sentimento

Depois de executar a análise de sentimento em todas as suas conversas, o gráfico de detalhamento de sentimento mostra o número de conversas com um sentimento geral em cada categoria: negativo, neutro e positivo.