Teste A/B do agente de conversação da CCAI Platform

Este guia explica como configurar testes A/B de agentes conversacionais usando a CCAI Platform.

Por que fazer testes A/B de agentes virtuais?

Os testes A/B (ou testes divididos) são uma metodologia poderosa para otimizar a performance da IA conversacional. Em vez de confiar na intuição ao atualizar um fluxo, você pode usar dados em tempo real para orientar suas decisões.

Os principais benefícios incluem o seguinte:

  • Mitigação de riscos:teste um novo "Agente B" com uma pequena porcentagem de tráfego (por exemplo, 10%) antes de um lançamento completo para garantir que ele não afete negativamente as taxas de contenção.
  • Comparação de performance:compare KPIs específicos, como a precisão da correspondência de intenção, a taxa de conclusão de tarefas e o sentimento do cliente em diferentes versões.
  • Refinamento iterativo:experimente diferentes comandos, personas ou geradores com tecnologia de LLM para encontrar a maneira mais eficaz de resolver consultas do usuário.

Configurar testes

Esta seção explica como configurar a CCAI Platform para oferecer suporte a testes A/B para os recursos de um agente. Isso se aplica a agentes de voz e canais digitais, como dispositivos móveis e a Web.

Preparar seus agentes virtuais

Antes de configurar a telefonia ou o roteamento, verifique se você tem dois destinos de agente virtual separados prontos no seu ambiente. Consulte a documentação para configurar agentes virtuais. É provável que você precise de dois perfis conversacionais separados. Os agentes conversacionais reais podem ser agentes separados ou o mesmo agente com ambientes diferentes.

  • Agente A (controle) : seu agente virtual estável.

  • Agente B (variante) : o agente que contém os novos recursos, comandos ou mudanças lógicas que você quer testar.

Criar filas dedicadas da CCAI Platform

No portal da CCAI Platform, é necessário estabelecer uma hierarquia de filas para gerenciar o fluxo de tráfego. Isso vai depender se você está usando canais de voz ou digitais. Consulte a documentação para mais detalhes sobre como criar filas.

  1. Criar a fila A:navegue até o gerenciamento de filas. Crie uma nova fila chamada Queue_A_Test. Atribua o agente virtual A como o handler principal dessa fila.

  2. Criar a fila B:crie uma segunda fila chamada Queue_B_Test. Atribua o agente virtual B como o handler principal dessa fila.

  3. Criar a fila mãe (de entrada):crie uma fila chamada Main_Entry_Point. Essa fila não terá um agente virtual atribuído diretamente. Ela vai atuar como o "divisor de tráfego".

Implementar a lógica de roteamento

Para distribuir o tráfego, é necessário configurar as regras de roteamento na fila Main_Entry_Point. Isso vai aproveitar o recurso de redirecionamento automático para especificar os grupos de roteamento. Cada grupo de roteamento vai incluir o roteamento para a fila relativa. A alocação de porcentagem também será associada ao grupo de roteamento específico. Consulte a documentação para mais detalhes sobre como configurar as regras de roteamento.

Definir a divisão de tráfego

Você vai usar uma regra de distribuição baseada em porcentagem. Isso permite controlar exatamente quanto volume cada agente recebe.

Componente Lógica Meta
Gatilho Todas as chamadas ou chats recebidos para Main_Entry_Point. Capturar todo o tráfego.
Ação 1 Rotear X% do tráfego para Queue_A_Test. Estabelecer o grupo de controle.
Ação 2 Rotear a porcentagem restante do tráfego para Queue_B_Test. Estabelecer o grupo de teste.

Fluxo de trabalho de configuração

  1. Abra a configuração de redirecionamento automático para a fila Main_Entry_Point.
  2. Adicione um grupo.
  3. Selecione a seleção de redirecionamento da fila.
  4. Selecione a fila que precisa ser associada a esse grupo de roteamento A.
  5. Selecione Divisão de porcentagem.
  6. Selecione Adicionar.
  7. Adicione um grupo.
  8. Selecione a seleção de redirecionamento da fila.
  9. Selecione a fila que precisa ser associada a esse grupo de roteamento B.
  10. Selecione Divisão de porcentagem.
  11. Selecione Adicionar.
  12. Defina sua proporção (por exemplo, 50/50 para um teste equilibrado ou 90/10 para um lançamento canário).
  13. Salve a configuração.

Monitorar e analisar

Quando o tráfego estiver fluindo, use o painel de análises do CCaaS para comparar a performance.

  • Filtre os relatórios por Queue_A_Test em comparação com Queue_B_Test.
  • Procure significância estatística no tempo médio de atendimento (AHT) e na taxa de transferência para o agente humano.
  • Analise as análises do agente conversacional para procurar outros detalhes que indiquem um impacto positivo ou negativo na performance.