Pruebas A/B del agente conversacional de CCAI Platform

En esta guía, se explica cómo configurar las pruebas A/B de agentes conversacionales con la plataforma de CCAI.

¿Por qué realizar pruebas A/B en agentes virtuales?

Las pruebas A/B (o pruebas de división) son una metodología eficaz para optimizar el rendimiento de la IA conversacional. En lugar de confiar en la intuición cuando actualizas un flujo, puedes dejar que los datos en tiempo real guíen tus decisiones.

Estos son algunos de los beneficios principales:

  • Mitigación de riesgos: Prueba un nuevo "Agente B" con un pequeño porcentaje de tráfico (por ejemplo, el 10%) antes de un lanzamiento completo para asegurarte de que no afecte negativamente las tasas de contención.
  • Comparación del rendimiento: Compara KPIs específicos, como la precisión de la correlación de intención, la tasa de finalización de tareas y la opinión del cliente en diferentes versiones.
  • Refinamiento iterativo: Experimenta con diferentes instrucciones, arquetipos o generadores respaldados por LLM para encontrar la forma más eficaz de resolver las consultas de los usuarios.

Configura las pruebas

En esta sección, se explica cómo configurar la plataforma de CCAI para admitir las pruebas A/B de las capacidades de un agente. Esto se aplica tanto a los agentes de voz como a los canales digitales, como los dispositivos móviles y la Web.

Prepara tus agentes virtuales

Antes de configurar la telefonía o el enrutamiento, asegúrate de tener dos destinos de agente virtual separados listos en tu entorno. Consulta la documentación para configurar agentes virtuales. Es probable que necesites dos perfiles de conversación separados. Los agentes conversacionales reales podrían ser agentes separados o el mismo agente con diferentes entornos.

  • Agente A (control): Es tu agente virtual existente y estable.

  • Agente B (variante): Es el agente que contiene las nuevas funciones, instrucciones o cambios en la lógica que deseas probar.

Crea colas exclusivas de CCAI Platform

En el portal de la Plataforma de CCAI, debes establecer una jerarquía de colas para administrar el flujo de tráfico. Esto dependerá de si usas canales de voz o digitales. Consulta la documentación para obtener más detalles sobre la creación de colas.

  1. Crea la cola A: Navega a Administración de colas. Crea una cola nueva llamada Queue_A_Test. Asigna el agente virtual A como el encargado principal de esta fila.

  2. Crea la cola B: Crea una segunda cola llamada Queue_B_Test. Asigna el agente virtual B como el controlador principal de esta cola.

  3. Crea la cola principal (de entrada): Crea una cola llamada Main_Entry_Point. Esta cola no tendrá un agente virtual asignado directamente, sino que actuará como el "divisor de tráfico".

Implementa la lógica de enrutamiento

Para distribuir el tráfico, debes configurar las reglas de enrutamiento en la cola Main_Entry_Point. Esto aprovechará la función de redireccionamiento automático para especificar los grupos de enrutamiento. Cada grupo de enrutamiento incluirá el enrutamiento a la cola relativa. La asignación de porcentaje también se asociará con el grupo de enrutamiento específico. Consulta la documentación para obtener más detalles sobre la configuración de las reglas de enrutamiento.

Define la división del tráfico

Usarás una regla de distribución basada en porcentajes. Esto te permite controlar exactamente el volumen que recibe cada agente.

Componente Lógica Objetivo
Activador Todas las llamadas o chats entrantes a Main_Entry_Point. Captura todo el tráfico.
Acción 1 Dirige el X% del tráfico a Queue_A_Test. Establece el grupo de control.
Acción 2 Enruta el porcentaje restante del tráfico a Queue_B_Test. Establece el grupo de prueba.

Flujo de trabajo de configuración

  1. Abre la configuración de Redireccionamiento automático para tu cola Main_Entry_Point.
  2. Agrega un grupo.
  3. Selecciona la selección de redireccionamiento de la fila.
  4. Selecciona la cola que se debe asociar a este grupo de enrutamiento A.
  5. Selecciona División por porcentaje.
  6. Selecciona Agregar.
  7. Agrega un grupo.
  8. Selecciona la selección de redireccionamiento de la fila.
  9. Selecciona la cola que se debe asociar con este grupo de enrutamiento B.
  10. Selecciona División por porcentaje.
  11. Selecciona Agregar.
  12. Define tu proporción (por ejemplo, 50/50 para una prueba equilibrada o 90/10 para un lanzamiento de versión canary).
  13. Guarde la configuración.

Supervisa y analiza

Cuando el tráfico fluya, usa el panel de estadísticas de CCaaS para comparar el rendimiento.

  • Filtrar informes por Queue_A_Test en comparación con Queue_B_Test
  • Busca la significación estadística en el tiempo promedio de atención (AHT) y el porcentaje de transferencia a un agente humano.
  • Consulta las estadísticas del agente conversacional para buscar detalles adicionales que indiquen un impacto positivo o negativo en el rendimiento.