Questa guida spiega come configurare i test A/B degli agenti conversazionali utilizzando la piattaforma CCAI.
Perché eseguire test A/B sugli agenti virtuali?
I test A/B (o test di suddivisione) sono una metodologia efficace per ottimizzare il rendimento dell'AI conversazionale. Anziché affidarti all'intuito quando aggiorni un flusso, puoi lasciare che i dati in tempo reale guidino le tue decisioni.
I vantaggi principali includono:
- Mitigazione del rischio: testa un nuovo "Agente B" con una piccola percentuale di traffico (ad esempio, il 10%) prima di un'implementazione completa per assicurarti che non influisca negativamente sui tassi di contenimento.
- Confronto del rendimento: confronta KPI specifici come l'accuratezza della corrispondenza degli intent, la percentuale di completamento delle attività e il sentiment dei clienti tra le diverse versioni.
- Perfezionamento iterativo: sperimenta con diversi prompt, personaggi o generatori basati su LLM per trovare il modo più efficace per risolvere le query degli utenti.
Configurare i test
Questa sezione spiega come configurare la piattaforma CCAI per supportare i test A/B per le funzionalità di un agente. Questo vale sia per gli agenti vocali sia per i canali digitali come dispositivi mobili e web.
Preparare gli agenti virtuali
Prima di configurare la telefonia o il routing, assicurati di avere due target di agenti virtuali separati pronti nel tuo ambiente. Consulta la documentazione per configurare gli agenti virtuali. Probabilmente avrai bisogno di due profili conversazionali separati. Gli agenti conversazionali effettivi potrebbero essere agenti separati o lo stesso agente con ambienti diversi.
Agente A (controllo): il tuo agente virtuale esistente e stabile.
Agente B (variante): l'agente che contiene le nuove funzionalità, i prompt o le modifiche alla logica che vuoi testare.
Creare code dedicate della piattaforma CCAI
Nel portale della piattaforma CCAI, devi stabilire una gerarchia di code per gestire il flusso di traffico. Dipende se utilizzi canali vocali o digitali. Per ulteriori dettagli sulla creazione delle code, consulta la documentazione.
Crea la coda A: vai a Gestione code. Crea una nuova coda denominata Queue_A_Test. Assegna l'agente virtuale A come gestore principale per questa coda.
Crea la coda B: crea una seconda coda denominata Queue_B_Test. Assegna l'agente virtuale B come gestore principale per questa coda.
Crea la coda principale (di ingresso): crea una coda denominata Main_Entry_Point. A questa coda non verrà assegnato direttamente un agente virtuale, ma fungerà da "splitter di traffico".
Implementare la logica di routing
Per distribuire il traffico, devi configurare le regole di routing nella coda Main_Entry_Point. In questo modo, utilizzerai la funzionalità di reindirizzamento automatico per specificare i gruppi di routing. Ogni gruppo di routing includerà il routing alla coda relativa. Anche l'allocazione percentuale sarà associata al gruppo di routing specifico. Per ulteriori dettagli sulla configurazione delle regole di routing, consulta la documentazione.
Definire la suddivisione del traffico
Utilizzerai una regola di distribuzione basata sulla percentuale. In questo modo puoi controllare esattamente il volume di traffico ricevuto da ogni agente.
| Componente | Logica | Obiettivo |
|---|---|---|
| Trigger | Tutte le chiamate o le chat in arrivo a Main_Entry_Point. |
Acquisire tutto il traffico. |
| Azione 1 | Instradare X% del traffico a Queue_A_Test. |
Stabilire il gruppo di controllo. |
| Azione 2 | Instradare la percentuale rimanente del traffico a Queue_B_Test. |
Stabilire il gruppo di test. |
Workflow di configurazione
- Apri la configurazione Reindirizzamento automatico per la coda
Main_Entry_Point. - Aggiungi un gruppo.
- Seleziona la selezione del reindirizzamento della coda.
- Seleziona la coda da associare a questo gruppo di routing A.
- Seleziona Suddivisione percentuale.
- Seleziona Aggiungi.
- Aggiungi un gruppo.
- Seleziona la selezione del reindirizzamento della coda.
- Seleziona la coda da associare a questo gruppo di routing B.
- Seleziona Suddivisione percentuale.
- Seleziona Aggiungi.
- Definisci la proporzione (ad esempio, 50/50 per un test bilanciato o 90/10 per una release canary).
- Salva la configurazione.
Monitorare e analizzare
Quando il traffico è in corso, utilizza la dashboard di analisi CCaaS per confrontare il rendimento.
- Filtra i report in base a
Queue_A_Testrispetto aQueue_B_Test. - Cerca la significatività statistica nel tempo medio di gestione (AHT) e nella percentuale di trasferimento all'agente umano.
- Esamina le analisi degli agenti conversazionali per cercare eventuali dettagli aggiuntivi che indichino un impatto positivo o negativo sul rendimento.