In dieser Anleitung wird erläutert, wie Sie A/B-Tests für Conversational Agents mit der CCAI Platform konfigurieren.
Warum sollten Sie A/B-Tests für virtuelle Agenten durchführen?
A/B-Tests (oder Split-Tests) sind eine leistungsstarke Methode zur Optimierung der Leistung von Conversational AI. Anstatt sich bei der Aktualisierung eines Ablaufs auf Ihr Bauchgefühl zu verlassen, können Sie Entscheidungen auf Grundlage von Echtzeitdaten treffen.
Zu den wichtigsten Vorteilen gehören:
- Risikominderung:Testen Sie einen neuen Agenten B mit einem kleinen Prozentsatz des Traffics (z. B. 10%), bevor Sie ihn vollständig einführen. So können Sie sicherstellen, dass sich die Containment-Raten nicht negativ auswirken.
- Leistungsvergleich:Vergleichen Sie bestimmte KPIs wie die Genauigkeit der Intent-Zuordnung, die Abschlussrate von Aufgaben und die Kundenzufriedenheit für verschiedene Versionen.
- Iterative Optimierung:Experimentieren Sie mit verschiedenen Prompts, Personas oder LLM-gestützten Generatoren, um die effektivste Methode zur Beantwortung von Nutzeranfragen zu finden.
Tests konfigurieren
In diesem Abschnitt wird erläutert, wie Sie die CCAI Platform so konfigurieren, dass A/B-Tests für die Funktionen eines Agenten unterstützt werden. Dies gilt sowohl für Sprachagenten als auch für digitale Kanäle wie Mobilgeräte und das Web.
Virtuelle Agenten vorbereiten
Bevor Sie die Telefonie oder das Routing konfigurieren, müssen Sie zwei separate virtuelle Agentenziele in Ihrer Umgebung eingerichtet haben. Informationen zum Konfigurieren virtueller Agenten Sie benötigen wahrscheinlich zwei separate Unterhaltungsprofile. Die eigentlichen Conversational Agents können separate Agenten sein oder derselbe Agent mit unterschiedlichen Umgebungen.
Agent A (Kontrolle) : Ihr vorhandener, stabiler virtueller Agent.
Agent B (Variante) : Der Agent mit den neuen Funktionen, Prompts oder Logikänderungen, die Sie testen möchten.
Dedizierte CCAI Platform-Warteschlangen erstellen
Im CCAI Platform-Portal müssen Sie eine Hierarchie von Warteschlangen einrichten, um den Trafficfluss zu verwalten. Dies hängt davon ab, ob Sie Sprach- oder digitale Kanäle verwenden. Weitere Informationen zum Erstellen von Warteschlangen
Warteschlange A erstellen:Rufen Sie die Warteschlangenverwaltung auf. Erstellen Sie eine neue Warteschlange mit dem Namen Queue_A_Test. Weisen Sie den virtuellen Agenten A als primären Bearbeiter für diese Warteschlange zu.
Warteschlange B erstellen:Erstellen Sie eine zweite Warteschlange mit dem Namen Queue_B_Test. Weisen Sie den virtuellen Agenten B als primären Bearbeiter für diese Warteschlange zu.
Übergeordnete Warteschlange (Eingang) erstellen:Erstellen Sie eine Warteschlange mit dem Namen Main_Entry_Point. Dieser Warteschlange wird kein virtueller Agent direkt zugewiesen. Sie dient als „Traffic-Splitter“.
Routinglogik implementieren
Um Traffic zu verteilen, müssen Sie die Routingregeln in der Warteschlange Main_Entry_Point konfigurieren. Dabei wird die Funktion für die automatische Weiterleitung verwendet, um die Routinggruppen anzugeben. Jede Routinggruppe enthält das Routing zur entsprechenden Warteschlange. Die prozentuale Zuweisung wird auch der jeweiligen Routinggruppe zugeordnet. Weitere Informationen zum Konfigurieren der Routingregeln
Trafficaufteilung definieren
Sie verwenden eine prozentuale Verteilungsregel. So können Sie genau festlegen, wie viel Traffic jeder Agent erhält.
| Komponente | Logik | Ziel |
|---|---|---|
| Trigger | Alle eingehenden Anrufe oder Chats an Main_Entry_Point. |
Gesamten Traffic erfassen. |
| Aktion 1 | Leiten Sie X% des Traffics an Queue_A_Test weiter. |
Kontrollgruppe einrichten. |
| Aktion 2 | Leiten Sie die restlichen % des Traffics an Queue_B_Test weiter. |
Testgruppe einrichten. |
Konfigurationsworkflow
- Öffnen Sie die Konfiguration für die automatische Weiterleitung für die Warteschlange
Main_Entry_Point. - Fügen Sie eine Gruppe hinzu.
- Wählen Sie die Weiterleitungsauswahl für die Warteschlange aus.
- Wählen Sie die Warteschlange aus, die dieser Routinggruppe A zugeordnet werden soll.
- Wählen Sie Prozentuale Aufteilung aus.
- Wählen Sie Hinzufügen aus.
- Fügen Sie eine Gruppe hinzu.
- Wählen Sie die Weiterleitungsauswahl für die Warteschlange aus.
- Wählen Sie die Warteschlange aus, die dieser Routinggruppe B zugeordnet werden soll.
- Wählen Sie Prozentuale Aufteilung aus.
- Wählen Sie Hinzufügen aus.
- Definieren Sie das Verhältnis (z. B. 50/50 für einen ausgewogenen Test oder 90/10 für eine Canary-Version).
- Speichern Sie die Konfiguration.
Überwachen und analysieren
Wenn der Traffic fließt, können Sie die Leistung im CCaaS Analytics-Dashboard vergleichen.
- Filtern Sie Berichte nach
Queue_A_TestundQueue_B_Test. - Achten Sie auf statistische Signifikanz bei der durchschnittlichen Bearbeitungszeit und der Weiterleitungsrate an einen menschlichen Agenten.
- Sehen Sie sich die Analysen für Conversational Agents an, um weitere Details zu finden, die auf positive oder negative Auswirkungen auf die Leistung hinweisen.