Pengujian A/B agen percakapan Platform CCAI

Panduan ini menjelaskan cara mengonfigurasi pengujian A/B agen percakapan menggunakan CCAI Platform.

Mengapa perlu melakukan pengujian A/B pada agen virtual?

Pengujian A/B (atau pengujian terpisah) adalah metodologi yang efektif untuk mengoptimalkan performa AI percakapan. Daripada mengandalkan intuisi saat memperbarui alur, Anda dapat membiarkan data real-time memandu keputusan Anda.

Manfaat utamanya meliputi:

  • Mitigasi risiko: Uji "Agen B" baru dengan sebagian kecil traffic (misalnya, 10%) sebelum peluncuran penuh untuk memastikan bahwa hal itu tidak berdampak negatif terhadap tingkat penanganan.
  • Perbandingan performa: Bandingkan KPI tertentu seperti Akurasi Pencocokan Maksud, Tingkat Penyelesaian Tugas, dan Sentimen Pelanggan di berbagai versi.
  • Penyempurnaan iteratif: Bereksperimenlah dengan berbagai perintah, persona, atau generator yang didukung LLM untuk menemukan cara paling efektif dalam menyelesaikan kueri pengguna.

Mengonfigurasi pengujian

Bagian ini menjelaskan cara mengonfigurasi Platform CCAI untuk mendukung pengujian A/B bagi kemampuan agen. Hal ini berlaku untuk agen suara dan channel digital seperti seluler dan web.

Menyiapkan agen virtual Anda

Sebelum mengonfigurasi teleponi atau perutean, pastikan Anda telah menyiapkan dua target agen virtual terpisah di lingkungan Anda. Lihat dokumentasi untuk mengonfigurasi agen virtual. Anda mungkin memerlukan dua profil percakapan terpisah. Agen percakapan yang sebenarnya dapat berupa agen terpisah atau agen yang sama dengan lingkungan yang berbeda.

  • Agen A (kontrol): Agen virtual yang ada dan stabil.

  • Agen B (varian): Agen yang berisi fitur, perintah, atau perubahan logika baru yang ingin Anda uji.

Membuat antrean khusus CCAI Platform

Di portal Platform CCAI, Anda perlu membuat hierarki antrean untuk mengelola aliran traffic. Hal ini akan bergantung pada apakah Anda menggunakan saluran suara atau digital. Lihat dokumentasi untuk mengetahui detail selengkapnya tentang cara membuat antrean.

  1. Buat antrean A: Buka Pengelolaan Antrean. Buat antrean baru bernama Queue_A_Test. Tetapkan agen virtual A sebagai penangan utama untuk antrean ini.

  2. Buat antrean B: Buat antrean kedua bernama Queue_B_Test. Tetapkan agen virtual B sebagai penangan utama untuk antrean ini.

  3. Buat antrean induk (entri): Buat antrean bernama Main_Entry_Point. Antrean ini tidak akan memiliki agen virtual yang ditetapkan secara langsung; antrean ini akan bertindak sebagai "pemisah traffic".

Menerapkan logika pemilihan rute

Untuk mendistribusikan traffic, Anda harus mengonfigurasi aturan perutean di antrean Main_Entry_Point. Tindakan ini akan memanfaatkan fitur pengalihan otomatis untuk menentukan grup perutean. Setiap grup perutean akan menyertakan perutean ke antrean relatif. Alokasi persentase juga akan dikaitkan dengan grup perutean tertentu. Lihat dokumentasi untuk mengetahui detail selengkapnya tentang cara mengonfigurasi aturan perutean.

Menentukan pembagian traffic

Anda akan menggunakan aturan distribusi berbasis persentase. Dengan begitu, Anda dapat mengontrol secara tepat volume yang diterima setiap agen.

Komponen Logika Sasaran
Pemicu: Semua panggilan atau chat masuk ke Main_Entry_Point. Menangkap semua traffic.
Tindakan 1 Mengarahkan X% traffic ke Queue_A_Test. Tetapkan grup kontrol.
Tindakan 2 Merutekan % traffic yang tersisa ke Queue_B_Test. Tentukan grup pengujian.

Alur kerja konfigurasi

  1. Buka konfigurasi Pengalihan Otomatis untuk antrean Main_Entry_Point Anda.
  2. Tambahkan grup.
  3. Pilih pemilihan pengalihan Antrean.
  4. Pilih antrean yang harus dikaitkan dengan grup perutean A ini.
  5. Pilih Pembagian Persentase.
  6. Pilih Add.
  7. Tambahkan grup.
  8. Pilih pemilihan pengalihan Antrean.
  9. Pilih antrean yang harus dikaitkan dengan grup perutean B ini.
  10. Pilih Pembagian Persentase.
  11. Pilih Add.
  12. Tentukan rasio Anda (misalnya, 50/50 untuk pengujian yang seimbang, atau 90/10 untuk rilis canary).
  13. Simpan konfigurasi.

Memantau dan menganalisis

Saat traffic mengalir, gunakan Dasbor Analisis CCaaS untuk membandingkan performa.

  • Memfilter laporan menurut Queue_A_Test versus Queue_B_Test.
  • Cari signifikansi statistik di Rata-Rata Waktu Penanganan (AHT) dan Rasio Transfer ke Agen Manusia.
  • Lihat analisis agen percakapan untuk mencari detail tambahan yang akan menunjukkan dampak positif atau negatif terhadap performa.