Eksperimen

Eksperimen digunakan untuk membandingkan performa beberapa versi alur (versi varian) dengan versi kontrol (biasanya versi produksi) saat menangani traffic live. Anda dapat mengalokasikan sebagian traffic aktif ke setiap versi alur dan memantau metrik berikut:

  • Berisi: Jumlah sesi yang mencapai END_SESSION tanpa memicu metrik lain di bawah. Hanya tersedia untuk agen yang menggunakan integrasi telepon.
  • Rasio penyerahan kepada agen langsung: Jumlah sesi yang diserahkan kepada agen langsung.
  • Rasio panggilan balik: Jumlah sesi yang dimulai ulang oleh pengguna akhir. Hanya tersedia untuk agen yang menggunakan integrasi telepon.
  • Tingkat pengabaian: Jumlah sesi yang diabaikan oleh pengguna akhir. Hanya tersedia untuk agen yang menggunakan integrasi telepon.
  • Rasio akhir sesi: Jumlah sesi yang mencapai END_SESSION.
  • Total jumlah tidak cocok: Total jumlah kemunculan peristiwa tidak cocok.
  • Jumlah giliran total: Jumlah total giliran percakapan (satu input pengguna akhir dan satu respons agen dianggap sebagai satu giliran).
  • Jumlah belokan rata-rata: Jumlah belokan rata-rata.

Persiapan

Untuk mempersiapkan eksperimen:

  1. Tentukan alur mana yang akan digunakan untuk eksperimen. Anda tidak dapat menjalankan beberapa eksperimen pada satu alur, jadi pastikan Anda telah mempartisi agen ke dalam beberapa alur.
  2. Buat beberapa versi untuk alur Anda. Perbedaan antara setiap versi bisa kecil atau besar, bergantung pada apa yang ingin Anda bandingkan.
  3. Tentukan jumlah traffic yang akan dialokasikan untuk eksperimen Anda. Jika Anda menguji perubahan kecil, Anda dapat memulai dengan jumlah traffic yang lebih tinggi. Untuk perubahan besar yang dapat mengganggu, pertimbangkan untuk mengalokasikan sejumlah kecil traffic ke eksperimen Anda.

Membuat eksperimen

Untuk membuat eksperimen:

  1. Buka konsol Dialogflow CX.
  2. Pilih project Anda untuk membuka pemilih agen.
  3. Pilih agen Anda untuk membuka pembuat agen.
  4. Pilih tab Kelola.
  5. Klik Eksperimen untuk membuka panel Eksperimen.
  6. Pilih tab Status.
  7. Klik Create.
  8. Masukkan deskripsi.
  9. Pilih lingkungan tempat Anda ingin menjalankan eksperimen.
  10. Pilih alur untuk eksperimen.
  11. Opsional, masukkan jumlah hari saat eksperimen akan otomatis dihentikan.
  12. Masukkan versi alur kontrol dan persentase traffic yang akan masuk ke versi kontrol.
  13. Masukkan satu hingga empat versi alur varian, dan persentase traffic yang akan masuk ke versi varian.
  14. Secara opsional, klik Aktifkan peluncuran otomatis dan langkah-langkah untuk peluncuran bertahap traffic ke alur varian. Eksperimen otomatis didasarkan pada langkah-langkah, yang merupakan durasi waktu saat persentase traffic ditingkatkan ke alur varian. Peluncuran otomatis hanya mendukung satu alur varian.
    1. Di bagian Aturan peluncuran, Anda dapat menetapkan satu atau beberapa aturan bersyarat untuk menentukan cara eksperimen harus dilanjutkan melalui langkah-langkahnya.
      1. Jika Anda memilih Cocokkan setidaknya satu aturan, eksperimen akan dilanjutkan ke langkah berikutnya jika setidaknya satu aturan dan durasi waktu untuk langkah saat ini terpenuhi.
      2. Jika Anda memilih Cocokkan semua aturan, eksperimen akan dilanjutkan ke langkah berikutnya jika semua aturan dan durasi waktu untuk langkah saat ini terpenuhi.
      3. Jika Anda memilih Hanya langkah, eksperimen akan dilanjutkan sesuai dengan durasi waktu untuk setiap langkah.
    2. Di bagian Langkah peningkatan, tentukan persentase traffic yang akan dialokasikan ke alur varian dan durasi waktu untuk setiap langkah. Durasi waktu default untuk setiap langkah adalah 6 jam.
    3. Pilih Kondisi penghentian untuk menetapkan satu atau beberapa kondisi yang akan menghentikan pengiriman traffic ke alur varian. Perhatikan bahwa Anda tidak dapat memulai ulang eksperimen yang dihentikan.
  15. Klik Simpan.

Memulai dan menghentikan eksperimen

Anda dapat memulai eksperimen tersimpan atau menghentikan eksperimen yang sedang berjalan secara manual kapan saja. Menghentikan eksperimen akan membatalkan alokasi traffic dan akan mengembalikan traffic ke keadaan semula.

Untuk memulai atau menghentikan eksperimen:

  1. Buka panel Experiments.
  2. Pilih tab Status.
  3. Klik Mulai atau Berhenti untuk eksperimen dalam daftar.

Mengelola eksperimen

Anda dapat mengedit atau menghapus eksperimen kapan saja:

  1. Buka panel Experiments.
  2. Pilih tab Status.
  3. Klik opsi menu untuk eksperimen dalam daftar.
  4. Klik Edit atau Hapus.

Memantau status eksperimen

Semua eksperimen, terlepas dari statusnya, dapat ditemukan di panel eksperimen. Eksperimen dapat memiliki empat status yang berbeda:

  • Draf: Eksperimen telah dibuat, tetapi belum pernah dijalankan.
  • Tertunda: Eksperimen baru saja dimulai, tetapi hasilnya belum tersedia.
  • Berjalan: Eksperimen sedang berjalan dan hasil sementara tersedia.
  • Selesai: Eksperimen telah selesai karena dihentikan secara otomatis atau manual.

Melihat hasil eksperimen

Untuk melihat hasil eksperimen:

  1. Buka konsol Dialogflow CX.
  2. Pilih project Anda untuk membuka pemilih agen.
  3. Pilih agen Anda untuk membuka pembuat agen.
  4. Pilih tab Kelola.
  5. Klik Eksperimen untuk membuka panel Eksperimen.
  6. Pilih tab Hasil.
  7. Pilih lingkungan dan eksperimen untuk melihat hasilnya.

Hasil berwarna hijau menunjukkan hasil yang menguntungkan, sedangkan merah menunjukkan hasil yang kurang menguntungkan. Perhatikan bahwa dalam beberapa kasus, angka yang lebih tinggi/rendah tidak selalu lebih baik (tingkat pengabaian tinggi / tingkat pengabaian rendah).

Batasan

Batasan berikut berlaku:

Sebelumnya
Kasus uji
Berikutnya
Pengujian dan deployment berkelanjutan