Platform agen virtual

Platform agen virtual adalah fitur dalam Quality AI yang memberikan insight tentang performa agen percakapan yang dibuat dengan Dialogflow dan Customer Experience Agent Studio. Customer Experience Agent Studio adalah pembuat agen virtual, yang membantu Anda membuat sistem multi-agen asinkron dengan streaming dua arah.

Lihat platform

Ikuti langkah-langkah berikut untuk melihat platform di konsol Customer Experience Insights.

  1. Klik Quality AI > Agents > Agen virtual.
  2. Pilih agen.

Performa agen virtual

Platform agen virtual memberikan detail tentang performa agen virtual. Platform ini menampilkan detail metrik operasional dan Quality AI.

Metrik operasional

Platform agen virtual menampilkan setiap metrik berikut sebagai angka atau persentase.

  • Total sesi: Total jumlah percakapan yang ditangani oleh agen ini.
  • Rasio eskalasi: Persentase percakapan yang dieskalasi ke agen manusia, yang dihitung menggunakan sinyal dari Dialogflow.
  • Jumlah giliran per sesi: Jumlah rata-rata giliran per percakapan.
  • Rasio tidak cocok: Persentase percakapan yang tidak cocok dengan intent apa pun, hanya berlaku untuk agen virtual berbasis alur.

Platform agen virtual menampilkan grafik perubahan dari waktu ke waktu untuk setiap metrik berikut.

  • Volume: Total jumlah percakapan yang ditangani oleh agen ini.
  • Rasio eskalasi: Persentase percakapan yang dieskalasi ke agen manusia.

Ikuti metode berikut untuk menghitung rasio eskalasi:

  • Dialogflow: Dihitung menggunakan sinyal dari Dialogflow.
  • Customer Experience Agent Studio: Dihitung menggunakan sinyal dari pelacakan EndSession Customer Experience Agent Studio.

Ikuti langkah-langkah berikut di Customer Experience Agent Studio untuk menyiapkan rasio eskalasi di end_session:

  1. Tambahkan alat end_session ke node agen. Buka halaman Agent di Quality AI. Klik Tools untuk melihat alat end_session.
  2. Berikan petunjuk agen.

Contoh: Saat pelanggan meminta agen live, jalankan alat end_session dengan argumen {session_escalated = true}

  • Perincian jenis eskalasi: Jumlah percakapan per inisiator eskalasi, yang dapat berupa pengguna atau agen, dianalisis berdasarkan pertanyaan yang telah ditentukan dalam kartu skor bawaan Who escalated the conversation?.
  • Rasio kegagalan alat: Persentase panggilan alat yang gagal di semua penggunaan alat dalam percakapan untuk agen tertentu dalam jangka waktu yang dipilih dan untuk media percakapan yang ditentukan.
  • Latensi alat: Latensi rata-rata panggilan alat di semua penggunaan alat dalam percakapan untuk agen tertentu, dalam jangka waktu dan media percakapan yang dipilih.
  • Rasio tidak cocok: Persentase percakapan yang tidak cocok dengan intent apa pun, hanya berlaku untuk agen virtual berbasis alur.

Perincian latensi end-to-end (E2E)

Latensi end-to-end (E2E) adalah jumlah waktu antara akhir ucapan pengguna dan awal ucapan agen berikutnya. Platform agen virtual menghitung latensi E2E untuk setiap interaksi pengguna-agen dalam percakapan chat dan suara.

Platform agen virtual menampilkan grafik berjudul Perincian latensi E2E, yang menggambarkan latensi E2E di tingkat ucapan. Sumbu y menampilkan waktu dalam penambahan 50 milidetik. Sumbu x menunjukkan bahwa Anda dapat melihat latensi E2E untuk alat, model bahasa besar (LLM), dan text-to-speech (TTS). Terakhir, grafik menampilkan latensi E2E sebagai batang terpisah untuk tiga kategori persentil: P50 adalah persentil ke-50, P90 adalah persentil ke-90, dan P99 adalah persentil ke-99. Jadi, misalnya, jika latensi LLM P99 adalah 5 detik, artinya 99% nilai latensi LLM tingkat ucapan kurang dari 5 detik.

Perincian jenis eskalasi

Perincian jenis eskalasi menunjukkan jumlah percakapan untuk setiap inisiator eskalasi: pengguna atau agen. Quality AI menentukan inisiator eskalasi dengan menjawab pertanyaan yang telah ditentukan Who escalated the conversation? Anda dapat melihat detail inisiator eskalasi untuk melihat daftar percakapan dengannya.

Alat

Metrik alat dihitung untuk alat agen Percakapan. Metrik gabungan seperti latensi alat dan rasio kegagalan membantu pembuat bot mengidentifikasi bottleneck performa di seluruh percakapan.

Metrik Quality AI

Platform agen virtual menampilkan metrik Quality AI berikut.

  • Skor kualitas: Skor kualitas rata-rata per kartu skor untuk percakapan yang ditangani oleh agen ini.
  • Sentimen keseluruhan: Skor sentimen rata-rata untuk percakapan yang ditangani oleh agen ini.
  • Perincian sentimen: Diagram batang berkode warna untuk menggambarkan jumlah percakapan agen ini per kategori sentimen tingkat percakapan: negatif, netral, atau positif.
  • Hasil percakapan: Jumlah percakapan untuk setiap hasil yang mungkin.
  • Sentimen menurut penemuan: Perincian jumlah percakapan per kategori sentimen tingkat percakapan untuk metrik ini.

Platform ini juga menampilkan grafik perubahan dari waktu ke waktu untuk metrik Quality AI berikut.

  • Skor kualitas: Persentase skor kualitas untuk semua percakapan yang ditangani oleh agen ini.
  • Perincian kategori skor: Angka skor kualitas untuk setiap kategori yang telah ditentukan: bisnis, kepatuhan, pelanggan, dan kategori kustom apa pun.

Hasil percakapan

Grafik hasil percakapan menunjukkan jumlah percakapan yang berakhir dengan setiap hasil yang mungkin berikut:

  • Diabaikan
  • Terselesaikan sebagian
  • Dieskalasi
  • Dialihkan
  • Berhasil diselesaikan
  • Tidak diketahui

Hitung hasil percakapan menggunakan pertanyaan yang telah ditentukan dalam kartu skor bawaan di Quality AI.

  1. Untuk melihat data hasil dalam grafik ini, jalankan analisis Quality AI dengan kartu skor bawaan.
  2. Klik hasil untuk melihat daftar percakapan dengan hasil tersebut.

Perincian sentimen

Setelah Anda menjalankan analisis sentimen pada semua percakapan, diagram perincian sentimen akan menampilkan jumlah percakapan dengan sentimen keseluruhan di setiap kategori: negatif, netral, dan positif.