Platform agen virtual

Platform agen virtual adalah fitur dalam Quality AI yang memberikan insight tentang performa agen percakapan yang dibuat dengan Dialogflow dan Customer Experience Agent Studio. Customer Experience Agent Studio adalah alat pembuat agen virtual, yang membantu Anda membuat sistem multi-agen asinkron dengan streaming dua arah.

Lihat platform

Ikuti langkah-langkah berikut untuk melihat platform di konsol Customer Experience Insights.

  1. Klik Quality AI > Agents > Virtual agent.
  2. Pilih agen.

Performa agen virtual

Platform agen virtual memberikan detail tentang performa agen virtual. Platform ini menampilkan detail metrik AI Kualitas dan operasional.

Metrik operasional

Platform agen virtual menampilkan setiap metrik berikut sebagai angka atau persentase.

  • Total sesi: Total jumlah percakapan yang ditangani oleh agen ini.
  • Tingkat eskalasi: Persentase percakapan yang dieskalasikan ke agen manusia, dihitung menggunakan sinyal dari Dialogflow.
  • Giliran per sesi: Jumlah rata-rata giliran per percakapan.
  • Rasio tidak cocok: Persentase percakapan yang tidak cocok dengan maksud apa pun, hanya berlaku untuk agen virtual berbasis alur.

Platform agen virtual menampilkan grafik perubahan dari waktu ke waktu untuk setiap metrik berikut.

  • Volume: Jumlah total percakapan yang ditangani oleh agen ini.
  • Rasio eskalasi: Persentase percakapan yang dieskalasikan ke agen manusia.

Ikuti metode berikut untuk menghitung rasio eskalasi:

  • Dialogflow: Dihitung menggunakan sinyal dari Dialogflow.
  • Customer Experience Agent Studio: Dihitung menggunakan sinyal dari rekaman aktivitas EndSession Customer Experience Agent Studio.

Ikuti langkah-langkah berikut di Customer Experience Agent Studio untuk menyiapkan rasio eskalasi di end_session:

  1. Tambahkan alat end_session ke node agen. Buka halaman Agent di Quality AI. Klik Alat untuk melihat alat end_session.
  2. Berikan petunjuk agen.

Contoh: Saat pelanggan meminta agen langsung, jalankan alat end_session dengan argumen {session_escalated = true}

  • Perincian jenis eskalasi: Jumlah percakapan per pemrakarsa eskalasi, yang bisa berupa pengguna atau agen, yang dianalisis berdasarkan pertanyaan yang telah ditentukan sebelumnya dalam kartu skor bawaan Siapa yang melakukan eskalasi percakapan?.
  • Tingkat kegagalan alat: Persentase panggilan alat yang gagal di semua penggunaan alat dalam percakapan untuk agen tertentu dalam jangka waktu yang dipilih dan untuk media percakapan yang ditentukan.
  • Latensi alat: Latensi rata-rata panggilan alat di semua penggunaan alat dalam percakapan untuk agen tertentu, dalam jangka waktu dan media percakapan yang dipilih.
  • Rasio tidak cocok: Persentase percakapan yang tidak cocok dengan maksud apa pun, hanya berlaku untuk agen virtual berbasis alur.

Perincian latensi end-to-end (E2E)

Latensi end-to-end (E2E) adalah jumlah waktu antara akhir ucapan pengguna dan awal ucapan agen berikutnya. Platform agen virtual menghitung latensi E2E untuk setiap interaksi agen pengguna dalam percakapan chat dan suara.

Platform agen virtual menampilkan grafik berjudul Perincian latensi E2E, yang menggambarkan latensi E2E di tingkat ucapan. Sumbu y menampilkan waktu dalam kelipatan 50 milidetik. Sumbu x menunjukkan bahwa Anda dapat melihat latensi E2E untuk alat, model bahasa besar (LLM), dan text-to-speech (TTS). Terakhir, grafik menampilkan latensi E2E sebagai batang terpisah untuk tiga kategori persentil: P50 adalah persentil ke-50, P90 adalah persentil ke-90, dan P99 adalah persentil ke-99. Jadi, misalnya, jika latensi P99 LLM adalah 5 detik, artinya 99% nilai latensi LLM tingkat ucapan kurang dari 5 detik.

Perincian jenis eskalasi

Perincian jenis eskalasi menunjukkan jumlah percakapan untuk setiap pemrakarsa eskalasi: pengguna atau agen. AI Berkualitas menentukan pemrakarsa eskalasi dengan menjawab pertanyaan yang telah ditentukan sebelumnya Siapa yang mengeskalasikan percakapan? Anda dapat melihat perincian pemrakarsa eskalasi untuk melihat daftar percakapan dengannya.

Alat

Metrik alat dihitung untuk Alat agen percakapan. Metrik gabungan seperti latensi alat dan rasio kegagalan membantu pembuat bot mengidentifikasi hambatan performa di seluruh percakapan.

Metrik Quality AI

Platform agen virtual menampilkan metrik AI Kualitas berikut.

  • Skor kualitas: Skor kualitas rata-rata per kartu skor selama percakapan yang ditangani oleh agen ini.
  • Sentimen keseluruhan: Skor sentimen rata-rata selama percakapan yang ditangani oleh agen ini.
  • Perincian sentimen: Diagram batang berkode warna untuk menggambarkan jumlah percakapan agen ini per kategori sentimen tingkat percakapan: negatif, netral, atau positif.
  • Hasil percakapan: Jumlah percakapan untuk setiap kemungkinan hasil.
  • Sentimen menurut penemuan: Perincian jumlah percakapan per kategori sentimen tingkat percakapan untuk metrik ini.

Platform ini juga menampilkan grafik perubahan dari waktu ke waktu untuk metrik AI Kualitas berikut.

  • Skor kualitas: Persentase skor kualitas untuk semua percakapan yang ditangani oleh agen ini.
  • Perincian kategori skor: Angka skor kualitas untuk setiap kategori yang telah ditentukan sebelumnya: bisnis, kepatuhan, pelanggan, dan kategori kustom.

Hasil percakapan

Grafik hasil percakapan menampilkan jumlah percakapan yang berakhir dengan setiap kemungkinan hasil berikut:

  • Diabaikan
  • Sebagian terselesaikan
  • Dieskalasi
  • Dialihkan
  • Berhasil diselesaikan
  • Tidak diketahui

Menghitung hasil percakapan menggunakan pertanyaan yang telah ditentukan sebelumnya dalam kartu skor bawaan di Quality AI.

  1. Untuk melihat data hasil dalam grafik ini, jalankan analisis AI Kualitas dengan kartu skor bawaan.
  2. Klik hasil untuk melihat daftar percakapan dengan hasil tersebut.

Perincian sentimen

Setelah Anda menjalankan analisis sentimen pada semua percakapan, diagram perincian sentimen akan menampilkan jumlah percakapan dengan sentimen keseluruhan di setiap kategori: negatif, netral, dan positif.