Evaluasi otomatis (autoevaluasi) peringkasan menilai kualitas ringkasan berdasarkan tiga metrik: akurasi, kelengkapan, dan kepatuhan. Fitur ini membantu Anda mengevaluasi kualitas generator ringkasan, yang sangat penting saat menyesuaikan definisi bagian kustom atau mengupgrade software yang memengaruhi model ringkasan. Untuk mengetahui detail selengkapnya tentang metrik evaluasi, lihat dasar-dasar evaluasi otomatis ringkasan.
Sebelum memulai
- Buat generator ringkasan yang menghasilkan kandidat ringkasan untuk evaluasi Anda.
- Definisi bagian dalam generator berfungsi sebagai kebenaran dasar untuk evaluasi.
- Agar skor akhir mencerminkan kualitas generator, petunjuk setiap bagian harus cocok dengan petunjuk di generator.
Membuat permintaan evaluasi otomatis ringkasan
Ikuti langkah-langkah berikut untuk membuat generator ringkasan.
Buka konsol Agent Assist, lalu login.
Pilih project Anda.
Klik Evaluasi > Evaluasi baru.
Masukkan Nama Tampilan yang unik dan pilih Generator yang cocok dengan ringkasan kandidat.
Klik Berikutnya.
Pilih set data evaluasi dengan salah satu dari dua opsi berikut:
- Contoh acak percakapan dari rentang tanggal: Jika Anda telah membayar fitur ringkasan Agent Assist, tentukan Rentang tanggal dan Jumlah percakapan maksimum. Evaluasi secara acak memilih hingga jumlah maksimum percakapan dan ringkasan dari histori Anda.
- Pilih set data tertentu: Pilih sampel percakapan tertentu yang Anda kurasi dengan Insight Percakapan.
Pilih sumber ringkasan dari salah satu opsi berikut:
- Hanya buat ringkasan yang tidak ada menggunakan generator yang ditentukan. Anda membayar biaya pembuatan ringkasan
- Membuat ringkasan baru untuk semua percakapan. Anda membayar biaya pembuatan ringkasan
- Jangan membuat ringkasan. Sebagai gantinya, gunakan ringkasan yang ada yang ditemukan bersama set data. Anda harus membayar biaya yang berbeda.
Klik Berikutnya.
Klik Pilih folder, pilih folder Cloud Storage di bucket untuk menyimpan hasil Anda, lalu klik Oke. Evaluasi otomatis menulis ke file CSV dan menyimpannya di bucket Cloud Storage Anda.
Klik Run. Ini adalah operasi yang berjalan lama. Evaluasi baru Anda akan tercantum dalam tabel.
Evaluasi
Ikuti langkah-langkah berikut untuk melihat daftar generator ringkasan dan menjalankan sesi evaluasi yang telah selesai.
- Buka konsol Agent Assist, lalu login. Buka konsol
- Pilih project Anda.
- Klik Evaluasi.
- Opsional: Untuk mengubah urutan waktu pembuatan, klik keyboard_arrow_down Bawah di judul kolom Waktu pembuatan.
Memfilter daftar
Ikuti langkah-langkah berikut untuk memfilter daftar guna menelusuri evaluasi tertentu:
- Klik Filter evaluasi.
Pilih salah satu opsi berikut:
- Nama tampilan
- Nama generator
- Waktu pembuatan
Masukkan nilai parameter.
Menghapus evaluasi
- Tunggu hingga generator Anda selesai menjalankan evaluasi.
- Klik hapus Hapus untuk menghapus evaluasi.
Melihat hasil evaluasi
Ikuti langkah-langkah berikut untuk melihat hasil evaluasi mendetail dari konsol Agent Assist.
- Buka konsol Agent Assist, lalu login. Buka konsol
- Pilih project Anda.
- Klik Evaluasi.
- Klik baris mana pun dalam daftar untuk melihat Detail evaluasi, yang mencakup informasi berikut:
- Nama tampilan untuk generator
- Jumlah percakapan
- Jika ada set data Conversational Insights, nama set data Conversational Insights terkait
- Runtime
- Output Cloud Storage
- Hasil performa keseluruhan untuk seluruh set data
- Hasil tingkat percakapan untuk setiap percakapan dalam set data
Hasil tingkat percakapan
Agent Assist menampilkan hasil evaluasi tingkat percakapan dalam tabel.
- Dari halaman Detail evaluasi, klik baris mana pun pada tabel Hasil tingkat percakapan untuk melihat hasil mendetail, ringkasan, dan transkrip percakapan.
- Klik bagian untuk melihat contoh bagian tersebut dari ringkasan.
Perbandingan hasil
Ikuti langkah-langkah berikut untuk membandingkan hasil di berbagai evaluasi:
- Di konsol Agent Assist, buka Evaluasi.
- Klik evaluasi untuk melihat detailnya. Evaluasi ini memberikan dasar untuk perbandingan dan menentukan metrik mana yang disertakan dalam perbandingan.
- Klik Bandingkan > Tambahkan proses untuk menambahkan evaluasi lain untuk perbandingan. Anda dapat membandingkan hingga lima evaluasi sekaligus. Setiap nama tampilan ditandai dengan warna abu-abu.
- Untuk menghapus evaluasi dari perbandingan, klik tutup Tutup.
Membandingkan versi generator ringkasan
Anda juga dapat menggunakan evaluasi otomatis ringkasan untuk membandingkan ringkasan dari berbagai versi generator ringkasan. Anda memerlukan kumpulan transkrip percakapan.
Berikut adalah contoh perbandingan hasil evaluasi berdasarkan generator ringkasan v4.0 dan generator v5.0.
Langkah 1: Buat versi baru generator ringkasan Anda
Jika Anda belum menggunakan generator ringkasan, ikuti petunjuk untuk membuatnya yang menggunakan ringkasan versi 4.0. Kemudian, ikuti langkah-langkah berikut untuk membuat generator kedua yang menggunakan versi ringkasan 5.0:
- Buka halaman Agent Assist console > Summarization.
- Klik more_vert untuk generator Anda > Duplikasikan generator > nama salinan generator.
- Untuk Versi, pilih 5.0, lalu klik Simpan.
Langkah 2: Buat set data
Ikuti petunjuk untuk membuat set data dengan maksimal 100 percakapan. Anda dapat membuat maksimum 100 percakapan untuk setiap evaluasi.
Langkah 3: Buat evaluasi ringkasan
Ikuti langkah-langkah berikut untuk membuat setiap evaluasi.
- Buka Agent Assist Console, login, lalu pilih project Anda.
- Klik Evaluasi > Evaluasi baru.
- Masukkan Nama Tampilan yang unik.
- Pilih Generator ringkasan 4.0 Anda.
- Klik Berikutnya.
- Pilih Pilih set data tertentu.
- Pilih Buat ringkasan.
- Klik Berikutnya > Pilih folder.
- Pilih folder Cloud Storage di bucket untuk menyimpan hasil Anda, lalu klik Oke. Evaluasi otomatis menulis ke file CSV dan menyimpannya di bucket Cloud Storage Anda.
- Klik Run. Ini adalah operasi yang berjalan lama. Evaluasi baru Anda akan tercantum dalam tabel.
Ulangi langkah 2-10 untuk generator ringkasan 5.0 Anda, dan gunakan set data yang sama.
Langkah 4: Bandingkan hasil evaluasi
Ikuti petunjuk untuk membandingkan hasil. Agent Assist menampilkan perbandingan dua hasil evaluasi Anda. Jika salah satu generator memiliki skor yang lebih tinggi daripada generator lainnya, skor yang lebih tinggi akan ditandai dengan warna hijau. Jika kedua generator memiliki skor yang sama, skor tersebut juga akan ditandai dengan warna hijau.
Batasan
Evaluasi otomatis ringkasan tidak mendukung Kontrol Layanan VPC.
Wilayah yang tersedia
Evaluasi otomatis ringkasan hanya tersedia di tiga wilayah Agent Assist. Untuk mengetahui daftar region yang tersedia untuk setiap fitur, lihat tabel regionalisasi.