Evaluasi

Evaluasi adalah alat penting untuk menguji performa agen Anda dan memastikan agen tersebut berperilaku sesuai harapan dalam situasi tertentu. Evaluasi memungkinkan Anda mengotomatiskan pengujian, menangkap regresi setelah melakukan perubahan, dan mengukur kualitas respons agen untuk meningkatkan kualitas agen Anda.

Untuk memulai, klik tombol Evaluate di bagian atas agent builder.

Konsep evaluasi

Kasus pengujian: Setiap kasus pengujian adalah skenario pengujian atau perintah spesifik dan mandiri yang dirancang untuk menilai performa agen. Anda dapat membuat tiga jenis kasus pengujian yang berbeda:

• Skenario: Fitur berteknologi AI untuk memulai pengujian dan memastikan cakupan pengujian yang komprehensif. Anda menjelaskan sasaran pengguna, lalu sistem akan otomatis menyimulasikan pengguna dan membuat percakapan untuk menguji kemampuan agen dalam menangani skenario dengan cara yang efektif. Skenario adalah cara yang berguna untuk bereksperimen dan membantu menentukan percakapan emas.
• Simulasi: Ideal untuk menguji perjalanan multi-langkah. Alih-alih satu sasaran pengguna yang terbuka, Anda membagi percakapan menjadi daftar sasaran yang diurutkan (juga disebut tonggak pencapaian). Pengguna yang disimulasikan mengerjakan sasaran satu per satu dan hanya melanjutkan ke sasaran berikutnya setelah kriteria keberhasilan untuk sasaran saat ini terpenuhi. Simulasi memberi Anda fleksibilitas pengguna yang disimulasikan sekaligus menjaga percakapan tetap berada di jalur yang dapat diprediksi.
• Golden: Ideal untuk pengujian regresi. Anda menyediakan jalur percakapan "ideal" tertentu, kemudian evaluasi akan memeriksa apakah perilaku agen sesuai dengan jalur ideal ini, termasuk panggilan alat.

Catatan: Kasus pengujian simulasi menawarkan alternatif untuk skenario untuk pengujian pengguna yang disimulasikan. Dengan memecah satu sasaran pengguna menjadi daftar sasaran yang diurutkan dengan kriteria keberhasilan per langkah, simulasi memberikan cakupan yang lebih dapat diprediksi dan dapat diulang untuk perjalanan multi-langkah dan diagnostik langkah demi langkah yang lebih jelas saat eksekusi gagal.

Run: Run evaluasi merepresentasikan eksekusi tunggal yang lengkap dari serangkaian kasus pengujian golden, skenario, dan simulasi terhadap performa agen yang Anda uji. Setiap operasi dapat menyertakan satu atau beberapa kasus pengujian.

Hasil: Hasil kasus pengujian mengacu pada satu eksekusi kasus pengujian tertentu dalam satu operasi. Jika kasus pengujian dijalankan beberapa kali selama satu eksekusi evaluasi (misalnya, untuk memeriksa konsistensi, flakiness, dan sebagainya), setiap eksekusi individu adalah hasil individu. Hasil ditampilkan sebagai ikon persegi panjang dalam kolom di setiap baris kasus pengujian, yang menampilkan tanda X merah jika pengujian gagal dan tanda centang hijau jika lulus.

Tag: Kasus pengujian dapat dikelompokkan dengan tag untuk memudahkan pengelolaan.

Membuat kasus pengujian

Untuk membuat dan mengakses kasus pengujian untuk agen Anda, klik tombol Evaluate di bagian atas agent builder. Anda dapat membuat dan mengelola kasus pengujian berbasis golden, skenario, atau simulasi. Kolom Type dalam daftar kasus pengujian menampilkan jenis setiap kasus pengujian.

Skenario

Kasus pengujian berbasis skenario menggunakan AI untuk otomatis membuat berbagai percakapan berdasarkan sasaran pengguna tingkat tinggi yang Anda tentukan. Dengan kasus pengujian ini, daripada memberikan percakapan emas tertentu, Anda memilih skenario yang dihasilkan atau menjelaskan skenario tertentu yang harus diuji. Ini adalah alat yang efektif untuk membantu Anda mengeksplorasi kasus ekstrem dan menguji ketahanan agen Anda tanpa harus menulis setiap kemungkinan jalur percakapan secara manual.

Setelah skenario ini berfungsi dengan baik, Anda dapat menyimpannya sebagai percakapan ideal.

Catatan: Untuk perjalanan multi-langkah yang memerlukan kontrol lebih besar atas jalur percakapan, pertimbangkan untuk menggunakan kasus pengujian simulasi sebagai alternatif untuk skenario. Simulasi menggantikan sasaran pengguna tunggal dengan daftar sasaran yang diurutkan dan kriteria keberhasilan per langkah, sehingga membuat simulasi pengguna lebih dapat diulang dan lebih mudah dipecahkan masalahnya.

Untuk membuat skenario:

1. Klik Buat skenario. Beberapa skenario disarankan untuk Anda.
2. Anda dapat membuat skenario berdasarkan pilihan atau membuat skenario baru dari awal.

Saat melihat daftar skenario, Anda dapat mencantumkan detail dan daftar percakapan untuk setiap skenario dengan mengklik skenario.

Untuk menyimpan skenario sebagai percakapan emas:

1. Pilih skenario.
2. Klik tombol menu di pojok kanan atas.
3. Pilih Save as golden conversation.

Sasaran pengguna skenario

Setiap skenario memiliki sasaran pengguna, yang menjelaskan sasaran pengguna akhir saat menggunakan aplikasi agen. Contoh:

Securely book a specific room at a chosen hotel and receive a confirmation.

Berdasarkan sasaran pengguna Anda, CX Agent Studio otomatis membuat percakapan yang digunakan untuk evaluasi.

Variabel skenario

Saat menentukan skenario, Anda dapat memberikan variabel yang harus digunakan untuk skenario tersebut.

Ekspektasi skenario

Untuk melakukan evaluasi, Anda menentukan ekspektasi untuk kasus pengujian.

Ekspektasi dapat berupa salah satu dari dua jenis berikut:

• Pesan: Respons agen yang diharapkan.
• Tool call: Panggilan alat dengan input dan output yang diharapkan.

Ekspektasi dapat memiliki kondisi berikut:

• Wajib
• Tidak boleh memiliki
• Setelah panggilan alat
• Nilai variabel

Untuk membuat ekspektasi:

• Klik skenario tertentu untuk membuka detailnya.
• Di bagian Ekspektasi, klik Lihat semua.
• Ikuti petunjuk antarmuka untuk membuat ekspektasi untuk skenario.

Simulasi

Kasus pengujian simulasi membagi percakapan menjadi daftar langkah yang diurutkan, yang disebut sasaran (juga dikenal sebagai tonggak pencapaian). Setiap sasaran menjelaskan satu tahap perjalanan pengguna dan kriteria yang harus dipenuhi sebelum pengguna yang disimulasikan melanjutkan ke tahap berikutnya.

Simulasi berada di antara skenario dan kasus pengujian standar:

• Skenario memberi pengguna simulasi satu sasaran pengguna yang terbuka dan membiarkannya mengimprovisasi seluruh percakapan. Hal ini berguna untuk eksplorasi, tetapi percakapan dapat mengambil rute yang berbeda pada setiap eksekusi.
• Kasus pengujian golden menentukan setiap giliran pengguna. Cara ini akurat untuk pengujian regresi, tetapi kaku untuk perjalanan panjang dan tidak dapat beradaptasi dengan variasi yang valid dalam kata-kata agen.
• Simulasi mempertahankan pengguna simulasi langsung, tetapi membatasinya sesuai sasaran Anda, secara berurutan. Hal ini membuat perjalanan multi-langkah, seperti autentikasi yang diikuti dengan pencarian yang diikuti dengan update, dapat diulang tanpa melakukan hard code pada setiap giliran.

Gunakan simulasi jika:

• Perjalanan ini memiliki beberapa tahap berbeda yang harus terjadi dalam urutan yang tetap.
• Anda perlu mengonfirmasi bahwa agen mencapai status perantara, seperti berhasil memverifikasi penelepon, sebelum melakukan hal lain.
• Percakapan emas akan terlalu kaku, tetapi skenario satu sasaran tidak dapat diandalkan untuk melatih seluruh jalur.

Membuat simulasi

1. Buka tab Evaluation.
2. Klik + Add test case.
3. Pilih Simulation. Editor simulasi akan terbuka dengan satu sasaran kosong.
4. Masukkan nama kasus pengujian dan tambahkan Tag.
5. Isi User goal dan Success criteria untuk sasaran pertama, dan tetapkan Max turns to achieve.
6. Klik Tambahkan sasaran dan ulangi untuk setiap tahap perjalanan, secara berurutan. Untuk mengetahui detail setiap jenis langkah, lihat Sasaran.
7. Atau, di bagian Variable Override, klik Add overrides untuk menetapkan variabel sesi sebelum percakapan dimulai. Setelah kasus pengujian memiliki setidaknya satu penggantian, tombol berlabel akan diganti dengan tombol ikon tambahkan (+) di samping chip penggantian yang ada.
8. Atau, klik Add expectations untuk melampirkan ekspektasi tingkat percakapan yang diperiksa terhadap seluruh transkrip.
9. Klik Create.

Editor memiliki tab UI dan tab YAML, yang mengedit kasus pengujian yang sama. Untuk mengetahui detail format YAML, lihat Mengedit simulasi sebagai YAML.

Sasaran

Klik Tambahkan sasaran untuk menambahkan langkah ke simulasi. Setiap langkah adalah salah satu dari jenis berikut, yang Anda pilih dari menu jenis pada langkah:

• Sasaran pengguna: Pengguna yang disimulasikan menghasilkan ucapannya sendiri hingga kriteria keberhasilan terpenuhi. Langkah-langkah ini diberi label Sasaran di editor. Konfigurasi:
  • Sasaran pengguna: Hal yang ingin dicapai pengguna simulasi dalam langkah ini, seperti Ask for a refund on the most recent order.
  • Kriteria keberhasilan: Kondisi yang menentukan apakah langkah telah selesai, seperti Agent asks for the reason for the refund.
  • Max turns to achieve: Jumlah giliran maksimum yang diizinkan untuk langkah ini sebelum simulasi berhenti. Nilai defaultnya adalah 3.
  • Informasi pengguna: Petunjuk persona dan konteks opsional yang hanya dapat dilihat oleh pengguna simulasi, bukan oleh agen. Gunakan ini untuk memberikan detail yang akan diketahui pengguna, seperti nomor pesanan atau alasan menelepon. Untuk menambahkan kolom ini, buka menu opsi lainnya pada langkah tersebut, lalu klik Tambahkan informasi pengguna.
• Pengucapan statis: Pengguna simulasi mengirimkan teks yang sama persis dengan yang Anda berikan, tanpa pembuatan. Gunakan ini jika kata-kata yang tepat penting, misalnya saat Anda menguji cara agen menangani nomor akun alfanumerik.
• Peristiwa: Mengirim peristiwa bernama ke agen, bukan ucapan. Gunakan ini untuk mereproduksi input non-percakapan, seperti peristiwa telepon.

Langkah ucapan dan peristiwa statis diberi label Turn di editor. Seperti sasaran pengguna, sasaran ini dapat memiliki kriteria keberhasilan, tetapi tidak memiliki kolom Giliran maksimum untuk mencapai atau Informasi pengguna sendiri.

Tulis kriteria keberhasilan sebagai perilaku agen yang dapat diamati. Kriteria yang menjelaskan apa yang harus dikatakan atau dilakukan agen dinilai dengan andal; kriteria yang menjelaskan status internal yang tidak pernah muncul dalam percakapan tidak dinilai.

Cara kerja simulasi

1. Pengguna yang disimulasikan memulai pada langkah pertama.
2. Pada setiap giliran, pengguna yang disimulasikan akan menghasilkan ucapan yang hanya berfungsi untuk langkah saat ini.
3. Setelah agen merespons, langkah saat ini akan dinilai berdasarkan kriteria keberhasilannya. Jika kriteria terpenuhi, langkah tersebut akan ditandai sebagai selesai dan pengguna yang disimulasikan akan melanjutkan ke langkah berikutnya. Langkah yang telah selesai tidak akan pernah dibuka kembali.
4. Jika langkah tidak selesai dalam batas Max turns to achieve, simulasi akan berhenti. Langkah-langkah setelahnya tidak pernah dicoba.
5. Saat percakapan berakhir, transkrip akan dinilai untuk menghasilkan pembenaran tertulis untuk setiap langkah yang dicoba.

Selain batas per langkah, seluruh percakapan dibatasi pada batas keseluruhan yang sama dengan percakapan simulasi lainnya, yaitu 100 giliran. Dalam praktiknya, batas Max turns to achieve per langkah akan menghentikan simulasi terlebih dahulu.

Simulasi hanya akan lulus jika setiap langkah diselesaikan, selain kriteria lulus atau gagal lainnya yang berlaku untuk percakapan simulasi. Karena langkah-langkahnya sangat berurutan, satu langkah yang gagal akan memblokir kasus pengujian lainnya. Urutkan langkah-langkah Anda sehingga kegagalan menunjukkan dengan jelas tahap yang rusak.

Hasil simulasi

Buka hasil simulasi untuk melihat bagian sasaran yang judulnya menunjukkan jumlah langkah yang diselesaikan dari total, misalnya Goals (2/3). Bagian ini akan otomatis diperluas jika tidak semua langkah selesai. Di dalamnya terdapat satu panel yang dapat diciutkan per langkah:

• Tanda centang hijau berarti kriteria keberhasilan untuk langkah tersebut telah terpenuhi.
• Tanda X merah berarti langkah tersebut tidak selesai, baik karena kriteria tidak pernah terpenuhi atau karena langkah sebelumnya memblokirnya.

Setiap panel berisi Justifikasi yang menjelaskan dalam bahasa yang sederhana alasan langkah tersebut dianggap atau tidak dianggap selesai. Setelah operasi selesai, langkah-langkah yang belum selesai akan diperluas untuk Anda dengan menampilkan justifikasinya, dan langkah-langkah yang telah selesai akan diciutkan. Langkah yang tidak pernah dicoba akan dibenarkan dengan pesan yang menyebutkan teks sasaran yang memblokirnya.

Panel Conversation di bawah sasaran berisi transkrip simulasi lengkap, sehingga Anda dapat memutar ulang persis apa yang dikatakan pengguna simulasi dan cara agen merespons.

Jika operasi berakhir dengan error, kartu di bagian atas hasil akan menampilkan pesan error. Jika eksekusi selesai, tetapi langkah Static utterance tidak selesai, kartu tersebut akan mengulangi justifikasi langkah pertama tersebut. Karena langkah ucapan dan peristiwa statis diberi label Turn di editor, periksa bagian sasaran untuk melihat langkah yang dirujuk kartu. Langkah Sasaran pengguna dan Peristiwa yang belum selesai hanya dilaporkan di bagian sasaran.

Mengedit simulasi sebagai YAML

Di editor simulasi, klik tab YAML untuk mengedit kasus pengujian sebagai YAML. Daftar sasaran dinyatakan sebagai steps, dan setiap langkah dipetakan ke kolom yang dijelaskan dalam Sasaran:

evals:
  - name: "billing_refund_request"
    tags:
      - "billing"
    session_parameters:
      product_id: "prod_123"
    steps:
      - goal: "Greet the agent and ask for a refund for product_id."
        success_criteria: "Agent asks for the reason for the refund."
        max_turns: 3
      - goal: "Provide the reason and insist on the refund."
        success_criteria: "Agent agrees to process the refund or escalates."
      - static_utterance: "I want to check my balance."

Kunci YAML	Kolom konsol
name	Nama kasus pengujian
tags	Tag
session_parameters	Penggantian Variabel
goal	Sasaran pengguna
success_criteria	Kriteria sukses
max_turns	Giliran maksimum untuk mencapai
response_guide	Informasi pengguna
static_utterance	Langkah ucapan statis
event	Langkah peristiwa
expectations	Ekspektasi

Editor memvalidasi YAML saat Anda mengetik, dan menerapkan aturan berikut:

• Dokumen harus berisi daftar evals, dan editor hanya membaca entri pertama dalam daftar tersebut.
• Setiap entri harus memiliki name dan minimal satu langkah.
• Setiap langkah harus memiliki setidaknya salah satu dari goal, static_utterance, atau event.
• Setiap kunci di session_parameters harus berupa variabel yang dideklarasikan dalam aplikasi agen.
• Setiap string di expectations harus berupa teks perintah dari ekspektasi yang sudah ada di aplikasi agen. Pencocokan mengabaikan huruf besar/kecil dan spasi kosong di sekitarnya. Untuk membuat ekspektasi, gunakan Tambahkan ekspektasi di tab UI, lalu referensikan perintahnya di sini.
• Kunci yang tidak dikenal dalam entri daftar evals akan ditolak.

Keemasan

Kasus pengujian ini digunakan untuk menentukan jalur percakapan yang ideal untuk pengujian regresi sehingga jalur percakapan inti yang penting tidak rusak saat Anda mengupdate agen. Ada beberapa opsi untuk membuat percakapan emas:

Untuk mengimpor percakapan dari simulator:

1. Mulai percakapan menggunakan simulator.
2. Klik tiga titik vertikal di sudut kanan atas simulator untuk memunculkan menu simulator.
3. Klik Save as golden.
4. Masukkan nama untuk kasus pengujian golden, lalu klik Save. Sekarang, set data tersebut akan muncul di tab Evaluation.

Untuk membuat kasus pengujian dari histori percakapan:

1. Buka tab Evaluation.
2. Klik + Add test case.
3. Pilih Golden.
4. Klik Berikutnya.
5. Klik pilih dari histori percakapan.
6. Di jendela yang muncul, pilih percakapan yang ingin Anda simpan sebagai kasus pengujian golden. Anda memiliki opsi untuk menelusuri berdasarkan ID percakapan.
7. Jika Anda telah mengaktifkan penyuntingan, periksa respons dan variabel agen untuk penyuntingan sebelum melanjutkan dengan informasi yang tidak ada.
8. Klik Tambahkan.

Untuk membuat Kasus Pengujian dari awal:

1. Buka tab Evaluation.
2. Klik + Add test case.
3. Pilih Golden.
4. Klik Berikutnya.
5. Klik Buat dari awal.
6. Di jendela yang muncul, tambahkan Display name untuk kasus pengujian.
7. Tambahkan teks untuk input pengguna dan ekspektasi agen sesuai kebutuhan. Klik + Add user input dan + Add agent expectation untuk menambahkan respons. Klik + Add turn untuk menambahkan giliran percakapan baru ke kasus pengujian.
8. Klik Create untuk menambahkan kasus pengujian golden ke daftar kasus pengujian Anda.

Untuk membuat kasus pengujian dari percakapan simulasi dalam kasus pengujian skenario:

1. Buka halaman hasil operasi evaluasi.
2. Klik ikon menu (tiga titik vertikal) di sebelah kanan percakapan yang Anda pilih, lalu klik Save as golden conversation.

Untuk mengupload banyak kasus pengujian dari file:

Untuk mengetahui detail tentang format file dan template CSV, lihat halaman Format CSV kasus pengujian golden.

Ekspektasi Keemasan

Untuk melakukan evaluasi, Anda menentukan ekspektasi untuk kasus pengujian golden. Ekspektasi adalah hasil spesifik yang Anda harapkan dari agen pada titik tertentu dalam percakapan. Selama evaluasi, perilaku agen yang sebenarnya dibandingkan dengan ekspektasi ini.

Ekspektasi dapat berupa salah satu jenis berikut:

• Message: Respons teks yang diharapkan dari agen kepada pengguna akhir. Evaluasi akan memeriksa apakah respons agen cocok secara semantik dengan ekspektasi ini.
• Panggilan alat: Ekspektasi bahwa agen memanggil alat dan respons tertentu. Anda juga dapat menentukan argumen input yang diharapkan untuk panggilan alat.
• Pengalihan Agen: Ekspektasi bahwa agen akan mengalihkan percakapan ke agen manusia atau bot lain.

Catatan: Dalam mode replay stabil, variabel dan respons alat yang diharapkan digunakan untuk memasukkan konteks ke dalam percakapan. Dalam mode replay naif, nilai ini tidak berpengaruh pada hasilnya.

Untuk membuat ekspektasi:

1. Klik kasus pengujian golden tertentu untuk membuka detailnya.
2. Di bagian Details, klik View golden.
3. Ikuti petunjuk antarmuka untuk menambahkan atau mengubah ekspektasi.

Setelan evaluasi

Di baris judul daftar kasus pengujian, Anda dapat mengonfigurasi setelan evaluasi:

• Goldens:
  • Kriteria lulus/gagal emas: Tetapkan logika untuk menentukan apakah percakapan simulasi lulus atau gagal.
  • Tingkat giliran: Aturan ini menilai setiap giliran. Jika salah satu nilai minimum ini tidak terpenuhi, metrik tertentu akan diberi kode warna merah sebagai kegagalan.
    • Kemiripan semantik: Nilai minimum untuk kemiripan semantik.
    • Ketepatan alat: Nilai minimum untuk ketepatan alat.
    • Halusinasi: Jika dinonaktifkan, halusinasi akan dikecualikan dari lulus/gagal.
  • Tingkat ekspektasi: Aturan ini menilai ekspektasi dalam satu giliran. Jika salah satu nilai minimum ini tidak terpenuhi, metrik tertentu akan diberi kode warna merah sebagai kegagalan.
    • Ketepatan alat: Nilai minimum untuk ketepatan alat.
  • Metode golden run: Pilih antara validasi replay naive atau stabil.
  • Pemalsuan alat: Gunakan data tiruan, bukan panggilan API produksi yang sebenarnya.
• Scenarios:
  • Kriteria lulus/gagal skenario: Tetapkan logika untuk menentukan apakah percakapan yang disimulasikan lulus atau gagal.
  • Inisiator percakapan: Tetapkan siapa yang memulai percakapan, pengguna atau model.
  • Pemalsuan alat: Gunakan data tiruan, bukan panggilan API produksi yang sebenarnya.
• Evaluasi audio
  • Rekaman evaluasi audio

Menjalankan evaluasi

Untuk menjalankan evaluasi, Anda dapat mengklik tombol jalankan di baris kasus pengujian, atau memilih beberapa kasus pengujian dan menjalankannya.

Jika telah menyimpan beberapa versi, Anda dapat memilih versi agen yang akan digunakan, atau otomatis menyimpan draf agen sebagai versi baru untuk dijalankan.

Setelah evaluasi dijalankan, metrik akan diperbarui dan hasilnya akan ditampilkan.

Jika mengklik evaluasi operasi tertentu, Anda dapat melihat hasil mendetail untuk operasi tersebut. Selain metrik standar, berikut ini yang ditampilkan:

• Giliran yang gagal
• Daftar semua detail giliran yang diberi nomor halaman, yang mencakup respons agen yang sebenarnya dan yang diharapkan.

Untuk kasus pengujian golden, Anda mungkin melihat istilah "pemutaran ulang stabil" yang mengklarifikasi bahwa pengujian dijalankan di lingkungan yang konsisten (yaitu tanpa mengubah konteks/ input).

Untuk kasus pengujian simulasi, hasilnya menunjukkan hasil dari setiap sasaran, bukan perbandingan langkah demi langkah dengan respons yang diharapkan. Untuk mengetahui detailnya, lihat Hasil simulasi.

Menggunakan AI untuk meningkatkan kualitas kasus pengujian (PRATINJAU)

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Saat ini, peningkatan AI hanya mendukung aplikasi agen dengan satu agen.

Anda dapat menggunakan AI untuk membantu memecahkan masalah eksekusi dan menyarankan cara untuk meningkatkan kualitas agen. Saran AI akan optimal jika jumlah operasi (jumlah operasi) adalah 3 atau lebih. Untuk mengaktifkan AI, pilih kasus pengujian yang ingin Anda evaluasi, lalu klik Run selected. Di jendela yang muncul, centang kotak di samping Find issues with AI.

Setelah proses selesai, Anda akan melihat saran berbasis AI di halaman hasil. Gemini otomatis membuat loss_report yang dapat didownload, yang merangkum aspek performa agen dan menyoroti area yang dapat ditingkatkan.

Semua pengguna dapat melihat perbaikan yang disarankan AI, tetapi hanya orang yang memulai eksekusi yang dapat mengambil tindakan berdasarkan hasilnya.

Klik Minta Gemini untuk berinteraksi dengan agen bantuan. Anda akan melihat laporan kerugian terlebih dahulu yang menjelaskan masalah tingkat tinggi pada model atau agen. Anda dapat meminta agen helper untuk menjelaskan laporan, yang akan meringkas laporan dan mungkin menyarankan perbaikan. Setelah perbaikan diterapkan, Anda dapat meminta agen bantuan menjalankan evaluasi lagi.

Mengimpor dan mengekspor

Anda dapat mengimpor dan mengekspor kasus pengujian, operasi, dan hasil evaluasi dalam format YAML atau JSON. Saat Anda mengimpor, pastikan agen penerima berisi semua resource (alat, variabel, dan sub-agen) yang ditentukan dalam data yang diekspor.

Untuk mengekspor kasus pengujian:

1. Pilih satu atau beberapa kasus pengujian.
2. Klik Export test cases.
3. Pilih format.
4. File ZIP akan didownload.

Untuk mengimpor kasus pengujian:

1. Klik + Add test case.
2. Pilih Golden.
3. Klik Berikutnya.
4. Upload file ZIP.
5. Jika ada konflik dengan impor, Anda akan dipandu untuk menanganinya.
6. Klik Create.

Untuk mengekspor operasi dan hasil evaluasi:

1. Pilih satu atau beberapa operasi evaluasi.
2. Klik Export run.
3. Pilih format.
4. File ZIP akan didownload.

Metrik

Setiap hasil kasus pengujian mencakup serangkaian metrik yang mengukur performa agen terhadap kasus pengujian yang Anda pilih. Metrik dihitung pada tingkat giliran atau tingkat ekspektasi (percakapan) seperti yang ditunjukkan di konsol.

Dalam semua kasus, Anda dapat menyesuaikan nilai yang diperlukan untuk lulus pengujian di menu Settings di tab Evaluate.

Catatan: Kasus pengujian Simulasi dijalankan oleh pipeline pengguna simulasi yang sama dengan skenario, sehingga setiap metrik yang dihitung untuk skenario juga dihitung untuk simulasi. Penerapan setiap metrik disebutkan di bawah.

Ketepatan alat

Dihitung untuk kasus pengujian golden, skenario, dan simulasi. Metrik ini mencerminkan persentase parameter yang diharapkan yang cocok, dengan mempertimbangkan panggilan alat yang diharapkan dan nilai parameter yang diharapkan. Panggilan alat yang terlewat diberi skor 0, panggilan alat tanpa parameter input diberi skor 1 jika ada. Jika panggilan alat yang tidak terduga dilakukan selama evaluasi golden, hasilnya akan dianggap sebagai kegagalan, tetapi hal ini tidak berdampak pada nilai kebenaran alat.

Kepuasan sasaran pengguna

Dihitung untuk kasus pengujian skenario dan simulasi. Kepuasan sasaran pengguna adalah metrik biner yang dirancang untuk evaluasi simulasi pengguna. Metrik ini mengukur apakah pengguna yang disimulasikan yakin bahwa sasaran mereka tercapai (0=tidak, 1=ya). Inputnya adalah user_goal seperti yang ditentukan oleh konfigurasi pengguna yang disimulasikan dan transkrip percakapan. Jika user_goal yang diberikan tidak menentukan sasaran eksplisit atau tersirat, skor outputnya adalah -1.

Simulasi tidak memiliki kolom terpisah untuk sasaran pengguna secara keseluruhan, sehingga metrik ini dinilai berdasarkan Nama kasus pengujian. Beri nama simulasi yang menjelaskan apa yang ingin dicapai pengguna secara keseluruhan.

Ini bukan satu-satunya sinyal tingkat percakapan untuk simulasi. Simulasi juga dapat membawa ekspektasi, yang diperiksa terhadap seluruh transkrip dan dilaporkan di bagian Expectations pada hasil. Ini adalah ekspektasi yang sama dengan yang digunakan skenario; lihat Ekspektasi skenario. Hasil per langkah dilaporkan oleh Sasaran tercapai.

Sasaran tercapai

Hanya dilaporkan untuk simulasi. Alih-alih satu skor untuk percakapan, setiap langkah dalam simulasi dilaporkan satu per satu sebagai selesai atau tidak selesai, beserta justifikasi yang menjelaskan hasilnya. Konsol merangkumnya di judul bagian sasaran sebagai jumlah langkah yang diselesaikan dari total, misalnya Goals (2/3). Jumlah ini mencakup setiap langkah dalam simulasi, termasuk langkah ucapan statis dan peristiwa.

Karena langkah-langkah dicoba secara berurutan, langkah pertama yang tidak selesai adalah penyebab kegagalan, dan langkah-langkah setelahnya tidak pernah dicoba.

Halusinasi

Tersedia untuk kasus pengujian golden dan skenario. Skor halusinasi dihitung untuk setiap giliran yang dihasilkan. Metrik ini mencerminkan apakah agen membuat klaim yang tidak dibenarkan oleh konteks agen (0=tidak, 1=ya). Konteks terdiri dari giliran sebelumnya dalam percakapan, variabel sesi, panggilan alat, dan petunjuk agen. Metrik ini hanya dihitung untuk giliran yang berisi panggilan alat. Fitur ini tidak mendeteksi halusinasi dalam panggilan alat; panggilan alat yang diberikan sebagai konteks dianggap benar. Untuk meminimalkan positif palsu, metrik ini mungkin menampilkan skor T/A jika respons tidak berisi klaim faktual atau hanya berisi pengetahuan umum yang sudah ada.

Anda dapat mengaktifkan dan menonaktifkan halusinasi di setelan evaluasi.

Pencocokan semantik

Dihitung hanya untuk kasus pengujian golden; tidak dihitung untuk kasus pengujian skenario atau simulasi. Metrik ini mengukur sejauh mana pernyataan agen yang diamati cocok dengan pernyataan agen yang diharapkan. Kecocokan semantik dihitung di tingkat giliran. Nilai yang ditampilkan berkisar dari 0 (sama sekali tidak konsisten atau kontradiktif) hingga 4 (sepenuhnya konsisten).

Ekspektasi skenario

Dihitung untuk kasus pengujian skenario dan simulasi. Metrik ini adalah ukuran apakah perilaku agen seperti yang diharapkan oleh pengguna yang disimulasikan memuaskan atau tidak (0=tidak, 1=ya). Dua jenis ekspektasi pengguna yang disimulasikan didukung:

• Ekspektasi panggilan alat: Dihitung mirip dengan kebenaran panggilan alat dengan pengecualian berikut:
  • Hasilnya adalah 0 (tidak) atau 1 (ya).
  • Panggilan alat yang tidak terduga tidak akan dikenai penalti. Ekspektasi dimaksudkan untuk menentukan serangkaian panggilan alat yang penting agar percakapan dapat memenuhi ekspektasi pengguna yang disimulasikan.
  • Jika ekspektasi input panggilan alat terpenuhi, panggilan akan dicegat dan diganti dengan nilai hasil tiruan saat runtime.
• Ekspektasi respons agen: Memeriksa apakah ada respons agen dalam percakapan yang berisi string yang diharapkan.

Penyelesaian tugas

Dihitung untuk kasus pengujian skenario dan simulasi. Penyelesaian tugas adalah ukuran kualitas percakapan. Metrik ini mengukur apakah sasaran pengguna tercapai ATAU TIDAK DAN apakah perilaku agen sudah benar. Hal ini didefinisikan sebagai:

User_Goal_Satisfied AND no_hallucinations_detected AND Expectations Satisfied

Untuk simulasi, ada persyaratan keempat: setiap langkah dalam simulasi juga harus diselesaikan. Penyelesaian tugas adalah hal yang dilaporkan konsol sebagai status lulus atau gagal secara keseluruhan dari hasil kasus pengujian.

Persona

Persona adalah persona pengguna simulasi yang dapat Anda sesuaikan dan gunakan untuk pengujian agen dengan kasus pengujian skenario dan simulasi. Fitur ini berguna untuk memastikan bahwa agen berinteraksi dengan tepat dengan jenis pengguna manusia yang mungkin mereka temui saat runtime.

Jika Anda tidak memilih persona, persona acak akan dipilih untuk setiap hasil skenario.

Fitur ini tersedia untuk digunakan dengan input teks dan audio.

Membuat persona

1. Untuk membuat persona, buka tab Evaluate, lalu klik Persona management (di samping ikon Setelan).
2. Klik + Tambahkan persona.
3. Di menu yang muncul, masukkan Name, User personality, dan User context tambahan (seperti usia, lokasi, alasan mereka menelepon, dan sebagainya).
4. Klik + Tambahkan.

Untuk menjalankan evaluasi menggunakan persona:

1. Kembali ke halaman utama Evaluate dan pilih satu atau beberapa kasus pengujian skenario atau simulasi. Klik Run selected.
2. Di jendela yang muncul, pilih persona yang baru saja Anda buat dari menu drop-down Personas, lalu klik Run.

Praktik terbaik evaluasi dan hillclimbing

Saat membangun agen baru menggunakan komponen modular, buat kasus pengujian khusus untuk setiap varian agen yang Anda miliki, misalnya:

• Suara dan chat
• SDK SMS dan chat
• Merek A, B, dan C, dan seterusnya

Buat kasus tambahan untuk memeriksa kebocoran instruksi lintas varian. Misalnya, petunjuk khusus chat tidak boleh muncul untuk kasus yang dijalankan dalam mode suara, dan sebaliknya.

Pastikan kasus dijalankan terhadap agen yang tepat:

• Untuk modalitas (chat vs suara) atau saluran, menjalankan kasus terhadap deployment yang tepat akan otomatis memastikan keselarasan.
• Setiap deployment mencakup modalitas, model yang digunakan, dan saluran.
• Untuk kondisional variabel yang ditentukan builder, masukkan nilai variabel saat menjalankan kasus. Misalnya: brand_name == "Cymbal Retail" atau brand_name == "Acme Corp".

Minta agen coding favorit Anda untuk meningkatkan kualitas agen CX Agent Studio secara iteratif hingga semua kasus pengujian memenuhi metrik targetnya atau sasaran kualitas lainnya.

• Minta agen coding Anda untuk merekonsiliasi perubahan yang disarankan dari berbagai kasus pengujian yang memengaruhi petunjuk agen yang sama. Perintahkan agen untuk menandai konflik yang rumit untuk ditinjau secara manual, sehingga Anda dapat memberikan masukan yang bernuansa jika diperlukan.
• Minta agen coding Anda membuat perbedaan berdampingan dari semua varian agen untuk perubahan yang dibuat. Hal ini membantu memahami dan memvalidasi perbaikan yang dipilihnya.
• Lakukan iterasi sesuai kebutuhan. Sifat spesifik dari iterasi ini akan bergantung pada desain agen CX Agent Studio, desain agen coding, model yang digunakan, dan framing percakapan Anda.
• Pastikan hasil agen coding akurat dengan memvalidasi sampel transkrip dan hasil yang sebenarnya secara manual.
• Perintahkan agen coding Anda untuk menemukan skenario yang tidak ada dari latihan hillclimbing dan menyarankan kasus baru jika ada. Lanjutkan iterasi sesuai kebutuhan.