Resource: EvaluationMatcher
Pencocok evaluasi.
| Representasi JSON |
|---|
{ "name": string, "displayName": string, "description": string, // Union field |
| Kolom | |
|---|---|
name |
ID. Nama resource pencocok evaluasi. |
displayName |
Wajib. Nama pencocok evaluasi yang dapat dibaca manusia. |
description |
Opsional. Deskripsi pencocok evaluasi. |
Kolom union matcher. Matcher yang akan digunakan untuk matcher evaluasi. Matcher harus menghasilkan hasil boolean yang menunjukkan apakah matcher evaluasi lulus atau tidak. matcher hanya ada berupa salah satu diantara berikut: |
|
orderResultMatcher |
Opsional. Pencocok evaluasi untuk hasil pesanan. |
agentUtteranceStringMatcher |
Opsional. Matcher evaluasi untuk string ucapan agen. |
llmJudgementMatcher |
Opsional. Pencocok evaluasi yang menggunakan penilaian LLM. |
OrderResultMatcher
Pencocok evaluasi untuk hasil pesanan.
| Representasi JSON |
|---|
{
"expectedOrder": {
object ( |
| Kolom | |
|---|---|
expectedOrder |
Wajib. Urutan yang diharapkan untuk dicocokkan. Urutan sebenarnya harus cocok dengan urutan yang diharapkan ini setelah normalisasi. Evaluasi akan lulus jika semua kolom dan jumlahnya cocok. Jumlah default 1 diabaikan selama perbandingan untuk menangani penghilangan kolom secara konsisten. |
expectedLegacyOrder |
Opsional. Status pesanan lama yang diharapkan untuk dicocokkan. Digunakan saat konteks evaluasi memiliki useLegacyOrderState yang ditetapkan ke true. |
AgentUtteranceStringMatcher
Matcher evaluasi untuk string ucapan agen.
| Representasi JSON |
|---|
{ "invert": boolean, // Union field |
| Kolom | |
|---|---|
invert |
Opsional. Jika benar, kondisi pencocokan akan dibalik (misalnya, "tidak berisi" atau "tidak cocok"). |
Kolom union
|
|
contains |
Opsional. Respons agen harus berisi substring ini. |
regex |
Opsional. Ucapan agen harus cocok dengan ekspresi reguler ini. |
LLMJudgementMatcher
Matcher evaluasi yang menggunakan penilaian LLM dengan perintah berikut: "Anda adalah asisten yang sigap membantu pengguna memesan makanan di restoran. Anda akan diberikan input pengguna dan respons agen. Tugas Anda adalah menentukan apakah respons agen memenuhi kriteria berikut: {criteria}"
| Representasi JSON |
|---|
{ "criteria": string, "invert": boolean } |
| Kolom | |
|---|---|
criteria |
Wajib. Kriteria yang harus dipertimbangkan LLM untuk menentukan apakah respons agen lulus pemeriksaan. |
invert |
Opsional. Jika benar, kondisi pencocokan akan dibalik (misalnya, "tidak berisi"). |
Metode |
|
|---|---|
|
Membuat EvaluationMatcher. |
|
Menghapus EvaluationMatcher yang ditentukan. |
|
Mendapatkan EvaluationMatcher. |
|
Mencantumkan EvaluationMatchers. |
|
Memperbarui EvaluationMatcher yang ditentukan. |