- Representasi JSON
- EvaluationMetricsConfig.HallucinationMetricsConfig
- EvaluationMetricsConfig.ComparisonType
Mewakili satu persyaratan yang dapat dicentang.
| Representasi JSON |
|---|
{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object ( |
| Kolom | |
|---|---|
note |
Opsional. Catatan untuk persyaratan ini, berguna dalam pelaporan saat pemeriksaan tertentu gagal. Misalnya, "Check_Payment_Tool_Called". |
skipEvaluation |
Opsional. Jika disetel ke benar (true), ekspektasi khusus ini tidak akan dievaluasi. |
expectationLevelMetricsThresholdsOverride |
Opsional. Mengganti metrik di tingkat langkah. |
agentResponseSemanticSimilarityMetricsConfigOverride |
Opsional. Penggantian untuk metrik kemiripan semantik agentResponse. |
agentResponseHallucinationMetricsConfigOverride |
Opsional. Penggantian untuk metrik halusinasi agentResponse. |
comparisonType |
Opsional. Jenis perbandingan yang akan digunakan untuk pemeriksaan ekspektasi. |
| Pemeriksaan sebenarnya yang akan dilakukan. Berikut adalah daftar kolom yang bersifat eksklusif satu sama lain. Maksimal satu kolom akan ditetapkan dalam respons: | |
toolCall |
Opsional. Periksa apakah alat tertentu dipanggil dengan parameter. |
toolResponse |
Opsional. Periksa apakah alat tertentu memberikan respons yang diharapkan. |
agentResponse |
Opsional. Periksa apakah agen merespons dengan respons yang benar. Peran "agen" tersirat. |
agentTransfer |
Opsional. Periksa apakah agen mengalihkan percakapan ke agen lain. |
updatedVariables |
Opsional. Pastikan agen memperbarui variabel sesi ke nilai yang diharapkan. Juga digunakan untuk merekam pembaruan variabel agen untuk evaluasi emas. |
mockToolResponse |
Opsional. Respons alat yang akan di-mock, dengan parameter yang diinginkan ditentukan. Parameter apa pun yang tidak ditentukan akan dihalusinasi oleh LLM. |
noToolCalls |
Opsional. Periksa apakah tidak ada alat yang dipanggil selama giliran ini. |
| Akhir kolom yang saling eksklusif. | |
EvaluationMetricsConfig.HallucinationMetricsConfig
Konfigurasi untuk metrik halusinasi untuk evaluasi. Untuk menonaktifkan metrik, tetapkan pesan, tetapi jangan tetapkan kolom enableHallucinationMetrics ke benar (atau tetapkan secara eksplisit ke salah). Untuk membatalkan setelan konfigurasi dan kembali ke perilaku default, hapus pesan sepenuhnya.
| Representasi JSON |
|---|
{ "enableHallucinationMetrics": boolean } |
| Kolom | |
|---|---|
enableHallucinationMetrics |
Opsional. Apakah akan menghitung metrik halusinasi untuk evaluasi. |
EvaluationMetricsConfig.ComparisonType
Jenis perbandingan yang didukung untuk memeriksa respons agen.
| Enum | |
|---|---|
COMPARISON_TYPE_UNSPECIFIED |
Jenis perbandingan tidak ditentukan. Perilaku default adalah SEMANTIC_SIMILARITY untuk respons agen dan panggilan alat. |
EQUALS |
Pencocokan string persis. |
CONTAINS |
Pencocokan substring (memeriksa apakah string yang diharapkan terdapat dalam respons sebenarnya). |
SEMANTIC_SIMILARITY |
Kecocokan kemiripan semantik (mengevaluasi kemiripan makna menggunakan LLM). |