Alat: get_evaluation_result
Mendapatkan detail hasil evaluasi yang ditentukan.
Contoh kode berikut menunjukkan cara menggunakan curl untuk memanggil alat MCP get_evaluation_result.
| Permintaan Curl |
|---|
curl --location 'https://ces.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "get_evaluation_result", "arguments": { // Provide these details according to the MCP tool specification. } }, "jsonrpc": "2.0", "id": 1 }' |
Skema Input
Pesan permintaan untuk EvaluationService.GetEvaluationResult.
GetEvaluationResultRequest
| Representasi JSON |
|---|
{ "name": string } |
| Kolom | |
|---|---|
name |
Wajib. Nama resource hasil evaluasi yang akan diambil. |
Skema Output
Hasil evaluasi mewakili output dari menjalankan Evaluasi.
EvaluationResult
| Representasi JSON |
|---|
{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum ( |
| Kolom | |
|---|---|
name |
ID. ID unik hasil evaluasi. Format: |
displayName |
Wajib. Nama tampilan Hasil Evaluasi. Unik dalam Evaluasi. Secara default, formatnya adalah: " |
createTime |
Hanya output. Stempel waktu saat hasil evaluasi dibuat. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: |
evaluationStatus |
Hanya output. Hasil evaluasi. Hanya diisi jika execution_state adalah COMPLETE. |
evaluationRun |
Hanya output. Proses evaluasi yang menghasilkan hasil ini. Format: |
persona |
Hanya output. Persona yang digunakan untuk membuat percakapan untuk hasil evaluasi. |
errorInfo |
Hanya output. Informasi error untuk hasil evaluasi. |
error |
Hanya output. Tidak digunakan lagi: Gunakan |
initiatedBy |
Hanya output. Pengguna yang memulai eksekusi evaluasi yang menghasilkan hasil ini. |
appVersion |
Hanya output. Versi aplikasi yang digunakan untuk membuat percakapan yang menghasilkan hasil ini. Format: |
appVersionDisplayName |
Hanya output. Nama tampilan |
changelog |
Hanya output. Log perubahan versi aplikasi yang dievaluasi. Ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf. |
changelogCreateTime |
Hanya output. Waktu pembuatan changelog versi aplikasi yang dievaluasi. Ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: |
executionState |
Hanya output. Status eksekusi hasil evaluasi. |
evaluationMetricsThresholds |
Hanya output. Nilai minimum evaluasi untuk hasil. |
config |
Hanya output. Konfigurasi yang digunakan dalam operasi evaluasi yang menghasilkan hasil ini. |
goldenRunMethod |
Hanya output. Metode yang digunakan untuk menjalankan evaluasi golden. |
rootSpan |
Hanya output. Span root eksekusi evaluasi, yang mencakup informasi tentang setiap langkah evaluasi. |
outcomeMetadata |
Hanya output. Metadata hasil evaluasi. Hanya diisi jika execution_state adalah COMPLETE. |
Kolom union result. Hasil evaluasi. Hanya diisi jika execution_state adalah COMPLETED. result hanya ada berupa salah satu diantara berikut: |
|
goldenResult |
Hanya output. Hasil evaluasi golden. |
scenarioResult |
Hanya output. Hasil evaluasi skenario. |
GoldenResult
| Representasi JSON |
|---|
{ "turnReplayResults": [ { object ( |
| Kolom | |
|---|---|
turnReplayResults[] |
Hanya output. Hasil dari menjalankan setiap giliran percakapan emas. |
evaluationExpectationResults[] |
Hanya output. Hasil ekspektasi evaluasi. |
TurnReplayResult
| Representasi JSON |
|---|
{ "conversation": string, "expectationOutcome": [ { object ( |
| Kolom | |
|---|---|
conversation |
Hanya output. Percakapan yang dibuat untuk giliran ini. |
expectationOutcome[] |
Hanya output. Hasil dari setiap ekspektasi. |
hallucinationResult |
Hanya output. Hasil pemeriksaan halusinasi. |
toolInvocationScore |
Hanya output. Tidak digunakan lagi. Gunakan OverallToolInvocationResult. |
turnLatency |
Hanya output. Durasi belokan. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan ' |
toolCallLatencies[] |
Hanya output. Latensi setiap panggilan alat dalam giliran. |
semanticSimilarityResult |
Hanya output. Hasil pemeriksaan kemiripan semantik. |
overallToolInvocationResult |
Hanya output. Hasil pemeriksaan pemanggilan alat secara keseluruhan. |
errorInfo |
Hanya output. Informasi tentang error yang terjadi selama giliran ini. |
spanLatencies[] |
Hanya output. Latensi span dalam giliran. |
Kolom union
|
|
toolOrderedInvocationScore |
Hanya output. Skor pemanggilan alat yang diurutkan secara keseluruhan untuk giliran ini. Ini menunjukkan persentase keseluruhan alat dari giliran yang diharapkan yang benar-benar dipanggil dalam urutan yang diharapkan. |
GoldenExpectationOutcome
| Representasi JSON |
|---|
{ "expectation": { object ( |
| Kolom | |
|---|---|
expectation |
Hanya output. Ekspektasi yang dievaluasi. |
outcome |
Hanya output. Hasil dari ekspektasi. |
semanticSimilarityResult |
Hanya output. Hasil pemeriksaan kemiripan semantik. |
toolInvocationResult |
Hanya output. Hasil pemeriksaan pemanggilan alat. |
Kolom union result. Hasil ekspektasi. result hanya ada berupa salah satu diantara berikut: |
|
observedToolCall |
Hanya output. Hasil ekspektasi panggilan alat. |
observedToolResponse |
Hanya output. Hasil ekspektasi respons alat. |
observedAgentResponse |
Hanya output. Hasil ekspektasi respons agen. |
observedAgentTransfer |
Hanya output. Hasil ekspektasi transfer agen. |
observedPayload |
Hanya output. Payload kustom yang diamati. Tidak ada ekspektasi untuk payload kustom. Data ini hanya digunakan untuk penghitungan metrik. Hasilnya selalu SKIPPED. |
ToolCall
| Representasi JSON |
|---|
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field |
| Kolom | |
|---|---|
id |
Opsional. ID unik panggilan alat. Jika diisi, klien harus menampilkan hasil eksekusi dengan ID yang cocok di |
displayName |
Hanya output. Nama tampilan alat. |
args |
Opsional. Parameter dan nilai input untuk alat dalam format objek JSON. |
parentToolCallId |
Hanya output. ID panggilan alat yang menyebabkan panggilan ini, saat dikeluarkan oleh sub-agen yang bekerja atas nama panggilan induk. Kosong untuk panggilan tingkat teratas. Memungkinkan klien mengelompokkan pekerjaan sub-agen di bawah panggilan yang memulainya, bukan merender setiap langkah sebagai sibling. |
agentName |
Hanya output. Nama agen yang dapat dibaca manusia yang mengeluarkan panggilan ini, misalnya "Contract Architect". Kosong saat agen root mengeluarkannya. |
targetApp |
Hanya output. Aplikasi yang ditargetkan oleh panggilan ini, yang diperoleh asisten dari argumen resource panggilan: nama resource aplikasi, |
Kolom union tool_identifier. ID alat yang akan dieksekusi. Alat ini dapat berupa alat yang dipertahankan atau alat dari toolset. tool_identifier hanya ada berupa salah satu diantara berikut: |
|
tool |
Opsional. Nama alat yang akan dieksekusi. Format: |
toolsetTool |
Opsional. Alat toolset yang akan dijalankan. |
ToolsetTool
| Representasi JSON |
|---|
{ "toolset": string, "toolId": string } |
| Kolom | |
|---|---|
toolset |
Wajib. Nama resource Toolset yang menjadi asal alat ini. Format: |
toolId |
Opsional. ID alat untuk memfilter alat yang akan diambil skemanya. |
Struct
| Representasi JSON |
|---|
{ "fields": { string: value, ... } } |
| Kolom | |
|---|---|
fields |
Peta nilai yang diketik secara dinamis dan tidak diurutkan. Objek yang berisi daftar pasangan |
FieldsEntry
| Representasi JSON |
|---|
{ "key": string, "value": value } |
| Kolom | |
|---|---|
key |
|
value |
|
Nilai
| Representasi JSON |
|---|
{ // Union field |
| Kolom | |
|---|---|
Kolom union kind. Jenis nilai. kind hanya ada berupa salah satu diantara berikut: |
|
nullValue |
Merepresentasikan |
numberValue |
Merepresentasikan angka JSON. Tidak boleh |
stringValue |
Mewakili string JSON. |
boolValue |
Merepresentasikan boolean JSON (literal |
structValue |
Mewakili objek JSON. |
listValue |
Mewakili array JSON. |
ListValue
| Representasi JSON |
|---|
{ "values": [ value ] } |
| Kolom | |
|---|---|
values[] |
Kolom berulang dari nilai yang diketik secara dinamis. |
ToolResponse
| Representasi JSON |
|---|
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field |
| Kolom | |
|---|---|
id |
Opsional. ID kecocokan |
displayName |
Hanya output. Nama tampilan alat. |
response |
Wajib. Hasil eksekusi alat dalam format objek JSON. Gunakan kunci "output" untuk menentukan respons alat dan kunci "error" untuk menentukan detail error (jika ada). Jika kunci "output" dan "error" tidak ditentukan, seluruh "respons" akan diperlakukan sebagai hasil eksekusi alat. |
parentToolCallId |
Hanya output. ID panggilan alat yang menyebabkan panggilan ini, saat dikeluarkan oleh sub-agen yang bekerja atas nama panggilan induk. Kosong untuk panggilan tingkat teratas. Memungkinkan klien mengelompokkan pekerjaan sub-agen di bawah panggilan yang memulainya, bukan merender setiap langkah sebagai sibling. |
agentName |
Hanya output. Nama agen yang dapat dibaca manusia yang mengeluarkan panggilan ini, misalnya "Contract Architect". Kosong saat agen root mengeluarkannya. |
targetApp |
Hanya output. Aplikasi yang ditargetkan oleh alat yang dieksekusi; mencerminkan |
Kolom union tool_identifier. ID alat yang dieksekusi. Alat ini dapat berupa alat yang dipertahankan atau alat dari toolset. tool_identifier hanya ada berupa salah satu diantara berikut: |
|
tool |
Opsional. Nama alat yang akan dieksekusi. Format: |
toolsetTool |
Opsional. Alat toolset yang dijalankan. |
Pesan
| Representasi JSON |
|---|
{
"role": string,
"chunks": [
{
object ( |
| Kolom | |
|---|---|
role |
Opsional. Peran dalam percakapan, misalnya, pengguna, agen. |
chunks[] |
Opsional. Konten pesan sebagai serangkaian potongan. |
eventTime |
Opsional. Stempel waktu saat pesan dikirim atau diterima. Tidak boleh digunakan jika pesan adalah bagian dari Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: |
Bagian
| Representasi JSON |
|---|
{ // Union field |
| Kolom | |
|---|---|
Kolom union data. Membagi data menjadi beberapa bagian. data hanya ada berupa salah satu diantara berikut: |
|
text |
Opsional. Data teks. |
transcript |
Opsional. Transkrip yang terkait dengan audio. |
blob |
Opsional. Data blob. |
payload |
Opsional. Data payload kustom. |
image |
Opsional. Data gambar. |
toolCall |
Opsional. Permintaan eksekusi alat. |
toolResponse |
Opsional. Respons eksekusi alat. |
agentTransfer |
Opsional. Peristiwa transfer agen. |
updatedVariables |
Struct mewakili variabel yang diperbarui dalam percakapan, yang diberi kunci berdasarkan nama variabel. |
defaultVariables |
Struct mewakili variabel default di awal percakapan, yang diberi kunci berdasarkan nama variabel. |
Blob
| Representasi JSON |
|---|
{ "mimeType": string, "data": string } |
| Kolom | |
|---|---|
mimeType |
Wajib. Jenis MIME standar IANA dari data sumber. |
data |
Wajib. Byte mentah blob. String berenkode base64. |
Gambar
| Representasi JSON |
|---|
{ "mimeType": string, "data": string, "altText": string } |
| Kolom | |
|---|---|
mimeType |
Wajib. Jenis MIME standar IANA dari data sumber. Jenis gambar yang didukung meliputi: * image/png * image/jpeg * image/webp |
data |
Wajib. Byte mentah gambar. String berenkode base64. |
altText |
Opsional. Teks alternatif untuk gambar. |
AgentTransfer
| Representasi JSON |
|---|
{ "targetAgent": string, "displayName": string } |
| Kolom | |
|---|---|
targetAgent |
Wajib. Agen yang akan menerima transfer percakapan. Agen akan menangani percakapan mulai dari titik ini. Format: |
displayName |
Hanya output. Nama tampilan agen. |
Stempel waktu
| Representasi JSON |
|---|
{ "seconds": string, "nanos": integer } |
| Kolom | |
|---|---|
seconds |
Mewakili detik waktu UTC sejak epoch Unix 1970-01-01T00:00:00Z. Harus antara -62135596800 dan 253402300799 inklusif (yang sesuai dengan 0001-01-01T00:00:00Z hingga 9999-12-31T23:59:59Z). |
nanos |
Pecahan detik non-negatif pada resolusi nanodetik. Kolom ini adalah bagian nanodetik dari durasi, bukan alternatif untuk detik. Nilai detik negatif dengan pecahan harus tetap memiliki nilai nano non-negatif yang dihitung maju dalam waktu. Harus antara 0 dan 999.999.999 inklusif. |
GoldenExpectation
| Representasi JSON |
|---|
{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object ( |
| Kolom | |
|---|---|
note |
Opsional. Catatan untuk persyaratan ini, berguna dalam pelaporan saat pemeriksaan tertentu gagal. Misalnya, "Check_Payment_Tool_Called". |
skipEvaluation |
Opsional. Jika ditetapkan ke true, ekspektasi spesifik ini tidak akan dievaluasi. |
expectationLevelMetricsThresholdsOverride |
Opsional. Mengganti metrik di tingkat langkah. |
agentResponseSemanticSimilarityMetricsConfigOverride |
Opsional. Penggantian untuk metrik kesamaan semantik agent_response. |
agentResponseHallucinationMetricsConfigOverride |
Opsional. Penggantian untuk metrik halusinasi agent_response. |
comparisonType |
Opsional. Jenis perbandingan yang akan digunakan untuk pemeriksaan ekspektasi. |
Kolom union condition. Pemeriksaan sebenarnya yang akan dilakukan. condition hanya ada berupa salah satu diantara berikut: |
|
toolCall |
Opsional. Memeriksa apakah alat tertentu dipanggil dengan parameter. |
toolResponse |
Opsional. Memeriksa apakah alat tertentu memberikan respons yang diharapkan. |
agentResponse |
Opsional. Periksa apakah agen merespons dengan respons yang benar. Peran "agent" tersirat. |
agentTransfer |
Opsional. Pastikan agen mentransfer percakapan ke agen lain. |
updatedVariables |
Opsional. Pastikan agen memperbarui variabel sesi ke nilai yang diharapkan. Juga digunakan untuk mencatat update variabel agen untuk evaluasi golden. |
mockToolResponse |
Opsional. Respons alat yang akan ditiru, dengan parameter yang diinginkan ditentukan. Setiap parameter yang tidak ditentukan akan dihalusinasi oleh LLM. |
noToolCalls |
Opsional. Periksa apakah tidak ada alat yang dipanggil selama giliran ini. |
ExpectationLevelMetricsThresholds
| Representasi JSON |
|---|
{ // Union field |
| Kolom | |
|---|---|
Kolom union
|
|
toolInvocationParameterCorrectnessThreshold |
Opsional. Nilai minimum keberhasilan untuk kebenaran parameter pemanggilan alat individual. Harus berupa float antara 0 dan 1. Default-nya adalah 1.0. |
SemanticSimilarityMetricsConfig
| Representasi JSON |
|---|
{ "enableSemanticSimilarityMetrics": boolean } |
| Kolom | |
|---|---|
enableSemanticSimilarityMetrics |
Opsional. Apakah akan menghitung metrik kesamaan semantik untuk evaluasi. |
HallucinationMetricsConfig
| Representasi JSON |
|---|
{ "enableHallucinationMetrics": boolean } |
| Kolom | |
|---|---|
enableHallucinationMetrics |
Opsional. Apakah akan menghitung metrik halusinasi untuk evaluasi. |
SemanticSimilarityResult
| Representasi JSON |
|---|
{ "label": string, "explanation": string, "outcome": enum ( |
| Kolom | |
|---|---|
label |
Hanya output. Label yang terkait dengan setiap skor. Skor 4: Sepenuhnya Konsisten Skor 3: Sebagian Besar Konsisten Skor 2: Sebagian Konsisten (Penghilangan Minor) Skor 1: Sebagian Besar Tidak Konsisten (Penghilangan Mayor) Skor 0: Sama Sekali Tidak Konsisten/Bertentangan |
explanation |
Hanya output. Penjelasan untuk skor kemiripan semantik. |
outcome |
Hanya output. Hasil pemeriksaan kesamaan semantik. Hal ini ditentukan dengan membandingkan skor dengan semantic_similarity_success_threshold. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan menjadi GAGAL. |
Kolom union
|
|
score |
Hanya output. Skor kemiripan semantik. Dapat berupa 0, 1, 2, 3, atau 4. |
ToolInvocationResult
| Representasi JSON |
|---|
{ "outcome": enum ( |
| Kolom | |
|---|---|
outcome |
Hanya output. Hasil pemeriksaan pemanggilan alat. Hal ini ditentukan dengan membandingkan parameter_correctness_score dengan nilai minimum. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan menjadi GAGAL. |
explanation |
Hanya output. Penjelasan teks bebas untuk hasil pemanggilan alat. |
Kolom union
|
|
parameterCorrectnessScore |
Hanya output. Skor ketepatan parameter pemanggilan alat. Metrik ini menunjukkan persentase parameter dari panggilan alat yang diharapkan yang juga ada dalam panggilan alat yang sebenarnya. |
HallucinationResult
| Representasi JSON |
|---|
{ "label": string, "explanation": string, // Union field |
| Kolom | |
|---|---|
label |
Hanya output. Label yang terkait dengan setiap skor. Skor 1: Dibenarkan Skor 0: Tidak Dibenarkan Skor -1: Tidak Ada Klaim untuk Dinilai |
explanation |
Hanya output. Penjelasan untuk skor halusinasi. |
Kolom union
|
|
score |
Hanya output. Skor halusinasi. Dapat berupa -1, 0, 1. |
Durasi
| Representasi JSON |
|---|
{ "seconds": string, "nanos": integer } |
| Kolom | |
|---|---|
seconds |
Detik bertanda dari rentang waktu. Harus dari -315.576.000.000 hingga +315.576.000.000 inklusif. Catatan: batas ini dihitung dari: 60 dtk/mnt * 60 mnt/jam * 24 jam/hari * 365,25 hari/tahun * 10.000 tahun |
nanos |
Pecahan detik bertanda tangan pada resolusi nanodetik dari rentang waktu. Durasi kurang dari satu detik direpresentasikan dengan kolom |
ToolCallLatency
| Representasi JSON |
|---|
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string } |
| Kolom | |
|---|---|
tool |
Hanya output. Nama alat yang dieksekusi. Format: |
displayName |
Hanya output. Nama tampilan alat. |
startTime |
Hanya output. Waktu mulai eksekusi panggilan alat. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: |
endTime |
Hanya output. Waktu berakhir eksekusi panggilan alat. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: |
executionLatency |
Hanya output. Latensi eksekusi panggilan alat. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan ' |
OverallToolInvocationResult
| Representasi JSON |
|---|
{ "outcome": enum ( |
| Kolom | |
|---|---|
outcome |
Hanya output. Hasil pemeriksaan pemanggilan alat. Hal ini ditentukan dengan membandingkan tool_invocation_score dengan overall_tool_invocation_correctness_threshold. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan menjadi GAGAL. |
Kolom union
|
|
toolInvocationScore |
Skor pemanggilan alat secara keseluruhan untuk giliran ini. Ini menunjukkan persentase keseluruhan alat dari giliran yang diharapkan yang benar-benar dipanggil. |
EvaluationErrorInfo
| Representasi JSON |
|---|
{
"errorType": enum ( |
| Kolom | |
|---|---|
errorType |
Hanya output. Jenis error. |
errorMessage |
Hanya output. Pesan error. |
sessionId |
Hanya output. ID sesi untuk percakapan yang menyebabkan error. |
userFacingErrorMessage |
Hanya output. Pesan error yang ditampilkan kepada pengguna. |
SpanLatency
| Representasi JSON |
|---|
{ "type": enum ( |
| Kolom | |
|---|---|
type |
Hanya output. Jenis span. |
displayName |
Hanya output. Nama tampilan span. Berlaku untuk span alat dan guardrail. |
startTime |
Hanya output. Waktu mulai span. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: |
endTime |
Hanya output. Waktu berakhir span. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: |
executionLatency |
Hanya output. Latensi span. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan ' |
Kolom union identifier. ID item tertentu berdasarkan jenisnya. identifier hanya ada berupa salah satu diantara berikut: |
|
resource |
Hanya output. Nama resource guardrail atau span alat. |
toolset |
Hanya output. ID alat toolset. |
model |
Hanya output. Nama span LLM. |
callback |
Hanya output. Nama span callback pengguna. |
EvaluationExpectationResult
| Representasi JSON |
|---|
{
"evaluationExpectation": string,
"prompt": string,
"outcome": enum ( |
| Kolom | |
|---|---|
evaluationExpectation |
Hanya output. Ekspektasi evaluasi. Format: |
prompt |
Hanya output. Perintah yang digunakan untuk evaluasi. |
outcome |
Hanya output. Hasil ekspektasi evaluasi. |
explanation |
Hanya output. Penjelasan untuk hasil. |
ScenarioResult
| Representasi JSON |
|---|
{ "conversation": string, "task": string, "userFacts": [ { object ( |
| Kolom | |
|---|---|
conversation |
Hanya output. Percakapan yang dibuat dalam skenario. |
task |
Hanya output. Tugas yang digunakan saat menjalankan skenario untuk hasil ini. |
userFacts[] |
Hanya output. Fakta pengguna yang digunakan oleh skenario untuk hasil ini. |
expectationOutcomes[] |
Hanya output. Hasil dari setiap ekspektasi. |
rubricOutcomes[] |
Hanya output. Hasil rubrik. |
hallucinationResult[] |
Hanya output. Hasil pemeriksaan halusinasi. Akan ada satu hasil halusinasi untuk setiap giliran dalam percakapan. |
taskCompletionResult |
Hanya output. Hasil pemeriksaan penyelesaian tugas. |
toolCallLatencies[] |
Hanya output. Latensi setiap eksekusi panggilan alat dalam percakapan. |
userGoalSatisfactionResult |
Hanya output. Hasil pemeriksaan kepuasan sasaran pengguna. |
spanLatencies[] |
Hanya output. Latensi span dalam percakapan. |
evaluationExpectationResults[] |
Hanya output. Hasil ekspektasi evaluasi. |
milestoneResults[] |
Hanya output. Hasil dari setiap pencapaian dalam skenario. |
Kolom union
|
|
allExpectationsSatisfied |
Hanya output. Apakah semua ekspektasi terpenuhi untuk giliran ini. |
Kolom union
|
|
taskCompleted |
Hanya output. Apakah tugas telah selesai untuk giliran ini. Ini adalah gabungan dari semua ekspektasi yang terpenuhi, tidak ada halusinasi, dan kepuasan sasaran pengguna. |
UserFact
| Representasi JSON |
|---|
{ "name": string, "value": string } |
| Kolom | |
|---|---|
name |
Wajib. Nama fakta pengguna. |
value |
Wajib. Nilai fakta pengguna. |
ScenarioExpectationOutcome
| Representasi JSON |
|---|
{ "expectation": { object ( |
| Kolom | |
|---|---|
expectation |
Hanya output. Ekspektasi yang dievaluasi. |
outcome |
Hanya output. Hasil ScenarioExpectation. |
Kolom union result. Hasil ekspektasi. result hanya ada berupa salah satu diantara berikut: |
|
observedToolCall |
Hanya output. Panggilan alat yang diamati. |
observedAgentResponse |
Hanya output. Respons agen yang diamati. |
ObservedToolCall
| Representasi JSON |
|---|
{ "toolCall": { object ( |
| Kolom | |
|---|---|
toolCall |
Hanya output. Panggilan alat yang diamati. |
toolResponse |
Hanya output. Respons alat yang diamati. |
ScenarioExpectation
| Representasi JSON |
|---|
{ // Union field |
| Kolom | |
|---|---|
Kolom union expectation. Ekspektasi untuk mengevaluasi percakapan yang dihasilkan oleh simulasi. expectation hanya ada berupa salah satu diantara berikut: |
|
toolExpectation |
Opsional. Pasangan panggilan dan respons alat yang akan dievaluasi. |
agentResponse |
Opsional. Respons agen yang akan dievaluasi. |
ToolExpectation
| Representasi JSON |
|---|
{ "expectedToolCall": { object ( |
| Kolom | |
|---|---|
expectedToolCall |
Wajib. Panggilan alat yang diharapkan, dengan parameter yang diinginkan ditentukan. Setiap parameter yang tidak ditentukan akan dihalusinasi oleh LLM. |
mockToolResponse |
Wajib. Respons alat yang akan ditiru, dengan parameter yang diinginkan ditentukan. Setiap parameter yang tidak ditentukan akan dihalusinasi oleh LLM. |
ScenarioRubricOutcome
| Representasi JSON |
|---|
{ "rubric": string, "scoreExplanation": string, // Union field |
| Kolom | |
|---|---|
rubric |
Hanya output. Rubrik yang digunakan untuk mengevaluasi percakapan. |
scoreExplanation |
Hanya output. Respons penilai terhadap rubrik. |
Kolom union
|
|
score |
Hanya output. Skor percakapan berdasarkan rubrik. |
TaskCompletionResult
| Representasi JSON |
|---|
{ "label": string, "explanation": string, // Union field |
| Kolom | |
|---|---|
label |
Hanya output. Label yang terkait dengan setiap skor. Skor 1: Tugas Selesai Skor 0: Tugas Tidak Selesai Skor -1: Sasaran Pengguna Tidak Ditentukan |
explanation |
Hanya output. Penjelasan untuk skor penyelesaian tugas. |
Kolom union
|
|
score |
Hanya output. Skor penyelesaian tugas. Dapat berupa -1, 0, 1 |
UserGoalSatisfactionResult
| Representasi JSON |
|---|
{ "label": string, "explanation": string, // Union field |
| Kolom | |
|---|---|
label |
Hanya output. Label yang terkait dengan setiap skor. Skor 2: Pengalihan yang Lancar Skor 1: Tugas Pengguna Terpenuhi Skor 0: Tugas Pengguna Tidak Terpenuhi Skor -1: Tugas Pengguna Tidak Ditentukan |
explanation |
Hanya output. Penjelasan untuk skor kepuasan tugas pengguna. |
Kolom union
|
|
score |
Hanya output. Skor kepuasan tugas pengguna. Dapat berupa -1, 0, 1, 2. |
MilestoneResult
| Representasi JSON |
|---|
{ "milestone": { object ( |
| Kolom | |
|---|---|
milestone |
Hanya output. Pencapaian yang dilacak. |
status |
Hanya output. Status pencapaian saat ini. |
justification |
Hanya output. Justifikasi untuk status saat ini. |
Milestone
| Representasi JSON |
|---|
{
"goal": string,
"maxTurnCount": integer,
"successCriteria": string,
"protocol": string,
"staticUtterance": string,
"event": {
object ( |
| Kolom | |
|---|---|
goal |
Wajib. Sasaran pencapaian. |
maxTurnCount |
Opsional. Jumlah giliran maksimum untuk tahap ini. |
successCriteria |
Opsional. Kriteria keberhasilan pencapaian. |
protocol |
Opsional. Panduan yang harus diikuti agen selama percakapan. |
staticUtterance |
Opsional. Ucapan statis yang akan dikirim simulator secara persis, bukan menghasilkan input pengguna secara dinamis. |
event |
Opsional. Input peristiwa yang akan dikirim, bukan pembuatan dinamis. |
Acara
| Representasi JSON |
|---|
{ "event": string, "variables": { object } } |
| Kolom | |
|---|---|
event |
Wajib. Nama peristiwa. |
variables |
Opsional. Variabel tambahan yang terkait dengan peristiwa. |
EvaluationPersona
| Representasi JSON |
|---|
{
"name": string,
"description": string,
"displayName": string,
"personality": string,
"speechConfig": {
object ( |
| Kolom | |
|---|---|
name |
Wajib. ID unik persona. Format: |
description |
Opsional. Deskripsi persona. |
displayName |
Wajib. Nama tampilan persona. Unik dalam aplikasi. |
personality |
Wajib. Petunjuk untuk agen tentang cara berperilaku dalam evaluasi. |
speechConfig |
Opsional. Konfigurasi untuk suara persona (setelan TTS). |
SpeechConfig
| Representasi JSON |
|---|
{
"speakingRate": number,
"environment": enum ( |
| Kolom | |
|---|---|
speakingRate |
Opsional. Kecepatan bicara. 1,0 adalah normal. Nilai yang lebih rendah berarti lebih lambat (misalnya, 0,8), sedangkan nilai yang lebih tinggi berarti lebih cepat (misalnya, 1,5). Berguna untuk menguji cara agen menangani pengguna yang berbicara cepat. |
environment |
Opsional. Lingkungan audio yang disimulasikan. |
voiceId |
Opsional. ID/aksen suara tertentu yang akan digunakan. Contoh: "en-US-Wavenet-D" atau "en-GB-Standard-A" |
Status
| Representasi JSON |
|---|
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] } |
| Kolom | |
|---|---|
code |
Kode status, harus berupa nilai enum dari |
message |
Pesan error yang ditampilkan ke developer dan seharusnya dalam bahasa Inggris. Setiap pesan error yang ditampilkan kepada pengguna harus dilokalkan dan dikirim di kolom |
details[] |
Daftar pesan yang membawa detail error. Ada seperangkat jenis pesan umum untuk digunakan API. Objek yang berisi kolom tipe arbitrer. Kolom tambahan |
Semua
| Representasi JSON |
|---|
{ "typeUrl": string, "value": string } |
| Kolom | |
|---|---|
typeUrl |
Mengidentifikasi jenis pesan Protobuf yang diserialisasi dengan referensi URI yang terdiri dari awalan yang diakhiri dengan garis miring dan nama jenis yang sepenuhnya memenuhi syarat. Contoh: type.googleapis.com/google.protobuf.StringValue String ini harus berisi setidaknya satu karakter Prefiks bersifat arbitrer dan implementasi Protobuf diharapkan hanya menghapus semua hal hingga dan termasuk Semua string URL jenis harus berupa referensi URI yang sah dengan batasan tambahan (untuk format teks) bahwa konten referensi hanya boleh terdiri dari karakter alfanumerik, escape yang dienkode persen, dan karakter dalam kumpulan berikut (tidak termasuk tanda petik terbalik luar): Dalam desain asli |
value |
Menyimpan serialisasi Protobuf dari jenis yang dijelaskan oleh type_url. String berenkode base64. |
EvaluationMetricsThresholds
| Representasi JSON |
|---|
{ "goldenEvaluationMetricsThresholds": { object ( |
| Kolom | |
|---|---|
goldenEvaluationMetricsThresholds |
Opsional. Nilai minimum metrik evaluasi golden dataset. |
hallucinationMetricBehavior |
Opsional. Tidak digunakan lagi: Gunakan |
goldenHallucinationMetricBehavior |
Opsional. Perilaku metrik halusinasi untuk evaluasi golden dataset. |
scenarioHallucinationMetricBehavior |
Opsional. Perilaku metrik halusinasi untuk evaluasi skenario. |
GoldenEvaluationMetricsThresholds
| Representasi JSON |
|---|
{ "turnLevelMetricsThresholds": { object ( |
| Kolom | |
|---|---|
turnLevelMetricsThresholds |
Opsional. Nilai minimum metrik tingkat giliran. |
expectationLevelMetricsThresholds |
Opsional. Nilai minimum metrik tingkat ekspektasi. |
toolMatchingSettings |
Opsional. Setelan pencocokan alat. Panggilan alat tambahan adalah panggilan alat yang ada dalam eksekusi, tetapi tidak cocok dengan panggilan alat apa pun dalam ekspektasi ideal. |
TurnLevelMetricsThresholds
| Representasi JSON |
|---|
{ "semanticSimilarityChannel": enum ( |
| Kolom | |
|---|---|
semanticSimilarityChannel |
Opsional. Saluran kemiripan semantik yang akan digunakan untuk evaluasi. |
Kolom union
|
|
semanticSimilaritySuccessThreshold |
Opsional. Nilai minimum keberhasilan untuk kemiripan semantik. Harus berupa bilangan bulat antara 0 dan 4. Defaultnya adalah >= 3. |
Kolom union
|
|
overallToolInvocationCorrectnessThreshold |
Opsional. Nilai minimum keberhasilan untuk keseluruhan ketepatan pemanggilan alat. Harus berupa float antara 0 dan 1. Default-nya adalah 1.0. |
ToolMatchingSettings
| Representasi JSON |
|---|
{
"extraToolCallBehavior": enum ( |
| Kolom | |
|---|---|
extraToolCallBehavior |
Opsional. Perilaku untuk panggilan alat tambahan. Nilai defaultnya adalah FAIL. |
EvaluationConfig
| Representasi JSON |
|---|
{ "inputAudioConfig": { object ( |
| Kolom | |
|---|---|
inputAudioConfig |
Opsional. Konfigurasi untuk memproses audio input. |
outputAudioConfig |
Opsional. Konfigurasi untuk membuat audio output. |
evaluationChannel |
Opsional. Saluran yang akan dievaluasi. |
toolCallBehaviour |
Opsional. Menentukan apakah evaluasi harus menggunakan panggilan alat sungguhan atau alat palsu. |
InputAudioConfig
| Representasi JSON |
|---|
{
"audioEncoding": enum ( |
| Kolom | |
|---|---|
audioEncoding |
Wajib. Encoding data audio input. |
sampleRateHertz |
Wajib. Frekuensi sampel (dalam Hertz) data audio input. |
noiseSuppressionLevel |
Opsional. Apakah akan mengaktifkan peredam bising pada audio input. Nilai yang tersedia adalah "low", "moderate", "high", "very_high". |
OutputAudioConfig
| Representasi JSON |
|---|
{
"audioEncoding": enum ( |
| Kolom | |
|---|---|
audioEncoding |
Wajib. Encoding data audio output. |
sampleRateHertz |
Wajib. Frekuensi sampel (dalam Hertz) data audio output. |
Span
| Representasi JSON |
|---|
{
"name": string,
"startTime": string,
"endTime": string,
"duration": string,
"attributes": {
object
},
"childSpans": [
{
object ( |
| Kolom | |
|---|---|
name |
Hanya output. Nama span. |
startTime |
Hanya output. Waktu mulai span. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: |
endTime |
Hanya output. Waktu berakhir span. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: |
duration |
Hanya output. Durasi span. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan ' |
attributes |
Hanya output. Atribut nilai kunci yang terkait dengan span. |
childSpans[] |
Hanya output. Span turunan yang disusun bertingkat di bawah span ini. |
NullValue
Merepresentasikan null JSON.
NullValue adalah sentinel, yang menggunakan enum dengan hanya satu nilai untuk merepresentasikan nilai null untuk gabungan jenis Value.
Kolom jenis NullValue dengan nilai selain 0 dianggap tidak valid. Sebagian besar serializer ProtoJSON akan memunculkan Value dengan null_value yang ditetapkan sebagai null JSON, terlepas dari nilai bilangan bulatnya, sehingga akan melakukan perjalanan pulang pergi ke nilai 0.
| Enum | |
|---|---|
NULL_VALUE |
Nilai null. |
ComparisonType
Jenis perbandingan yang didukung untuk memeriksa respons agen.
| Enum | |
|---|---|
COMPARISON_TYPE_UNSPECIFIED |
Jenis perbandingan tidak ditentukan. Perilaku ditetapkan secara default ke SEMANTIC_SIMILARITY untuk respons agen dan panggilan alat. |
EQUALS |
Pencocokan string persis. |
CONTAINS |
Pencocokan substring (memeriksa apakah string yang diharapkan terdapat dalam respons sebenarnya). |
SEMANTIC_SIMILARITY |
Kecocokan kemiripan semantik (mengevaluasi kemiripan makna menggunakan LLM). |
Hasil
Hasil evaluasi atau ekspektasi.
| Enum | |
|---|---|
OUTCOME_UNSPECIFIED |
Hasil evaluasi tidak ditentukan. |
PASS |
Evaluasi/Ekspektasi lulus. Dalam kasus evaluasi, ini berarti semua ekspektasi terpenuhi. |
FAIL |
Evaluasi/Ekspektasi gagal. Dalam kasus evaluasi, ini berarti setidaknya satu ekspektasi tidak terpenuhi. |
SKIPPED |
Evaluasi/Ekspektasi dilewati. |
ErrorType
Jenis error
| Enum | |
|---|---|
ERROR_TYPE_UNSPECIFIED |
Jenis error yang belum ditetapkan. |
RUNTIME_FAILURE |
Kegagalan selama eksekusi runtime. |
CONVERSATION_RETRIEVAL_FAILURE |
Gagal mengambil percakapan dari CES Runtime. |
METRIC_CALCULATION_FAILURE |
Gagal menghitung metrik/hasil. |
EVALUATION_UPDATE_FAILURE |
Gagal memperbarui evaluasi. |
QUOTA_EXHAUSTED |
Kehabisan kuota. |
USER_SIMULATION_FAILURE |
Kegagalan selama simulasi pengguna. |
Jenis
Jenis span. Nilai tambahan mungkin ditambahkan pada masa mendatang.
| Enum | |
|---|---|
TYPE_UNSPECIFIED |
Nilai default. Nilai ini tidak digunakan. |
TOOL |
Span panggilan alat. |
USER_CALLBACK |
Span callback pengguna. |
GUARDRAIL |
Rentang guardrail. |
LLM |
Span LLM. |
MilestoneStatus
Status pencapaian.
| Enum | |
|---|---|
MILESTONE_STATUS_UNSPECIFIED |
Status tidak ditentukan. |
NOT_STARTED |
Pencapaian belum dimulai. |
IN_PROGRESS |
Pencapaian saat ini sedang berlangsung. |
COMPLETED |
Tonggak pencapaian telah berhasil diselesaikan. |
BackgroundEnvironment
Lingkungan audio yang disimulasikan.
| Enum | |
|---|---|
BACKGROUND_ENVIRONMENT_UNSPECIFIED |
Lingkungan latar belakang tidak ditentukan. |
CALL_CENTER |
Lingkungan pusat panggilan. |
TRAFFIC |
Lingkungan dengan suara bising lalu lintas. |
KIDS_NOISE |
Lingkungan bising anak-anak. |
CAFE |
Lingkungan kafe. |
ExecutionState
Status eksekusi hasil evaluasi.
| Enum | |
|---|---|
EXECUTION_STATE_UNSPECIFIED |
Status eksekusi hasil evaluasi tidak ditentukan. |
QUEUED |
Eksekusi hasil evaluasi dimasukkan ke dalam antrean. |
RUNNING |
Eksekusi hasil evaluasi sedang berjalan. |
COMPLETED |
Eksekusi hasil evaluasi telah selesai. |
ERROR |
Eksekusi hasil evaluasi gagal karena error internal. |
CANCELLED |
Eksekusi hasil evaluasi dibatalkan. |
SemanticSimilarityChannel
Saluran kemiripan semantik yang akan digunakan.
| Enum | |
|---|---|
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED |
Metrik tidak ditentukan. Default-nya adalah TEXT. |
TEXT |
Gunakan kesamaan semantik teks. |
AUDIO |
Gunakan kesamaan semantik audio. |
ExtraToolCallBehavior
Menentukan perilaku saat panggilan alat tambahan ditemukan. Panggilan alat tambahan adalah panggilan alat yang ada dalam eksekusi, tetapi tidak cocok dengan panggilan alat apa pun dalam ekspektasi ideal.
| Enum | |
|---|---|
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED |
Perilaku tidak ditentukan. Nilai defaultnya adalah FAIL. |
FAIL |
Gagalkan evaluasi jika ditemukan panggilan alat tambahan. |
ALLOW |
Izinkan panggilan alat tambahan. |
HallucinationMetricBehavior
Perilaku metrik halusinasi. Terlepas dari perilakunya, metrik akan selalu dihitung. Perbedaannya adalah jika dinonaktifkan, metrik tidak digunakan untuk menghitung skor evaluasi keseluruhan.
| Enum | |
|---|---|
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED |
Perilaku metrik halusinasi yang tidak ditentukan. |
DISABLED |
Menonaktifkan metrik halusinasi. |
ENABLED |
Aktifkan metrik halusinasi. |
AudioEncoding
AudioEncoding menentukan format encoding untuk data audio.
| Enum | |
|---|---|
AUDIO_ENCODING_UNSPECIFIED |
Encoding audio yang tidak ditentukan. |
LINEAR16 |
Encoding audio PCM linear 16-bit. |
MULAW |
Sampel 8-bit yang mengompresi sampel audio 14-bit menggunakan G.711 PCMU/mu-law. |
ALAW |
Sampel 8-bit yang mengompresi sampel audio 14-bit menggunakan PCMU/A-law G.711. |
EvaluationChannel
Saluran yang akan dievaluasi.
| Enum | |
|---|---|
EVALUATION_CHANNEL_UNSPECIFIED |
Saluran evaluasi yang tidak ditentukan. |
TEXT |
Saluran evaluasi khusus teks. |
AUDIO |
Saluran evaluasi audio. |
EvaluationToolCallBehaviour
Mengonfigurasi perilaku panggilan alat untuk operasi evaluasi.
| Enum | |
|---|---|
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED |
Perilaku panggilan alat yang tidak ditentukan. Akan ditetapkan secara default ke panggilan alat yang sebenarnya. |
REAL |
Gunakan panggilan alat yang sebenarnya. |
FAKE |
Menggunakan panggilan alat palsu. |
GoldenRunMethod
Metode yang digunakan untuk menjalankan evaluasi.
| Enum | |
|---|---|
GOLDEN_RUN_METHOD_UNSPECIFIED |
Metode run tidak ditentukan. |
STABLE |
Jalankan evaluasi sebagai replay stabil, dengan setiap giliran merupakan sesi unik dan giliran yang diharapkan sebelumnya dimasukkan sebagai konteks. |
NAIVE |
Jalankan evaluasi sebagai replay sederhana, dengan eksekusi berupa satu sesi tanpa konteks yang dimasukkan. |
OutcomeMetadata
Metadata tentang hasil evaluasi.
| Enum | |
|---|---|
OUTCOME_METADATA_UNSPECIFIED |
Metadata hasil yang tidak ditentukan. |
GRACEFUL_HANDOFF |
Evaluasi menghasilkan pengalihan yang lancar ke perwakilan manusia. |
Anotasi Alat
Anotasi alat dikirim ke klien MCP untuk menjelaskan risiko dasar alat tertentu. Sebagian besar klien memperlakukan petunjuk ini sebagai tidak tepercaya, tetapi petunjuk tersebut dapat digunakan untuk memutuskan kapan perintah konfirmasi dapat dikirim kepada pengguna.
Bersama dengan string judul, petunjuk boolean berikut ditentukan sebagai berikut:
readOnlyHint: Jika benar, alat tidak akan mengubah lingkungannya. Default: false.destructiveHint: Jika benar, alat dapat melakukan tindakan destruktif. Jika salah, alat hanya dapat melakukan tindakan aditif. Default: true.idempotentHint: Jika benar, memanggil alat berulang kali dengan argumen yang sama tidak akan memberikan efek tambahan pada lingkungannya. Default: false.openWorldHint: Jika benar, alat dapat berinteraksi dengan 'open world' entitas eksternal. Jika salah, alat hanya dapat berinteraksi dengan entity internal. Misalnya, alat penelusuran web akan bersifat open world, sedangkan alat memori tidak akan bersifat open world.
Destructive Hint: ❌ | Idempotent Hint: ✅ | Read Only Hint: ✅ | Open World Hint: ❌