MCP Tools Reference: ces.googleapis.com

Alat: update_evaluation

Memperbarui evaluasi yang ditentukan. Pastikan untuk selalu meneruskan mask update dalam input.

Contoh kode berikut menunjukkan cara menggunakan curl untuk memanggil alat MCP update_evaluation.

Permintaan Curl
curl --location 'https://ces.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "update_evaluation", "arguments": { // Provide these details according to the MCP tool specification. } }, "jsonrpc": "2.0", "id": 1 }'

Skema Input

Pesan permintaan untuk EvaluationService.UpdateEvaluation.

UpdateEvaluationRequest

Representasi JSON
{ "evaluation": { object (Evaluation) }, "updateMask": string }

Kolom
evaluation	object (Evaluation) Wajib. Evaluasi yang akan diperbarui.
updateMask	string (FieldMask format) Opsional. Masker kolom digunakan untuk mengontrol kolom mana yang akan diperbarui. Jika mask tidak ada, semua kolom akan diperbarui. Ini adalah daftar dipisahkan koma yang berisi nama-nama kolom yang sepenuhnya valid. Contoh: "user.displayName,photo".

Evaluasi

Representasi JSON

{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object (AggregatedMetrics) }, "lastCompletedResult": { object (EvaluationResult) }, "invalid": boolean, "lastTenResults": [ { object (EvaluationResult) } ], "evaluationMetricsThresholdOverride": { object (EvaluationMetricsThresholds) }, "evaluationMetricsConfigOverride": { object (EvaluationMetricsConfig) }, // Union field inputs can be only one of the following: "golden": { object (Golden) }, "scenario": { object (Scenario) } // End of list of possible types for union field inputs. }

Kolom
name	string ID. ID unik evaluasi ini. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName	string Wajib. Nama tampilan evaluasi yang ditentukan pengguna. Unik dalam Aplikasi.
description	string Opsional. Deskripsi evaluasi yang ditentukan pengguna.
tags[]	string Opsional. Tag yang ditentukan pengguna untuk mengategorikan evaluasi.
evaluationDatasets[]	string Hanya output. Daftar set data evaluasi yang mencakup evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime	string (Timestamp format) Hanya output. Stempel waktu saat evaluasi dibuat. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
createdBy	string Hanya output. Pengguna yang membuat evaluasi.
updateTime	string (Timestamp format) Hanya output. Stempel waktu saat evaluasi terakhir diperbarui. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
lastUpdatedBy	string Hanya output. Pengguna yang terakhir memperbarui evaluasi.
evaluationRuns[]	string Hanya output. EvaluationRun yang terkait dengan Evaluasi ini.
etag	string Hanya output. Etag yang digunakan untuk memastikan objek tidak berubah selama operasi baca-ubah-tulis. Jika etag kosong, update akan menimpa perubahan serentak.
aggregatedMetrics	object (AggregatedMetrics) Hanya output. Metrik gabungan untuk evaluasi ini di semua operasi.
lastCompletedResult	object (EvaluationResult) Hanya output. Hasil evaluasi terbaru untuk evaluasi ini.
invalid	boolean Hanya output. Apakah evaluasi tidak valid. Hal ini dapat terjadi jika evaluasi merujuk ke alat, set alat, atau agen yang telah dihapus.
lastTenResults[]	object (EvaluationResult) Hanya output. 10 hasil evaluasi terakhir untuk evaluasi ini. Ini hanya diisi jika include_last_ten_results ditetapkan ke true di ListEvaluationsRequest atau GetEvaluationRequest.
evaluationMetricsThresholdOverride	object (EvaluationMetricsThresholds) Opsional. Mengganti nilai minimum metrik untuk evaluasi spesifik ini.
evaluationMetricsConfigOverride	object (EvaluationMetricsConfig) Opsional. Mengganti konfigurasi metrik untuk evaluasi spesifik ini.
Kolom union inputs. Input untuk evaluasi inputs hanya dapat berupa salah satu dari berikut:
golden	object (Golden) Opsional. Langkah-langkah golden yang akan dievaluasi.
scenario	object (Scenario) Opsional. Konfigurasi untuk skenario.

Keemasan

Representasi JSON
{ "turns": [ { object (GoldenTurn) } ], "evaluationExpectations": [ string ] }

Kolom
turns[]	object (GoldenTurn) Wajib. Giliran emas yang diperlukan untuk memutar ulang percakapan emas. Jumlah maksimum giliran yang diizinkan adalah 100.
evaluationExpectations[]	string Opsional. Ekspektasi evaluasi untuk mengevaluasi percakapan yang diputar ulang. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

Representasi JSON
{ "steps": [ { object (Step) } ], "rootSpan": { object (Span) }, "turnLevelMetricsThresholdsOverride": { object (TurnLevelMetricsThresholds) }, "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior) }

Kolom
steps[]	object (Step) Wajib. Langkah-langkah yang diperlukan untuk memutar ulang percakapan emas.
rootSpan	object (Span) Opsional. Span root dari giliran emas untuk memproses dan mempertahankan informasi audio. URI untuk audio harus berisi audio yang disimpan dalam frekuensi sampel 16 Khz.
turnLevelMetricsThresholdsOverride	object (TurnLevelMetricsThresholds) Opsional. Penggantian untuk nilai minimum metrik tingkat giliran.
hallucinationMetricBehaviorOverride	enum (HallucinationMetricBehavior) Opsional. Penggantian untuk perilaku metrik halusinasi tingkat giliran.

Langkah

Representasi JSON
{ // Union field step can be only one of the following: "userInput": { object (SessionInput) }, "agentTransfer": { object (AgentTransfer) }, "expectation": { object (GoldenExpectation) } // End of list of possible types for union field step. }

Kolom
Kolom union step. Langkah yang harus dilakukan. step hanya ada berupa salah satu diantara berikut:
userInput	object (SessionInput) Opsional. Input pengguna untuk percakapan.
agentTransfer	object (AgentTransfer) Opsional. Mentransfer percakapan ke agen lain.
expectation	object (GoldenExpectation) Opsional. Mengeksekusi ekspektasi pada giliran saat ini.

SessionInput

Representasi JSON
{ "willContinue": boolean, "recordingControl": enum (RecordingControl), // Union field input_type can be only one of the following: "text": string, "dtmf": string, "audio": string, "toolResponses": { object (ToolResponses) }, "image": { object (Image) }, "blob": { object (Blob) }, "variables": { object }, "event": { object (Event) } // End of list of possible types for union field input_type. }

Kolom
willContinue	boolean Opsional. Flag untuk menunjukkan apakah pesan saat ini adalah fragmen dari input yang lebih besar dalam sesi streaming bidi. Jika disetel ke true, agen akan menunda pemrosesan hingga menerima pesan berikutnya dengan will_continue ditetapkan ke false, atau hingga sistem mendeteksi endpoint dalam input audio. CATATAN: Kolom ini tidak berlaku untuk input audio dan DTMF, karena selalu diproses secara otomatis berdasarkan sinyal endpointing.
recordingControl	enum (RecordingControl) Opsional. Apakah percakapan boleh direkam dan dicatat dalam log mulai dari sini. Gunakan ini saat aplikasi, bukan agen, yang memutuskan apa yang boleh disimpan: misalnya, saat pengguna akhir harus memberikan izin untuk direkam sebelum apa pun tentang panggilan dapat disimpan. Nilai ini tetap berlaku hingga klien mengirimkan nilai yang berbeda, sehingga hanya perlu dikirim saat jawaban berubah. Apa pun yang berlaku saat giliran selesai akan menentukan giliran tersebut, baik audionya mencapai bucket rekaman maupun transkripnya mencapai histori percakapan, BigQuery, dan Cloud Logging. Hal ini mencakup sisi agen dan pengguna akhir dalam giliran percakapan. Giliran yang selesai sebelum klien pertama kali mengirimkan ini akan dicatat sesuai dengan setelan logging aplikasi, seolah-olah kolom tersebut tidak ada. Jika lebih dari satu input dalam permintaan yang sama menetapkannya, input terakhir yang akan digunakan.
Kolom union input_type. Jenis input. input_type hanya ada berupa salah satu diantara berikut:
text	string Opsional. Data teks dari pengguna akhir.
dtmf	string Opsional. Digit DTMF dari pengguna akhir.
audio	string (bytes format) Opsional. Data audio dari pengguna akhir. String berenkode base64.
toolResponses	object (ToolResponses) Opsional. Hasil eksekusi untuk panggilan alat dari klien.
image	object (Image) Opsional. Data gambar dari pengguna akhir.
blob	object (Blob) Opsional. Data blob dari pengguna akhir.
variables	object (Struct format) Opsional. Variabel kontekstual untuk sesi, yang di-key berdasarkan nama. Hanya variabel yang dideklarasikan dalam aplikasi yang akan digunakan oleh agen CES. Variabel yang tidak dikenali akan tetap dikirim ke [agen Dialogflow][Agent.RemoteDialogflowAgent] sebagai parameter sesi tambahan.
event	object (Event) Opsional. Input peristiwa.

ToolResponses

Representasi JSON
{ "toolResponses": [ { object (ToolResponse) } ] }

Kolom
toolResponses[]	object (ToolResponse) Opsional. Daftar hasil eksekusi alat.

ToolResponse

Representasi JSON
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Kolom
id	string Opsional. ID kecocokan tool call yang menjadi tujuan respons.
displayName	string Hanya output. Nama tampilan alat.
response	object (Struct format) Wajib. Hasil eksekusi alat dalam format objek JSON. Gunakan kunci "output" untuk menentukan respons alat dan kunci "error" untuk menentukan detail error (jika ada). Jika kunci "output" dan "error" tidak ditentukan, seluruh "respons" akan diperlakukan sebagai hasil eksekusi alat.
parentToolCallId	string Hanya output. ID panggilan alat yang menyebabkan panggilan ini, saat dikeluarkan oleh sub-agen yang bekerja atas nama panggilan induk. Kosong untuk panggilan tingkat teratas. Memungkinkan klien mengelompokkan pekerjaan sub-agen di bawah panggilan yang memulainya, bukan merender setiap langkah sebagai sibling.
agentName	string Hanya output. Nama agen yang dapat dibaca manusia yang mengeluarkan panggilan ini, misalnya "Contract Architect". Kosong saat agen root mengeluarkannya.
targetApp	string Hanya output. Aplikasi yang ditargetkan oleh alat yang dieksekusi; mencerminkan ToolCall.target_app.
Kolom union tool_identifier. ID alat yang dieksekusi. Alat ini dapat berupa alat yang dipertahankan atau alat dari toolset. tool_identifier hanya ada berupa salah satu diantara berikut:
tool	string Opsional. Nama alat yang akan dieksekusi. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Opsional. Alat toolset yang dijalankan.

ToolsetTool

Representasi JSON
{ "toolset": string, "toolId": string }

Kolom
toolset	string Wajib. Nama resource Toolset yang menjadi asal alat ini. Format: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId	string Opsional. ID alat untuk memfilter alat yang akan diambil skemanya.

Struct

Representasi JSON
{ "fields": { string: value, ... } }

Kolom
fields	map (key: string, value: value (Value format)) Peta nilai yang diketik secara dinamis dan tidak diurutkan. Objek yang berisi daftar pasangan "key": value. Contoh: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Representasi JSON
{ "key": string, "value": value }

Kolom
key	string
value	value (Value format)

Nilai

Representasi JSON
{ // Union field kind can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field kind. }

Kolom
Kolom union kind. Jenis nilai. kind hanya ada berupa salah satu diantara berikut:
nullValue	null Merepresentasikan null JSON.
numberValue	number Merepresentasikan angka JSON. Tidak boleh NaN, Infinity, atau -Infinity, karena tidak didukung di JSON. Hal ini juga tidak dapat merepresentasikan nilai Int64 yang besar, karena format JSON umumnya tidak mendukungnya dalam jenis angkanya.
stringValue	string Mewakili string JSON.
boolValue	boolean Merepresentasikan boolean JSON (literal true atau false dalam JSON).
structValue	object (Struct format) Mewakili objek JSON.
listValue	array (ListValue format) Mewakili array JSON.

ListValue

Representasi JSON
{ "values": [ value ] }

Kolom
values[]	value (Value format) Kolom berulang dari nilai yang diketik secara dinamis.

Gambar

Representasi JSON
{ "mimeType": string, "data": string, "altText": string }

Kolom
mimeType	string Wajib. Jenis MIME standar IANA dari data sumber. Jenis gambar yang didukung meliputi: * image/png * image/jpeg * image/webp
data	string (bytes format) Wajib. Byte mentah gambar. String berenkode base64.
altText	string Opsional. Teks alternatif untuk gambar.

Blob

Representasi JSON
{ "mimeType": string, "data": string }

Kolom
mimeType	string Wajib. Jenis MIME standar IANA dari data sumber.
data	string (bytes format) Wajib. Byte mentah blob. String berenkode base64.

Acara

Representasi JSON
{ "event": string, "variables": { object } }

Kolom
event	string Wajib. Nama peristiwa.
variables	object (Struct format) Opsional. Variabel tambahan yang terkait dengan peristiwa.

AgentTransfer

Representasi JSON
{ "targetAgent": string, "displayName": string }

Kolom
targetAgent	string Wajib. Agen yang akan menerima transfer percakapan. Agen akan menangani percakapan mulai dari titik ini. Format: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName	string Hanya output. Nama tampilan agen.

GoldenExpectation

Representasi JSON

{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object (ExpectationLevelMetricsThresholds) }, "agentResponseSemanticSimilarityMetricsConfigOverride": { object (SemanticSimilarityMetricsConfig) }, "agentResponseHallucinationMetricsConfigOverride": { object (HallucinationMetricsConfig) }, "comparisonType": enum (ComparisonType), // Union field condition can be only one of the following: "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentResponse": { object (Message) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "mockToolResponse": { object (ToolResponse) }, "noToolCalls": boolean // End of list of possible types for union field condition. }

Kolom
note	string Opsional. Catatan untuk persyaratan ini, berguna dalam pelaporan saat pemeriksaan tertentu gagal. Misalnya, "Check_Payment_Tool_Called".
skipEvaluation	boolean Opsional. Jika ditetapkan ke true, ekspektasi spesifik ini tidak akan dievaluasi.
expectationLevelMetricsThresholdsOverride	object (ExpectationLevelMetricsThresholds) Opsional. Mengganti metrik di tingkat langkah.
agentResponseSemanticSimilarityMetricsConfigOverride	object (SemanticSimilarityMetricsConfig) Opsional. Penggantian untuk metrik kesamaan semantik agent_response.
agentResponseHallucinationMetricsConfigOverride	object (HallucinationMetricsConfig) Opsional. Penggantian untuk metrik halusinasi agent_response.
comparisonType	enum (ComparisonType) Opsional. Jenis perbandingan yang akan digunakan untuk pemeriksaan ekspektasi.
Kolom union condition. Pemeriksaan sebenarnya yang akan dilakukan. condition hanya ada berupa salah satu diantara berikut:
toolCall	object (ToolCall) Opsional. Memeriksa apakah alat tertentu dipanggil dengan parameter.
toolResponse	object (ToolResponse) Opsional. Memeriksa apakah alat tertentu memberikan respons yang diharapkan.
agentResponse	object (Message) Opsional. Periksa apakah agen merespons dengan respons yang benar. Peran "agent" tersirat.
agentTransfer	object (AgentTransfer) Opsional. Pastikan agen mentransfer percakapan ke agen lain.
updatedVariables	object (Struct format) Opsional. Pastikan agen memperbarui variabel sesi ke nilai yang diharapkan. Juga digunakan untuk mencatat update variabel agen untuk evaluasi golden.
mockToolResponse	object (ToolResponse) Opsional. Respons alat yang akan ditiru, dengan parameter yang diinginkan ditentukan. Setiap parameter yang tidak ditentukan akan dihalusinasi oleh LLM.
noToolCalls	boolean Opsional. Periksa apakah tidak ada alat yang dipanggil selama giliran ini.

ToolCall

Representasi JSON
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Kolom
id	string Opsional. ID unik panggilan alat. Jika diisi, klien harus menampilkan hasil eksekusi dengan ID yang cocok di ToolResponse.
displayName	string Hanya output. Nama tampilan alat.
args	object (Struct format) Opsional. Parameter dan nilai input untuk alat dalam format objek JSON.
parentToolCallId	string Hanya output. ID panggilan alat yang menyebabkan panggilan ini, saat dikeluarkan oleh sub-agen yang bekerja atas nama panggilan induk. Kosong untuk panggilan tingkat teratas. Memungkinkan klien mengelompokkan pekerjaan sub-agen di bawah panggilan yang memulainya, bukan merender setiap langkah sebagai sibling.
agentName	string Hanya output. Nama agen yang dapat dibaca manusia yang mengeluarkan panggilan ini, misalnya "Contract Architect". Kosong saat agen root mengeluarkannya.
targetApp	string Hanya output. Aplikasi yang ditargetkan oleh panggilan ini, yang diperoleh asisten dari argumen resource panggilan: nama resource aplikasi, PROJECT untuk alat yang tercakup dalam lokasi, atau kosong untuk alat lokal sesi. Hanya ditetapkan dalam sesi asisten yang tercakup dalam project.
Kolom union tool_identifier. ID alat yang akan dieksekusi. Alat ini dapat berupa alat yang dipertahankan atau alat dari toolset. tool_identifier hanya ada berupa salah satu diantara berikut:
tool	string Opsional. Nama alat yang akan dieksekusi. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Opsional. Alat toolset yang akan dijalankan.

Pesan

Representasi JSON
{ "role": string, "chunks": [ { object (Chunk) } ], "eventTime": string }

Kolom
role	string Opsional. Peran dalam percakapan, misalnya, pengguna, agen.
chunks[]	object (Chunk) Opsional. Konten pesan sebagai serangkaian potongan.
eventTime	string (Timestamp format) Opsional. Stempel waktu saat pesan dikirim atau diterima. Tidak boleh digunakan jika pesan adalah bagian dari example. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".

Bagian

Representasi JSON

{ // Union field data can be only one of the following: "text": string, "transcript": string, "blob": { object (Blob) }, "payload": { object }, "image": { object (Image) }, "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field data. }

Kolom
Kolom union data. Membagi data menjadi beberapa bagian. data hanya ada berupa salah satu diantara berikut:
text	string Opsional. Data teks.
transcript	string Opsional. Transkrip yang terkait dengan audio.
blob	object (Blob) Opsional. Data blob.
payload	object (Struct format) Opsional. Data payload kustom.
image	object (Image) Opsional. Data gambar.
toolCall	object (ToolCall) Opsional. Permintaan eksekusi alat.
toolResponse	object (ToolResponse) Opsional. Respons eksekusi alat.
agentTransfer	object (AgentTransfer) Opsional. Peristiwa transfer agen.
updatedVariables	object (Struct format) Struct mewakili variabel yang diperbarui dalam percakapan, yang diberi kunci berdasarkan nama variabel.
defaultVariables	object (Struct format) Struct mewakili variabel default di awal percakapan, yang diberi kunci berdasarkan nama variabel.

Stempel waktu

Representasi JSON
{ "seconds": string, "nanos": integer }

Kolom
seconds	string (int64 format) Mewakili detik waktu UTC sejak epoch Unix 1970-01-01T00:00:00Z. Harus antara -62135596800 dan 253402300799 inklusif (yang sesuai dengan 0001-01-01T00:00:00Z hingga 9999-12-31T23:59:59Z).
nanos	integer Pecahan detik non-negatif pada resolusi nanodetik. Kolom ini adalah bagian nanodetik dari durasi, bukan alternatif untuk detik. Nilai detik negatif dengan pecahan harus tetap memiliki nilai nano non-negatif yang dihitung maju dalam waktu. Harus antara 0 dan 999.999.999 inklusif.

ExpectationLevelMetricsThresholds

Representasi JSON
{ // Union field _tool_invocation_parameter_correctness_threshold can be only one // of the following: "toolInvocationParameterCorrectnessThreshold": number // End of list of possible types for union field // _tool_invocation_parameter_correctness_threshold. }

Kolom
Kolom union _tool_invocation_parameter_correctness_threshold. _tool_invocation_parameter_correctness_threshold hanya dapat berupa salah satu dari hal berikut:
toolInvocationParameterCorrectnessThreshold	number Opsional. Nilai minimum keberhasilan untuk kebenaran parameter pemanggilan alat individual. Harus berupa float antara 0 dan 1. Default-nya adalah 1.0.

SemanticSimilarityMetricsConfig

Representasi JSON
{ "enableSemanticSimilarityMetrics": boolean }

Kolom
enableSemanticSimilarityMetrics	boolean Opsional. Apakah akan menghitung metrik kesamaan semantik untuk evaluasi.

HallucinationMetricsConfig

Representasi JSON
{ "enableHallucinationMetrics": boolean }

Kolom
enableHallucinationMetrics	boolean Opsional. Apakah akan menghitung metrik halusinasi untuk evaluasi.

Span

Representasi JSON
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (Span) } ] }

Kolom
name	string Hanya output. Nama span.
startTime	string (Timestamp format) Hanya output. Waktu mulai span. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Hanya output. Waktu berakhir span. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
duration	string (Duration format) Hanya output. Durasi span. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".
attributes	object (Struct format) Hanya output. Atribut nilai kunci yang terkait dengan span.
childSpans[]	object (Span) Hanya output. Span turunan yang disusun bertingkat di bawah span ini.

Durasi

Representasi JSON
{ "seconds": string, "nanos": integer }

Kolom
seconds	string (int64 format) Detik bertanda dari rentang waktu. Harus dari -315.576.000.000 hingga +315.576.000.000 inklusif. Catatan: batas ini dihitung dari: 60 dtk/mnt * 60 mnt/jam * 24 jam/hari * 365,25 hari/tahun * 10.000 tahun
nanos	integer Pecahan detik bertanda tangan pada resolusi nanodetik dari rentang waktu. Durasi kurang dari satu detik direpresentasikan dengan kolom seconds 0 dan kolom nanos positif atau negatif. Untuk durasi satu detik atau lebih, nilai bukan nol untuk kolom nanos harus memiliki tanda yang sama dengan kolom seconds. Harus dari -999.999.999 hingga +999.999.999 inklusif.

TurnLevelMetricsThresholds

Representasi JSON

{ "semanticSimilarityChannel": enum (SemanticSimilarityChannel), // Union field _semantic_similarity_success_threshold can be only one of the // following: "semanticSimilaritySuccessThreshold": integer // End of list of possible types for union field // _semantic_similarity_success_threshold. // Union field _overall_tool_invocation_correctness_threshold can be only one // of the following: "overallToolInvocationCorrectnessThreshold": number // End of list of possible types for union field // _overall_tool_invocation_correctness_threshold. }

Kolom
semanticSimilarityChannel	enum (SemanticSimilarityChannel) Opsional. Saluran kemiripan semantik yang akan digunakan untuk evaluasi.
Kolom union _semantic_similarity_success_threshold. _semantic_similarity_success_threshold hanya dapat berupa salah satu dari hal berikut:
semanticSimilaritySuccessThreshold	integer Opsional. Nilai minimum keberhasilan untuk kemiripan semantik. Harus berupa bilangan bulat antara 0 dan 4. Defaultnya adalah >= 3.
Kolom union _overall_tool_invocation_correctness_threshold. _overall_tool_invocation_correctness_threshold hanya dapat berupa salah satu dari hal berikut:
overallToolInvocationCorrectnessThreshold	number Opsional. Nilai minimum keberhasilan untuk keseluruhan ketepatan pemanggilan alat. Harus berupa float antara 0 dan 1. Default-nya adalah 1.0.

Skenario

Representasi JSON

{ "task": string, "userFacts": [ { object (UserFact) } ], "maxTurns": integer, "rubrics": [ string ], "scenarioExpectations": [ { object (ScenarioExpectation) } ], "variableOverrides": { object }, "taskCompletionBehavior": enum (TaskCompletionBehavior), "userGoalBehavior": enum (UserGoalBehavior), "evaluationExpectations": [ string ], "milestones": [ { object (Milestone) } ], "scenarioExecutionMode": enum (ScenarioExecutionMode) }

Kolom
task	string Wajib. Tugas yang akan ditargetkan oleh skenario.
userFacts[]	object (UserFact) Opsional. Fakta pengguna yang akan digunakan oleh skenario.
maxTurns	integer Opsional. Jumlah giliran maksimum yang akan disimulasikan. Nilai maksimum yang diizinkan adalah 100. Nilai defaultnya adalah 100.
rubrics[]	string Wajib. Rubrik untuk menilai skenario.
scenarioExpectations[]	object (ScenarioExpectation) Wajib. ScenarioExpectations untuk mengevaluasi percakapan yang dihasilkan oleh simulasi pengguna.
variableOverrides	object (Struct format) Opsional. Variabel/Parameter Sesi sebagai konteks untuk sesi, yang diberi kunci berdasarkan nama variabel. Anggota struct ini akan mengganti nilai default yang ditetapkan oleh sistem. Perhatikan bahwa fakta ini berbeda dengan fakta pengguna, yang merupakan fakta yang diketahui pengguna. Variabel adalah parameter yang diketahui oleh agen: yaitu MDN (nomor telepon) yang diteruskan oleh sistem telepon.
taskCompletionBehavior (deprecated)	enum (TaskCompletionBehavior) Item ini tidak digunakan lagi. Opsional. Tidak digunakan lagi. Gunakan user_goal_behavior sebagai gantinya.
userGoalBehavior	enum (UserGoalBehavior) Opsional. Perilaku yang diharapkan dari sasaran pengguna.
evaluationExpectations[]	string Opsional. Ekspektasi evaluasi untuk mengevaluasi percakapan yang dihasilkan oleh simulasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
milestones[]	object (Milestone) Opsional. Pencapaian untuk skenario ini.
scenarioExecutionMode	enum (ScenarioExecutionMode) Opsional. Mode eksekusi untuk evaluasi skenario.

UserFact

Representasi JSON
{ "name": string, "value": string }

Kolom
name	string Wajib. Nama fakta pengguna.
value	string Wajib. Nilai fakta pengguna.

ScenarioExpectation

Representasi JSON
{ // Union field expectation can be only one of the following: "toolExpectation": { object (ToolExpectation) }, "agentResponse": { object (Message) } // End of list of possible types for union field expectation. }

Kolom
Kolom union expectation. Ekspektasi untuk mengevaluasi percakapan yang dihasilkan oleh simulasi. expectation hanya ada berupa salah satu diantara berikut:
toolExpectation	object (ToolExpectation) Opsional. Pasangan panggilan dan respons alat yang akan dievaluasi.
agentResponse	object (Message) Opsional. Respons agen yang akan dievaluasi.

ToolExpectation

Representasi JSON
{ "expectedToolCall": { object (ToolCall) }, "mockToolResponse": { object (ToolResponse) } }

Kolom
expectedToolCall	object (ToolCall) Wajib. Panggilan alat yang diharapkan, dengan parameter yang diinginkan ditentukan. Setiap parameter yang tidak ditentukan akan dihalusinasi oleh LLM.
mockToolResponse	object (ToolResponse) Wajib. Respons alat yang akan ditiru, dengan parameter yang diinginkan ditentukan. Setiap parameter yang tidak ditentukan akan dihalusinasi oleh LLM.

Milestone

Representasi JSON
{ "goal": string, "maxTurnCount": integer, "successCriteria": string, "protocol": string, "staticUtterance": string, "event": { object (Event) } }

Kolom
goal	string Wajib. Sasaran pencapaian.
maxTurnCount	integer Opsional. Jumlah giliran maksimum untuk tahap ini.
successCriteria	string Opsional. Kriteria keberhasilan pencapaian.
protocol	string Opsional. Panduan yang harus diikuti agen selama percakapan.
staticUtterance	string Opsional. Ucapan statis yang akan dikirim simulator secara persis, bukan menghasilkan input pengguna secara dinamis.
event	object (Event) Opsional. Input peristiwa yang akan dikirim, bukan pembuatan dinamis.

AggregatedMetrics

Representasi JSON
{ "metricsByAppVersion": [ { object (MetricsByAppVersion) } ] }

Kolom
metricsByAppVersion[]	object (MetricsByAppVersion) Hanya output. Metrik gabungan, yang dikelompokkan menurut ID versi aplikasi.

MetricsByAppVersion

Representasi JSON

{ "appVersionId": string, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ], "passCount": integer, "failCount": integer, "metricsByTurn": [ { object (MetricsByTurn) } ] }

Kolom
appVersionId	string Hanya output. ID versi aplikasi.
toolMetrics[]	object (ToolMetrics) Hanya output. Metrik untuk setiap alat dalam versi aplikasi ini.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Hanya output. Metrik untuk kesamaan semantik dalam versi aplikasi ini.
hallucinationMetrics[]	object (HallucinationMetrics) Hanya output. Metrik untuk halusinasi dalam versi aplikasi ini.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Hanya output. Metrik untuk latensi panggilan alat dalam versi aplikasi ini.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Hanya output. Metrik untuk latensi giliran dalam versi aplikasi ini.
passCount	integer Hanya output. Frekuensi evaluasi lulus.
failCount	integer Hanya output. Frekuensi kegagalan evaluasi.
metricsByTurn[]	object (MetricsByTurn) Hanya output. Metrik yang digabungkan per giliran dalam versi aplikasi ini.

ToolMetrics

Representasi JSON
{ "tool": string, "passCount": integer, "failCount": integer }

Kolom
tool	string Hanya output. Nama alat.
passCount	integer Hanya output. Frekuensi alat lulus.
failCount	integer Hanya output. Frekuensi kegagalan alat.

SemanticSimilarityMetrics

Representasi JSON
{ "score": number }

Kolom
score	number Hanya output. Skor kesamaan semantik rata-rata (0-4).

HallucinationMetrics

Representasi JSON
{ "score": number }

Kolom
score	number Hanya output. Skor halusinasi rata-rata (0 hingga 1).

ToolCallLatencyMetrics

Representasi JSON
{ "tool": string, "averageLatency": string }

Kolom
tool	string Hanya output. Nama alat.
averageLatency	string (Duration format) Hanya output. Latensi rata-rata panggilan alat. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".

TurnLatencyMetrics

Representasi JSON
{ "averageLatency": string }

Kolom
averageLatency	string (Duration format) Hanya output. Latensi rata-rata giliran. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".

MetricsByTurn

Representasi JSON
{ "turnIndex": integer, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ] }

Kolom
turnIndex	integer Hanya output. Indeks giliran (berbasis 0).
toolMetrics[]	object (ToolMetrics) Hanya output. Metrik untuk setiap alat dalam giliran ini.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Hanya output. Metrik untuk kesamaan semantik dalam giliran ini.
hallucinationMetrics[]	object (HallucinationMetrics) Hanya output. Metrik untuk halusinasi dalam giliran ini.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Hanya output. Metrik untuk latensi panggilan alat dalam giliran ini.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Hanya output. Metrik untuk latensi giliran dalam giliran ini.

EvaluationResult

Representasi JSON

{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum (Outcome), "evaluationRun": string, "persona": { object (EvaluationPersona) }, "errorInfo": { object (EvaluationErrorInfo) }, "error": { object (Status) }, "initiatedBy": string, "appVersion": string, "appVersionDisplayName": string, "changelog": string, "changelogCreateTime": string, "executionState": enum (ExecutionState), "evaluationMetricsThresholds": { object (EvaluationMetricsThresholds) }, "config": { object (EvaluationConfig) }, "goldenRunMethod": enum (GoldenRunMethod), "rootSpan": { object (Span) }, "outcomeMetadata": enum (OutcomeMetadata), // Union field result can be only one of the following: "goldenResult": { object (GoldenResult) }, "scenarioResult": { object (ScenarioResult) } // End of list of possible types for union field result. }

Kolom
name	string ID. ID unik hasil evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName	string Wajib. Nama tampilan Hasil Evaluasi. Unik dalam Evaluasi. Secara default, formatnya adalah: " result - ".
createTime	string (Timestamp format) Hanya output. Stempel waktu saat hasil evaluasi dibuat. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
evaluationStatus	enum (Outcome) Hanya output. Hasil evaluasi. Hanya diisi jika execution_state adalah COMPLETE.
evaluationRun	string Hanya output. Proses evaluasi yang menghasilkan hasil ini. Format: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona	object (EvaluationPersona) Hanya output. Persona yang digunakan untuk membuat percakapan untuk hasil evaluasi.
errorInfo	object (EvaluationErrorInfo) Hanya output. Informasi error untuk hasil evaluasi.
error (deprecated)	object (Status) Item ini tidak digunakan lagi. Hanya output. Tidak digunakan lagi: Gunakan error_info sebagai gantinya. Terjadi error selama eksekusi.
initiatedBy	string Hanya output. Pengguna yang memulai eksekusi evaluasi yang menghasilkan hasil ini.
appVersion	string Hanya output. Versi aplikasi yang digunakan untuk membuat percakapan yang menghasilkan hasil ini. Format: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName	string Hanya output. Nama tampilan app_version yang menjadi target evaluasi.
changelog	string Hanya output. Log perubahan versi aplikasi yang dievaluasi. Ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf.
changelogCreateTime	string (Timestamp format) Hanya output. Waktu pembuatan changelog versi aplikasi yang dievaluasi. Ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
executionState	enum (ExecutionState) Hanya output. Status eksekusi hasil evaluasi.
evaluationMetricsThresholds	object (EvaluationMetricsThresholds) Hanya output. Nilai minimum evaluasi untuk hasil.
config	object (EvaluationConfig) Hanya output. Konfigurasi yang digunakan dalam operasi evaluasi yang menghasilkan hasil ini.
goldenRunMethod	enum (GoldenRunMethod) Hanya output. Metode yang digunakan untuk menjalankan evaluasi golden.
rootSpan	object (Span) Hanya output. Span root eksekusi evaluasi, yang mencakup informasi tentang setiap langkah evaluasi.
outcomeMetadata	enum (OutcomeMetadata) Hanya output. Metadata hasil evaluasi. Hanya diisi jika execution_state adalah COMPLETE.
Kolom union result. Hasil evaluasi. Hanya diisi jika execution_state adalah COMPLETED. result hanya ada berupa salah satu diantara berikut:
goldenResult	object (GoldenResult) Hanya output. Hasil evaluasi golden.
scenarioResult	object (ScenarioResult) Hanya output. Hasil evaluasi skenario.

GoldenResult

Representasi JSON
{ "turnReplayResults": [ { object (TurnReplayResult) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ] }

Kolom
turnReplayResults[]	object (TurnReplayResult) Hanya output. Hasil dari menjalankan setiap giliran percakapan emas.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Hanya output. Hasil ekspektasi evaluasi.

TurnReplayResult

Representasi JSON

{ "conversation": string, "expectationOutcome": [ { object (GoldenExpectationOutcome) } ], "hallucinationResult": { object (HallucinationResult) }, "toolInvocationScore": number, "turnLatency": string, "toolCallLatencies": [ { object (ToolCallLatency) } ], "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "overallToolInvocationResult": { object (OverallToolInvocationResult) }, "errorInfo": { object (EvaluationErrorInfo) }, "spanLatencies": [ { object (SpanLatency) } ], // Union field _tool_ordered_invocation_score can be only one of the following: "toolOrderedInvocationScore": number // End of list of possible types for union field // _tool_ordered_invocation_score. }

Kolom
conversation	string Hanya output. Percakapan yang dibuat untuk giliran ini.
expectationOutcome[]	object (GoldenExpectationOutcome) Hanya output. Hasil dari setiap ekspektasi.
hallucinationResult	object (HallucinationResult) Hanya output. Hasil pemeriksaan halusinasi.
toolInvocationScore (deprecated)	number Item ini tidak digunakan lagi. Hanya output. Tidak digunakan lagi. Gunakan OverallToolInvocationResult.
turnLatency	string (Duration format) Hanya output. Durasi belokan. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".
toolCallLatencies[]	object (ToolCallLatency) Hanya output. Latensi setiap panggilan alat dalam giliran.
semanticSimilarityResult	object (SemanticSimilarityResult) Hanya output. Hasil pemeriksaan kemiripan semantik.
overallToolInvocationResult	object (OverallToolInvocationResult) Hanya output. Hasil pemeriksaan pemanggilan alat secara keseluruhan.
errorInfo	object (EvaluationErrorInfo) Hanya output. Informasi tentang error yang terjadi selama giliran ini.
spanLatencies[]	object (SpanLatency) Hanya output. Latensi span dalam giliran.
Kolom union _tool_ordered_invocation_score. _tool_ordered_invocation_score hanya dapat berupa salah satu dari hal berikut:
toolOrderedInvocationScore	number Hanya output. Skor pemanggilan alat yang diurutkan secara keseluruhan untuk giliran ini. Ini menunjukkan persentase keseluruhan alat dari giliran yang diharapkan yang benar-benar dipanggil dalam urutan yang diharapkan.

GoldenExpectationOutcome

Representasi JSON

{ "expectation": { object (GoldenExpectation) }, "outcome": enum (Outcome), "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "toolInvocationResult": { object (ToolInvocationResult) }, // Union field result can be only one of the following: "observedToolCall": { object (ToolCall) }, "observedToolResponse": { object (ToolResponse) }, "observedAgentResponse": { object (Message) }, "observedAgentTransfer": { object (AgentTransfer) }, "observedPayload": { object } // End of list of possible types for union field result. }

Kolom
expectation	object (GoldenExpectation) Hanya output. Ekspektasi yang dievaluasi.
outcome	enum (Outcome) Hanya output. Hasil dari ekspektasi.
semanticSimilarityResult (deprecated)	object (SemanticSimilarityResult) Item ini tidak digunakan lagi. Hanya output. Hasil pemeriksaan kemiripan semantik.
toolInvocationResult	object (ToolInvocationResult) Hanya output. Hasil pemeriksaan pemanggilan alat.
Kolom union result. Hasil ekspektasi. result hanya ada berupa salah satu diantara berikut:
observedToolCall	object (ToolCall) Hanya output. Hasil ekspektasi panggilan alat.
observedToolResponse	object (ToolResponse) Hanya output. Hasil ekspektasi respons alat.
observedAgentResponse	object (Message) Hanya output. Hasil ekspektasi respons agen.
observedAgentTransfer	object (AgentTransfer) Hanya output. Hasil ekspektasi transfer agen.
observedPayload	object (Struct format) Hanya output. Payload kustom yang diamati. Tidak ada ekspektasi untuk payload kustom. Data ini hanya digunakan untuk penghitungan metrik. Hasilnya selalu SKIPPED.

SemanticSimilarityResult

Representasi JSON
{ "label": string, "explanation": string, "outcome": enum (Outcome), // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Kolom
label	string Hanya output. Label yang terkait dengan setiap skor. Skor 4: Sepenuhnya Konsisten Skor 3: Sebagian Besar Konsisten Skor 2: Sebagian Konsisten (Penghilangan Minor) Skor 1: Sebagian Besar Tidak Konsisten (Penghilangan Mayor) Skor 0: Sama Sekali Tidak Konsisten/Bertentangan
explanation	string Hanya output. Penjelasan untuk skor kemiripan semantik.
outcome	enum (Outcome) Hanya output. Hasil pemeriksaan kesamaan semantik. Hal ini ditentukan dengan membandingkan skor dengan semantic_similarity_success_threshold. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan menjadi GAGAL.
Kolom union _score. _score hanya dapat berupa salah satu dari hal berikut:
score	integer Hanya output. Skor kemiripan semantik. Dapat berupa 0, 1, 2, 3, atau 4.

ToolInvocationResult

Representasi JSON
{ "outcome": enum (Outcome), "explanation": string, // Union field _parameter_correctness_score can be only one of the following: "parameterCorrectnessScore": number // End of list of possible types for union field _parameter_correctness_score. }

Kolom
outcome	enum (Outcome) Hanya output. Hasil pemeriksaan pemanggilan alat. Hal ini ditentukan dengan membandingkan parameter_correctness_score dengan nilai minimum. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan menjadi GAGAL.
explanation	string Hanya output. Penjelasan teks bebas untuk hasil pemanggilan alat.
Kolom union _parameter_correctness_score. _parameter_correctness_score hanya dapat berupa salah satu dari hal berikut:
parameterCorrectnessScore	number Hanya output. Skor ketepatan parameter pemanggilan alat. Metrik ini menunjukkan persentase parameter dari panggilan alat yang diharapkan yang juga ada dalam panggilan alat yang sebenarnya.

HallucinationResult

Representasi JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Kolom
label	string Hanya output. Label yang terkait dengan setiap skor. Skor 1: Dibenarkan Skor 0: Tidak Dibenarkan Skor -1: Tidak Ada Klaim untuk Dinilai
explanation	string Hanya output. Penjelasan untuk skor halusinasi.
Kolom union _score. _score hanya dapat berupa salah satu dari hal berikut:
score	integer Hanya output. Skor halusinasi. Dapat berupa -1, 0, 1.

ToolCallLatency

Representasi JSON
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

Kolom
tool	string Hanya output. Nama alat yang dieksekusi. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName	string Hanya output. Nama tampilan alat.
startTime	string (Timestamp format) Hanya output. Waktu mulai eksekusi panggilan alat. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Hanya output. Waktu berakhir eksekusi panggilan alat. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Hanya output. Latensi eksekusi panggilan alat. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".

OverallToolInvocationResult

Representasi JSON
{ "outcome": enum (Outcome), // Union field _tool_invocation_score can be only one of the following: "toolInvocationScore": number // End of list of possible types for union field _tool_invocation_score. }

Kolom
outcome	enum (Outcome) Hanya output. Hasil pemeriksaan pemanggilan alat. Hal ini ditentukan dengan membandingkan tool_invocation_score dengan overall_tool_invocation_correctness_threshold. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan menjadi GAGAL.
Kolom union _tool_invocation_score. _tool_invocation_score hanya dapat berupa salah satu dari hal berikut:
toolInvocationScore	number Skor pemanggilan alat secara keseluruhan untuk giliran ini. Ini menunjukkan persentase keseluruhan alat dari giliran yang diharapkan yang benar-benar dipanggil.

EvaluationErrorInfo

Representasi JSON
{ "errorType": enum (ErrorType), "errorMessage": string, "sessionId": string, "userFacingErrorMessage": string }

Kolom
errorType	enum (ErrorType) Hanya output. Jenis error.
errorMessage	string Hanya output. Pesan error.
sessionId	string Hanya output. ID sesi untuk percakapan yang menyebabkan error.
userFacingErrorMessage	string Hanya output. Pesan error yang ditampilkan kepada pengguna.

SpanLatency

Representasi JSON
{ "type": enum (Type), "displayName": string, "startTime": string, "endTime": string, "executionLatency": string, // Union field identifier can be only one of the following: "resource": string, "toolset": { object (ToolsetTool) }, "model": string, "callback": string // End of list of possible types for union field identifier. }

Kolom
type	enum (Type) Hanya output. Jenis span.
displayName	string Hanya output. Nama tampilan span. Berlaku untuk span alat dan guardrail.
startTime	string (Timestamp format) Hanya output. Waktu mulai span. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Hanya output. Waktu berakhir span. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Hanya output. Latensi span. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".
Kolom union identifier. ID item tertentu berdasarkan jenisnya. identifier hanya ada berupa salah satu diantara berikut:
resource	string Hanya output. Nama resource guardrail atau span alat.
toolset	object (ToolsetTool) Hanya output. ID alat toolset.
model	string Hanya output. Nama span LLM.
callback	string Hanya output. Nama span callback pengguna.

EvaluationExpectationResult

Representasi JSON
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (Outcome), "explanation": string }

Kolom
evaluationExpectation	string Hanya output. Ekspektasi evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt	string Hanya output. Perintah yang digunakan untuk evaluasi.
outcome	enum (Outcome) Hanya output. Hasil ekspektasi evaluasi.
explanation	string Hanya output. Penjelasan untuk hasil.

ScenarioResult

Representasi JSON

{ "conversation": string, "task": string, "userFacts": [ { object (UserFact) } ], "expectationOutcomes": [ { object (ScenarioExpectationOutcome) } ], "rubricOutcomes": [ { object (ScenarioRubricOutcome) } ], "hallucinationResult": [ { object (HallucinationResult) } ], "taskCompletionResult": { object (TaskCompletionResult) }, "toolCallLatencies": [ { object (ToolCallLatency) } ], "userGoalSatisfactionResult": { object (UserGoalSatisfactionResult) }, "spanLatencies": [ { object (SpanLatency) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ], "milestoneResults": [ { object (MilestoneResult) } ], // Union field _all_expectations_satisfied can be only one of the following: "allExpectationsSatisfied": boolean // End of list of possible types for union field _all_expectations_satisfied. // Union field _task_completed can be only one of the following: "taskCompleted": boolean // End of list of possible types for union field _task_completed. }

Kolom
conversation	string Hanya output. Percakapan yang dibuat dalam skenario.
task	string Hanya output. Tugas yang digunakan saat menjalankan skenario untuk hasil ini.
userFacts[]	object (UserFact) Hanya output. Fakta pengguna yang digunakan oleh skenario untuk hasil ini.
expectationOutcomes[]	object (ScenarioExpectationOutcome) Hanya output. Hasil dari setiap ekspektasi.
rubricOutcomes[]	object (ScenarioRubricOutcome) Hanya output. Hasil rubrik.
hallucinationResult[]	object (HallucinationResult) Hanya output. Hasil pemeriksaan halusinasi. Akan ada satu hasil halusinasi untuk setiap giliran dalam percakapan.
taskCompletionResult (deprecated)	object (TaskCompletionResult) Item ini tidak digunakan lagi. Hanya output. Hasil pemeriksaan penyelesaian tugas.
toolCallLatencies[]	object (ToolCallLatency) Hanya output. Latensi setiap eksekusi panggilan alat dalam percakapan.
userGoalSatisfactionResult	object (UserGoalSatisfactionResult) Hanya output. Hasil pemeriksaan kepuasan sasaran pengguna.
spanLatencies[]	object (SpanLatency) Hanya output. Latensi span dalam percakapan.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Hanya output. Hasil ekspektasi evaluasi.
milestoneResults[]	object (MilestoneResult) Hanya output. Hasil dari setiap pencapaian dalam skenario.
Kolom union _all_expectations_satisfied. _all_expectations_satisfied hanya dapat berupa salah satu dari hal berikut:
allExpectationsSatisfied	boolean Hanya output. Apakah semua ekspektasi terpenuhi untuk giliran ini.
Kolom union _task_completed. _task_completed hanya dapat berupa salah satu dari hal berikut:
taskCompleted	boolean Hanya output. Apakah tugas telah selesai untuk giliran ini. Ini adalah gabungan dari semua ekspektasi yang terpenuhi, tidak ada halusinasi, dan kepuasan sasaran pengguna.

ScenarioExpectationOutcome

Representasi JSON
{ "expectation": { object (ScenarioExpectation) }, "outcome": enum (Outcome), // Union field result can be only one of the following: "observedToolCall": { object (ObservedToolCall) }, "observedAgentResponse": { object (Message) } // End of list of possible types for union field result. }

Kolom
expectation	object (ScenarioExpectation) Hanya output. Ekspektasi yang dievaluasi.
outcome	enum (Outcome) Hanya output. Hasil ScenarioExpectation.
Kolom union result. Hasil ekspektasi. result hanya ada berupa salah satu diantara berikut:
observedToolCall	object (ObservedToolCall) Hanya output. Panggilan alat yang diamati.
observedAgentResponse	object (Message) Hanya output. Respons agen yang diamati.

ObservedToolCall

Representasi JSON
{ "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) } }

Kolom
toolCall	object (ToolCall) Hanya output. Panggilan alat yang diamati.
toolResponse	object (ToolResponse) Hanya output. Respons alat yang diamati.

ScenarioRubricOutcome

Representasi JSON
{ "rubric": string, "scoreExplanation": string, // Union field _score can be only one of the following: "score": number // End of list of possible types for union field _score. }

Kolom
rubric	string Hanya output. Rubrik yang digunakan untuk mengevaluasi percakapan.
scoreExplanation	string Hanya output. Respons penilai terhadap rubrik.
Kolom union _score. _score hanya dapat berupa salah satu dari hal berikut:
score	number Hanya output. Skor percakapan berdasarkan rubrik.

TaskCompletionResult

Representasi JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Kolom
label	string Hanya output. Label yang terkait dengan setiap skor. Skor 1: Tugas Selesai Skor 0: Tugas Tidak Selesai Skor -1: Sasaran Pengguna Tidak Ditentukan
explanation	string Hanya output. Penjelasan untuk skor penyelesaian tugas.
Kolom union _score. _score hanya dapat berupa salah satu dari hal berikut:
score	integer Hanya output. Skor penyelesaian tugas. Dapat berupa -1, 0, 1

UserGoalSatisfactionResult

Representasi JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Kolom
label	string Hanya output. Label yang terkait dengan setiap skor. Skor 2: Pengalihan yang Lancar Skor 1: Tugas Pengguna Terpenuhi Skor 0: Tugas Pengguna Tidak Terpenuhi Skor -1: Tugas Pengguna Tidak Ditentukan
explanation	string Hanya output. Penjelasan untuk skor kepuasan tugas pengguna.
Kolom union _score. _score hanya dapat berupa salah satu dari hal berikut:
score	integer Hanya output. Skor kepuasan tugas pengguna. Dapat berupa -1, 0, 1, 2.

MilestoneResult

Representasi JSON
{ "milestone": { object (Milestone) }, "status": enum (MilestoneStatus), "justification": string }

Kolom
milestone	object (Milestone) Hanya output. Pencapaian yang dilacak.
status	enum (MilestoneStatus) Hanya output. Status pencapaian saat ini.
justification	string Hanya output. Justifikasi untuk status saat ini.

EvaluationPersona

Representasi JSON
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (SpeechConfig) } }

Kolom
name	string Wajib. ID unik persona. Format: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description	string Opsional. Deskripsi persona.
displayName	string Wajib. Nama tampilan persona. Unik dalam aplikasi.
personality	string Wajib. Petunjuk untuk agen tentang cara berperilaku dalam evaluasi.
speechConfig	object (SpeechConfig) Opsional. Konfigurasi untuk suara persona (setelan TTS).

SpeechConfig

Representasi JSON
{ "speakingRate": number, "environment": enum (BackgroundEnvironment), "voiceId": string }

Kolom
speakingRate	number Opsional. Kecepatan bicara. 1,0 adalah normal. Nilai yang lebih rendah berarti lebih lambat (misalnya, 0,8), sedangkan nilai yang lebih tinggi berarti lebih cepat (misalnya, 1,5). Berguna untuk menguji cara agen menangani pengguna yang berbicara cepat.
environment	enum (BackgroundEnvironment) Opsional. Lingkungan audio yang disimulasikan.
voiceId	string Opsional. ID/aksen suara tertentu yang akan digunakan. Contoh: "en-US-Wavenet-D" atau "en-GB-Standard-A"

Status

Representasi JSON
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

Kolom
code	integer Kode status, harus berupa nilai enum dari google.rpc.Code.
message	string Pesan error yang ditampilkan ke developer dan seharusnya dalam bahasa Inggris. Setiap pesan error yang ditampilkan kepada pengguna harus dilokalkan dan dikirim di kolom google.rpc.Status.details, atau dilokalkan oleh klien.
details[]	object Daftar pesan yang membawa detail error. Ada seperangkat jenis pesan umum untuk digunakan API. Objek yang berisi kolom tipe arbitrer. Kolom tambahan "@type" berisi URI yang mengidentifikasi jenis. Contoh: { "id": 1234, "@type": "types.example.com/standard/id" }.

Semua

Representasi JSON
{ "typeUrl": string, "value": string }

Kolom
typeUrl	string Mengidentifikasi jenis pesan Protobuf yang diserialisasi dengan referensi URI yang terdiri dari awalan yang diakhiri dengan garis miring dan nama jenis yang sepenuhnya memenuhi syarat. Contoh: type.googleapis.com/google.protobuf.StringValue String ini harus berisi setidaknya satu karakter /, dan konten setelah / terakhir harus berupa nama jenis yang sepenuhnya memenuhi syarat dalam bentuk kanonis, tanpa titik di awal. Jangan menulis skema pada referensi URI ini agar klien tidak mencoba menghubunginya. Prefiks bersifat arbitrer dan implementasi Protobuf diharapkan hanya menghapus semua hal hingga dan termasuk / terakhir untuk mengidentifikasi jenisnya. type.googleapis.com/ adalah awalan default umum yang diperlukan oleh beberapa implementasi lama. Awalan ini tidak menunjukkan asal jenis, dan URI yang memuatnya tidak diharapkan untuk merespons permintaan apa pun. Semua string URL jenis harus berupa referensi URI yang sah dengan batasan tambahan (untuk format teks) bahwa konten referensi hanya boleh terdiri dari karakter alfanumerik, escape yang dienkode persen, dan karakter dalam kumpulan berikut (tidak termasuk tanda petik terbalik luar): /-.~_!$&()*+,;=. Meskipun kami mengizinkan encoding persen, implementasi tidak boleh meng-unescape-nya untuk mencegah kebingungan dengan parser yang ada. Misalnya, type.googleapis.com%2FFoo harus ditolak. Dalam desain asli Any, kemungkinan meluncurkan layanan resolusi jenis di URL jenis ini telah dipertimbangkan, tetapi Protobuf tidak pernah menerapkannya dan menganggap menghubungi URL ini sebagai masalah dan potensi masalah keamanan. Jangan mencoba menghubungi URL jenis.
value	string (bytes format) Menyimpan serialisasi Protobuf dari jenis yang dijelaskan oleh type_url. String berenkode base64.

EvaluationMetricsThresholds

Representasi JSON
{ "goldenEvaluationMetricsThresholds": { object (GoldenEvaluationMetricsThresholds) }, "hallucinationMetricBehavior": enum (HallucinationMetricBehavior), "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior), "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior) }

Kolom
goldenEvaluationMetricsThresholds	object (GoldenEvaluationMetricsThresholds) Opsional. Nilai minimum metrik evaluasi golden dataset.
hallucinationMetricBehavior (deprecated)	enum (HallucinationMetricBehavior) Item ini tidak digunakan lagi. Opsional. Tidak digunakan lagi: Gunakan golden_hallucination_metric_behavior sebagai gantinya. Perilaku metrik halusinasi saat ini digunakan untuk evaluasi golden.
goldenHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Opsional. Perilaku metrik halusinasi untuk evaluasi golden dataset.
scenarioHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Opsional. Perilaku metrik halusinasi untuk evaluasi skenario.

GoldenEvaluationMetricsThresholds

Representasi JSON
{ "turnLevelMetricsThresholds": { object (TurnLevelMetricsThresholds) }, "expectationLevelMetricsThresholds": { object (ExpectationLevelMetricsThresholds) }, "toolMatchingSettings": { object (ToolMatchingSettings) } }

Kolom
turnLevelMetricsThresholds	object (TurnLevelMetricsThresholds) Opsional. Nilai minimum metrik tingkat giliran.
expectationLevelMetricsThresholds	object (ExpectationLevelMetricsThresholds) Opsional. Nilai minimum metrik tingkat ekspektasi.
toolMatchingSettings	object (ToolMatchingSettings) Opsional. Setelan pencocokan alat. Panggilan alat tambahan adalah panggilan alat yang ada dalam eksekusi, tetapi tidak cocok dengan panggilan alat apa pun dalam ekspektasi ideal.

ToolMatchingSettings

Representasi JSON
{ "extraToolCallBehavior": enum (ExtraToolCallBehavior) }

Kolom
extraToolCallBehavior	enum (ExtraToolCallBehavior) Opsional. Perilaku untuk panggilan alat tambahan. Nilai defaultnya adalah FAIL.

EvaluationConfig

Representasi JSON
{ "inputAudioConfig": { object (InputAudioConfig) }, "outputAudioConfig": { object (OutputAudioConfig) }, "evaluationChannel": enum (EvaluationChannel), "toolCallBehaviour": enum (EvaluationToolCallBehaviour) }

Kolom
inputAudioConfig	object (InputAudioConfig) Opsional. Konfigurasi untuk memproses audio input.
outputAudioConfig	object (OutputAudioConfig) Opsional. Konfigurasi untuk membuat audio output.
evaluationChannel	enum (EvaluationChannel) Opsional. Saluran yang akan dievaluasi.
toolCallBehaviour	enum (EvaluationToolCallBehaviour) Opsional. Menentukan apakah evaluasi harus menggunakan panggilan alat sungguhan atau alat palsu.

InputAudioConfig

Representasi JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

Kolom
audioEncoding	enum (AudioEncoding) Wajib. Encoding data audio input.
sampleRateHertz	integer Wajib. Frekuensi sampel (dalam Hertz) data audio input.
noiseSuppressionLevel	string Opsional. Apakah akan mengaktifkan peredam bising pada audio input. Nilai yang tersedia adalah "low", "moderate", "high", "very_high".

OutputAudioConfig

Representasi JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer }

Kolom
audioEncoding	enum (AudioEncoding) Wajib. Encoding data audio output.
sampleRateHertz	integer Wajib. Frekuensi sampel (dalam Hertz) data audio output.

EvaluationMetricsConfig

Representasi JSON
{ "goldenMetricsConfig": { object (GoldenMetricsConfig) }, "scenarioMetricsConfig": { object (ScenarioMetricsConfig) } }

Kolom
goldenMetricsConfig	object (GoldenMetricsConfig) Opsional. Konfigurasi metrik emas untuk evaluasi.
scenarioMetricsConfig	object (ScenarioMetricsConfig) Opsional. Konfigurasi metrik skenario untuk evaluasi.

GoldenMetricsConfig

Representasi JSON
{ "semanticSimilarityMetricsConfig": { object (SemanticSimilarityMetricsConfig) }, "toolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) }, "stepToolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) } }

Kolom
semanticSimilarityMetricsConfig	object (SemanticSimilarityMetricsConfig) Opsional. Konfigurasi global untuk metrik kesamaan semantik.
toolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) Opsional. Konfigurasi untuk metrik ketepatan alat tingkat giliran.
stepToolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) Opsional. Konfigurasi untuk metrik ketepatan alat tingkat langkah.

ToolCorrectnessMetricsConfig

Representasi JSON
{ "enableToolCorrectnessMetrics": boolean }

Kolom
enableToolCorrectnessMetrics	boolean Opsional. Apakah akan menghitung metrik ketepatan alat untuk evaluasi.

ScenarioMetricsConfig

Representasi JSON
{ "userGoalMetMetricsConfig": { object (UserGoalMetMetricsConfig) }, "expectationsMetMetricsConfig": { object (ExpectationsMetMetricsConfig) } }

Kolom
userGoalMetMetricsConfig	object (UserGoalMetMetricsConfig) Opsional. Konfigurasi untuk metrik sasaran pengguna yang terpenuhi.
expectationsMetMetricsConfig	object (ExpectationsMetMetricsConfig) Opsional. Konfigurasi untuk metrik tingkat ekspektasi.

UserGoalMetMetricsConfig

Representasi JSON
{ "enableUserGoalMetMetrics": boolean }

Kolom
enableUserGoalMetMetrics	boolean Opsional. Apakah akan menghitung metrik sasaran pengguna yang terpenuhi untuk evaluasi.

ExpectationsMetMetricsConfig

Representasi JSON
{ "enableExpectationsMetMetrics": boolean }

Kolom
enableExpectationsMetMetrics	boolean Opsional. Apakah akan menghitung metrik tingkat ekspektasi untuk evaluasi.

FieldMask

Representasi JSON
{ "paths": [ string ] }

Kolom
paths[]	string Kumpulan jalur mask kolom.

NullValue

Merepresentasikan null JSON.

NullValue adalah sentinel, yang menggunakan enum dengan hanya satu nilai untuk merepresentasikan nilai null untuk gabungan jenis Value.

Kolom jenis NullValue dengan nilai selain 0 dianggap tidak valid. Sebagian besar serializer ProtoJSON akan memunculkan Value dengan null_value yang ditetapkan sebagai null JSON, terlepas dari nilai bilangan bulatnya, sehingga akan melakukan perjalanan pulang pergi ke nilai 0.

Enum
NULL_VALUE	Nilai null.

RecordingControl

Keputusan yang dibuat aplikasi dapat direkam dan dicatat dalam log.

Enum ini dapat diperluas; nilai baru dapat ditambahkan pada masa mendatang.

Enum
RECORDING_CONTROL_UNSPECIFIED	Aplikasi tidak mengontrol perekaman. Setelan logging aplikasi akan menentukan, seperti yang dilakukan untuk setiap sesi yang tidak pernah menetapkan kolom ini.
RECORDING_ENABLED	Percakapan mungkin direkam dan dicatat dalam log mulai dari sini.
RECORDING_DISABLED	Percakapan mungkin tidak direkam atau dicatat dalam log mulai dari sini.

ComparisonType

Jenis perbandingan yang didukung untuk memeriksa respons agen.

Enum
COMPARISON_TYPE_UNSPECIFIED	Jenis perbandingan tidak ditentukan. Perilaku ditetapkan secara default ke SEMANTIC_SIMILARITY untuk respons agen dan panggilan alat.
EQUALS	Pencocokan string persis.
CONTAINS	Pencocokan substring (memeriksa apakah string yang diharapkan terdapat dalam respons sebenarnya).
SEMANTIC_SIMILARITY	Kecocokan kemiripan semantik (mengevaluasi kemiripan makna menggunakan LLM).

SemanticSimilarityChannel

Saluran kemiripan semantik yang akan digunakan.

Enum
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED	Metrik tidak ditentukan. Default-nya adalah TEXT.
TEXT	Gunakan kesamaan semantik teks.
AUDIO	Gunakan kesamaan semantik audio.

HallucinationMetricBehavior

Perilaku metrik halusinasi. Terlepas dari perilakunya, metrik akan selalu dihitung. Perbedaannya adalah jika dinonaktifkan, metrik tidak digunakan untuk menghitung skor evaluasi keseluruhan.

Enum
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED	Perilaku metrik halusinasi yang tidak ditentukan.
DISABLED	Menonaktifkan metrik halusinasi.
ENABLED	Aktifkan metrik halusinasi.

TaskCompletionBehavior

Perilaku yang diharapkan dari tugas pengguna. Hal ini digunakan untuk menentukan apakah skenario berhasil.

Enum
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED	Perilaku tidak ditentukan. Akan ditetapkan secara default ke TASK_SATISFIED.
TASK_SATISFIED	Tugas pengguna harus berhasil diselesaikan.
TASK_REJECTED	Tugas pengguna harus ditolak.

UserGoalBehavior

Perilaku yang diharapkan dari sasaran pengguna. Hal ini digunakan untuk menentukan apakah skenario berhasil.

Enum
USER_GOAL_BEHAVIOR_UNSPECIFIED	Perilaku tidak ditentukan. Akan ditetapkan secara default ke USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED	Sasaran pengguna harus berhasil diselesaikan.
USER_GOAL_REJECTED	Sasaran pengguna harus ditolak.
USER_GOAL_IGNORED	Abaikan status sasaran pengguna.

ScenarioExecutionMode

Mode eksekusi untuk evaluasi skenario.

Enum
SCENARIO_EXECUTION_MODE_UNSPECIFIED	Mode eksekusi yang tidak ditentukan. Default-nya adalah QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED	Mode pengoptimalan kualitas.
SPEED_OPTIMIZED	Mode yang dioptimalkan untuk kecepatan.

Hasil

Hasil evaluasi atau ekspektasi.

Enum
OUTCOME_UNSPECIFIED	Hasil evaluasi tidak ditentukan.
PASS	Evaluasi/Ekspektasi lulus. Dalam kasus evaluasi, ini berarti semua ekspektasi terpenuhi.
FAIL	Evaluasi/Ekspektasi gagal. Dalam kasus evaluasi, ini berarti setidaknya satu ekspektasi tidak terpenuhi.
SKIPPED	Evaluasi/Ekspektasi dilewati.

ErrorType

Jenis error

Enum
ERROR_TYPE_UNSPECIFIED	Jenis error yang belum ditetapkan.
RUNTIME_FAILURE	Kegagalan selama eksekusi runtime.
CONVERSATION_RETRIEVAL_FAILURE	Gagal mengambil percakapan dari CES Runtime.
METRIC_CALCULATION_FAILURE	Gagal menghitung metrik/hasil.
EVALUATION_UPDATE_FAILURE	Gagal memperbarui evaluasi.
QUOTA_EXHAUSTED	Kehabisan kuota.
USER_SIMULATION_FAILURE	Kegagalan selama simulasi pengguna.

Jenis

Jenis span. Nilai tambahan mungkin ditambahkan pada masa mendatang.

Enum
TYPE_UNSPECIFIED	Nilai default. Nilai ini tidak digunakan.
TOOL	Span panggilan alat.
USER_CALLBACK	Span callback pengguna.
GUARDRAIL	Rentang guardrail.
LLM	Span LLM.

MilestoneStatus

Status pencapaian.

Enum
MILESTONE_STATUS_UNSPECIFIED	Status tidak ditentukan.
NOT_STARTED	Pencapaian belum dimulai.
IN_PROGRESS	Pencapaian saat ini sedang berlangsung.
COMPLETED	Tonggak pencapaian telah berhasil diselesaikan.

BackgroundEnvironment

Lingkungan audio yang disimulasikan.

Enum
BACKGROUND_ENVIRONMENT_UNSPECIFIED	Lingkungan latar belakang tidak ditentukan.
CALL_CENTER	Lingkungan pusat panggilan.
TRAFFIC	Lingkungan dengan suara bising lalu lintas.
KIDS_NOISE	Lingkungan bising anak-anak.
CAFE	Lingkungan kafe.

ExecutionState

Status eksekusi hasil evaluasi.

Enum
EXECUTION_STATE_UNSPECIFIED	Status eksekusi hasil evaluasi tidak ditentukan.
QUEUED	Eksekusi hasil evaluasi dimasukkan ke dalam antrean.
RUNNING	Eksekusi hasil evaluasi sedang berjalan.
COMPLETED	Eksekusi hasil evaluasi telah selesai.
ERROR	Eksekusi hasil evaluasi gagal karena error internal.
CANCELLED	Eksekusi hasil evaluasi dibatalkan.

ExtraToolCallBehavior

Menentukan perilaku saat panggilan alat tambahan ditemukan. Panggilan alat tambahan adalah panggilan alat yang ada dalam eksekusi, tetapi tidak cocok dengan panggilan alat apa pun dalam ekspektasi ideal.

Enum
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED	Perilaku tidak ditentukan. Nilai defaultnya adalah FAIL.
FAIL	Gagalkan evaluasi jika ditemukan panggilan alat tambahan.
ALLOW	Izinkan panggilan alat tambahan.

AudioEncoding

AudioEncoding menentukan format encoding untuk data audio.

Enum
AUDIO_ENCODING_UNSPECIFIED	Encoding audio yang tidak ditentukan.
LINEAR16	Encoding audio PCM linear 16-bit.
MULAW	Sampel 8-bit yang mengompresi sampel audio 14-bit menggunakan G.711 PCMU/mu-law.
ALAW	Sampel 8-bit yang mengompresi sampel audio 14-bit menggunakan PCMU/A-law G.711.

EvaluationChannel

Saluran yang akan dievaluasi.

Enum
EVALUATION_CHANNEL_UNSPECIFIED	Saluran evaluasi yang tidak ditentukan.
TEXT	Saluran evaluasi khusus teks.
AUDIO	Saluran evaluasi audio.

EvaluationToolCallBehaviour

Mengonfigurasi perilaku panggilan alat untuk operasi evaluasi.

Enum
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED	Perilaku panggilan alat yang tidak ditentukan. Akan ditetapkan secara default ke panggilan alat yang sebenarnya.
REAL	Gunakan panggilan alat yang sebenarnya.
FAKE	Menggunakan panggilan alat palsu.

GoldenRunMethod

Metode yang digunakan untuk menjalankan evaluasi.

Enum
GOLDEN_RUN_METHOD_UNSPECIFIED	Metode run tidak ditentukan.
STABLE	Jalankan evaluasi sebagai replay stabil, dengan setiap giliran merupakan sesi unik dan giliran yang diharapkan sebelumnya dimasukkan sebagai konteks.
NAIVE	Jalankan evaluasi sebagai replay sederhana, dengan eksekusi berupa satu sesi tanpa konteks yang dimasukkan.

OutcomeMetadata

Metadata tentang hasil evaluasi.

Enum
OUTCOME_METADATA_UNSPECIFIED	Metadata hasil yang tidak ditentukan.
GRACEFUL_HANDOFF	Evaluasi menghasilkan pengalihan yang lancar ke perwakilan manusia.

Skema Output

Evaluasi mewakili semua informasi yang diperlukan untuk menyimulasikan dan mengevaluasi agen.

Evaluasi

Representasi JSON

{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object (AggregatedMetrics) }, "lastCompletedResult": { object (EvaluationResult) }, "invalid": boolean, "lastTenResults": [ { object (EvaluationResult) } ], "evaluationMetricsThresholdOverride": { object (EvaluationMetricsThresholds) }, "evaluationMetricsConfigOverride": { object (EvaluationMetricsConfig) }, // Union field inputs can be only one of the following: "golden": { object (Golden) }, "scenario": { object (Scenario) } // End of list of possible types for union field inputs. }

Kolom
name	string ID. ID unik evaluasi ini. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName	string Wajib. Nama tampilan evaluasi yang ditentukan pengguna. Unik dalam Aplikasi.
description	string Opsional. Deskripsi evaluasi yang ditentukan pengguna.
tags[]	string Opsional. Tag yang ditentukan pengguna untuk mengategorikan evaluasi.
evaluationDatasets[]	string Hanya output. Daftar set data evaluasi yang mencakup evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime	string (Timestamp format) Hanya output. Stempel waktu saat evaluasi dibuat. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
createdBy	string Hanya output. Pengguna yang membuat evaluasi.
updateTime	string (Timestamp format) Hanya output. Stempel waktu saat evaluasi terakhir diperbarui. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
lastUpdatedBy	string Hanya output. Pengguna yang terakhir memperbarui evaluasi.
evaluationRuns[]	string Hanya output. EvaluationRun yang terkait dengan Evaluasi ini.
etag	string Hanya output. Etag yang digunakan untuk memastikan objek tidak berubah selama operasi baca-ubah-tulis. Jika etag kosong, update akan menimpa perubahan serentak.
aggregatedMetrics	object (AggregatedMetrics) Hanya output. Metrik gabungan untuk evaluasi ini di semua operasi.
lastCompletedResult	object (EvaluationResult) Hanya output. Hasil evaluasi terbaru untuk evaluasi ini.
invalid	boolean Hanya output. Apakah evaluasi tidak valid. Hal ini dapat terjadi jika evaluasi merujuk ke alat, set alat, atau agen yang telah dihapus.
lastTenResults[]	object (EvaluationResult) Hanya output. 10 hasil evaluasi terakhir untuk evaluasi ini. Ini hanya diisi jika include_last_ten_results ditetapkan ke true di ListEvaluationsRequest atau GetEvaluationRequest.
evaluationMetricsThresholdOverride	object (EvaluationMetricsThresholds) Opsional. Mengganti nilai minimum metrik untuk evaluasi spesifik ini.
evaluationMetricsConfigOverride	object (EvaluationMetricsConfig) Opsional. Mengganti konfigurasi metrik untuk evaluasi spesifik ini.
Kolom union inputs. Input untuk evaluasi inputs hanya dapat berupa salah satu dari berikut:
golden	object (Golden) Opsional. Langkah-langkah golden yang akan dievaluasi.
scenario	object (Scenario) Opsional. Konfigurasi untuk skenario.

Keemasan

Representasi JSON
{ "turns": [ { object (GoldenTurn) } ], "evaluationExpectations": [ string ] }

Kolom
turns[]	object (GoldenTurn) Wajib. Giliran emas yang diperlukan untuk memutar ulang percakapan emas. Jumlah maksimum giliran yang diizinkan adalah 100.
evaluationExpectations[]	string Opsional. Ekspektasi evaluasi untuk mengevaluasi percakapan yang diputar ulang. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

Representasi JSON
{ "steps": [ { object (Step) } ], "rootSpan": { object (Span) }, "turnLevelMetricsThresholdsOverride": { object (TurnLevelMetricsThresholds) }, "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior) }

Kolom
steps[]	object (Step) Wajib. Langkah-langkah yang diperlukan untuk memutar ulang percakapan emas.
rootSpan	object (Span) Opsional. Span root dari giliran emas untuk memproses dan mempertahankan informasi audio. URI untuk audio harus berisi audio yang disimpan dalam frekuensi sampel 16 Khz.
turnLevelMetricsThresholdsOverride	object (TurnLevelMetricsThresholds) Opsional. Penggantian untuk nilai minimum metrik tingkat giliran.
hallucinationMetricBehaviorOverride	enum (HallucinationMetricBehavior) Opsional. Penggantian untuk perilaku metrik halusinasi tingkat giliran.

Langkah

Representasi JSON
{ // Union field step can be only one of the following: "userInput": { object (SessionInput) }, "agentTransfer": { object (AgentTransfer) }, "expectation": { object (GoldenExpectation) } // End of list of possible types for union field step. }

Kolom
Kolom union step. Langkah yang harus dilakukan. step hanya ada berupa salah satu diantara berikut:
userInput	object (SessionInput) Opsional. Input pengguna untuk percakapan.
agentTransfer	object (AgentTransfer) Opsional. Mentransfer percakapan ke agen lain.
expectation	object (GoldenExpectation) Opsional. Mengeksekusi ekspektasi pada giliran saat ini.

SessionInput

Representasi JSON
{ "willContinue": boolean, "recordingControl": enum (RecordingControl), // Union field input_type can be only one of the following: "text": string, "dtmf": string, "audio": string, "toolResponses": { object (ToolResponses) }, "image": { object (Image) }, "blob": { object (Blob) }, "variables": { object }, "event": { object (Event) } // End of list of possible types for union field input_type. }

Kolom
willContinue	boolean Opsional. Flag untuk menunjukkan apakah pesan saat ini adalah fragmen dari input yang lebih besar dalam sesi streaming bidi. Jika disetel ke true, agen akan menunda pemrosesan hingga menerima pesan berikutnya dengan will_continue ditetapkan ke false, atau hingga sistem mendeteksi endpoint dalam input audio. CATATAN: Kolom ini tidak berlaku untuk input audio dan DTMF, karena selalu diproses secara otomatis berdasarkan sinyal endpointing.
recordingControl	enum (RecordingControl) Opsional. Apakah percakapan boleh direkam dan dicatat dalam log mulai dari sini. Gunakan ini saat aplikasi, bukan agen, yang memutuskan apa yang boleh disimpan: misalnya, saat pengguna akhir harus memberikan izin untuk direkam sebelum apa pun tentang panggilan dapat disimpan. Nilai ini tetap berlaku hingga klien mengirimkan nilai yang berbeda, sehingga hanya perlu dikirim saat jawaban berubah. Apa pun yang berlaku saat giliran selesai akan menentukan giliran tersebut, baik audionya mencapai bucket rekaman maupun transkripnya mencapai histori percakapan, BigQuery, dan Cloud Logging. Hal ini mencakup sisi agen dan pengguna akhir dalam giliran percakapan. Giliran yang selesai sebelum klien pertama kali mengirimkan ini akan dicatat sesuai dengan setelan logging aplikasi, seolah-olah kolom tersebut tidak ada. Jika lebih dari satu input dalam permintaan yang sama menetapkannya, input terakhir yang akan digunakan.
Kolom union input_type. Jenis input. input_type hanya ada berupa salah satu diantara berikut:
text	string Opsional. Data teks dari pengguna akhir.
dtmf	string Opsional. Digit DTMF dari pengguna akhir.
audio	string (bytes format) Opsional. Data audio dari pengguna akhir. String berenkode base64.
toolResponses	object (ToolResponses) Opsional. Hasil eksekusi untuk panggilan alat dari klien.
image	object (Image) Opsional. Data gambar dari pengguna akhir.
blob	object (Blob) Opsional. Data blob dari pengguna akhir.
variables	object (Struct format) Opsional. Variabel kontekstual untuk sesi, yang di-key berdasarkan nama. Hanya variabel yang dideklarasikan dalam aplikasi yang akan digunakan oleh agen CES. Variabel yang tidak dikenali akan tetap dikirim ke [agen Dialogflow][Agent.RemoteDialogflowAgent] sebagai parameter sesi tambahan.
event	object (Event) Opsional. Input peristiwa.

ToolResponses

Representasi JSON
{ "toolResponses": [ { object (ToolResponse) } ] }

Kolom
toolResponses[]	object (ToolResponse) Opsional. Daftar hasil eksekusi alat.

ToolResponse

Representasi JSON
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Kolom
id	string Opsional. ID kecocokan tool call yang menjadi tujuan respons.
displayName	string Hanya output. Nama tampilan alat.
response	object (Struct format) Wajib. Hasil eksekusi alat dalam format objek JSON. Gunakan kunci "output" untuk menentukan respons alat dan kunci "error" untuk menentukan detail error (jika ada). Jika kunci "output" dan "error" tidak ditentukan, seluruh "respons" akan diperlakukan sebagai hasil eksekusi alat.
parentToolCallId	string Hanya output. ID panggilan alat yang menyebabkan panggilan ini, saat dikeluarkan oleh sub-agen yang bekerja atas nama panggilan induk. Kosong untuk panggilan tingkat teratas. Memungkinkan klien mengelompokkan pekerjaan sub-agen di bawah panggilan yang memulainya, bukan merender setiap langkah sebagai sibling.
agentName	string Hanya output. Nama agen yang dapat dibaca manusia yang mengeluarkan panggilan ini, misalnya "Contract Architect". Kosong saat agen root mengeluarkannya.
targetApp	string Hanya output. Aplikasi yang ditargetkan oleh alat yang dieksekusi; mencerminkan ToolCall.target_app.
Kolom union tool_identifier. ID alat yang dieksekusi. Alat ini dapat berupa alat yang dipertahankan atau alat dari toolset. tool_identifier hanya ada berupa salah satu diantara berikut:
tool	string Opsional. Nama alat yang akan dieksekusi. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Opsional. Alat toolset yang dijalankan.

ToolsetTool

Representasi JSON
{ "toolset": string, "toolId": string }

Kolom
toolset	string Wajib. Nama resource Toolset yang menjadi asal alat ini. Format: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId	string Opsional. ID alat untuk memfilter alat yang akan diambil skemanya.

Struct

Representasi JSON
{ "fields": { string: value, ... } }

Kolom
fields	map (key: string, value: value (Value format)) Peta nilai yang diketik secara dinamis dan tidak diurutkan. Objek yang berisi daftar pasangan "key": value. Contoh: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Representasi JSON
{ "key": string, "value": value }

Kolom
key	string
value	value (Value format)

Nilai

Representasi JSON
{ // Union field kind can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field kind. }

Kolom
Kolom union kind. Jenis nilai. kind hanya ada berupa salah satu diantara berikut:
nullValue	null Merepresentasikan null JSON.
numberValue	number Merepresentasikan angka JSON. Tidak boleh NaN, Infinity, atau -Infinity, karena tidak didukung di JSON. Hal ini juga tidak dapat merepresentasikan nilai Int64 yang besar, karena format JSON umumnya tidak mendukungnya dalam jenis angkanya.
stringValue	string Mewakili string JSON.
boolValue	boolean Merepresentasikan boolean JSON (literal true atau false dalam JSON).
structValue	object (Struct format) Mewakili objek JSON.
listValue	array (ListValue format) Mewakili array JSON.

ListValue

Representasi JSON
{ "values": [ value ] }

Kolom
values[]	value (Value format) Kolom berulang dari nilai yang diketik secara dinamis.

Gambar

Representasi JSON
{ "mimeType": string, "data": string, "altText": string }

Kolom
mimeType	string Wajib. Jenis MIME standar IANA dari data sumber. Jenis gambar yang didukung meliputi: * image/png * image/jpeg * image/webp
data	string (bytes format) Wajib. Byte mentah gambar. String berenkode base64.
altText	string Opsional. Teks alternatif untuk gambar.

Blob

Representasi JSON
{ "mimeType": string, "data": string }

Kolom
mimeType	string Wajib. Jenis MIME standar IANA dari data sumber.
data	string (bytes format) Wajib. Byte mentah blob. String berenkode base64.

Acara

Representasi JSON
{ "event": string, "variables": { object } }

Kolom
event	string Wajib. Nama peristiwa.
variables	object (Struct format) Opsional. Variabel tambahan yang terkait dengan peristiwa.

AgentTransfer

Representasi JSON
{ "targetAgent": string, "displayName": string }

Kolom
targetAgent	string Wajib. Agen yang akan menerima transfer percakapan. Agen akan menangani percakapan mulai dari titik ini. Format: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName	string Hanya output. Nama tampilan agen.

GoldenExpectation

Representasi JSON

{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object (ExpectationLevelMetricsThresholds) }, "agentResponseSemanticSimilarityMetricsConfigOverride": { object (SemanticSimilarityMetricsConfig) }, "agentResponseHallucinationMetricsConfigOverride": { object (HallucinationMetricsConfig) }, "comparisonType": enum (ComparisonType), // Union field condition can be only one of the following: "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentResponse": { object (Message) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "mockToolResponse": { object (ToolResponse) }, "noToolCalls": boolean // End of list of possible types for union field condition. }

Kolom
note	string Opsional. Catatan untuk persyaratan ini, berguna dalam pelaporan saat pemeriksaan tertentu gagal. Misalnya, "Check_Payment_Tool_Called".
skipEvaluation	boolean Opsional. Jika ditetapkan ke true, ekspektasi spesifik ini tidak akan dievaluasi.
expectationLevelMetricsThresholdsOverride	object (ExpectationLevelMetricsThresholds) Opsional. Mengganti metrik di tingkat langkah.
agentResponseSemanticSimilarityMetricsConfigOverride	object (SemanticSimilarityMetricsConfig) Opsional. Penggantian untuk metrik kesamaan semantik agent_response.
agentResponseHallucinationMetricsConfigOverride	object (HallucinationMetricsConfig) Opsional. Penggantian untuk metrik halusinasi agent_response.
comparisonType	enum (ComparisonType) Opsional. Jenis perbandingan yang akan digunakan untuk pemeriksaan ekspektasi.
Kolom union condition. Pemeriksaan sebenarnya yang akan dilakukan. condition hanya ada berupa salah satu diantara berikut:
toolCall	object (ToolCall) Opsional. Memeriksa apakah alat tertentu dipanggil dengan parameter.
toolResponse	object (ToolResponse) Opsional. Memeriksa apakah alat tertentu memberikan respons yang diharapkan.
agentResponse	object (Message) Opsional. Periksa apakah agen merespons dengan respons yang benar. Peran "agent" tersirat.
agentTransfer	object (AgentTransfer) Opsional. Pastikan agen mentransfer percakapan ke agen lain.
updatedVariables	object (Struct format) Opsional. Pastikan agen memperbarui variabel sesi ke nilai yang diharapkan. Juga digunakan untuk mencatat update variabel agen untuk evaluasi golden.
mockToolResponse	object (ToolResponse) Opsional. Respons alat yang akan ditiru, dengan parameter yang diinginkan ditentukan. Setiap parameter yang tidak ditentukan akan dihalusinasi oleh LLM.
noToolCalls	boolean Opsional. Periksa apakah tidak ada alat yang dipanggil selama giliran ini.

ToolCall

Representasi JSON
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Kolom
id	string Opsional. ID unik panggilan alat. Jika diisi, klien harus menampilkan hasil eksekusi dengan ID yang cocok di ToolResponse.
displayName	string Hanya output. Nama tampilan alat.
args	object (Struct format) Opsional. Parameter dan nilai input untuk alat dalam format objek JSON.
parentToolCallId	string Hanya output. ID panggilan alat yang menyebabkan panggilan ini, saat dikeluarkan oleh sub-agen yang bekerja atas nama panggilan induk. Kosong untuk panggilan tingkat teratas. Memungkinkan klien mengelompokkan pekerjaan sub-agen di bawah panggilan yang memulainya, bukan merender setiap langkah sebagai sibling.
agentName	string Hanya output. Nama agen yang dapat dibaca manusia yang mengeluarkan panggilan ini, misalnya "Contract Architect". Kosong saat agen root mengeluarkannya.
targetApp	string Hanya output. Aplikasi yang ditargetkan oleh panggilan ini, yang diperoleh asisten dari argumen resource panggilan: nama resource aplikasi, PROJECT untuk alat yang tercakup dalam lokasi, atau kosong untuk alat lokal sesi. Hanya ditetapkan dalam sesi asisten yang tercakup dalam project.
Kolom union tool_identifier. ID alat yang akan dieksekusi. Alat ini dapat berupa alat yang dipertahankan atau alat dari toolset. tool_identifier hanya ada berupa salah satu diantara berikut:
tool	string Opsional. Nama alat yang akan dieksekusi. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Opsional. Alat toolset yang akan dijalankan.

Pesan

Representasi JSON
{ "role": string, "chunks": [ { object (Chunk) } ], "eventTime": string }

Kolom
role	string Opsional. Peran dalam percakapan, misalnya, pengguna, agen.
chunks[]	object (Chunk) Opsional. Konten pesan sebagai serangkaian potongan.
eventTime	string (Timestamp format) Opsional. Stempel waktu saat pesan dikirim atau diterima. Tidak boleh digunakan jika pesan adalah bagian dari example. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".

Bagian

Representasi JSON

{ // Union field data can be only one of the following: "text": string, "transcript": string, "blob": { object (Blob) }, "payload": { object }, "image": { object (Image) }, "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field data. }

Kolom
Kolom union data. Membagi data menjadi beberapa bagian. data hanya ada berupa salah satu diantara berikut:
text	string Opsional. Data teks.
transcript	string Opsional. Transkrip yang terkait dengan audio.
blob	object (Blob) Opsional. Data blob.
payload	object (Struct format) Opsional. Data payload kustom.
image	object (Image) Opsional. Data gambar.
toolCall	object (ToolCall) Opsional. Permintaan eksekusi alat.
toolResponse	object (ToolResponse) Opsional. Respons eksekusi alat.
agentTransfer	object (AgentTransfer) Opsional. Peristiwa transfer agen.
updatedVariables	object (Struct format) Struct mewakili variabel yang diperbarui dalam percakapan, yang diberi kunci berdasarkan nama variabel.
defaultVariables	object (Struct format) Struct mewakili variabel default di awal percakapan, yang diberi kunci berdasarkan nama variabel.

Stempel waktu

Representasi JSON
{ "seconds": string, "nanos": integer }

Kolom
seconds	string (int64 format) Mewakili detik waktu UTC sejak epoch Unix 1970-01-01T00:00:00Z. Harus antara -62135596800 dan 253402300799 inklusif (yang sesuai dengan 0001-01-01T00:00:00Z hingga 9999-12-31T23:59:59Z).
nanos	integer Pecahan detik non-negatif pada resolusi nanodetik. Kolom ini adalah bagian nanodetik dari durasi, bukan alternatif untuk detik. Nilai detik negatif dengan pecahan harus tetap memiliki nilai nano non-negatif yang dihitung maju dalam waktu. Harus antara 0 dan 999.999.999 inklusif.

ExpectationLevelMetricsThresholds

Representasi JSON
{ // Union field _tool_invocation_parameter_correctness_threshold can be only one // of the following: "toolInvocationParameterCorrectnessThreshold": number // End of list of possible types for union field // _tool_invocation_parameter_correctness_threshold. }

Kolom
Kolom union _tool_invocation_parameter_correctness_threshold. _tool_invocation_parameter_correctness_threshold hanya dapat berupa salah satu dari hal berikut:
toolInvocationParameterCorrectnessThreshold	number Opsional. Nilai minimum keberhasilan untuk kebenaran parameter pemanggilan alat individual. Harus berupa float antara 0 dan 1. Default-nya adalah 1.0.

SemanticSimilarityMetricsConfig

Representasi JSON
{ "enableSemanticSimilarityMetrics": boolean }

Kolom
enableSemanticSimilarityMetrics	boolean Opsional. Apakah akan menghitung metrik kesamaan semantik untuk evaluasi.

HallucinationMetricsConfig

Representasi JSON
{ "enableHallucinationMetrics": boolean }

Kolom
enableHallucinationMetrics	boolean Opsional. Apakah akan menghitung metrik halusinasi untuk evaluasi.

Span

Representasi JSON
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (Span) } ] }

Kolom
name	string Hanya output. Nama span.
startTime	string (Timestamp format) Hanya output. Waktu mulai span. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Hanya output. Waktu berakhir span. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
duration	string (Duration format) Hanya output. Durasi span. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".
attributes	object (Struct format) Hanya output. Atribut nilai kunci yang terkait dengan span.
childSpans[]	object (Span) Hanya output. Span turunan yang disusun bertingkat di bawah span ini.

Durasi

Representasi JSON
{ "seconds": string, "nanos": integer }

Kolom
seconds	string (int64 format) Detik bertanda dari rentang waktu. Harus dari -315.576.000.000 hingga +315.576.000.000 inklusif. Catatan: batas ini dihitung dari: 60 dtk/mnt * 60 mnt/jam * 24 jam/hari * 365,25 hari/tahun * 10.000 tahun
nanos	integer Pecahan detik bertanda tangan pada resolusi nanodetik dari rentang waktu. Durasi kurang dari satu detik direpresentasikan dengan kolom seconds 0 dan kolom nanos positif atau negatif. Untuk durasi satu detik atau lebih, nilai bukan nol untuk kolom nanos harus memiliki tanda yang sama dengan kolom seconds. Harus dari -999.999.999 hingga +999.999.999 inklusif.

TurnLevelMetricsThresholds

Representasi JSON

{ "semanticSimilarityChannel": enum (SemanticSimilarityChannel), // Union field _semantic_similarity_success_threshold can be only one of the // following: "semanticSimilaritySuccessThreshold": integer // End of list of possible types for union field // _semantic_similarity_success_threshold. // Union field _overall_tool_invocation_correctness_threshold can be only one // of the following: "overallToolInvocationCorrectnessThreshold": number // End of list of possible types for union field // _overall_tool_invocation_correctness_threshold. }

Kolom
semanticSimilarityChannel	enum (SemanticSimilarityChannel) Opsional. Saluran kemiripan semantik yang akan digunakan untuk evaluasi.
Kolom union _semantic_similarity_success_threshold. _semantic_similarity_success_threshold hanya dapat berupa salah satu dari hal berikut:
semanticSimilaritySuccessThreshold	integer Opsional. Nilai minimum keberhasilan untuk kemiripan semantik. Harus berupa bilangan bulat antara 0 dan 4. Defaultnya adalah >= 3.
Kolom union _overall_tool_invocation_correctness_threshold. _overall_tool_invocation_correctness_threshold hanya dapat berupa salah satu dari hal berikut:
overallToolInvocationCorrectnessThreshold	number Opsional. Nilai minimum keberhasilan untuk keseluruhan ketepatan pemanggilan alat. Harus berupa float antara 0 dan 1. Default-nya adalah 1.0.

Skenario

Representasi JSON

{ "task": string, "userFacts": [ { object (UserFact) } ], "maxTurns": integer, "rubrics": [ string ], "scenarioExpectations": [ { object (ScenarioExpectation) } ], "variableOverrides": { object }, "taskCompletionBehavior": enum (TaskCompletionBehavior), "userGoalBehavior": enum (UserGoalBehavior), "evaluationExpectations": [ string ], "milestones": [ { object (Milestone) } ], "scenarioExecutionMode": enum (ScenarioExecutionMode) }

Kolom
task	string Wajib. Tugas yang akan ditargetkan oleh skenario.
userFacts[]	object (UserFact) Opsional. Fakta pengguna yang akan digunakan oleh skenario.
maxTurns	integer Opsional. Jumlah giliran maksimum yang akan disimulasikan. Nilai maksimum yang diizinkan adalah 100. Nilai defaultnya adalah 100.
rubrics[]	string Wajib. Rubrik untuk menilai skenario.
scenarioExpectations[]	object (ScenarioExpectation) Wajib. ScenarioExpectations untuk mengevaluasi percakapan yang dihasilkan oleh simulasi pengguna.
variableOverrides	object (Struct format) Opsional. Variabel/Parameter Sesi sebagai konteks untuk sesi, yang diberi kunci berdasarkan nama variabel. Anggota struct ini akan mengganti nilai default yang ditetapkan oleh sistem. Perhatikan bahwa fakta ini berbeda dengan fakta pengguna, yang merupakan fakta yang diketahui pengguna. Variabel adalah parameter yang diketahui oleh agen: yaitu MDN (nomor telepon) yang diteruskan oleh sistem telepon.
taskCompletionBehavior (deprecated)	enum (TaskCompletionBehavior) Item ini tidak digunakan lagi. Opsional. Tidak digunakan lagi. Gunakan user_goal_behavior sebagai gantinya.
userGoalBehavior	enum (UserGoalBehavior) Opsional. Perilaku yang diharapkan dari sasaran pengguna.
evaluationExpectations[]	string Opsional. Ekspektasi evaluasi untuk mengevaluasi percakapan yang dihasilkan oleh simulasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
milestones[]	object (Milestone) Opsional. Pencapaian untuk skenario ini.
scenarioExecutionMode	enum (ScenarioExecutionMode) Opsional. Mode eksekusi untuk evaluasi skenario.

UserFact

Representasi JSON
{ "name": string, "value": string }

Kolom
name	string Wajib. Nama fakta pengguna.
value	string Wajib. Nilai fakta pengguna.

ScenarioExpectation

Representasi JSON
{ // Union field expectation can be only one of the following: "toolExpectation": { object (ToolExpectation) }, "agentResponse": { object (Message) } // End of list of possible types for union field expectation. }

Kolom
Kolom union expectation. Ekspektasi untuk mengevaluasi percakapan yang dihasilkan oleh simulasi. expectation hanya ada berupa salah satu diantara berikut:
toolExpectation	object (ToolExpectation) Opsional. Pasangan panggilan dan respons alat yang akan dievaluasi.
agentResponse	object (Message) Opsional. Respons agen yang akan dievaluasi.

ToolExpectation

Representasi JSON
{ "expectedToolCall": { object (ToolCall) }, "mockToolResponse": { object (ToolResponse) } }

Kolom
expectedToolCall	object (ToolCall) Wajib. Panggilan alat yang diharapkan, dengan parameter yang diinginkan ditentukan. Setiap parameter yang tidak ditentukan akan dihalusinasi oleh LLM.
mockToolResponse	object (ToolResponse) Wajib. Respons alat yang akan ditiru, dengan parameter yang diinginkan ditentukan. Setiap parameter yang tidak ditentukan akan dihalusinasi oleh LLM.

Milestone

Representasi JSON
{ "goal": string, "maxTurnCount": integer, "successCriteria": string, "protocol": string, "staticUtterance": string, "event": { object (Event) } }

Kolom
goal	string Wajib. Sasaran pencapaian.
maxTurnCount	integer Opsional. Jumlah giliran maksimum untuk tahap ini.
successCriteria	string Opsional. Kriteria keberhasilan pencapaian.
protocol	string Opsional. Panduan yang harus diikuti agen selama percakapan.
staticUtterance	string Opsional. Ucapan statis yang akan dikirim simulator secara persis, bukan menghasilkan input pengguna secara dinamis.
event	object (Event) Opsional. Input peristiwa yang akan dikirim, bukan pembuatan dinamis.

AggregatedMetrics

Representasi JSON
{ "metricsByAppVersion": [ { object (MetricsByAppVersion) } ] }

Kolom
metricsByAppVersion[]	object (MetricsByAppVersion) Hanya output. Metrik gabungan, yang dikelompokkan menurut ID versi aplikasi.

MetricsByAppVersion

Representasi JSON

{ "appVersionId": string, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ], "passCount": integer, "failCount": integer, "metricsByTurn": [ { object (MetricsByTurn) } ] }

Kolom
appVersionId	string Hanya output. ID versi aplikasi.
toolMetrics[]	object (ToolMetrics) Hanya output. Metrik untuk setiap alat dalam versi aplikasi ini.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Hanya output. Metrik untuk kesamaan semantik dalam versi aplikasi ini.
hallucinationMetrics[]	object (HallucinationMetrics) Hanya output. Metrik untuk halusinasi dalam versi aplikasi ini.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Hanya output. Metrik untuk latensi panggilan alat dalam versi aplikasi ini.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Hanya output. Metrik untuk latensi giliran dalam versi aplikasi ini.
passCount	integer Hanya output. Frekuensi evaluasi lulus.
failCount	integer Hanya output. Frekuensi kegagalan evaluasi.
metricsByTurn[]	object (MetricsByTurn) Hanya output. Metrik yang digabungkan per giliran dalam versi aplikasi ini.

ToolMetrics

Representasi JSON
{ "tool": string, "passCount": integer, "failCount": integer }

Kolom
tool	string Hanya output. Nama alat.
passCount	integer Hanya output. Frekuensi alat lulus.
failCount	integer Hanya output. Frekuensi kegagalan alat.

SemanticSimilarityMetrics

Representasi JSON
{ "score": number }

Kolom
score	number Hanya output. Skor kesamaan semantik rata-rata (0-4).

HallucinationMetrics

Representasi JSON
{ "score": number }

Kolom
score	number Hanya output. Skor halusinasi rata-rata (0 hingga 1).

ToolCallLatencyMetrics

Representasi JSON
{ "tool": string, "averageLatency": string }

Kolom
tool	string Hanya output. Nama alat.
averageLatency	string (Duration format) Hanya output. Latensi rata-rata panggilan alat. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".

TurnLatencyMetrics

Representasi JSON
{ "averageLatency": string }

Kolom
averageLatency	string (Duration format) Hanya output. Latensi rata-rata giliran. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".

MetricsByTurn

Representasi JSON
{ "turnIndex": integer, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ] }

Kolom
turnIndex	integer Hanya output. Indeks giliran (berbasis 0).
toolMetrics[]	object (ToolMetrics) Hanya output. Metrik untuk setiap alat dalam giliran ini.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Hanya output. Metrik untuk kesamaan semantik dalam giliran ini.
hallucinationMetrics[]	object (HallucinationMetrics) Hanya output. Metrik untuk halusinasi dalam giliran ini.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Hanya output. Metrik untuk latensi panggilan alat dalam giliran ini.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Hanya output. Metrik untuk latensi giliran dalam giliran ini.

EvaluationResult

Representasi JSON

{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum (Outcome), "evaluationRun": string, "persona": { object (EvaluationPersona) }, "errorInfo": { object (EvaluationErrorInfo) }, "error": { object (Status) }, "initiatedBy": string, "appVersion": string, "appVersionDisplayName": string, "changelog": string, "changelogCreateTime": string, "executionState": enum (ExecutionState), "evaluationMetricsThresholds": { object (EvaluationMetricsThresholds) }, "config": { object (EvaluationConfig) }, "goldenRunMethod": enum (GoldenRunMethod), "rootSpan": { object (Span) }, "outcomeMetadata": enum (OutcomeMetadata), // Union field result can be only one of the following: "goldenResult": { object (GoldenResult) }, "scenarioResult": { object (ScenarioResult) } // End of list of possible types for union field result. }

Kolom
name	string ID. ID unik hasil evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName	string Wajib. Nama tampilan Hasil Evaluasi. Unik dalam Evaluasi. Secara default, formatnya adalah: " result - ".
createTime	string (Timestamp format) Hanya output. Stempel waktu saat hasil evaluasi dibuat. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
evaluationStatus	enum (Outcome) Hanya output. Hasil evaluasi. Hanya diisi jika execution_state adalah COMPLETE.
evaluationRun	string Hanya output. Proses evaluasi yang menghasilkan hasil ini. Format: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona	object (EvaluationPersona) Hanya output. Persona yang digunakan untuk membuat percakapan untuk hasil evaluasi.
errorInfo	object (EvaluationErrorInfo) Hanya output. Informasi error untuk hasil evaluasi.
error (deprecated)	object (Status) Item ini tidak digunakan lagi. Hanya output. Tidak digunakan lagi: Gunakan error_info sebagai gantinya. Terjadi error selama eksekusi.
initiatedBy	string Hanya output. Pengguna yang memulai eksekusi evaluasi yang menghasilkan hasil ini.
appVersion	string Hanya output. Versi aplikasi yang digunakan untuk membuat percakapan yang menghasilkan hasil ini. Format: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName	string Hanya output. Nama tampilan app_version yang menjadi target evaluasi.
changelog	string Hanya output. Log perubahan versi aplikasi yang dievaluasi. Ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf.
changelogCreateTime	string (Timestamp format) Hanya output. Waktu pembuatan changelog versi aplikasi yang dievaluasi. Ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
executionState	enum (ExecutionState) Hanya output. Status eksekusi hasil evaluasi.
evaluationMetricsThresholds	object (EvaluationMetricsThresholds) Hanya output. Nilai minimum evaluasi untuk hasil.
config	object (EvaluationConfig) Hanya output. Konfigurasi yang digunakan dalam operasi evaluasi yang menghasilkan hasil ini.
goldenRunMethod	enum (GoldenRunMethod) Hanya output. Metode yang digunakan untuk menjalankan evaluasi golden.
rootSpan	object (Span) Hanya output. Span root eksekusi evaluasi, yang mencakup informasi tentang setiap langkah evaluasi.
outcomeMetadata	enum (OutcomeMetadata) Hanya output. Metadata hasil evaluasi. Hanya diisi jika execution_state adalah COMPLETE.
Kolom union result. Hasil evaluasi. Hanya diisi jika execution_state adalah COMPLETED. result hanya ada berupa salah satu diantara berikut:
goldenResult	object (GoldenResult) Hanya output. Hasil evaluasi golden.
scenarioResult	object (ScenarioResult) Hanya output. Hasil evaluasi skenario.

GoldenResult

Representasi JSON
{ "turnReplayResults": [ { object (TurnReplayResult) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ] }

Kolom
turnReplayResults[]	object (TurnReplayResult) Hanya output. Hasil dari menjalankan setiap giliran percakapan emas.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Hanya output. Hasil ekspektasi evaluasi.

TurnReplayResult

Representasi JSON

{ "conversation": string, "expectationOutcome": [ { object (GoldenExpectationOutcome) } ], "hallucinationResult": { object (HallucinationResult) }, "toolInvocationScore": number, "turnLatency": string, "toolCallLatencies": [ { object (ToolCallLatency) } ], "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "overallToolInvocationResult": { object (OverallToolInvocationResult) }, "errorInfo": { object (EvaluationErrorInfo) }, "spanLatencies": [ { object (SpanLatency) } ], // Union field _tool_ordered_invocation_score can be only one of the following: "toolOrderedInvocationScore": number // End of list of possible types for union field // _tool_ordered_invocation_score. }

Kolom
conversation	string Hanya output. Percakapan yang dibuat untuk giliran ini.
expectationOutcome[]	object (GoldenExpectationOutcome) Hanya output. Hasil dari setiap ekspektasi.
hallucinationResult	object (HallucinationResult) Hanya output. Hasil pemeriksaan halusinasi.
toolInvocationScore (deprecated)	number Item ini tidak digunakan lagi. Hanya output. Tidak digunakan lagi. Gunakan OverallToolInvocationResult.
turnLatency	string (Duration format) Hanya output. Durasi belokan. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".
toolCallLatencies[]	object (ToolCallLatency) Hanya output. Latensi setiap panggilan alat dalam giliran.
semanticSimilarityResult	object (SemanticSimilarityResult) Hanya output. Hasil pemeriksaan kemiripan semantik.
overallToolInvocationResult	object (OverallToolInvocationResult) Hanya output. Hasil pemeriksaan pemanggilan alat secara keseluruhan.
errorInfo	object (EvaluationErrorInfo) Hanya output. Informasi tentang error yang terjadi selama giliran ini.
spanLatencies[]	object (SpanLatency) Hanya output. Latensi span dalam giliran.
Kolom union _tool_ordered_invocation_score. _tool_ordered_invocation_score hanya dapat berupa salah satu dari hal berikut:
toolOrderedInvocationScore	number Hanya output. Skor pemanggilan alat yang diurutkan secara keseluruhan untuk giliran ini. Ini menunjukkan persentase keseluruhan alat dari giliran yang diharapkan yang benar-benar dipanggil dalam urutan yang diharapkan.

GoldenExpectationOutcome

Representasi JSON

{ "expectation": { object (GoldenExpectation) }, "outcome": enum (Outcome), "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "toolInvocationResult": { object (ToolInvocationResult) }, // Union field result can be only one of the following: "observedToolCall": { object (ToolCall) }, "observedToolResponse": { object (ToolResponse) }, "observedAgentResponse": { object (Message) }, "observedAgentTransfer": { object (AgentTransfer) }, "observedPayload": { object } // End of list of possible types for union field result. }

Kolom
expectation	object (GoldenExpectation) Hanya output. Ekspektasi yang dievaluasi.
outcome	enum (Outcome) Hanya output. Hasil dari ekspektasi.
semanticSimilarityResult (deprecated)	object (SemanticSimilarityResult) Item ini tidak digunakan lagi. Hanya output. Hasil pemeriksaan kemiripan semantik.
toolInvocationResult	object (ToolInvocationResult) Hanya output. Hasil pemeriksaan pemanggilan alat.
Kolom union result. Hasil ekspektasi. result hanya ada berupa salah satu diantara berikut:
observedToolCall	object (ToolCall) Hanya output. Hasil ekspektasi panggilan alat.
observedToolResponse	object (ToolResponse) Hanya output. Hasil ekspektasi respons alat.
observedAgentResponse	object (Message) Hanya output. Hasil ekspektasi respons agen.
observedAgentTransfer	object (AgentTransfer) Hanya output. Hasil ekspektasi transfer agen.
observedPayload	object (Struct format) Hanya output. Payload kustom yang diamati. Tidak ada ekspektasi untuk payload kustom. Data ini hanya digunakan untuk penghitungan metrik. Hasilnya selalu SKIPPED.

SemanticSimilarityResult

Representasi JSON
{ "label": string, "explanation": string, "outcome": enum (Outcome), // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Kolom
label	string Hanya output. Label yang terkait dengan setiap skor. Skor 4: Sepenuhnya Konsisten Skor 3: Sebagian Besar Konsisten Skor 2: Sebagian Konsisten (Penghilangan Minor) Skor 1: Sebagian Besar Tidak Konsisten (Penghilangan Mayor) Skor 0: Sama Sekali Tidak Konsisten/Bertentangan
explanation	string Hanya output. Penjelasan untuk skor kemiripan semantik.
outcome	enum (Outcome) Hanya output. Hasil pemeriksaan kesamaan semantik. Hal ini ditentukan dengan membandingkan skor dengan semantic_similarity_success_threshold. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan menjadi GAGAL.
Kolom union _score. _score hanya dapat berupa salah satu dari hal berikut:
score	integer Hanya output. Skor kemiripan semantik. Dapat berupa 0, 1, 2, 3, atau 4.

ToolInvocationResult

Representasi JSON
{ "outcome": enum (Outcome), "explanation": string, // Union field _parameter_correctness_score can be only one of the following: "parameterCorrectnessScore": number // End of list of possible types for union field _parameter_correctness_score. }

Kolom
outcome	enum (Outcome) Hanya output. Hasil pemeriksaan pemanggilan alat. Hal ini ditentukan dengan membandingkan parameter_correctness_score dengan nilai minimum. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan menjadi GAGAL.
explanation	string Hanya output. Penjelasan teks bebas untuk hasil pemanggilan alat.
Kolom union _parameter_correctness_score. _parameter_correctness_score hanya dapat berupa salah satu dari hal berikut:
parameterCorrectnessScore	number Hanya output. Skor ketepatan parameter pemanggilan alat. Metrik ini menunjukkan persentase parameter dari panggilan alat yang diharapkan yang juga ada dalam panggilan alat yang sebenarnya.

HallucinationResult

Representasi JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Kolom
label	string Hanya output. Label yang terkait dengan setiap skor. Skor 1: Dibenarkan Skor 0: Tidak Dibenarkan Skor -1: Tidak Ada Klaim untuk Dinilai
explanation	string Hanya output. Penjelasan untuk skor halusinasi.
Kolom union _score. _score hanya dapat berupa salah satu dari hal berikut:
score	integer Hanya output. Skor halusinasi. Dapat berupa -1, 0, 1.

ToolCallLatency

Representasi JSON
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

Kolom
tool	string Hanya output. Nama alat yang dieksekusi. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName	string Hanya output. Nama tampilan alat.
startTime	string (Timestamp format) Hanya output. Waktu mulai eksekusi panggilan alat. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Hanya output. Waktu berakhir eksekusi panggilan alat. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Hanya output. Latensi eksekusi panggilan alat. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".

OverallToolInvocationResult

Representasi JSON
{ "outcome": enum (Outcome), // Union field _tool_invocation_score can be only one of the following: "toolInvocationScore": number // End of list of possible types for union field _tool_invocation_score. }

Kolom
outcome	enum (Outcome) Hanya output. Hasil pemeriksaan pemanggilan alat. Hal ini ditentukan dengan membandingkan tool_invocation_score dengan overall_tool_invocation_correctness_threshold. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan menjadi GAGAL.
Kolom union _tool_invocation_score. _tool_invocation_score hanya dapat berupa salah satu dari hal berikut:
toolInvocationScore	number Skor pemanggilan alat secara keseluruhan untuk giliran ini. Ini menunjukkan persentase keseluruhan alat dari giliran yang diharapkan yang benar-benar dipanggil.

EvaluationErrorInfo

Representasi JSON
{ "errorType": enum (ErrorType), "errorMessage": string, "sessionId": string, "userFacingErrorMessage": string }

Kolom
errorType	enum (ErrorType) Hanya output. Jenis error.
errorMessage	string Hanya output. Pesan error.
sessionId	string Hanya output. ID sesi untuk percakapan yang menyebabkan error.
userFacingErrorMessage	string Hanya output. Pesan error yang ditampilkan kepada pengguna.

SpanLatency

Representasi JSON
{ "type": enum (Type), "displayName": string, "startTime": string, "endTime": string, "executionLatency": string, // Union field identifier can be only one of the following: "resource": string, "toolset": { object (ToolsetTool) }, "model": string, "callback": string // End of list of possible types for union field identifier. }

Kolom
type	enum (Type) Hanya output. Jenis span.
displayName	string Hanya output. Nama tampilan span. Berlaku untuk span alat dan guardrail.
startTime	string (Timestamp format) Hanya output. Waktu mulai span. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Hanya output. Waktu berakhir span. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Hanya output. Latensi span. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".
Kolom union identifier. ID item tertentu berdasarkan jenisnya. identifier hanya ada berupa salah satu diantara berikut:
resource	string Hanya output. Nama resource guardrail atau span alat.
toolset	object (ToolsetTool) Hanya output. ID alat toolset.
model	string Hanya output. Nama span LLM.
callback	string Hanya output. Nama span callback pengguna.

EvaluationExpectationResult

Representasi JSON
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (Outcome), "explanation": string }

Kolom
evaluationExpectation	string Hanya output. Ekspektasi evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt	string Hanya output. Perintah yang digunakan untuk evaluasi.
outcome	enum (Outcome) Hanya output. Hasil ekspektasi evaluasi.
explanation	string Hanya output. Penjelasan untuk hasil.

ScenarioResult

Representasi JSON

{ "conversation": string, "task": string, "userFacts": [ { object (UserFact) } ], "expectationOutcomes": [ { object (ScenarioExpectationOutcome) } ], "rubricOutcomes": [ { object (ScenarioRubricOutcome) } ], "hallucinationResult": [ { object (HallucinationResult) } ], "taskCompletionResult": { object (TaskCompletionResult) }, "toolCallLatencies": [ { object (ToolCallLatency) } ], "userGoalSatisfactionResult": { object (UserGoalSatisfactionResult) }, "spanLatencies": [ { object (SpanLatency) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ], "milestoneResults": [ { object (MilestoneResult) } ], // Union field _all_expectations_satisfied can be only one of the following: "allExpectationsSatisfied": boolean // End of list of possible types for union field _all_expectations_satisfied. // Union field _task_completed can be only one of the following: "taskCompleted": boolean // End of list of possible types for union field _task_completed. }

Kolom
conversation	string Hanya output. Percakapan yang dibuat dalam skenario.
task	string Hanya output. Tugas yang digunakan saat menjalankan skenario untuk hasil ini.
userFacts[]	object (UserFact) Hanya output. Fakta pengguna yang digunakan oleh skenario untuk hasil ini.
expectationOutcomes[]	object (ScenarioExpectationOutcome) Hanya output. Hasil dari setiap ekspektasi.
rubricOutcomes[]	object (ScenarioRubricOutcome) Hanya output. Hasil rubrik.
hallucinationResult[]	object (HallucinationResult) Hanya output. Hasil pemeriksaan halusinasi. Akan ada satu hasil halusinasi untuk setiap giliran dalam percakapan.
taskCompletionResult (deprecated)	object (TaskCompletionResult) Item ini tidak digunakan lagi. Hanya output. Hasil pemeriksaan penyelesaian tugas.
toolCallLatencies[]	object (ToolCallLatency) Hanya output. Latensi setiap eksekusi panggilan alat dalam percakapan.
userGoalSatisfactionResult	object (UserGoalSatisfactionResult) Hanya output. Hasil pemeriksaan kepuasan sasaran pengguna.
spanLatencies[]	object (SpanLatency) Hanya output. Latensi span dalam percakapan.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Hanya output. Hasil ekspektasi evaluasi.
milestoneResults[]	object (MilestoneResult) Hanya output. Hasil dari setiap pencapaian dalam skenario.
Kolom union _all_expectations_satisfied. _all_expectations_satisfied hanya dapat berupa salah satu dari hal berikut:
allExpectationsSatisfied	boolean Hanya output. Apakah semua ekspektasi terpenuhi untuk giliran ini.
Kolom union _task_completed. _task_completed hanya dapat berupa salah satu dari hal berikut:
taskCompleted	boolean Hanya output. Apakah tugas telah selesai untuk giliran ini. Ini adalah gabungan dari semua ekspektasi yang terpenuhi, tidak ada halusinasi, dan kepuasan sasaran pengguna.

ScenarioExpectationOutcome

Representasi JSON
{ "expectation": { object (ScenarioExpectation) }, "outcome": enum (Outcome), // Union field result can be only one of the following: "observedToolCall": { object (ObservedToolCall) }, "observedAgentResponse": { object (Message) } // End of list of possible types for union field result. }

Kolom
expectation	object (ScenarioExpectation) Hanya output. Ekspektasi yang dievaluasi.
outcome	enum (Outcome) Hanya output. Hasil ScenarioExpectation.
Kolom union result. Hasil ekspektasi. result hanya ada berupa salah satu diantara berikut:
observedToolCall	object (ObservedToolCall) Hanya output. Panggilan alat yang diamati.
observedAgentResponse	object (Message) Hanya output. Respons agen yang diamati.

ObservedToolCall

Representasi JSON
{ "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) } }

Kolom
toolCall	object (ToolCall) Hanya output. Panggilan alat yang diamati.
toolResponse	object (ToolResponse) Hanya output. Respons alat yang diamati.

ScenarioRubricOutcome

Representasi JSON
{ "rubric": string, "scoreExplanation": string, // Union field _score can be only one of the following: "score": number // End of list of possible types for union field _score. }

Kolom
rubric	string Hanya output. Rubrik yang digunakan untuk mengevaluasi percakapan.
scoreExplanation	string Hanya output. Respons penilai terhadap rubrik.
Kolom union _score. _score hanya dapat berupa salah satu dari hal berikut:
score	number Hanya output. Skor percakapan berdasarkan rubrik.

TaskCompletionResult

Representasi JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Kolom
label	string Hanya output. Label yang terkait dengan setiap skor. Skor 1: Tugas Selesai Skor 0: Tugas Tidak Selesai Skor -1: Sasaran Pengguna Tidak Ditentukan
explanation	string Hanya output. Penjelasan untuk skor penyelesaian tugas.
Kolom union _score. _score hanya dapat berupa salah satu dari hal berikut:
score	integer Hanya output. Skor penyelesaian tugas. Dapat berupa -1, 0, 1

UserGoalSatisfactionResult

Representasi JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Kolom
label	string Hanya output. Label yang terkait dengan setiap skor. Skor 2: Pengalihan yang Lancar Skor 1: Tugas Pengguna Terpenuhi Skor 0: Tugas Pengguna Tidak Terpenuhi Skor -1: Tugas Pengguna Tidak Ditentukan
explanation	string Hanya output. Penjelasan untuk skor kepuasan tugas pengguna.
Kolom union _score. _score hanya dapat berupa salah satu dari hal berikut:
score	integer Hanya output. Skor kepuasan tugas pengguna. Dapat berupa -1, 0, 1, 2.

MilestoneResult

Representasi JSON
{ "milestone": { object (Milestone) }, "status": enum (MilestoneStatus), "justification": string }

Kolom
milestone	object (Milestone) Hanya output. Pencapaian yang dilacak.
status	enum (MilestoneStatus) Hanya output. Status pencapaian saat ini.
justification	string Hanya output. Justifikasi untuk status saat ini.

EvaluationPersona

Representasi JSON
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (SpeechConfig) } }

Kolom
name	string Wajib. ID unik persona. Format: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description	string Opsional. Deskripsi persona.
displayName	string Wajib. Nama tampilan persona. Unik dalam aplikasi.
personality	string Wajib. Petunjuk untuk agen tentang cara berperilaku dalam evaluasi.
speechConfig	object (SpeechConfig) Opsional. Konfigurasi untuk suara persona (setelan TTS).

SpeechConfig

Representasi JSON
{ "speakingRate": number, "environment": enum (BackgroundEnvironment), "voiceId": string }

Kolom
speakingRate	number Opsional. Kecepatan bicara. 1,0 adalah normal. Nilai yang lebih rendah berarti lebih lambat (misalnya, 0,8), sedangkan nilai yang lebih tinggi berarti lebih cepat (misalnya, 1,5). Berguna untuk menguji cara agen menangani pengguna yang berbicara cepat.
environment	enum (BackgroundEnvironment) Opsional. Lingkungan audio yang disimulasikan.
voiceId	string Opsional. ID/aksen suara tertentu yang akan digunakan. Contoh: "en-US-Wavenet-D" atau "en-GB-Standard-A"

Status

Representasi JSON
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

Kolom
code	integer Kode status, harus berupa nilai enum dari google.rpc.Code.
message	string Pesan error yang ditampilkan ke developer dan seharusnya dalam bahasa Inggris. Setiap pesan error yang ditampilkan kepada pengguna harus dilokalkan dan dikirim di kolom google.rpc.Status.details, atau dilokalkan oleh klien.
details[]	object Daftar pesan yang membawa detail error. Ada seperangkat jenis pesan umum untuk digunakan API. Objek yang berisi kolom tipe arbitrer. Kolom tambahan "@type" berisi URI yang mengidentifikasi jenis. Contoh: { "id": 1234, "@type": "types.example.com/standard/id" }.

Semua

Representasi JSON
{ "typeUrl": string, "value": string }

Kolom
typeUrl	string Mengidentifikasi jenis pesan Protobuf yang diserialisasi dengan referensi URI yang terdiri dari awalan yang diakhiri dengan garis miring dan nama jenis yang sepenuhnya memenuhi syarat. Contoh: type.googleapis.com/google.protobuf.StringValue String ini harus berisi setidaknya satu karakter /, dan konten setelah / terakhir harus berupa nama jenis yang sepenuhnya memenuhi syarat dalam bentuk kanonis, tanpa titik di awal. Jangan menulis skema pada referensi URI ini agar klien tidak mencoba menghubunginya. Prefiks bersifat arbitrer dan implementasi Protobuf diharapkan hanya menghapus semua hal hingga dan termasuk / terakhir untuk mengidentifikasi jenisnya. type.googleapis.com/ adalah awalan default umum yang diperlukan oleh beberapa implementasi lama. Awalan ini tidak menunjukkan asal jenis, dan URI yang memuatnya tidak diharapkan untuk merespons permintaan apa pun. Semua string URL jenis harus berupa referensi URI yang sah dengan batasan tambahan (untuk format teks) bahwa konten referensi hanya boleh terdiri dari karakter alfanumerik, escape yang dienkode persen, dan karakter dalam kumpulan berikut (tidak termasuk tanda petik terbalik luar): /-.~_!$&()*+,;=. Meskipun kami mengizinkan encoding persen, implementasi tidak boleh meng-unescape-nya untuk mencegah kebingungan dengan parser yang ada. Misalnya, type.googleapis.com%2FFoo harus ditolak. Dalam desain asli Any, kemungkinan meluncurkan layanan resolusi jenis di URL jenis ini telah dipertimbangkan, tetapi Protobuf tidak pernah menerapkannya dan menganggap menghubungi URL ini sebagai masalah dan potensi masalah keamanan. Jangan mencoba menghubungi URL jenis.
value	string (bytes format) Menyimpan serialisasi Protobuf dari jenis yang dijelaskan oleh type_url. String berenkode base64.

EvaluationMetricsThresholds

Representasi JSON
{ "goldenEvaluationMetricsThresholds": { object (GoldenEvaluationMetricsThresholds) }, "hallucinationMetricBehavior": enum (HallucinationMetricBehavior), "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior), "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior) }

Kolom
goldenEvaluationMetricsThresholds	object (GoldenEvaluationMetricsThresholds) Opsional. Nilai minimum metrik evaluasi golden dataset.
hallucinationMetricBehavior (deprecated)	enum (HallucinationMetricBehavior) Item ini tidak digunakan lagi. Opsional. Tidak digunakan lagi: Gunakan golden_hallucination_metric_behavior sebagai gantinya. Perilaku metrik halusinasi saat ini digunakan untuk evaluasi golden.
goldenHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Opsional. Perilaku metrik halusinasi untuk evaluasi golden dataset.
scenarioHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Opsional. Perilaku metrik halusinasi untuk evaluasi skenario.

GoldenEvaluationMetricsThresholds

Representasi JSON
{ "turnLevelMetricsThresholds": { object (TurnLevelMetricsThresholds) }, "expectationLevelMetricsThresholds": { object (ExpectationLevelMetricsThresholds) }, "toolMatchingSettings": { object (ToolMatchingSettings) } }

Kolom
turnLevelMetricsThresholds	object (TurnLevelMetricsThresholds) Opsional. Nilai minimum metrik tingkat giliran.
expectationLevelMetricsThresholds	object (ExpectationLevelMetricsThresholds) Opsional. Nilai minimum metrik tingkat ekspektasi.
toolMatchingSettings	object (ToolMatchingSettings) Opsional. Setelan pencocokan alat. Panggilan alat tambahan adalah panggilan alat yang ada dalam eksekusi, tetapi tidak cocok dengan panggilan alat apa pun dalam ekspektasi ideal.

ToolMatchingSettings

Representasi JSON
{ "extraToolCallBehavior": enum (ExtraToolCallBehavior) }

Kolom
extraToolCallBehavior	enum (ExtraToolCallBehavior) Opsional. Perilaku untuk panggilan alat tambahan. Nilai defaultnya adalah FAIL.

EvaluationConfig

Representasi JSON
{ "inputAudioConfig": { object (InputAudioConfig) }, "outputAudioConfig": { object (OutputAudioConfig) }, "evaluationChannel": enum (EvaluationChannel), "toolCallBehaviour": enum (EvaluationToolCallBehaviour) }

Kolom
inputAudioConfig	object (InputAudioConfig) Opsional. Konfigurasi untuk memproses audio input.
outputAudioConfig	object (OutputAudioConfig) Opsional. Konfigurasi untuk membuat audio output.
evaluationChannel	enum (EvaluationChannel) Opsional. Saluran yang akan dievaluasi.
toolCallBehaviour	enum (EvaluationToolCallBehaviour) Opsional. Menentukan apakah evaluasi harus menggunakan panggilan alat sungguhan atau alat palsu.

InputAudioConfig

Representasi JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

Kolom
audioEncoding	enum (AudioEncoding) Wajib. Encoding data audio input.
sampleRateHertz	integer Wajib. Frekuensi sampel (dalam Hertz) data audio input.
noiseSuppressionLevel	string Opsional. Apakah akan mengaktifkan peredam bising pada audio input. Nilai yang tersedia adalah "low", "moderate", "high", "very_high".

OutputAudioConfig

Representasi JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer }

Kolom
audioEncoding	enum (AudioEncoding) Wajib. Encoding data audio output.
sampleRateHertz	integer Wajib. Frekuensi sampel (dalam Hertz) data audio output.

EvaluationMetricsConfig

Representasi JSON
{ "goldenMetricsConfig": { object (GoldenMetricsConfig) }, "scenarioMetricsConfig": { object (ScenarioMetricsConfig) } }

Kolom
goldenMetricsConfig	object (GoldenMetricsConfig) Opsional. Konfigurasi metrik emas untuk evaluasi.
scenarioMetricsConfig	object (ScenarioMetricsConfig) Opsional. Konfigurasi metrik skenario untuk evaluasi.

GoldenMetricsConfig

Representasi JSON
{ "semanticSimilarityMetricsConfig": { object (SemanticSimilarityMetricsConfig) }, "toolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) }, "stepToolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) } }

Kolom
semanticSimilarityMetricsConfig	object (SemanticSimilarityMetricsConfig) Opsional. Konfigurasi global untuk metrik kesamaan semantik.
toolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) Opsional. Konfigurasi untuk metrik ketepatan alat tingkat giliran.
stepToolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) Opsional. Konfigurasi untuk metrik ketepatan alat tingkat langkah.

ToolCorrectnessMetricsConfig

Representasi JSON
{ "enableToolCorrectnessMetrics": boolean }

Kolom
enableToolCorrectnessMetrics	boolean Opsional. Apakah akan menghitung metrik ketepatan alat untuk evaluasi.

ScenarioMetricsConfig

Representasi JSON
{ "userGoalMetMetricsConfig": { object (UserGoalMetMetricsConfig) }, "expectationsMetMetricsConfig": { object (ExpectationsMetMetricsConfig) } }

Kolom
userGoalMetMetricsConfig	object (UserGoalMetMetricsConfig) Opsional. Konfigurasi untuk metrik sasaran pengguna yang terpenuhi.
expectationsMetMetricsConfig	object (ExpectationsMetMetricsConfig) Opsional. Konfigurasi untuk metrik tingkat ekspektasi.

UserGoalMetMetricsConfig

Representasi JSON
{ "enableUserGoalMetMetrics": boolean }

Kolom
enableUserGoalMetMetrics	boolean Opsional. Apakah akan menghitung metrik sasaran pengguna yang terpenuhi untuk evaluasi.

ExpectationsMetMetricsConfig

Representasi JSON
{ "enableExpectationsMetMetrics": boolean }

Kolom
enableExpectationsMetMetrics	boolean Opsional. Apakah akan menghitung metrik tingkat ekspektasi untuk evaluasi.

NullValue

Merepresentasikan null JSON.

NullValue adalah sentinel, yang menggunakan enum dengan hanya satu nilai untuk merepresentasikan nilai null untuk gabungan jenis Value.

Kolom jenis NullValue dengan nilai selain 0 dianggap tidak valid. Sebagian besar serializer ProtoJSON akan memunculkan Value dengan null_value yang ditetapkan sebagai null JSON, terlepas dari nilai bilangan bulatnya, sehingga akan melakukan perjalanan pulang pergi ke nilai 0.

Enum
NULL_VALUE	Nilai null.

RecordingControl

Keputusan yang dibuat aplikasi dapat direkam dan dicatat dalam log.

Enum ini dapat diperluas; nilai baru dapat ditambahkan pada masa mendatang.

Enum
RECORDING_CONTROL_UNSPECIFIED	Aplikasi tidak mengontrol perekaman. Setelan logging aplikasi akan menentukan, seperti yang dilakukan untuk setiap sesi yang tidak pernah menetapkan kolom ini.
RECORDING_ENABLED	Percakapan mungkin direkam dan dicatat dalam log mulai dari sini.
RECORDING_DISABLED	Percakapan mungkin tidak direkam atau dicatat dalam log mulai dari sini.

ComparisonType

Jenis perbandingan yang didukung untuk memeriksa respons agen.

Enum
COMPARISON_TYPE_UNSPECIFIED	Jenis perbandingan tidak ditentukan. Perilaku ditetapkan secara default ke SEMANTIC_SIMILARITY untuk respons agen dan panggilan alat.
EQUALS	Pencocokan string persis.
CONTAINS	Pencocokan substring (memeriksa apakah string yang diharapkan terdapat dalam respons sebenarnya).
SEMANTIC_SIMILARITY	Kecocokan kemiripan semantik (mengevaluasi kemiripan makna menggunakan LLM).

SemanticSimilarityChannel

Saluran kemiripan semantik yang akan digunakan.

Enum
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED	Metrik tidak ditentukan. Default-nya adalah TEXT.
TEXT	Gunakan kesamaan semantik teks.
AUDIO	Gunakan kesamaan semantik audio.

HallucinationMetricBehavior

Perilaku metrik halusinasi. Terlepas dari perilakunya, metrik akan selalu dihitung. Perbedaannya adalah jika dinonaktifkan, metrik tidak digunakan untuk menghitung skor evaluasi keseluruhan.

Enum
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED	Perilaku metrik halusinasi yang tidak ditentukan.
DISABLED	Menonaktifkan metrik halusinasi.
ENABLED	Aktifkan metrik halusinasi.

TaskCompletionBehavior

Perilaku yang diharapkan dari tugas pengguna. Hal ini digunakan untuk menentukan apakah skenario berhasil.

Enum
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED	Perilaku tidak ditentukan. Akan ditetapkan secara default ke TASK_SATISFIED.
TASK_SATISFIED	Tugas pengguna harus berhasil diselesaikan.
TASK_REJECTED	Tugas pengguna harus ditolak.

UserGoalBehavior

Perilaku yang diharapkan dari sasaran pengguna. Hal ini digunakan untuk menentukan apakah skenario berhasil.

Enum
USER_GOAL_BEHAVIOR_UNSPECIFIED	Perilaku tidak ditentukan. Akan ditetapkan secara default ke USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED	Sasaran pengguna harus berhasil diselesaikan.
USER_GOAL_REJECTED	Sasaran pengguna harus ditolak.
USER_GOAL_IGNORED	Abaikan status sasaran pengguna.

ScenarioExecutionMode

Mode eksekusi untuk evaluasi skenario.

Enum
SCENARIO_EXECUTION_MODE_UNSPECIFIED	Mode eksekusi yang tidak ditentukan. Default-nya adalah QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED	Mode pengoptimalan kualitas.
SPEED_OPTIMIZED	Mode yang dioptimalkan untuk kecepatan.

Hasil

Hasil evaluasi atau ekspektasi.

Enum
OUTCOME_UNSPECIFIED	Hasil evaluasi tidak ditentukan.
PASS	Evaluasi/Ekspektasi lulus. Dalam kasus evaluasi, ini berarti semua ekspektasi terpenuhi.
FAIL	Evaluasi/Ekspektasi gagal. Dalam kasus evaluasi, ini berarti setidaknya satu ekspektasi tidak terpenuhi.
SKIPPED	Evaluasi/Ekspektasi dilewati.

ErrorType

Jenis error

Enum
ERROR_TYPE_UNSPECIFIED	Jenis error yang belum ditetapkan.
RUNTIME_FAILURE	Kegagalan selama eksekusi runtime.
CONVERSATION_RETRIEVAL_FAILURE	Gagal mengambil percakapan dari CES Runtime.
METRIC_CALCULATION_FAILURE	Gagal menghitung metrik/hasil.
EVALUATION_UPDATE_FAILURE	Gagal memperbarui evaluasi.
QUOTA_EXHAUSTED	Kehabisan kuota.
USER_SIMULATION_FAILURE	Kegagalan selama simulasi pengguna.

Jenis

Jenis span. Nilai tambahan mungkin ditambahkan pada masa mendatang.

Enum
TYPE_UNSPECIFIED	Nilai default. Nilai ini tidak digunakan.
TOOL	Span panggilan alat.
USER_CALLBACK	Span callback pengguna.
GUARDRAIL	Rentang guardrail.
LLM	Span LLM.

MilestoneStatus

Status pencapaian.

Enum
MILESTONE_STATUS_UNSPECIFIED	Status tidak ditentukan.
NOT_STARTED	Pencapaian belum dimulai.
IN_PROGRESS	Pencapaian saat ini sedang berlangsung.
COMPLETED	Tonggak pencapaian telah berhasil diselesaikan.

BackgroundEnvironment

Lingkungan audio yang disimulasikan.

Enum
BACKGROUND_ENVIRONMENT_UNSPECIFIED	Lingkungan latar belakang tidak ditentukan.
CALL_CENTER	Lingkungan pusat panggilan.
TRAFFIC	Lingkungan dengan suara bising lalu lintas.
KIDS_NOISE	Lingkungan bising anak-anak.
CAFE	Lingkungan kafe.

ExecutionState

Status eksekusi hasil evaluasi.

Enum
EXECUTION_STATE_UNSPECIFIED	Status eksekusi hasil evaluasi tidak ditentukan.
QUEUED	Eksekusi hasil evaluasi dimasukkan ke dalam antrean.
RUNNING	Eksekusi hasil evaluasi sedang berjalan.
COMPLETED	Eksekusi hasil evaluasi telah selesai.
ERROR	Eksekusi hasil evaluasi gagal karena error internal.
CANCELLED	Eksekusi hasil evaluasi dibatalkan.

ExtraToolCallBehavior

Menentukan perilaku saat panggilan alat tambahan ditemukan. Panggilan alat tambahan adalah panggilan alat yang ada dalam eksekusi, tetapi tidak cocok dengan panggilan alat apa pun dalam ekspektasi ideal.

Enum
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED	Perilaku tidak ditentukan. Nilai defaultnya adalah FAIL.
FAIL	Gagalkan evaluasi jika ditemukan panggilan alat tambahan.
ALLOW	Izinkan panggilan alat tambahan.

AudioEncoding

AudioEncoding menentukan format encoding untuk data audio.

Enum
AUDIO_ENCODING_UNSPECIFIED	Encoding audio yang tidak ditentukan.
LINEAR16	Encoding audio PCM linear 16-bit.
MULAW	Sampel 8-bit yang mengompresi sampel audio 14-bit menggunakan G.711 PCMU/mu-law.
ALAW	Sampel 8-bit yang mengompresi sampel audio 14-bit menggunakan PCMU/A-law G.711.

EvaluationChannel

Saluran yang akan dievaluasi.

Enum
EVALUATION_CHANNEL_UNSPECIFIED	Saluran evaluasi yang tidak ditentukan.
TEXT	Saluran evaluasi khusus teks.
AUDIO	Saluran evaluasi audio.

EvaluationToolCallBehaviour

Mengonfigurasi perilaku panggilan alat untuk operasi evaluasi.

Enum
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED	Perilaku panggilan alat yang tidak ditentukan. Akan ditetapkan secara default ke panggilan alat yang sebenarnya.
REAL	Gunakan panggilan alat yang sebenarnya.
FAKE	Menggunakan panggilan alat palsu.

GoldenRunMethod

Metode yang digunakan untuk menjalankan evaluasi.

Enum
GOLDEN_RUN_METHOD_UNSPECIFIED	Metode run tidak ditentukan.
STABLE	Jalankan evaluasi sebagai replay stabil, dengan setiap giliran merupakan sesi unik dan giliran yang diharapkan sebelumnya dimasukkan sebagai konteks.
NAIVE	Jalankan evaluasi sebagai replay sederhana, dengan eksekusi berupa satu sesi tanpa konteks yang dimasukkan.

OutcomeMetadata

Metadata tentang hasil evaluasi.

Enum
OUTCOME_METADATA_UNSPECIFIED	Metadata hasil yang tidak ditentukan.
GRACEFUL_HANDOFF	Evaluasi menghasilkan pengalihan yang lancar ke perwakilan manusia.

Anotasi Alat

Anotasi alat dikirim ke klien MCP untuk menjelaskan risiko dasar alat tertentu. Sebagian besar klien memperlakukan petunjuk ini sebagai tidak tepercaya, tetapi petunjuk tersebut dapat digunakan untuk memutuskan kapan perintah konfirmasi dapat dikirim kepada pengguna.

Bersama dengan string judul, petunjuk boolean berikut ditentukan sebagai berikut:

• readOnlyHint: Jika benar, alat tidak akan mengubah lingkungannya. Default: false.
• destructiveHint: Jika benar, alat dapat melakukan tindakan destruktif. Jika salah, alat hanya dapat melakukan tindakan aditif. Default: true.
• idempotentHint: Jika benar, memanggil alat berulang kali dengan argumen yang sama tidak akan memberikan efek tambahan pada lingkungannya. Default: false.
• openWorldHint: Jika benar, alat dapat berinteraksi dengan 'open world' entitas eksternal. Jika salah, alat hanya dapat berinteraksi dengan entity internal. Misalnya, alat penelusuran web akan bersifat open world, sedangkan alat memori tidak akan bersifat open world.

Destructive Hint: ❌ | Idempotent Hint: ❌ | Read Only Hint: ❌ | Open World Hint: ❌