MCP Tools Reference: ces.googleapis.com

Alat: list_evaluation_runs

Mencantumkan proses evaluasi.

Contoh berikut menunjukkan cara menggunakan curl untuk memanggil alat MCP list_evaluation_runs.

Permintaan Curl 
                  
curl --location 'https://ces.[REGION].rep.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "list_evaluation_runs",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Skema Input

Pesan permintaan untuk EvaluationService.ListEvaluationRuns.

ListEvaluationRunsRequest

Representasi JSON 
{
  "parent": string,
  "pageSize": integer,
  "pageToken": string,
  "filter": string,
  "orderBy": string
}
Kolom
parent

string

Wajib. Nama resource aplikasi untuk mencantumkan proses evaluasi.
pageSize

integer

Opsional. Ukuran halaman yang diminta. Server dapat menampilkan lebih sedikit item daripada yang diminta. Jika tidak ditentukan, server akan memilih default yang sesuai.
pageToken

string

Opsional. Nilai next_page_token yang ditampilkan dari panggilan EvaluationService.ListEvaluationRuns daftar sebelumnya.
filter

string

Opsional. Filter yang akan diterapkan saat mencantumkan proses evaluasi. Lihat https://google.aip.dev/160 untuk mengetahui detail selengkapnya.
orderBy

string

Opsional. Kolom yang akan diurutkan. Hanya "name", "create_time", dan "update_time" yang didukung. Kolom waktu diurutkan dalam urutan menurun, dan kolom nama diurutkan dalam urutan menaik. Jika tidak disertakan, "update_time" akan menjadi default. Lihat https://google.aip.dev/132#ordering untuk mengetahui detail selengkapnya.

Skema Output

Pesan respons untuk EvaluationService.ListEvaluationRuns.

ListEvaluationRunsResponse

Representasi JSON 
{
  "evaluationRuns": [
    {
      object (EvaluationRun)
    }
  ],
  "nextPageToken": string
}
Kolom
evaluationRuns[]

object (EvaluationRun)

Daftar operasi evaluasi.
nextPageToken

string

Token yang dapat dikirim sebagai ListEvaluationRunsRequest.page_token untuk mengambil halaman berikutnya. Jika kolom ini tidak ada, berarti tidak ada halaman berikutnya.

EvaluationRun

Representasi JSON 
{
  "name": string,
  "displayName": string,
  "evaluationResults": [
    string
  ],
  "createTime": string,
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "evaluations": [
    string
  ],
  "evaluationDataset": string,
  "evaluationType": enum (EvaluationType),
  "state": enum (EvaluationRunState),
  "progress": {
    object (Progress)
  },
  "config": {
    object (EvaluationConfig)
  },
  "error": {
    object (Status)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "evaluationRunSummaries": {
    string: {
      object (EvaluationRunSummary)
    },
    ...
  },
  "latencyReport": {
    object (LatencyReport)
  },
  "runCount": integer,
  "personaRunConfigs": [
    {
      object (PersonaRunConfig)
    }
  ],
  "optimizationConfig": {
    object (OptimizationConfig)
  },
  "scheduledEvaluationRun": string,
  "goldenRunMethod": enum (GoldenRunMethod)
}
Kolom
name

string

ID. ID unik dari proses evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
displayName

string

Opsional. Nama tampilan yang ditentukan pengguna untuk proses evaluasi. Default: " run - ".
evaluationResults[]

string

Hanya output. Hasil evaluasi yang merupakan bagian dari operasi ini. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
createTime

string (Timestamp format)

Hanya output. Stempel waktu saat eksekusi evaluasi dibuat.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
initiatedBy

string

Hanya output. Pengguna yang memulai proses evaluasi.
appVersion

string

Hanya output. Versi aplikasi yang akan dievaluasi. Format: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Hanya output. Nama tampilan app_version yang digunakan untuk menjalankan evaluasi.
changelog

string

Hanya output. Log perubahan versi aplikasi yang digunakan untuk menjalankan evaluasi. Kolom ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf.
changelogCreateTime

string (Timestamp format)

Hanya output. Waktu pembuatan log perubahan versi aplikasi yang digunakan untuk menjalankan evaluasi. Kolom ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
evaluations[]

string

Hanya output. Evaluasi yang merupakan bagian dari proses ini. Daftar dapat berisi evaluasi dari salah satu jenis. Kolom ini sama eksklusifnya dengan evaluation_dataset. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
evaluationDataset

string

Hanya output. Set data evaluasi yang terkait dengan proses ini. Kolom ini sama eksklusifnya dengan evaluations. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
evaluationType

enum (EvaluationType)

Hanya output. Jenis evaluasi dalam proses ini.
state

enum (EvaluationRunState)

Hanya output. Status proses evaluasi.
progress

object (Progress)

Hanya output. Progres proses evaluasi.
config

object (EvaluationConfig)

Hanya output. Konfigurasi yang digunakan dalam run.
error
(deprecated)

object (Status)

Hanya output. Tidak digunakan lagi: Gunakan error_info sebagai gantinya. Terjadi error selama eksekusi.
errorInfo

object (EvaluationErrorInfo)

Hanya output. Informasi error untuk proses evaluasi.
evaluationRunSummaries

map (key: string, value: object (EvaluationRunSummary))

Hanya output. Peta nama evaluasi ke EvaluationRunSummary.

Objek yang berisi daftar pasangan "key": value. Contoh: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
latencyReport

object (LatencyReport)

Hanya output. Laporan latensi untuk proses evaluasi.
runCount

integer

Hanya output. Jumlah evaluasi di dalam proses yang dijalankan.
personaRunConfigs[]

object (PersonaRunConfig)

Hanya output. Konfigurasi yang akan digunakan untuk menjalankan per persona.
optimizationConfig

object (OptimizationConfig)

Opsional. Konfigurasi untuk menjalankan langkah pengoptimalan setelah menjalankan evaluasi. Jika tidak disetel, langkah pengoptimalan tidak akan dijalankan.
scheduledEvaluationRun

string

Hanya output. Nama resource eksekusi evaluasi terjadwal yang membuat eksekusi evaluasi ini. Kolom ini hanya disetel jika eksekusi evaluasi dibuat oleh eksekusi evaluasi terjadwal. Format: projects/{project}/locations/{location}/apps/{app}/scheduledEvaluationRuns/{scheduled_evaluation_run}
goldenRunMethod

enum (GoldenRunMethod)

Hanya output. Metode yang digunakan untuk menjalankan evaluasi.

Stempel waktu

Representasi JSON 
{
  "seconds": string,
  "nanos": integer
}
Kolom
seconds

string (int64 format)

Mewakili detik waktu UTC sejak epoch Unix 1970-01-01T00:00:00Z. Harus antara -62135596800 dan 253402300799 inklusif (yang sesuai dengan 0001-01-01T00:00:00Z hingga 9999-12-31T23:59:59Z).
nanos

integer

Pecahan detik non-negatif pada resolusi nanodetik. Kolom ini adalah bagian nanodetik dari durasi, bukan alternatif untuk detik. Nilai detik negatif dengan pecahan harus tetap memiliki nilai nano non-negatif yang dihitung maju dalam waktu. Harus antara 0 dan 999.999.999 inklusif.

Progres

Representasi JSON 
{
  "totalCount": integer,
  "failedCount": integer,
  "errorCount": integer,
  "completedCount": integer,
  "passedCount": integer
}
Kolom
totalCount

integer

Hanya output. Jumlah total hasil evaluasi dalam proses ini.
failedCount

integer

Hanya output. Jumlah hasil evaluasi yang selesai dengan hasil GAGAL. (EvaluationResult.execution_state adalah COMPLETED dan EvaluationResult.evaluation_status adalah FAIL).
errorCount

integer

Hanya output. Jumlah hasil evaluasi yang gagal dieksekusi. (EvaluationResult.execution_state adalah ERROR).
completedCount

integer

Hanya output. Jumlah hasil evaluasi yang berhasil diselesaikan. (EvaluationResult.execution_state adalah COMPLETED).
passedCount

integer

Hanya output. Jumlah hasil evaluasi yang selesai dengan hasil LULUS. (EvaluationResult.execution_state adalah COMPLETED dan EvaluationResult.evaluation_status adalah PASS).

EvaluationConfig

Representasi JSON 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Kolom
inputAudioConfig
(deprecated)

object (InputAudioConfig)

Opsional. Konfigurasi untuk memproses audio input.
outputAudioConfig
(deprecated)

object (OutputAudioConfig)

Opsional. Konfigurasi untuk membuat audio output.
evaluationChannel

enum (EvaluationChannel)

Opsional. Saluran yang akan dievaluasi.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Opsional. Menentukan apakah evaluasi harus menggunakan panggilan alat asli atau alat palsu.

InputAudioConfig

Representasi JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Kolom
audioEncoding

enum (AudioEncoding)

Wajib. Encoding data audio input.
sampleRateHertz

integer

Wajib. Frekuensi sampel (dalam Hertz) data audio input.
noiseSuppressionLevel

string

Opsional. Apakah akan mengaktifkan peredam bising pada audio input. Nilai yang tersedia adalah "low", "moderate", "high", "very_high".

OutputAudioConfig

Representasi JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Kolom
audioEncoding

enum (AudioEncoding)

Wajib. Encoding data audio output.
sampleRateHertz

integer

Wajib. Frekuensi sampel (dalam Hertz) data audio output.

Status

Representasi JSON 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Kolom
code

integer

Kode status, harus berupa nilai enum dari google.rpc.Code.
message

string

Pesan error yang ditampilkan ke developer dan seharusnya dalam bahasa Inggris. Setiap pesan error yang ditampilkan kepada pengguna harus dilokalkan dan dikirim di kolom google.rpc.Status.details, atau dilokalkan oleh klien.
details[]

object

Daftar pesan yang membawa detail error. Ada seperangkat jenis pesan umum untuk digunakan API.

Objek yang berisi kolom tipe arbitrer. Kolom tambahan "@type" berisi URI yang mengidentifikasi jenis. Contoh: { "id": 1234, "@type": "types.example.com/standard/id" }.

Semua

Representasi JSON 
{
  "typeUrl": string,
  "value": string
}
Kolom
typeUrl

string

Mengidentifikasi jenis pesan Protobuf yang diserialkan dengan referensi URI yang terdiri dari awalan yang diakhiri dengan garis miring dan nama jenis yang sepenuhnya memenuhi syarat.

Contoh: type.googleapis.com/google.protobuf.StringValue

String ini harus berisi setidaknya satu karakter /, dan konten setelah / terakhir harus berupa nama yang sepenuhnya memenuhi syarat dari jenis dalam bentuk kanonis, tanpa titik di depannya. Jangan tulis skema pada referensi URI ini agar klien tidak mencoba menghubungi mereka.

Awalan bersifat arbitrer dan implementasi Protobuf diharapkan cukup menghapus semua yang ada hingga dan termasuk / terakhir untuk mengidentifikasi jenisnya. type.googleapis.com/ adalah awalan default umum yang diperlukan oleh beberapa penerapan lama. Awalan ini tidak menunjukkan asal jenis, dan URI yang memuatnya tidak diharapkan merespons permintaan apa pun.

Semua string URL jenis harus berupa referensi URI yang valid dengan batasan tambahan (untuk format teks) bahwa konten referensi hanya boleh terdiri dari karakter alfanumerik, escape yang dienkode persen, dan karakter dalam set berikut (tidak termasuk tanda petik terbalik luar): /-.~_!$&()*+,;=. Meskipun kami mengizinkan encoding persen, implementasi tidak boleh meng-unescape-nya untuk mencegah kebingungan dengan parser yang ada. Misalnya, type.googleapis.com%2FFoo harus ditolak.

Dalam desain asli Any, kemungkinan meluncurkan layanan penyelesaian jenis di URL jenis ini dipertimbangkan, tetapi Protobuf tidak pernah mengimplementasikannya dan menganggap menghubungi URL ini bermasalah dan berpotensi menjadi masalah keamanan. Jangan mencoba menghubungi URL jenis kontak.
value

string (bytes format)

Berisi serialisasi Protobuf dari jenis yang dijelaskan oleh type_url.

String berenkode base64.

EvaluationErrorInfo

Representasi JSON 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string
}
Kolom
errorType

enum (ErrorType)

Hanya output. Jenis error.
errorMessage

string

Hanya output. Pesan error.
sessionId

string

Hanya output. ID sesi untuk percakapan yang menyebabkan error.

EvaluationRunSummariesEntry

Representasi JSON 
{
  "key": string,
  "value": {
    object (EvaluationRunSummary)
  }
}
Kolom
key

string
value

object (EvaluationRunSummary)

EvaluationRunSummary

Representasi JSON 
{
  "passedCount": integer,
  "failedCount": integer,
  "errorCount": integer
}
Kolom
passedCount

integer

Hanya output. Jumlah hasil lulus untuk Evaluasi terkait dalam proses ini.
failedCount

integer

Hanya output. Jumlah hasil yang gagal untuk Evaluasi terkait dalam operasi ini.
errorCount

integer

Hanya output. Jumlah hasil error untuk Evaluasi terkait dalam proses ini.

LatencyReport

Representasi JSON 
{
  "toolLatencies": [
    {
      object (ToolLatency)
    }
  ],
  "callbackLatencies": [
    {
      object (CallbackLatency)
    }
  ],
  "guardrailLatencies": [
    {
      object (GuardrailLatency)
    }
  ],
  "llmCallLatencies": [
    {
      object (LlmCallLatency)
    }
  ],
  "sessionCount": integer
}
Kolom
toolLatencies[]

object (ToolLatency)

Hanya output. Daftar yang tidak diurutkan. Metrik latensi untuk setiap alat.
callbackLatencies[]

object (CallbackLatency)

Hanya output. Daftar yang tidak diurutkan. Metrik latensi untuk setiap callback.
guardrailLatencies[]

object (GuardrailLatency)

Hanya output. Daftar yang tidak diurutkan. Metrik latensi untuk setiap pembatasan.
llmCallLatencies[]

object (LlmCallLatency)

Hanya output. Daftar yang tidak diurutkan. Metrik latensi untuk setiap panggilan LLM.
sessionCount

integer

Hanya output. Jumlah total sesi yang dipertimbangkan dalam laporan latensi.

ToolLatency

Representasi JSON 
{
  "toolDisplayName": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Kolom
toolDisplayName

string

Hanya output. Nama tampilan alat.
latencyMetrics

object (LatencyMetrics)

Hanya output. Metrik latensi untuk alat.
Kolom union tool_identifier. ID alat. tool_identifier hanya ada berupa salah satu diantara berikut:
tool

string

Hanya output. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
toolsetTool

object (ToolsetTool)

Hanya output. ID alat toolset.

ToolsetTool

Representasi JSON 
{
  "toolset": string,
  "toolId": string
}
Kolom
toolset

string

Wajib. Nama resource Toolset dari mana alat ini berasal. Format: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Opsional. ID alat untuk memfilter alat guna mengambil skemanya.

LatencyMetrics

Representasi JSON 
{
  "p50Latency": string,
  "p90Latency": string,
  "p99Latency": string,
  "callCount": integer
}
Kolom
p50Latency

string (Duration format)

Hanya output. Latensi persentil ke-50.

Durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s".
p90Latency

string (Duration format)

Hanya output. Latensi persentil ke-90.

Durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s".
p99Latency

string (Duration format)

Hanya output. Latensi persentil ke-99.

Durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s".
callCount

integer

Hanya output. Frekuensi resource dipanggil.

Durasi

Representasi JSON 
{
  "seconds": string,
  "nanos": integer
}
Kolom
seconds

string (int64 format)

Detik yang ditandatangani dari rentang waktu. Harus dari -315.576.000.000 hingga +315.576.000.000 inklusif. Catatan: batas ini dihitung dari: 60 dtk/mnt * 60 mnt/j * 24 j/hr * 365,25 hr/thn * 10.000 thn
nanos

integer

Pecahan detik bertanda pada resolusi nanodetik rentang waktu. Durasi kurang dari satu detik ditampilkan dengan kolom seconds 0 dan kolom nanos positif atau negatif. Untuk durasi satu detik atau lebih, nilai non-nol untuk kolom nanos harus memiliki tanda yang sama dengan kolom seconds. Harus dari -999.999.999 hingga +999.999.999 inklusif.

CallbackLatency

Representasi JSON 
{
  "stage": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  }
}
Kolom
stage

string

Hanya output. Tahap callback.
latencyMetrics

object (LatencyMetrics)

Hanya output. Metrik latensi untuk callback.

GuardrailLatency

Representasi JSON 
{
  "guardrail": string,
  "guardrailDisplayName": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  }
}
Kolom
guardrail

string

Hanya output. Nama pembatas. Format: projects/{project}/locations/{location}/apps/{app}/guardrails/{guardrail}.
guardrailDisplayName

string

Hanya output. Nama tampilan pembatas.
latencyMetrics

object (LatencyMetrics)

Hanya output. Metrik latensi untuk pembatasan.

LlmCallLatency

Representasi JSON 
{
  "model": string,
  "latencyMetrics": {
    object (LatencyMetrics)
  }
}
Kolom
model

string

Hanya output. Nama model.
latencyMetrics

object (LatencyMetrics)

Hanya output. Metrik latensi untuk panggilan LLM.

PersonaRunConfig

Representasi JSON 
{
  "persona": string,
  "taskCount": integer
}
Kolom
persona

string

Opsional. Persona yang akan digunakan untuk evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
taskCount

integer

Opsional. Jumlah tugas yang akan dijalankan untuk persona.

OptimizationConfig

Representasi JSON 
{
  "generateLossReport": boolean,
  "assistantSession": string,
  "reportSummary": string,
  "shouldSuggestFix": boolean,
  "status": enum (OptimizationStatus),
  "errorMessage": string,
  "lossReport": {
    object
  }
}
Kolom
generateLossReport

boolean

Opsional. Apakah akan membuat laporan kehilangan.
assistantSession

string

Hanya output. Sesi asisten yang akan digunakan untuk pengoptimalan berdasarkan eksekusi evaluasi ini. Format: projects/{project}/locations/{location}/apps/{app}/assistantSessions/{assistantSession}
reportSummary

string

Hanya output. Ringkasan laporan kehilangan.
shouldSuggestFix

boolean

Hanya output. Apakah akan menyarankan perbaikan untuk kerugian.
status

enum (OptimizationStatus)

Hanya output. Status proses pengoptimalan.
errorMessage

string

Hanya output. Pesan error jika proses pengoptimalan gagal.
lossReport

object (Struct format)

Hanya output. Laporan kehilangan yang dibuat.

Struct

Representasi JSON 
{
  "fields": {
    string: value,
    ...
  }
}
Kolom
fields

map (key: string, value: value (Value format))

Peta tidak berurutan dari nilai yang diketik secara dinamis.

Objek yang berisi daftar pasangan "key": value. Contoh: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Representasi JSON 
{
  "key": string,
  "value": value
}
Kolom
key

string
value

value (Value format)

Nilai

Representasi JSON 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Kolom
Kolom union kind. Jenis nilai. kind hanya ada berupa salah satu diantara berikut:
nullValue

null

Mewakili nilai null.
numberValue

number

Mewakili nilai ganda.
stringValue

string

Mewakili nilai string.
boolValue

boolean

Mewakili nilai boolean.
structValue

object (Struct format)

Mewakili nilai terstruktur.
listValue

array (ListValue format)

Merepresentasikan Value yang berulang.

ListValue

Representasi JSON 
{
  "values": [
    value
  ]
}
Kolom
values[]

value (Value format)

Kolom berulang dari nilai yang diketik secara dinamis.

Anotasi Alat

Petunjuk Destruktif: ❌ | Petunjuk Idempoten: ✅ | Petunjuk Hanya Baca: ✅ | Petunjuk Dunia Terbuka: ❌