REST Resource: projects.locations.apps.evaluationRuns

Resource: EvaluationRun

Jalannya evaluasi mewakili semua hasil evaluasi dari eksekusi evaluasi.

Representasi JSON 
{
  "name": string,
  "displayName": string,
  "evaluationResults": [
    string
  ],
  "createTime": string,
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "evaluations": [
    string
  ],
  "evaluationDataset": string,
  "evaluationType": enum (EvaluationRun.EvaluationType),
  "state": enum (EvaluationRun.EvaluationRunState),
  "progress": {
    object (EvaluationRun.Progress)
  },
  "config": {
    object (EvaluationConfig)
  },
  "error": {
    object (Status)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "evaluationRunSummaries": {
    string: {
      object (EvaluationRun.EvaluationRunSummary)
    },
    ...
  },
  "latencyReport": {
    object (LatencyReport)
  },
  "runCount": integer,
  "personaRunConfigs": [
    {
      object (PersonaRunConfig)
    }
  ],
  "optimizationConfig": {
    object (OptimizationConfig)
  },
  "scheduledEvaluationRun": string,
  "goldenRunMethod": enum (GoldenRunMethod),
  "operation": string
}
Kolom
name

string

ID. ID unik proses evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
displayName

string

Opsional. Nama tampilan yang ditentukan pengguna untuk proses evaluasi. default: " run - ".
evaluationResults[]

string

Hanya output. Hasil evaluasi yang merupakan bagian dari proses ini. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
createTime

string (Timestamp format)

Hanya output. Stempel waktu saat proses evaluasi dibuat.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
initiatedBy

string

Hanya output. Pengguna yang memulai proses evaluasi.
appVersion

string

Hanya output. Versi aplikasi yang akan dievaluasi. Format: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Hanya output. Nama tampilan appVersion yang digunakan untuk menjalankan evaluasi.
changelog

string

Hanya output. Log perubahan versi aplikasi yang digunakan untuk menjalankan evaluasi. Kolom ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf.
changelogCreateTime

string (Timestamp format)

Hanya output. Waktu pembuatan log perubahan versi aplikasi yang digunakan untuk menjalankan evaluasi. Kolom ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
evaluations[]

string

Hanya output. Evaluasi yang merupakan bagian dari proses ini. Daftar dapat berisi evaluasi dari kedua jenis. Kolom ini tidak dapat muncul bersamaan dengan evaluationDataset. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
evaluationDataset

string

Hanya output. Set data evaluasi yang terkait dengan proses ini. Kolom ini tidak dapat muncul bersamaan dengan evaluations. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
evaluationType

enum (EvaluationRun.EvaluationType)

Hanya output. Jenis evaluasi dalam proses ini.
state

enum (EvaluationRun.EvaluationRunState)

Hanya output. Status proses evaluasi.
progress

object (EvaluationRun.Progress)

Hanya output. Progres eksekusi evaluasi.
config

object (EvaluationConfig)

Hanya output. Konfigurasi yang digunakan dalam run.
error
(deprecated)

object (Status)

Hanya output. Tidak digunakan lagi: Gunakan errorInfo sebagai gantinya. Terjadi error selama eksekusi.
errorInfo

object (EvaluationErrorInfo)

Hanya output. Informasi error untuk proses evaluasi.
evaluationRunSummaries

map (key: string, value: object (EvaluationRun.EvaluationRunSummary))

Hanya output. Peta nama evaluasi ke EvaluationRunSummary.

Objek yang berisi daftar pasangan "key": value. Contoh: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
latencyReport

object (LatencyReport)

Hanya output. Laporan latensi untuk proses evaluasi.
runCount

integer

Hanya output. Jumlah berapa kali evaluasi di dalam proses dijalankan.
personaRunConfigs[]

object (PersonaRunConfig)

Hanya output. Konfigurasi yang akan digunakan untuk menjalankan per persona.
optimizationConfig

object (OptimizationConfig)

Opsional. Konfigurasi untuk menjalankan langkah pengoptimalan setelah menjalankan evaluasi. Jika tidak disetel, langkah pengoptimalan tidak akan dijalankan.
scheduledEvaluationRun

string

Hanya output. Nama resource eksekusi evaluasi terjadwal yang membuat eksekusi evaluasi ini. Kolom ini hanya disetel jika proses evaluasi dibuat oleh proses evaluasi terjadwal. Format: projects/{project}/locations/{location}/apps/{app}/scheduledEvaluationRuns/{scheduledEvaluationRun}
goldenRunMethod

enum (GoldenRunMethod)

Hanya output. Metode yang digunakan untuk menjalankan evaluasi.
operation

string

Hanya output. Operasi yang membuat proses evaluasi ini. Format: projects/{project}/locations/{location}/operations/{operation}

EvaluationRun.EvaluationType

Jenis evaluasi dalam proses ini. Nilai tambahan dapat ditambahkan di masa mendatang.

Enum
EVALUATION_TYPE_UNSPECIFIED Jenis evaluasi tidak ditentukan.
GOLDEN Evaluasi golden.
SCENARIO Evaluasi skenario.
MIXED Menunjukkan bahwa proses mencakup campuran evaluasi emas dan skenario.

EvaluationRun.EvaluationRunState

Status proses evaluasi.

Enum
EVALUATION_RUN_STATE_UNSPECIFIED Status eksekusi evaluasi tidak ditentukan.
QUEUED Menunjukkan bahwa proses evaluasi dimasukkan dalam antrean.
RUNNING Evaluasi sedang berjalan.
COMPLETED Eksekusi evaluasi telah selesai.
ERROR Terjadi error pada proses evaluasi.
CANCELLED Eksekusi evaluasi dibatalkan.

EvaluationRun.Progress

Progres eksekusi evaluasi.

Representasi JSON 
{
  "totalCount": integer,
  "failedCount": integer,
  "errorCount": integer,
  "completedCount": integer,
  "passedCount": integer,
  "cancelledCount": integer
}
Kolom
totalCount

integer

Hanya output. Jumlah total hasil evaluasi dalam proses ini.
failedCount

integer

Hanya output. Jumlah hasil evaluasi yang selesai dengan hasil GAGAL. (EvaluationResult.execution_state adalah COMPLETED dan EvaluationResult.evaluation_status adalah FAIL).
errorCount

integer

Hanya output. Jumlah hasil evaluasi yang gagal dieksekusi. (EvaluationResult.execution_state adalah ERROR).
completedCount

integer

Hanya output. Jumlah hasil evaluasi yang berhasil diselesaikan. (EvaluationResult.execution_state adalah COMPLETED).
passedCount

integer

Hanya output. Jumlah hasil evaluasi yang selesai dengan hasil LULUS. (EvaluationResult.execution_state adalah COMPLETED dan EvaluationResult.evaluation_status adalah PASS).
cancelledCount

integer

Hanya output. Jumlah hasil evaluasi yang dibatalkan. (EvaluationResult.execution_state adalah CANCELLED).

EvaluationRun.EvaluationRunSummary

Berisi ringkasan jumlah hasil lulus dan gagal untuk evaluasi tertentu dalam proses evaluasi.

Representasi JSON 
{
  "passedCount": integer,
  "failedCount": integer,
  "errorCount": integer
}
Kolom
passedCount

integer

Hanya output. Jumlah hasil lulus untuk Evaluasi terkait dalam proses ini.
failedCount

integer

Hanya output. Jumlah hasil yang gagal untuk Evaluasi terkait dalam operasi ini.
errorCount

integer

Hanya output. Jumlah hasil error untuk Evaluasi terkait dalam proses ini.

LatencyReport

Laporan latensi untuk proses evaluasi.

Representasi JSON 
{
  "toolLatencies": [
    {
      object (LatencyReport.ToolLatency)
    }
  ],
  "callbackLatencies": [
    {
      object (LatencyReport.CallbackLatency)
    }
  ],
  "guardrailLatencies": [
    {
      object (LatencyReport.GuardrailLatency)
    }
  ],
  "llmCallLatencies": [
    {
      object (LatencyReport.LlmCallLatency)
    }
  ],
  "sessionCount": integer
}
Kolom
toolLatencies[]

object (LatencyReport.ToolLatency)

Hanya output. Daftar yang tidak diurutkan. Metrik latensi untuk setiap alat.
callbackLatencies[]

object (LatencyReport.CallbackLatency)

Hanya output. Daftar yang tidak diurutkan. Metrik latensi untuk setiap callback.
guardrailLatencies[]

object (LatencyReport.GuardrailLatency)

Hanya output. Daftar yang tidak diurutkan. Metrik latensi untuk setiap pembatas.
llmCallLatencies[]

object (LatencyReport.LlmCallLatency)

Hanya output. Daftar yang tidak diurutkan. Metrik latensi untuk setiap panggilan LLM.
sessionCount

integer

Hanya output. Jumlah total sesi yang dipertimbangkan dalam laporan latensi.

LatencyReport.ToolLatency

Metrik latensi untuk satu alat.

Representasi JSON 
{
  "toolDisplayName": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of mutually exclusive fields.
}
Kolom
toolDisplayName

string

Hanya output. Nama tampilan alat.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Hanya output. Metrik latensi untuk alat.
ID alat. Berikut adalah daftar kolom yang bersifat eksklusif satu sama lain. Maksimal satu kolom akan ditetapkan dalam respons:
tool

string

Hanya output. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
toolsetTool

object (ToolsetTool)

Hanya output. ID alat toolset.
Akhir kolom yang saling eksklusif.

LatencyReport.LatencyMetrics

Metrik latensi untuk komponen.

Representasi JSON 
{
  "p50Latency": string,
  "p90Latency": string,
  "p99Latency": string,
  "callCount": integer
}
Kolom
p50Latency

string (Duration format)

Hanya output. Latensi persentil ke-50.

Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".
p90Latency

string (Duration format)

Hanya output. Latensi persentil ke-90.

Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".
p99Latency

string (Duration format)

Hanya output. Latensi persentil ke-99.

Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".
callCount

integer

Hanya output. Frekuensi resource dipanggil.

LatencyReport.CallbackLatency

Metrik latensi untuk satu callback.

Representasi JSON 
{
  "stage": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
Kolom
stage

string

Hanya output. Tahap callback.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Hanya output. Metrik latensi untuk callback.

LatencyReport.GuardrailLatency

Metrik latensi untuk satu pembatasan.

Representasi JSON 
{
  "guardrail": string,
  "guardrailDisplayName": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
Kolom
guardrail

string

Hanya output. Nama pembatas. Format: projects/{project}/locations/{location}/apps/{app}/guardrails/{guardrail}.
guardrailDisplayName

string

Hanya output. Nama tampilan pembatas.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Hanya output. Metrik latensi untuk pembatasan.

LatencyReport.LlmCallLatency

Metrik latensi untuk satu panggilan LLM.

Representasi JSON 
{
  "model": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
Kolom
model

string

Hanya output. Nama model.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Hanya output. Metrik latensi untuk panggilan LLM.

Metode

delete

 Menghapus proses evaluasi.

export

 Menjalankan evaluasi ekspor.

get

 Mendapatkan detail proses evaluasi yang ditentukan.

list

 Mencantumkan semua proses evaluasi di aplikasi tertentu.