- Resource: EvaluationResult
- Representasi JSON
- EvaluationResult.GoldenResult
- EvaluationResult.GoldenResult.TurnReplayResult
- EvaluationResult.GoldenExpectationOutcome
- EvaluationResult.Outcome
- EvaluationResult.SemanticSimilarityResult
- EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult
- EvaluationResult.HallucinationResult
- EvaluationResult.ToolCallLatency
- EvaluationResult.OverallToolInvocationResult
- EvaluationResult.SpanLatency
- EvaluationResult.SpanLatency.Type
- EvaluationResult.EvaluationExpectationResult
- EvaluationResult.ScenarioResult
- EvaluationResult.ScenarioExpectationOutcome
- EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall
- EvaluationResult.ScenarioRubricOutcome
- EvaluationResult.TaskCompletionResult
- EvaluationResult.UserGoalSatisfactionResult
- EvaluationResult.ScenarioResult.MilestoneResult
- EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus
- EvaluationResult.ExecutionState
- EvaluationResult.OutcomeMetadata
- Metode
Resource: EvaluationResult
Hasil evaluasi mewakili output dari menjalankan Evaluasi.
| Representasi JSON |
|---|
{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum ( |
| Kolom | |
|---|---|
name |
ID. ID unik hasil evaluasi. Format: |
displayName |
Wajib. Nama tampilan Hasil Evaluasi. Unik dalam Evaluasi. Secara default, formatnya adalah: " |
createTime |
Hanya output. Stempel waktu saat hasil evaluasi dibuat. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: |
evaluationStatus |
Hanya output. Hasil evaluasi. Hanya diisi jika executionState adalah COMPLETE. |
evaluationRun |
Hanya output. Proses evaluasi yang menghasilkan hasil ini. Format: |
persona |
Hanya output. Persona yang digunakan untuk membuat percakapan untuk hasil evaluasi. |
errorInfo |
Hanya output. Informasi error untuk hasil evaluasi. |
error |
Hanya output. Tidak digunakan lagi: Gunakan |
initiatedBy |
Hanya output. Pengguna yang memulai eksekusi evaluasi yang menghasilkan hasil ini. |
appVersion |
Hanya output. Versi aplikasi yang digunakan untuk membuat percakapan yang menghasilkan hasil ini. Format: |
appVersionDisplayName |
Hanya output. Nama tampilan |
changelog |
Hanya output. Log perubahan versi aplikasi yang dievaluasi. Ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf. |
changelogCreateTime |
Hanya output. Waktu pembuatan changelog versi aplikasi yang dievaluasi. Ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: |
executionState |
Hanya output. Status eksekusi hasil evaluasi. |
evaluationMetricsThresholds |
Hanya output. Nilai minimum evaluasi untuk hasil. |
config |
Hanya output. Konfigurasi yang digunakan dalam operasi evaluasi yang menghasilkan hasil ini. |
goldenRunMethod |
Hanya output. Metode yang digunakan untuk menjalankan evaluasi golden. |
rootSpan |
Hanya output. Span root eksekusi evaluasi, yang mencakup informasi tentang setiap langkah evaluasi. |
outcomeMetadata |
Hanya output. Metadata hasil evaluasi. Hanya diisi jika executionState adalah COMPLETE. |
| Hasil evaluasi. Hanya diisi jika execution_state adalah COMPLETED. Berikut adalah daftar kolom yang sama-sama bersifat eksklusif. Maksimal satu kolom akan ditetapkan dalam respons: | |
goldenResult |
Hanya output. Hasil evaluasi golden. |
scenarioResult |
Hanya output. Hasil evaluasi skenario. |
| Akhir kolom yang saling eksklusif. | |
EvaluationResult.GoldenResult
Hasil evaluasi golden.
| Representasi JSON |
|---|
{ "turnReplayResults": [ { object ( |
| Kolom | |
|---|---|
turnReplayResults[] |
Hanya output. Hasil dari menjalankan setiap giliran percakapan emas. |
evaluationExpectationResults[] |
Hanya output. Hasil ekspektasi evaluasi. |
EvaluationResult.GoldenResult.TurnReplayResult
Hasil dari menjalankan satu giliran percakapan emas.
| Representasi JSON |
|---|
{ "conversation": string, "expectationOutcome": [ { object ( |
| Kolom | |
|---|---|
conversation |
Hanya output. Percakapan yang dibuat untuk giliran ini. |
expectationOutcome[] |
Hanya output. Hasil dari setiap ekspektasi. |
hallucinationResult |
Hanya output. Hasil pemeriksaan halusinasi. |
toolInvocationScore |
Hanya output. Tidak digunakan lagi. Gunakan OverallToolInvocationResult. |
turnLatency |
Hanya output. Durasi belokan. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan ' |
toolCallLatencies[] |
Hanya output. Latensi setiap panggilan alat dalam giliran. |
semanticSimilarityResult |
Hanya output. Hasil pemeriksaan kemiripan semantik. |
overallToolInvocationResult |
Hanya output. Hasil pemeriksaan pemanggilan alat secara keseluruhan. |
errorInfo |
Hanya output. Informasi tentang error yang terjadi selama giliran ini. |
spanLatencies[] |
Hanya output. Latensi span dalam giliran. |
toolOrderedInvocationScore |
Hanya output. Skor pemanggilan alat yang diurutkan secara keseluruhan untuk giliran ini. Ini menunjukkan persentase keseluruhan alat dari giliran yang diharapkan yang benar-benar dipanggil dalam urutan yang diharapkan. |
EvaluationResult.GoldenExpectationOutcome
Menentukan ekspektasi dan hasil dari ekspektasi tersebut.
| Representasi JSON |
|---|
{ "expectation": { object ( |
| Kolom | |
|---|---|
expectation |
Hanya output. Ekspektasi yang dievaluasi. |
outcome |
Hanya output. Hasil dari ekspektasi. |
semanticSimilarityResult |
Hanya output. Hasil pemeriksaan kemiripan semantik. |
toolInvocationResult |
Hanya output. Hasil pemeriksaan pemanggilan alat. |
| Hasil ekspektasi. Berikut adalah daftar kolom yang sama-sama bersifat eksklusif. Maksimal satu kolom akan ditetapkan dalam respons: | |
observedToolCall |
Hanya output. Hasil ekspektasi panggilan alat. |
observedToolResponse |
Hanya output. Hasil ekspektasi respons alat. |
observedAgentResponse |
Hanya output. Hasil ekspektasi respons agen. |
observedAgentTransfer |
Hanya output. Hasil ekspektasi transfer agen. |
observedPayload |
Hanya output. Payload kustom yang diamati. Tidak ada ekspektasi untuk payload kustom. Data ini hanya digunakan untuk penghitungan metrik. Hasilnya selalu SKIPPED. |
| Akhir kolom yang saling eksklusif. | |
EvaluationResult.Outcome
Hasil evaluasi atau ekspektasi.
| Enum | |
|---|---|
OUTCOME_UNSPECIFIED |
Hasil evaluasi tidak ditentukan. |
PASS |
Evaluasi/Ekspektasi lulus. Dalam kasus evaluasi, ini berarti semua ekspektasi terpenuhi. |
FAIL |
Evaluasi/Ekspektasi gagal. Dalam kasus evaluasi, ini berarti setidaknya satu ekspektasi tidak terpenuhi. |
SKIPPED |
Evaluasi/Ekspektasi dilewati. |
EvaluationResult.SemanticSimilarityResult
Hasil pemeriksaan kemiripan semantik.
| Representasi JSON |
|---|
{
"label": string,
"explanation": string,
"outcome": enum ( |
| Kolom | |
|---|---|
label |
Hanya output. Label yang terkait dengan setiap skor. Skor 4: Sepenuhnya Konsisten Skor 3: Sebagian Besar Konsisten Skor 2: Sebagian Konsisten (Penghilangan Minor) Skor 1: Sebagian Besar Tidak Konsisten (Penghilangan Mayor) Skor 0: Sama Sekali Tidak Konsisten/Bertentangan |
explanation |
Hanya output. Penjelasan untuk skor kemiripan semantik. |
outcome |
Hanya output. Hasil pemeriksaan kesamaan semantik. Hal ini ditentukan dengan membandingkan skor dengan semanticSimilaritySuccessThreshold. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan menjadi GAGAL. |
score |
Hanya output. Skor kemiripan semantik. Dapat berupa 0, 1, 2, 3, atau 4. |
EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult
Hasil pemeriksaan pemanggilan alat.
| Representasi JSON |
|---|
{
"outcome": enum ( |
| Kolom | |
|---|---|
outcome |
Hanya output. Hasil pemeriksaan pemanggilan alat. Hal ini ditentukan dengan membandingkan parameterCorrectnessScore dengan nilai minimum. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan menjadi GAGAL. |
explanation |
Hanya output. Penjelasan teks bebas untuk hasil pemanggilan alat. |
parameterCorrectnessScore |
Hanya output. Skor ketepatan parameter pemanggilan alat. Metrik ini menunjukkan persentase parameter dari panggilan alat yang diharapkan yang juga ada dalam panggilan alat yang sebenarnya. |
EvaluationResult.HallucinationResult
Hasil pemeriksaan halusinasi untuk satu giliran.
| Representasi JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| Kolom | |
|---|---|
label |
Hanya output. Label yang terkait dengan setiap skor. Skor 1: Dibenarkan Skor 0: Tidak Dibenarkan Skor -1: Tidak Ada Klaim untuk Dinilai |
explanation |
Hanya output. Penjelasan untuk skor halusinasi. |
score |
Hanya output. Skor halusinasi. Dapat berupa -1, 0, 1. |
EvaluationResult.ToolCallLatency
Latensi eksekusi panggilan alat.
| Representasi JSON |
|---|
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string } |
| Kolom | |
|---|---|
tool |
Hanya output. Nama alat yang dieksekusi. Format: |
displayName |
Hanya output. Nama tampilan alat. |
startTime |
Hanya output. Waktu mulai eksekusi panggilan alat. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: |
endTime |
Hanya output. Waktu berakhir eksekusi panggilan alat. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: |
executionLatency |
Hanya output. Latensi eksekusi panggilan alat. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan ' |
EvaluationResult.OverallToolInvocationResult
Hasil pemeriksaan pemanggilan alat secara keseluruhan.
| Representasi JSON |
|---|
{
"outcome": enum ( |
| Kolom | |
|---|---|
outcome |
Hanya output. Hasil pemeriksaan pemanggilan alat. Hal ini ditentukan dengan membandingkan toolInvocationScore dengan overallToolInvocationCorrectnessThreshold. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan menjadi GAGAL. |
toolInvocationScore |
Skor pemanggilan alat secara keseluruhan untuk giliran ini. Ini menunjukkan persentase keseluruhan alat dari giliran yang diharapkan yang benar-benar dipanggil. |
EvaluationResult.SpanLatency
Latensi eksekusi span.
| Representasi JSON |
|---|
{ "type": enum ( |
| Kolom | |
|---|---|
type |
Hanya output. Jenis span. |
displayName |
Hanya output. Nama tampilan span. Berlaku untuk span alat dan guardrail. |
startTime |
Hanya output. Waktu mulai span. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: |
endTime |
Hanya output. Waktu berakhir span. Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: |
executionLatency |
Hanya output. Latensi span. Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan ' |
| ID item tertentu berdasarkan jenisnya. Berikut adalah daftar kolom yang sama-sama bersifat eksklusif. Maksimal satu kolom akan ditetapkan dalam respons: | |
resource |
Hanya output. Nama resource guardrail atau span alat. |
toolset |
Hanya output. ID alat toolset. |
model |
Hanya output. Nama span LLM. |
callback |
Hanya output. Nama span callback pengguna. |
| Akhir kolom yang saling eksklusif. | |
EvaluationResult.SpanLatency.Type
Jenis span. Nilai tambahan mungkin ditambahkan pada masa mendatang.
| Enum | |
|---|---|
TYPE_UNSPECIFIED |
Nilai default. Nilai ini tidak digunakan. |
TOOL |
Span panggilan alat. |
USER_CALLBACK |
Span callback pengguna. |
GUARDRAIL |
Rentang guardrail. |
LLM |
Span LLM. |
EvaluationResult.EvaluationExpectationResult
Hasil dari satu ekspektasi evaluasi.
| Representasi JSON |
|---|
{
"evaluationExpectation": string,
"prompt": string,
"outcome": enum ( |
| Kolom | |
|---|---|
evaluationExpectation |
Hanya output. Ekspektasi evaluasi. Format: |
prompt |
Hanya output. Perintah yang digunakan untuk evaluasi. |
outcome |
Hanya output. Hasil ekspektasi evaluasi. |
explanation |
Hanya output. Penjelasan untuk hasil. |
EvaluationResult.ScenarioResult
Hasil evaluasi skenario.
| Representasi JSON |
|---|
{ "conversation": string, "task": string, "userFacts": [ { object ( |
| Kolom | |
|---|---|
conversation |
Hanya output. Percakapan yang dibuat dalam skenario. |
task |
Hanya output. Tugas yang digunakan saat menjalankan skenario untuk hasil ini. |
userFacts[] |
Hanya output. Fakta pengguna yang digunakan oleh skenario untuk hasil ini. |
expectationOutcomes[] |
Hanya output. Hasil dari setiap ekspektasi. |
rubricOutcomes[] |
Hanya output. Hasil rubrik. |
hallucinationResult[] |
Hanya output. Hasil pemeriksaan halusinasi. Akan ada satu hasil halusinasi untuk setiap giliran dalam percakapan. |
taskCompletionResult |
Hanya output. Hasil pemeriksaan penyelesaian tugas. |
toolCallLatencies[] |
Hanya output. Latensi setiap eksekusi panggilan alat dalam percakapan. |
userGoalSatisfactionResult |
Hanya output. Hasil pemeriksaan kepuasan sasaran pengguna. |
spanLatencies[] |
Hanya output. Latensi span dalam percakapan. |
evaluationExpectationResults[] |
Hanya output. Hasil ekspektasi evaluasi. |
milestoneResults[] |
Hanya output. Hasil dari setiap pencapaian dalam skenario. |
allExpectationsSatisfied |
Hanya output. Apakah semua ekspektasi terpenuhi untuk giliran ini. |
taskCompleted |
Hanya output. Apakah tugas telah selesai untuk giliran ini. Ini adalah gabungan dari semua ekspektasi yang terpenuhi, tidak ada halusinasi, dan kepuasan sasaran pengguna. |
EvaluationResult.ScenarioExpectationOutcome
Hasil dari ekspektasi skenario.
| Representasi JSON |
|---|
{ "expectation": { object ( |
| Kolom | |
|---|---|
expectation |
Hanya output. Ekspektasi yang dievaluasi. |
outcome |
Hanya output. Hasil ScenarioExpectation. |
| Hasil ekspektasi. Berikut adalah daftar kolom yang sama-sama bersifat eksklusif. Maksimal satu kolom akan ditetapkan dalam respons: | |
observedToolCall |
Hanya output. Panggilan alat yang diamati. |
observedAgentResponse |
Hanya output. Respons agen yang diamati. |
| Akhir kolom yang saling eksklusif. | |
EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall
Panggilan alat dan respons yang diamati.
| Representasi JSON |
|---|
{ "toolCall": { object ( |
| Kolom | |
|---|---|
toolCall |
Hanya output. Panggilan alat yang diamati. |
toolResponse |
Hanya output. Respons alat yang diamati. |
EvaluationResult.ScenarioRubricOutcome
Hasil evaluasi berdasarkan rubrik.
| Representasi JSON |
|---|
{ "rubric": string, "scoreExplanation": string, "score": number } |
| Kolom | |
|---|---|
rubric |
Hanya output. Rubrik yang digunakan untuk mengevaluasi percakapan. |
scoreExplanation |
Hanya output. Respons penilai terhadap rubrik. |
score |
Hanya output. Skor percakapan berdasarkan rubrik. |
EvaluationResult.TaskCompletionResult
Hasil pemeriksaan penyelesaian tugas untuk percakapan.
| Representasi JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| Kolom | |
|---|---|
label |
Hanya output. Label yang terkait dengan setiap skor. Skor 1: Tugas Selesai Skor 0: Tugas Tidak Selesai Skor -1: Sasaran Pengguna Tidak Ditentukan |
explanation |
Hanya output. Penjelasan untuk skor penyelesaian tugas. |
score |
Hanya output. Skor penyelesaian tugas. Dapat berupa -1, 0, 1 |
EvaluationResult.UserGoalSatisfactionResult
Hasil pemeriksaan kepuasan sasaran pengguna untuk percakapan.
| Representasi JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| Kolom | |
|---|---|
label |
Hanya output. Label yang terkait dengan setiap skor. Skor 2: Pengalihan yang Lancar Skor 1: Tugas Pengguna Terpenuhi Skor 0: Tugas Pengguna Tidak Terpenuhi Skor -1: Tugas Pengguna Tidak Ditentukan |
explanation |
Hanya output. Penjelasan untuk skor kepuasan tugas pengguna. |
score |
Hanya output. Skor kepuasan tugas pengguna. Dapat berupa -1, 0, 1, 2. |
EvaluationResult.ScenarioResult.MilestoneResult
Menampilkan hasil eksekusi pencapaian.
| Representasi JSON |
|---|
{ "milestone": { object ( |
| Kolom | |
|---|---|
milestone |
Hanya output. Pencapaian yang dilacak. |
status |
Hanya output. Status pencapaian saat ini. |
justification |
Hanya output. Justifikasi untuk status saat ini. |
EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus
Status pencapaian.
| Enum | |
|---|---|
MILESTONE_STATUS_UNSPECIFIED |
Status tidak ditentukan. |
NOT_STARTED |
Pencapaian belum dimulai. |
IN_PROGRESS |
Pencapaian saat ini sedang berlangsung. |
COMPLETED |
Tonggak pencapaian telah berhasil diselesaikan. |
EvaluationResult.ExecutionState
Status eksekusi hasil evaluasi.
| Enum | |
|---|---|
EXECUTION_STATE_UNSPECIFIED |
Status eksekusi hasil evaluasi tidak ditentukan. |
QUEUED |
Eksekusi hasil evaluasi dimasukkan ke dalam antrean. |
RUNNING |
Eksekusi hasil evaluasi sedang berjalan. |
COMPLETED |
Eksekusi hasil evaluasi telah selesai. |
ERROR |
Eksekusi hasil evaluasi gagal karena error internal. |
CANCELLED |
Eksekusi hasil evaluasi dibatalkan. |
EvaluationResult.OutcomeMetadata
Metadata tentang hasil evaluasi.
| Enum | |
|---|---|
OUTCOME_METADATA_UNSPECIFIED |
Metadata hasil yang tidak ditentukan. |
GRACEFUL_HANDOFF |
Evaluasi menghasilkan pengalihan yang lancar ke perwakilan manusia. |
Metode |
|
|---|---|
|
Menghapus hasil evaluasi. |
|
Mengekspor hasil evaluasi. |
|
Mendapatkan detail hasil evaluasi yang ditentukan. |
|
Mencantumkan semua hasil evaluasi untuk evaluasi tertentu. |
|
Menjalankan metrik pada hasil evaluasi yang ada. |