REST Resource: projects.locations.apps.evaluations.results

Resource: EvaluationResult

Hasil evaluasi mewakili output dari menjalankan Evaluasi.

Representasi JSON
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (EvaluationResult.Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (EvaluationResult.ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (EvaluationResult.OutcomeMetadata),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "goldenResult": {
    object (EvaluationResult.GoldenResult)
  },
  "scenarioResult": {
    object (EvaluationResult.ScenarioResult)
  }
  // End of mutually exclusive fields.
}
Kolom
name

string

ID. ID unik hasil evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}

displayName

string

Wajib. Nama tampilan Hasil Evaluasi. Unik dalam Evaluasi. Secara default, formatnya adalah: " result - ".

createTime

string (Timestamp format)

Hanya output. Stempel waktu saat hasil evaluasi dibuat.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".

evaluationStatus

enum (EvaluationResult.Outcome)

Hanya output. Hasil evaluasi. Hanya diisi jika executionState adalah COMPLETE.

evaluationRun

string

Hanya output. Proses evaluasi yang menghasilkan hasil ini. Format: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}

persona

object (EvaluationPersona)

Hanya output. Persona yang digunakan untuk membuat percakapan untuk hasil evaluasi.

errorInfo

object (EvaluationErrorInfo)

Hanya output. Informasi error untuk hasil evaluasi.

error
(deprecated)

object (Status)

Hanya output. Tidak digunakan lagi: Gunakan errorInfo sebagai gantinya. Terjadi error selama eksekusi.

initiatedBy

string

Hanya output. Pengguna yang memulai eksekusi evaluasi yang menghasilkan hasil ini.

appVersion

string

Hanya output. Versi aplikasi yang digunakan untuk membuat percakapan yang menghasilkan hasil ini. Format: projects/{project}/locations/{location}/apps/{app}/versions/{version}

appVersionDisplayName

string

Hanya output. Nama tampilan appVersion yang menjadi target evaluasi.

changelog

string

Hanya output. Log perubahan versi aplikasi yang dievaluasi. Ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf.

changelogCreateTime

string (Timestamp format)

Hanya output. Waktu pembuatan changelog versi aplikasi yang dievaluasi. Ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".

executionState

enum (EvaluationResult.ExecutionState)

Hanya output. Status eksekusi hasil evaluasi.

evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Hanya output. Nilai minimum evaluasi untuk hasil.

config

object (EvaluationConfig)

Hanya output. Konfigurasi yang digunakan dalam operasi evaluasi yang menghasilkan hasil ini.

goldenRunMethod

enum (GoldenRunMethod)

Hanya output. Metode yang digunakan untuk menjalankan evaluasi golden.

rootSpan

object (Span)

Hanya output. Span root eksekusi evaluasi, yang mencakup informasi tentang setiap langkah evaluasi.

outcomeMetadata

enum (EvaluationResult.OutcomeMetadata)

Hanya output. Metadata hasil evaluasi. Hanya diisi jika executionState adalah COMPLETE.

Hasil evaluasi. Hanya diisi jika execution_state adalah COMPLETED. Berikut adalah daftar kolom yang sama-sama bersifat eksklusif. Maksimal satu kolom akan ditetapkan dalam respons:
goldenResult

object (EvaluationResult.GoldenResult)

Hanya output. Hasil evaluasi golden.

scenarioResult

object (EvaluationResult.ScenarioResult)

Hanya output. Hasil evaluasi skenario.

Akhir kolom yang saling eksklusif.

EvaluationResult.GoldenResult

Hasil evaluasi golden.

Representasi JSON
{
  "turnReplayResults": [
    {
      object (EvaluationResult.GoldenResult.TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationResult.EvaluationExpectationResult)
    }
  ]
}
Kolom
turnReplayResults[]

object (EvaluationResult.GoldenResult.TurnReplayResult)

Hanya output. Hasil dari menjalankan setiap giliran percakapan emas.

evaluationExpectationResults[]

object (EvaluationResult.EvaluationExpectationResult)

Hanya output. Hasil ekspektasi evaluasi.

EvaluationResult.GoldenResult.TurnReplayResult

Hasil dari menjalankan satu giliran percakapan emas.

Representasi JSON
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (EvaluationResult.GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (EvaluationResult.HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (EvaluationResult.ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (EvaluationResult.SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (EvaluationResult.OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (EvaluationResult.SpanLatency)
    }
  ],
  "toolOrderedInvocationScore": number
}
Kolom
conversation

string

Hanya output. Percakapan yang dibuat untuk giliran ini.

expectationOutcome[]

object (EvaluationResult.GoldenExpectationOutcome)

Hanya output. Hasil dari setiap ekspektasi.

hallucinationResult

object (EvaluationResult.HallucinationResult)

Hanya output. Hasil pemeriksaan halusinasi.

toolInvocationScore
(deprecated)

number

Hanya output. Tidak digunakan lagi. Gunakan OverallToolInvocationResult.

turnLatency

string (Duration format)

Hanya output. Durasi belokan.

Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".

toolCallLatencies[]

object (EvaluationResult.ToolCallLatency)

Hanya output. Latensi setiap panggilan alat dalam giliran.

semanticSimilarityResult

object (EvaluationResult.SemanticSimilarityResult)

Hanya output. Hasil pemeriksaan kemiripan semantik.

overallToolInvocationResult

object (EvaluationResult.OverallToolInvocationResult)

Hanya output. Hasil pemeriksaan pemanggilan alat secara keseluruhan.

errorInfo

object (EvaluationErrorInfo)

Hanya output. Informasi tentang error yang terjadi selama giliran ini.

spanLatencies[]

object (EvaluationResult.SpanLatency)

Hanya output. Latensi span dalam giliran.

toolOrderedInvocationScore

number

Hanya output. Skor pemanggilan alat yang diurutkan secara keseluruhan untuk giliran ini. Ini menunjukkan persentase keseluruhan alat dari giliran yang diharapkan yang benar-benar dipanggil dalam urutan yang diharapkan.

EvaluationResult.GoldenExpectationOutcome

Menentukan ekspektasi dan hasil dari ekspektasi tersebut.

Representasi JSON
{
  "expectation": {
    object (Evaluation.GoldenExpectation)
  },
  "outcome": enum (EvaluationResult.Outcome),
  "semanticSimilarityResult": {
    object (EvaluationResult.SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of mutually exclusive fields.
}
Kolom
expectation

object (Evaluation.GoldenExpectation)

Hanya output. Ekspektasi yang dievaluasi.

outcome

enum (EvaluationResult.Outcome)

Hanya output. Hasil dari ekspektasi.

semanticSimilarityResult
(deprecated)

object (EvaluationResult.SemanticSimilarityResult)

Hanya output. Hasil pemeriksaan kemiripan semantik.

toolInvocationResult

object (EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult)

Hanya output. Hasil pemeriksaan pemanggilan alat.

Hasil ekspektasi. Berikut adalah daftar kolom yang sama-sama bersifat eksklusif. Maksimal satu kolom akan ditetapkan dalam respons:
observedToolCall

object (ToolCall)

Hanya output. Hasil ekspektasi panggilan alat.

observedToolResponse

object (ToolResponse)

Hanya output. Hasil ekspektasi respons alat.

observedAgentResponse

object (Message)

Hanya output. Hasil ekspektasi respons agen.

observedAgentTransfer

object (AgentTransfer)

Hanya output. Hasil ekspektasi transfer agen.

observedPayload

object (Struct format)

Hanya output. Payload kustom yang diamati. Tidak ada ekspektasi untuk payload kustom. Data ini hanya digunakan untuk penghitungan metrik. Hasilnya selalu SKIPPED.

Akhir kolom yang saling eksklusif.

EvaluationResult.Outcome

Hasil evaluasi atau ekspektasi.

Enum
OUTCOME_UNSPECIFIED Hasil evaluasi tidak ditentukan.
PASS Evaluasi/Ekspektasi lulus. Dalam kasus evaluasi, ini berarti semua ekspektasi terpenuhi.
FAIL Evaluasi/Ekspektasi gagal. Dalam kasus evaluasi, ini berarti setidaknya satu ekspektasi tidak terpenuhi.
SKIPPED Evaluasi/Ekspektasi dilewati.

EvaluationResult.SemanticSimilarityResult

Hasil pemeriksaan kemiripan semantik.

Representasi JSON
{
  "label": string,
  "explanation": string,
  "outcome": enum (EvaluationResult.Outcome),
  "score": integer
}
Kolom
label

string

Hanya output. Label yang terkait dengan setiap skor. Skor 4: Sepenuhnya Konsisten Skor 3: Sebagian Besar Konsisten Skor 2: Sebagian Konsisten (Penghilangan Minor) Skor 1: Sebagian Besar Tidak Konsisten (Penghilangan Mayor) Skor 0: Sama Sekali Tidak Konsisten/Bertentangan

explanation

string

Hanya output. Penjelasan untuk skor kemiripan semantik.

outcome

enum (EvaluationResult.Outcome)

Hanya output. Hasil pemeriksaan kesamaan semantik. Hal ini ditentukan dengan membandingkan skor dengan semanticSimilaritySuccessThreshold. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan menjadi GAGAL.

score

integer

Hanya output. Skor kemiripan semantik. Dapat berupa 0, 1, 2, 3, atau 4.

EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult

Hasil pemeriksaan pemanggilan alat.

Representasi JSON
{
  "outcome": enum (EvaluationResult.Outcome),
  "explanation": string,
  "parameterCorrectnessScore": number
}
Kolom
outcome

enum (EvaluationResult.Outcome)

Hanya output. Hasil pemeriksaan pemanggilan alat. Hal ini ditentukan dengan membandingkan parameterCorrectnessScore dengan nilai minimum. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan menjadi GAGAL.

explanation

string

Hanya output. Penjelasan teks bebas untuk hasil pemanggilan alat.

parameterCorrectnessScore

number

Hanya output. Skor ketepatan parameter pemanggilan alat. Metrik ini menunjukkan persentase parameter dari panggilan alat yang diharapkan yang juga ada dalam panggilan alat yang sebenarnya.

EvaluationResult.HallucinationResult

Hasil pemeriksaan halusinasi untuk satu giliran.

Representasi JSON
{
  "label": string,
  "explanation": string,
  "score": integer
}
Kolom
label

string

Hanya output. Label yang terkait dengan setiap skor. Skor 1: Dibenarkan Skor 0: Tidak Dibenarkan Skor -1: Tidak Ada Klaim untuk Dinilai

explanation

string

Hanya output. Penjelasan untuk skor halusinasi.

score

integer

Hanya output. Skor halusinasi. Dapat berupa -1, 0, 1.

EvaluationResult.ToolCallLatency

Latensi eksekusi panggilan alat.

Representasi JSON
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Kolom
tool

string

Hanya output. Nama alat yang dieksekusi. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.

displayName

string

Hanya output. Nama tampilan alat.

startTime

string (Timestamp format)

Hanya output. Waktu mulai eksekusi panggilan alat.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".

endTime

string (Timestamp format)

Hanya output. Waktu berakhir eksekusi panggilan alat.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".

executionLatency

string (Duration format)

Hanya output. Latensi eksekusi panggilan alat.

Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".

EvaluationResult.OverallToolInvocationResult

Hasil pemeriksaan pemanggilan alat secara keseluruhan.

Representasi JSON
{
  "outcome": enum (EvaluationResult.Outcome),
  "toolInvocationScore": number
}
Kolom
outcome

enum (EvaluationResult.Outcome)

Hanya output. Hasil pemeriksaan pemanggilan alat. Hal ini ditentukan dengan membandingkan toolInvocationScore dengan overallToolInvocationCorrectnessThreshold. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan menjadi GAGAL.

toolInvocationScore

number

Skor pemanggilan alat secara keseluruhan untuk giliran ini. Ini menunjukkan persentase keseluruhan alat dari giliran yang diharapkan yang benar-benar dipanggil.

EvaluationResult.SpanLatency

Latensi eksekusi span.

Representasi JSON
{
  "type": enum (EvaluationResult.SpanLatency.Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of mutually exclusive fields.
}
Kolom
type

enum (EvaluationResult.SpanLatency.Type)

Hanya output. Jenis span.

displayName

string

Hanya output. Nama tampilan span. Berlaku untuk span alat dan guardrail.

startTime

string (Timestamp format)

Hanya output. Waktu mulai span.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".

endTime

string (Timestamp format)

Hanya output. Waktu berakhir span.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".

executionLatency

string (Duration format)

Hanya output. Latensi span.

Durasi dalam detik dengan maksimal sembilan digit pecahan, diakhiri dengan 's'. Contoh: "3.5s".

ID item tertentu berdasarkan jenisnya. Berikut adalah daftar kolom yang sama-sama bersifat eksklusif. Maksimal satu kolom akan ditetapkan dalam respons:
resource

string

Hanya output. Nama resource guardrail atau span alat.

toolset

object (ToolsetTool)

Hanya output. ID alat toolset.

model

string

Hanya output. Nama span LLM.

callback

string

Hanya output. Nama span callback pengguna.

Akhir kolom yang saling eksklusif.

EvaluationResult.SpanLatency.Type

Jenis span. Nilai tambahan mungkin ditambahkan pada masa mendatang.

Enum
TYPE_UNSPECIFIED Nilai default. Nilai ini tidak digunakan.
TOOL Span panggilan alat.
USER_CALLBACK Span callback pengguna.
GUARDRAIL Rentang guardrail.
LLM Span LLM.

EvaluationResult.EvaluationExpectationResult

Hasil dari satu ekspektasi evaluasi.

Representasi JSON
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (EvaluationResult.Outcome),
  "explanation": string
}
Kolom
evaluationExpectation

string

Hanya output. Ekspektasi evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

prompt

string

Hanya output. Perintah yang digunakan untuk evaluasi.

outcome

enum (EvaluationResult.Outcome)

Hanya output. Hasil ekspektasi evaluasi.

explanation

string

Hanya output. Penjelasan untuk hasil.

EvaluationResult.ScenarioResult

Hasil evaluasi skenario.

Representasi JSON
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (Evaluation.Scenario.UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (EvaluationResult.ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (EvaluationResult.ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (EvaluationResult.HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (EvaluationResult.TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (EvaluationResult.ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (EvaluationResult.UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (EvaluationResult.SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationResult.EvaluationExpectationResult)
    }
  ],
  "milestoneResults": [
    {
      object (EvaluationResult.ScenarioResult.MilestoneResult)
    }
  ],
  "allExpectationsSatisfied": boolean,
  "taskCompleted": boolean
}
Kolom
conversation

string

Hanya output. Percakapan yang dibuat dalam skenario.

task

string

Hanya output. Tugas yang digunakan saat menjalankan skenario untuk hasil ini.

userFacts[]

object (Evaluation.Scenario.UserFact)

Hanya output. Fakta pengguna yang digunakan oleh skenario untuk hasil ini.

expectationOutcomes[]

object (EvaluationResult.ScenarioExpectationOutcome)

Hanya output. Hasil dari setiap ekspektasi.

rubricOutcomes[]

object (EvaluationResult.ScenarioRubricOutcome)

Hanya output. Hasil rubrik.

hallucinationResult[]

object (EvaluationResult.HallucinationResult)

Hanya output. Hasil pemeriksaan halusinasi. Akan ada satu hasil halusinasi untuk setiap giliran dalam percakapan.

taskCompletionResult
(deprecated)

object (EvaluationResult.TaskCompletionResult)

Hanya output. Hasil pemeriksaan penyelesaian tugas.

toolCallLatencies[]

object (EvaluationResult.ToolCallLatency)

Hanya output. Latensi setiap eksekusi panggilan alat dalam percakapan.

userGoalSatisfactionResult

object (EvaluationResult.UserGoalSatisfactionResult)

Hanya output. Hasil pemeriksaan kepuasan sasaran pengguna.

spanLatencies[]

object (EvaluationResult.SpanLatency)

Hanya output. Latensi span dalam percakapan.

evaluationExpectationResults[]

object (EvaluationResult.EvaluationExpectationResult)

Hanya output. Hasil ekspektasi evaluasi.

milestoneResults[]

object (EvaluationResult.ScenarioResult.MilestoneResult)

Hanya output. Hasil dari setiap pencapaian dalam skenario.

allExpectationsSatisfied

boolean

Hanya output. Apakah semua ekspektasi terpenuhi untuk giliran ini.

taskCompleted

boolean

Hanya output. Apakah tugas telah selesai untuk giliran ini. Ini adalah gabungan dari semua ekspektasi yang terpenuhi, tidak ada halusinasi, dan kepuasan sasaran pengguna.

EvaluationResult.ScenarioExpectationOutcome

Hasil dari ekspektasi skenario.

Representasi JSON
{
  "expectation": {
    object (Evaluation.ScenarioExpectation)
  },
  "outcome": enum (EvaluationResult.Outcome),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "observedToolCall": {
    object (EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of mutually exclusive fields.
}
Kolom
expectation

object (Evaluation.ScenarioExpectation)

Hanya output. Ekspektasi yang dievaluasi.

outcome

enum (EvaluationResult.Outcome)

Hanya output. Hasil ScenarioExpectation.

Hasil ekspektasi. Berikut adalah daftar kolom yang sama-sama bersifat eksklusif. Maksimal satu kolom akan ditetapkan dalam respons:
observedToolCall

object (EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall)

Hanya output. Panggilan alat yang diamati.

observedAgentResponse

object (Message)

Hanya output. Respons agen yang diamati.

Akhir kolom yang saling eksklusif.

EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall

Panggilan alat dan respons yang diamati.

Representasi JSON
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Kolom
toolCall

object (ToolCall)

Hanya output. Panggilan alat yang diamati.

toolResponse

object (ToolResponse)

Hanya output. Respons alat yang diamati.

EvaluationResult.ScenarioRubricOutcome

Hasil evaluasi berdasarkan rubrik.

Representasi JSON
{
  "rubric": string,
  "scoreExplanation": string,
  "score": number
}
Kolom
rubric

string

Hanya output. Rubrik yang digunakan untuk mengevaluasi percakapan.

scoreExplanation

string

Hanya output. Respons penilai terhadap rubrik.

score

number

Hanya output. Skor percakapan berdasarkan rubrik.

EvaluationResult.TaskCompletionResult

Hasil pemeriksaan penyelesaian tugas untuk percakapan.

Representasi JSON
{
  "label": string,
  "explanation": string,
  "score": integer
}
Kolom
label

string

Hanya output. Label yang terkait dengan setiap skor. Skor 1: Tugas Selesai Skor 0: Tugas Tidak Selesai Skor -1: Sasaran Pengguna Tidak Ditentukan

explanation

string

Hanya output. Penjelasan untuk skor penyelesaian tugas.

score

integer

Hanya output. Skor penyelesaian tugas. Dapat berupa -1, 0, 1

EvaluationResult.UserGoalSatisfactionResult

Hasil pemeriksaan kepuasan sasaran pengguna untuk percakapan.

Representasi JSON
{
  "label": string,
  "explanation": string,
  "score": integer
}
Kolom
label

string

Hanya output. Label yang terkait dengan setiap skor. Skor 2: Pengalihan yang Lancar Skor 1: Tugas Pengguna Terpenuhi Skor 0: Tugas Pengguna Tidak Terpenuhi Skor -1: Tugas Pengguna Tidak Ditentukan

explanation

string

Hanya output. Penjelasan untuk skor kepuasan tugas pengguna.

score

integer

Hanya output. Skor kepuasan tugas pengguna. Dapat berupa -1, 0, 1, 2.

EvaluationResult.ScenarioResult.MilestoneResult

Menampilkan hasil eksekusi pencapaian.

Representasi JSON
{
  "milestone": {
    object (Evaluation.Scenario.Milestone)
  },
  "status": enum (EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus),
  "justification": string
}
Kolom
milestone

object (Evaluation.Scenario.Milestone)

Hanya output. Pencapaian yang dilacak.

status

enum (EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus)

Hanya output. Status pencapaian saat ini.

justification

string

Hanya output. Justifikasi untuk status saat ini.

EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus

Status pencapaian.

Enum
MILESTONE_STATUS_UNSPECIFIED Status tidak ditentukan.
NOT_STARTED Pencapaian belum dimulai.
IN_PROGRESS Pencapaian saat ini sedang berlangsung.
COMPLETED Tonggak pencapaian telah berhasil diselesaikan.

EvaluationResult.ExecutionState

Status eksekusi hasil evaluasi.

Enum
EXECUTION_STATE_UNSPECIFIED Status eksekusi hasil evaluasi tidak ditentukan.
QUEUED Eksekusi hasil evaluasi dimasukkan ke dalam antrean.
RUNNING Eksekusi hasil evaluasi sedang berjalan.
COMPLETED Eksekusi hasil evaluasi telah selesai.
ERROR Eksekusi hasil evaluasi gagal karena error internal.
CANCELLED Eksekusi hasil evaluasi dibatalkan.

EvaluationResult.OutcomeMetadata

Metadata tentang hasil evaluasi.

Enum
OUTCOME_METADATA_UNSPECIFIED Metadata hasil yang tidak ditentukan.
GRACEFUL_HANDOFF Evaluasi menghasilkan pengalihan yang lancar ke perwakilan manusia.

Metode

delete

Menghapus hasil evaluasi.

export

Mengekspor hasil evaluasi.

get

Mendapatkan detail hasil evaluasi yang ditentukan.

list

Mencantumkan semua hasil evaluasi untuk evaluasi tertentu.

runEvaluationResultMetrics

Menjalankan metrik pada hasil evaluasi yang ada.