REST Resource: projects.locations.apps.evaluations

Resource: Evaluation

Evaluasi merepresentasikan semua informasi yang diperlukan untuk menyimulasikan dan mengevaluasi agen.

Representasi JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "golden": {
    object (Evaluation.Golden)
  },
  "scenario": {
    object (Evaluation.Scenario)
  }
  // End of mutually exclusive fields.
}
Kolom
name

string

ID. ID unik evaluasi ini. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

Wajib. Nama tampilan evaluasi yang ditentukan pengguna. Unik dalam Aplikasi.
description

string

Opsional. Deskripsi evaluasi yang ditentukan pengguna.
tags[]

string

Opsional. Tag yang ditentukan pengguna untuk mengategorikan evaluasi.
evaluationDatasets[]

string

Hanya output. Daftar set data evaluasi yang termasuk dalam evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

Hanya output. Stempel waktu saat evaluasi dibuat.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
createdBy

string

Hanya output. Pengguna yang membuat evaluasi.
updateTime

string (Timestamp format)

Hanya output. Stempel waktu saat evaluasi terakhir diperbarui.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
lastUpdatedBy

string

Hanya output. Pengguna yang terakhir memperbarui evaluasi.
evaluationRuns[]

string

Hanya output. EvaluationRuns yang terkait dengan Evaluasi ini.
etag

string

Hanya output. ETag yang digunakan untuk memastikan objek tidak berubah selama operasi baca-ubah-tulis. Jika etag kosong, pembaruan akan menimpa perubahan serentak.
aggregatedMetrics

object (AggregatedMetrics)

Hanya output. Metrik gabungan untuk evaluasi ini di semua proses.
lastCompletedResult

object (EvaluationResult)

Hanya output. Hasil evaluasi terbaru untuk evaluasi ini.
invalid

boolean

Hanya output. Apakah evaluasi tidak valid. Hal ini dapat terjadi jika evaluasi mereferensikan alat, toolset, atau agen yang telah dihapus.
lastTenResults[]

object (EvaluationResult)

Hanya output. 10 hasil evaluasi terakhir untuk evaluasi ini. Ini hanya diisi jika include_last_ten_results disetel ke benar (true) di ListEvaluationsRequest atau GetEvaluationRequest.
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

Opsional. Mengganti nilai minimum metrik untuk evaluasi spesifik ini.
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

Opsional. Mengganti konfigurasi metrik untuk evaluasi spesifik ini.
Input untuk evaluasi Berikut adalah daftar kolom yang saling eksklusif. Maksimal satu kolom akan ditetapkan dalam respons:
golden

object (Evaluation.Golden)

Opsional. Langkah-langkah ideal yang akan dievaluasi.
scenario

object (Evaluation.Scenario)

Opsional. Konfigurasi untuk skenario.
Akhir kolom yang saling eksklusif.

Evaluation.Golden

Langkah-langkah yang diperlukan untuk memutar ulang percakapan emas.

Representasi JSON 
{
  "turns": [
    {
      object (Evaluation.GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
Kolom
turns[]

object (Evaluation.GoldenTurn)

Wajib. Jumlah putaran emas yang diperlukan untuk memutar ulang percakapan emas. Jumlah belokan maksimum yang diizinkan adalah 100.
evaluationExpectations[]

string

Opsional. Ekspektasi evaluasi untuk mengevaluasi percakapan yang diputar ulang. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

Evaluation.GoldenTurn

Giliran emas menentukan satu giliran dalam percakapan emas.

Representasi JSON 
{
  "steps": [
    {
      object (Evaluation.Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (EvaluationMetricsThresholds.HallucinationMetricBehavior)
}
Kolom
steps[]

object (Evaluation.Step)

Wajib. Langkah-langkah yang diperlukan untuk memutar ulang percakapan emas.
rootSpan

object (Span)

Opsional. Rentang root dari belokan emas untuk memproses dan mempertahankan informasi audio. URI untuk audio harus berisi audio yang disimpan dalam frekuensi sampel 16 Khz.
turnLevelMetricsThresholdsOverride

object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.TurnLevelMetricsThresholds)

Opsional. Penggantian untuk nilai minimum metrik tingkat giliran.
hallucinationMetricBehaviorOverride

enum (EvaluationMetricsThresholds.HallucinationMetricBehavior)

Opsional. Penggantian untuk perilaku metrik halusinasi tingkat belokan.

Evaluation.Step

Langkah menentukan satu tindakan yang akan terjadi selama evaluasi.

Representasi JSON 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (Evaluation.GoldenExpectation)
  }
  // End of mutually exclusive fields.
}
Kolom
Langkah yang akan dilakukan. Berikut adalah daftar kolom yang bersifat eksklusif satu sama lain. Maksimal satu kolom akan ditetapkan dalam respons:
userInput

object (SessionInput)

Opsional. Input pengguna untuk percakapan.
agentTransfer

object (AgentTransfer)

Opsional. Mentransfer percakapan ke agen lain.
expectation

object (Evaluation.GoldenExpectation)

Opsional. Mengeksekusi ekspektasi pada giliran saat ini.
Akhir kolom yang saling eksklusif.

SessionInput

Input untuk sesi.

Representasi JSON 
{
  "willContinue": boolean,

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of mutually exclusive fields.
}
Kolom
willContinue

boolean

Opsional. Flag untuk menunjukkan apakah pesan saat ini adalah fragmen input yang lebih besar dalam sesi streaming bidi.

Jika disetel ke true, agen akan menunda pemrosesan hingga menerima pesan berikutnya dengan willContinue adalah false, atau hingga sistem mendeteksi titik akhir dalam input audio.

CATATAN: Kolom ini tidak berlaku untuk input audio dan DTMF, karena input tersebut selalu diproses secara otomatis berdasarkan sinyal pengakhiran.
Jenis input. Berikut adalah daftar kolom yang bersifat eksklusif satu sama lain. Maksimal satu kolom akan ditetapkan dalam respons:
text

string

Opsional. Data teks dari pengguna akhir.
dtmf

string

Opsional. Digit DTMF dari pengguna akhir.
audio

string (bytes format)

Opsional. Data audio dari pengguna akhir.

String berenkode base64.
toolResponses

object (ToolResponses)

Opsional. Hasil eksekusi untuk panggilan alat dari klien.
image

object (Image)

Opsional. Data gambar dari pengguna akhir.
blob

object (Blob)

Opsional. Data blob dari pengguna akhir.
variables

object (Struct format)

Opsional. Variabel kontekstual untuk sesi, yang dikelompokkan berdasarkan nama. Hanya variabel yang dideklarasikan di aplikasi yang akan digunakan oleh agen CES.

Variabel yang tidak dikenali akan tetap dikirim ke [agen Dialogflow][Agent.RemoteDialogflowAgent] sebagai parameter sesi tambahan.
event

object (Event)

Opsional. Input acara.
Akhir kolom yang saling eksklusif.

ToolResponses

Hasil eksekusi untuk panggilan alat yang diminta dari klien.

Representasi JSON 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
Kolom
toolResponses[]

object (ToolResponse)

Opsional. Daftar hasil eksekusi alat.

Acara

Input acara.

Representasi JSON 
{
  "event": string,
  "variables": {
    object
  }
}
Kolom
event

string

Wajib. Nama acara.
variables

object (Struct format)

Opsional. Variabel tambahan yang terkait dengan peristiwa.

Evaluation.Scenario

Konfigurasi untuk skenario

Representasi JSON 
{
  "task": string,
  "userFacts": [
    {
      object (Evaluation.Scenario.UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (Evaluation.ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (Evaluation.Scenario.TaskCompletionBehavior),
  "userGoalBehavior": enum (Evaluation.Scenario.UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (EvaluationSettings.ScenarioExecutionMode)
}
Kolom
task

string

Wajib. Tugas yang akan ditargetkan oleh skenario.
userFacts[]

object (Evaluation.Scenario.UserFact)

Opsional. Fakta pengguna yang akan digunakan oleh skenario.
maxTurns

integer

Opsional. Jumlah belokan maksimum yang akan disimulasikan. Nilai maksimum yang diizinkan adalah 100. Nilai defaultnya adalah 100.
rubrics[]

string

Wajib. Rubrik untuk memberi skor pada skenario.
scenarioExpectations[]

object (Evaluation.ScenarioExpectation)

Wajib. ScenarioExpectations untuk mengevaluasi percakapan yang dihasilkan oleh simulasi pengguna.
variableOverrides

object (Struct format)

Opsional. Variabel / Parameter Sesi sebagai konteks untuk sesi, yang dikelompokkan menurut nama variabel. Anggota struct ini akan menggantikan nilai default yang ditetapkan oleh sistem.

Perhatikan bahwa fakta ini berbeda dengan fakta pengguna, yang merupakan fakta yang diketahui pengguna. Variabel adalah parameter yang diketahui oleh agen: yaitu MDN (nomor telepon) yang diteruskan oleh sistem telepon.
taskCompletionBehavior
(deprecated)

enum (Evaluation.Scenario.TaskCompletionBehavior)

Opsional. Tidak digunakan lagi. Sebagai gantinya, gunakan userGoalBehavior.
userGoalBehavior

enum (Evaluation.Scenario.UserGoalBehavior)

Opsional. Perilaku yang diharapkan dari tujuan pengguna.
evaluationExpectations[]

string

Opsional. Ekspektasi evaluasi untuk mengevaluasi percakapan yang dihasilkan oleh simulasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode

enum (EvaluationSettings.ScenarioExecutionMode)

Opsional. Mode eksekusi untuk evaluasi skenario.

Evaluation.Scenario.TaskCompletionBehavior

Perilaku yang diharapkan dari tugas pengguna. Hal ini digunakan untuk menentukan apakah skenario berhasil.

Enum
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED Perilaku tidak ditentukan. Defaultnya adalah TASK_SATISFIED.
TASK_SATISFIED Tugas pengguna harus berhasil diselesaikan.
TASK_REJECTED Tugas pengguna harus ditolak.

Evaluation.Scenario.UserGoalBehavior

Perilaku yang diharapkan dari tujuan pengguna. Hal ini digunakan untuk menentukan apakah skenario berhasil.

Enum
USER_GOAL_BEHAVIOR_UNSPECIFIED Perilaku tidak ditentukan. Defaultnya adalah USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED Tujuan pengguna harus berhasil diselesaikan.
USER_GOAL_REJECTED Tujuan pengguna harus ditolak.
USER_GOAL_IGNORED Mengabaikan status sasaran pengguna.

Metode

create

 Membuat evaluasi.

delete

 Menghapus evaluasi.

export

 Mengekspor evaluasi.

get

 Mendapatkan detail evaluasi yang ditentukan.

list

 Mencantumkan semua evaluasi di aplikasi tertentu.

patch

 Memperbarui evaluasi.

uploadEvaluationAudio

 Mengupload audio untuk digunakan dalam Evaluasi Golden.