REST Resource: projects.locations.brands.evaluationCases

Resource: EvaluationCase

Kasus evaluasi individual.

Representasi JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "evaluationContext": string,
  "evaluationMatchers": [
    string
  ],

  // Union field test_case can be only one of the following:
  "staticTextTurnCase": {
    object (StaticTextTurnCase)
  },
  "dynamicTextTurnCase": {
    object (DynamicTextTurnCase)
  }
  // End of list of possible types for union field test_case.
}
Kolom
name

string

ID. Nama resource kasus evaluasi. Format: projects/{project}/locations/{location}/brands/{brand}/evaluationCases/{evaluationCase}
displayName

string

Wajib. Nama kasus evaluasi yang dapat dibaca manusia.
description

string

Opsional. Deskripsi kasus evaluasi.
evaluationContext

string

Wajib. Nama resource konteks evaluasi yang terkait dengan kasus ini. Format: projects/{project}/locations/{location}/brands/{brand}/evaluationContexts/{evaluationContext}
evaluationMatchers[]

string

Opsional. Daftar pencocok evaluasi yang akan digunakan untuk kasus evaluasi. Evaluasi dilakukan sekali di akhir sesi BidiProcessOrder. Setiap matcher menghasilkan hasil boolean yang menunjukkan apakah matcher evaluasi lulus atau gagal.
Kolom union test_case. Kasus pengujian yang akan digunakan untuk kasus evaluasi. test_case hanya ada berupa salah satu diantara berikut:
staticTextTurnCase

object (StaticTextTurnCase)

Opsional. Kasus pengujian saat giliran teks pengguna dan agen bersifat statis.
dynamicTextTurnCase

object (DynamicTextTurnCase)

Opsional. Kasus pengujian saat input teks pengguna dibuat secara dinamis menggunakan LLM dengan petunjuk pengurutan.

StaticTextTurnCase

Kasus evaluasi dengan input pengguna berupa input teks statis.

Representasi JSON 
{
  "textTurns": [
    {
      object (TextTurn)
    }
  ]
}
Kolom
textTurns[]

object (TextTurn)

Wajib. Daftar giliran teks dalam kasus evaluasi.

TextTurn

Satu giliran teks dalam kasus evaluasi, yang terdiri dari input pengguna dan respons agen.

Representasi JSON 
{
  "userTextInput": string,
  "exampleAgentResponse": string
}
Kolom
userTextInput

string

Wajib. Input teks pengguna untuk giliran ini.
exampleAgentResponse

string

Opsional. Contoh respons agen untuk giliran ini. Perhatikan bahwa ini bukan respons agen yang sebenarnya. Respons agen yang sebenarnya mungkin berbeda dari contoh respons ini. Contoh respons TIDAK digunakan untuk evaluasi, tetapi hanya untuk tujuan tampilan agar kasus evaluasi lebih mudah dipahami.

DynamicTextTurnCase

Kasus evaluasi saat input pengguna dibuat secara dinamis menggunakan LLM dengan petunjuk pengurutan.

Representasi JSON 
{
  "orderingInstruction": string
}
Kolom
orderingInstruction

string

Wajib. Petunjuk pemesanan bagi pengguna untuk berinteraksi dengan Agen Pemesanan Makanan. LLM secara dinamis menghasilkan input teks pengguna berdasarkan petunjuk pemesanan. Hal ini dapat mencakup item yang ditargetkan untuk dipesan, preferensi dan batasan pengguna, serta tindakan spesifik yang harus diinformasikan pengguna kepada agen pemesanan.

Metode

batchCreate

 Membuat EvaluationCase secara batch.

batchUpdate

 Melakukan kumpulan update pada EvaluationCases.

create

 Membuat EvaluationCase.

delete

 Menghapus EvaluationCase yang ditentukan.

get

 Mendapatkan EvaluationCase.

list

 Mencantumkan EvaluationCases.

patch

 Memperbarui EvaluationCase yang ditentukan.

run

 Menjalankan kasus evaluasi.