REST Resource: projects.locations.brands.evaluationCases

Resource: EvaluationCase

Kasus evaluasi individual.

Representasi JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "evaluationContext": string,
  "evaluationMatchers": [
    string
  ],

  // Union field test_case can be only one of the following:
  "staticTextTurnCase": {
    object (StaticTextTurnCase)
  },
  "dynamicTextTurnCase": {
    object (DynamicTextTurnCase)
  }
  // End of list of possible types for union field test_case.
}
Kolom
name

string

Pengenal. Nama resource kasus evaluasi. Format: projects/{project}/locations/{location}/brands/{brand}/evaluationCases/{evaluationCase}
displayName

string

Wajib diisi. Nama kasus evaluasi yang dapat dibaca manusia.
description

string

Opsional. Deskripsi kasus evaluasi.
evaluationContext

string

Wajib diisi. Nama resource konteks evaluasi yang terkait dengan kasus ini. Format: projects/{project}/locations/{location}/brands/{brand}/evaluationContexts/{evaluationContext}
evaluationMatchers[]

string

Opsional. Daftar pencocok evaluasi yang akan digunakan untuk kasus evaluasi. Evaluasi dilakukan satu kali di akhir sesi BidiProcessOrder. Setiap pencocok menghasilkan hasil boolean yang menunjukkan apakah pencocok evaluasi lulus atau gagal.
Kolom union test_case. Kasus pengujian yang akan digunakan untuk kasus evaluasi. test_case hanya dapat berupa salah satu dari berikut:
staticTextTurnCase

object (StaticTextTurnCase)

Opsional. Kasus pengujian saat giliran teks pengguna dan agen bersifat statis.
dynamicTextTurnCase

object (DynamicTextTurnCase)

Opsional. Kasus pengujian saat input teks pengguna dibuat secara dinamis menggunakan LLM dengan petunjuk pemesanan.

StaticTextTurnCase

Kasus evaluasi saat input pengguna adalah input teks statis.

Representasi JSON 
{
  "textTurns": [
    {
      object (TextTurn)
    }
  ]
}
Kolom
textTurns[]

object (TextTurn)

Wajib diisi. Daftar giliran teks dalam kasus evaluasi.

TextTurn

Satu giliran teks dalam kasus evaluasi, yang terdiri dari input pengguna dan respons agen.

Representasi JSON 
{
  "userTextInput": string,
  "exampleAgentResponse": string
}
Kolom
userTextInput

string

Wajib diisi. Input teks pengguna untuk giliran ini.
exampleAgentResponse

string

Opsional. Contoh respons agen untuk giliran ini. Perhatikan bahwa ini bukan respons agen yang sebenarnya. Respons agen yang sebenarnya mungkin berbeda dari contoh respons ini. Contoh respons TIDAK digunakan untuk evaluasi, tetapi hanya untuk tujuan tampilan agar kasus evaluasi lebih mudah dipahami.

DynamicTextTurnCase

Kasus evaluasi saat input pengguna dibuat secara dinamis menggunakan LLM dengan petunjuk pemesanan.

Representasi JSON 
{
  "orderingInstruction": string
}
Kolom
orderingInstruction

string

Wajib diisi. Petunjuk pemesanan bagi pengguna untuk berinteraksi dengan Agen Pemesanan Makanan. LLM membuat input teks pengguna secara dinamis berdasarkan petunjuk pemesanan. Hal ini dapat mencakup item target yang akan dipesan, preferensi dan batasan pengguna, serta tindakan tertentu yang harus diinformasikan pengguna kepada agen pemesanan.

Metode

batchCreate

 Membuat EvaluationCase secara batch.

batchUpdate

 Memperbarui EvaluationCase secara batch.

create

 Membuat EvaluationCase.

delete

 Menghapus EvaluationCase yang ditentukan.

get

 Mendapatkan EvaluationCase.

list

 Mencantumkan EvaluationCase.

patch

 Memperbarui EvaluationCase yang ditentukan.

run

 Menjalankan kasus evaluasi.