MCP Tools Reference: ces.googleapis.com

Alat: get_evaluation

Mendapatkan detail evaluasi yang ditentukan.

Contoh berikut menunjukkan cara menggunakan curl untuk memanggil alat MCP get_evaluation.

Permintaan Curl 
                  
curl --location 'https://ces.[REGION].rep.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "get_evaluation",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Skema Input

Pesan permintaan untuk EvaluationService.GetEvaluation.

GetEvaluationRequest

Representasi JSON 
{
  "name": string
}
Kolom
name

string

Wajib. Nama resource evaluasi yang akan diambil.

Skema Output

Evaluasi merepresentasikan semua informasi yang diperlukan untuk menyimulasikan dan mengevaluasi agen.

Evaluasi

Representasi JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
Kolom
name

string

ID. ID unik evaluasi ini. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

Wajib. Nama tampilan evaluasi yang ditentukan pengguna. Unik dalam Aplikasi.
description

string

Opsional. Deskripsi evaluasi yang ditentukan pengguna.
tags[]

string

Opsional. Tag yang ditentukan pengguna untuk mengategorikan evaluasi.
evaluationDatasets[]

string

Hanya output. Daftar set data evaluasi yang termasuk dalam evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

Hanya output. Stempel waktu saat evaluasi dibuat.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
createdBy

string

Hanya output. Pengguna yang membuat evaluasi.
updateTime

string (Timestamp format)

Hanya output. Stempel waktu saat evaluasi terakhir diperbarui.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
lastUpdatedBy

string

Hanya output. Pengguna yang terakhir memperbarui evaluasi.
evaluationRuns[]

string

Hanya output. EvaluationRuns yang terkait dengan Evaluasi ini.
etag

string

Hanya output. ETag yang digunakan untuk memastikan objek tidak berubah selama operasi baca-ubah-tulis. Jika etag kosong, pembaruan akan menimpa perubahan serentak.
aggregatedMetrics

object (AggregatedMetrics)

Hanya output. Metrik gabungan untuk evaluasi ini di semua proses.
lastCompletedResult

object (EvaluationResult)

Hanya output. Hasil evaluasi terbaru untuk evaluasi ini.
invalid

boolean

Hanya output. Apakah evaluasi tidak valid. Hal ini dapat terjadi jika evaluasi mereferensikan alat, toolset, atau agen yang telah dihapus.
lastTenResults[]

object (EvaluationResult)

Hanya output. 10 hasil evaluasi terakhir untuk evaluasi ini. Ini hanya diisi jika include_last_ten_results disetel ke benar (true) di ListEvaluationsRequest atau GetEvaluationRequest.
Kolom union inputs. Input untuk evaluasi inputs hanya dapat berupa salah satu dari berikut ini:
golden

object (Golden)

Opsional. Langkah-langkah emas yang akan dievaluasi.
scenario

object (Scenario)

Opsional. Konfigurasi untuk skenario.

Golden

Representasi JSON 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
Kolom
turns[]

object (GoldenTurn)

Wajib. Jumlah putaran emas yang diperlukan untuk memutar ulang percakapan emas.
evaluationExpectations[]

string

Opsional. Ekspektasi evaluasi untuk mengevaluasi percakapan yang diputar ulang. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

Representasi JSON 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  }
}
Kolom
steps[]

object (Step)

Wajib. Langkah-langkah yang diperlukan untuk memutar ulang percakapan emas.
rootSpan

object (Span)

Opsional. Rentang root pergantian emas untuk memproses dan mempertahankan informasi audio.

Langkah

Representasi JSON 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
Kolom
Kolom union step. Langkah yang akan dilakukan. step hanya ada berupa salah satu diantara berikut:
userInput

object (SessionInput)

Opsional. Input pengguna untuk percakapan.
agentTransfer

object (AgentTransfer)

Opsional. Mentransfer percakapan ke agen lain.
expectation

object (GoldenExpectation)

Opsional. Mengeksekusi ekspektasi pada giliran saat ini.

SessionInput

Representasi JSON 
{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
Kolom
willContinue

boolean

Opsional. Flag untuk menunjukkan apakah pesan saat ini adalah fragmen input yang lebih besar dalam sesi streaming bidi.

Jika disetel ke true, agen akan menunda pemrosesan hingga menerima pesan berikutnya dengan will_continue adalah false, atau hingga sistem mendeteksi titik akhir dalam input audio.

CATATAN: Kolom ini tidak berlaku untuk input audio dan DTMF, karena input tersebut selalu diproses secara otomatis berdasarkan sinyal pengakhiran.
Kolom union input_type. Jenis input. input_type hanya ada berupa salah satu diantara berikut:
text

string

Opsional. Data teks dari pengguna akhir.
dtmf

string

Opsional. Digit DTMF dari pengguna akhir.
audio

string (bytes format)

Opsional. Data audio dari pengguna akhir.

String berenkode base64.
toolResponses

object (ToolResponses)

Opsional. Hasil eksekusi untuk panggilan alat dari klien.
image

object (Image)

Opsional. Data gambar dari pengguna akhir.
blob

object (Blob)

Opsional. Data blob dari pengguna akhir.
variables

object (Struct format)

Opsional. Variabel kontekstual untuk sesi, yang dikelompokkan berdasarkan nama. Hanya variabel yang dideklarasikan di aplikasi yang akan digunakan oleh agen CES.

Variabel yang tidak dikenali akan tetap dikirim ke [agen Dialogflow][Agent.RemoteDialogflowAgent] sebagai parameter sesi tambahan.
event

object (Event)

Opsional. Input acara.

ToolResponses

Representasi JSON 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
Kolom
toolResponses[]

object (ToolResponse)

Opsional. Daftar hasil eksekusi alat.

ToolResponse

Representasi JSON 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Kolom
id

string

Opsional. ID yang cocok dengan tool call yang menjadi tujuan respons.
displayName

string

Hanya output. Nama tampilan alat.
response

object (Struct format)

Wajib. Hasil eksekusi alat dalam format objek JSON. Gunakan kunci "output" untuk menentukan respons alat dan kunci "error" untuk menentukan detail error (jika ada). Jika kunci "output" dan "error" tidak ditentukan, seluruh "respons" akan diperlakukan sebagai hasil eksekusi alat.
Kolom union tool_identifier. ID alat yang dieksekusi. Alat ini bisa berupa alat yang tetap ada atau alat dari toolset. tool_identifier hanya ada berupa salah satu diantara berikut:
tool

string

Opsional. Nama alat yang akan dieksekusi. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Opsional. Alat toolset yang dieksekusi.

ToolsetTool

Representasi JSON 
{
  "toolset": string,
  "toolId": string
}
Kolom
toolset

string

Wajib. Nama resource Toolset dari mana alat ini berasal. Format: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Opsional. ID alat untuk memfilter alat guna mengambil skemanya.

Struct

Representasi JSON 
{
  "fields": {
    string: value,
    ...
  }
}
Kolom
fields

map (key: string, value: value (Value format))

Peta tidak berurutan dari nilai yang diketik secara dinamis.

Objek yang berisi daftar pasangan "key": value. Contoh: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Representasi JSON 
{
  "key": string,
  "value": value
}
Kolom
key

string
value

value (Value format)

Nilai

Representasi JSON 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Kolom
Kolom union kind. Jenis nilai. kind hanya ada berupa salah satu diantara berikut:
nullValue

null

Mewakili nilai null.
numberValue

number

Mewakili nilai ganda.
stringValue

string

Mewakili nilai string.
boolValue

boolean

Mewakili nilai boolean.
structValue

object (Struct format)

Mewakili nilai terstruktur.
listValue

array (ListValue format)

Merepresentasikan Value yang berulang.

ListValue

Representasi JSON 
{
  "values": [
    value
  ]
}
Kolom
values[]

value (Value format)

Kolom berulang dari nilai yang diketik secara dinamis.

Gambar

Representasi JSON 
{
  "mimeType": string,
  "data": string
}
Kolom
mimeType

string

Wajib. Jenis MIME standar IANA dari data sumber. Jenis gambar yang didukung meliputi: * image/png * image/jpeg * image/webp
data

string (bytes format)

Wajib. Byte mentah gambar.

String berenkode base64.

Blob

Representasi JSON 
{
  "mimeType": string,
  "data": string
}
Kolom
mimeType

string

Wajib. Jenis MIME standar IANA dari data sumber.
data

string (bytes format)

Wajib. Byte mentah blob.

String berenkode base64.

Acara

Representasi JSON 
{
  "event": string
}
Kolom
event

string

Wajib. Nama acara.

AgentTransfer

Representasi JSON 
{
  "targetAgent": string,
  "displayName": string
}
Kolom
targetAgent

string

Wajib. Agen yang akan menerima pengalihan percakapan. Agen akan menangani percakapan mulai dari saat ini. Format: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

Hanya output. Nama tampilan agen.

GoldenExpectation

Representasi JSON 
{
  "note": string,

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
  // End of list of possible types for union field condition.
}
Kolom
note

string

Opsional. Catatan untuk persyaratan ini, berguna dalam pelaporan saat pemeriksaan tertentu gagal. Misalnya, "Check_Payment_Tool_Called".
Kolom union condition. Pemeriksaan sebenarnya yang akan dilakukan. condition hanya ada berupa salah satu diantara berikut:
toolCall

object (ToolCall)

Opsional. Periksa apakah alat tertentu dipanggil dengan parameter.
toolResponse

object (ToolResponse)

Opsional. Periksa apakah alat tertentu memberikan respons yang diharapkan.
agentResponse

object (Message)

Opsional. Periksa apakah agen merespons dengan respons yang benar. Peran "agen" tersirat.
agentTransfer

object (AgentTransfer)

Opsional. Periksa apakah agen mengalihkan percakapan ke agen lain.
updatedVariables

object (Struct format)

Opsional. Periksa apakah agen memperbarui variabel sesi ke nilai yang diharapkan. Juga digunakan untuk merekam pembaruan variabel agen untuk evaluasi emas.
mockToolResponse

object (ToolResponse)

Opsional. Respons alat untuk meniru, dengan parameter yang diinginkan ditentukan. Parameter yang tidak ditentukan akan dihalusinasi oleh LLM.

ToolCall

Representasi JSON 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Kolom
id

string

Opsional. ID unik panggilan alat. Jika diisi, klien harus menampilkan hasil eksekusi dengan ID yang cocok di ToolResponse.
displayName

string

Hanya output. Nama tampilan alat.
args

object (Struct format)

Opsional. Parameter dan nilai input untuk alat dalam format objek JSON.
Kolom union tool_identifier. ID alat yang akan dieksekusi. Alat ini bisa berupa alat yang tetap ada atau alat dari toolset. tool_identifier hanya ada berupa salah satu diantara berikut:
tool

string

Opsional. Nama alat yang akan dieksekusi. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Opsional. Alat toolset yang akan dieksekusi.

Pesan

Representasi JSON 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
Kolom
role

string

Opsional. Peran dalam percakapan, misalnya, pengguna, agen.
chunks[]

object (Chunk)

Opsional. Konten pesan sebagai serangkaian bagian.
eventTime

string (Timestamp format)

Opsional. Stempel waktu saat pesan dikirim atau diterima. Tidak boleh digunakan jika pesan adalah bagian dari example.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".

Chunk

Representasi JSON 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
Kolom
Kolom union data. Data chunk. data hanya ada berupa salah satu diantara berikut:
text

string

Opsional. Data teks.
transcript

string

Opsional. Transkrip yang terkait dengan audio.
blob

object (Blob)

Opsional. Data blob.
payload

object (Struct format)

Opsional. Data payload kustom.
image

object (Image)

Opsional. Data gambar.
toolCall

object (ToolCall)

Opsional. Permintaan eksekusi alat.
toolResponse

object (ToolResponse)

Opsional. Respons eksekusi alat.
agentTransfer

object (AgentTransfer)

Opsional. Acara transfer agen.
updatedVariables

object (Struct format)

Struct merepresentasikan variabel yang diperbarui dalam percakapan, yang dikelompokkan berdasarkan nama variabel.
defaultVariables

object (Struct format)

Struct merepresentasikan variabel default di awal percakapan, yang dikelompokkan berdasarkan nama variabel.

Stempel waktu

Representasi JSON 
{
  "seconds": string,
  "nanos": integer
}
Kolom
seconds

string (int64 format)

Mewakili detik waktu UTC sejak epoch Unix 1970-01-01T00:00:00Z. Harus antara -62135596800 dan 253402300799 inklusif (yang sesuai dengan 0001-01-01T00:00:00Z hingga 9999-12-31T23:59:59Z).
nanos

integer

Pecahan detik non-negatif pada resolusi nanodetik. Kolom ini adalah bagian nanodetik dari durasi, bukan alternatif untuk detik. Nilai detik negatif dengan pecahan harus tetap memiliki nilai nanos non-negatif yang dihitung maju dalam waktu. Harus antara 0 dan 999.999.999 inklusif.

Span

Representasi JSON 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
Kolom
name

string

Hanya output. Nama rentang.
startTime

string (Timestamp format)

Hanya output. Waktu mulai rentang.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Hanya output. Waktu berakhir rentang.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
duration

string (Duration format)

Hanya output. Durasi rentang.

Durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s".
attributes

object (Struct format)

Hanya output. Atribut nilai kunci yang terkait dengan rentang.
childSpans[]

object (Span)

Hanya output. Span turunan yang bertingkat di bawah span ini.

Durasi

Representasi JSON 
{
  "seconds": string,
  "nanos": integer
}
Kolom
seconds

string (int64 format)

Detik yang ditandatangani dari rentang waktu. Harus dari -315.576.000.000 hingga +315.576.000.000 inklusif. Catatan: batas ini dihitung dari: 60 dtk/mnt * 60 mnt/j * 24 j/hr * 365,25 hr/thn * 10.000 thn
nanos

integer

Pecahan detik bertanda pada resolusi nanodetik rentang waktu. Durasi kurang dari satu detik ditampilkan dengan kolom seconds 0 dan kolom nanos positif atau negatif. Untuk durasi satu detik atau lebih, nilai non-nol untuk kolom nanos harus memiliki tanda yang sama dengan kolom seconds. Harus dari -999.999.999 hingga +999.999.999 inklusif.

Skenario

Representasi JSON 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ]
}
Kolom
task

string

Wajib. Tugas yang akan ditargetkan oleh skenario.
userFacts[]

object (UserFact)

Opsional. Fakta pengguna yang akan digunakan oleh skenario.
maxTurns

integer

Opsional. Jumlah maksimum giliran yang akan disimulasikan. Jika tidak ditentukan, simulasi akan berlanjut hingga tugas selesai.
rubrics[]

string

Wajib. Rubrik untuk menilai skenario.
scenarioExpectations[]

object (ScenarioExpectation)

Wajib. ScenarioExpectations untuk mengevaluasi percakapan yang dihasilkan oleh simulasi pengguna.
variableOverrides

object (Struct format)

Opsional. Variabel / Parameter Sesi sebagai konteks untuk sesi, dikelompokkan berdasarkan nama variabel. Anggota struct ini akan menggantikan nilai default yang ditetapkan oleh sistem.

Perhatikan bahwa ini berbeda dengan fakta pengguna, yang merupakan fakta yang diketahui pengguna. Variabel adalah parameter yang diketahui oleh agen: yaitu MDN (nomor telepon) yang diteruskan oleh sistem telepon.
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

Opsional. Tidak digunakan lagi. Gunakan user_goal_behavior sebagai gantinya.
userGoalBehavior

enum (UserGoalBehavior)

Opsional. Perilaku yang diharapkan dari sasaran pengguna.
evaluationExpectations[]

string

Opsional. Ekspektasi evaluasi untuk mengevaluasi percakapan yang dihasilkan oleh simulasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

UserFact

Representasi JSON 
{
  "name": string,
  "value": string
}
Kolom
name

string

Wajib. Nama fakta pengguna.
value

string

Wajib. Nilai fakta pengguna.

ScenarioExpectation

Representasi JSON 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
Kolom
Kolom union expectation. Ekspektasi untuk mengevaluasi percakapan yang dihasilkan oleh simulasi. expectation hanya ada berupa salah satu diantara berikut:
toolExpectation

object (ToolExpectation)

Opsional. Pasangan panggilan dan respons alat yang akan dievaluasi.
agentResponse

object (Message)

Opsional. Respons agen yang akan dievaluasi.

ToolExpectation

Representasi JSON 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
Kolom
expectedToolCall

object (ToolCall)

Wajib. Panggilan alat yang diharapkan, dengan parameter yang diinginkan ditentukan. Parameter yang tidak ditentukan akan dihalusinasi oleh LLM.
mockToolResponse

object (ToolResponse)

Wajib. Respons alat untuk meniru, dengan parameter yang diinginkan ditentukan. Parameter yang tidak ditentukan akan dihalusinasi oleh LLM.

AggregatedMetrics

Representasi JSON 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
Kolom
metricsByAppVersion[]

object (MetricsByAppVersion)

Hanya output. Metrik gabungan, dikelompokkan menurut ID versi aplikasi.

MetricsByAppVersion

Representasi JSON 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
Kolom
appVersionId

string

Hanya output. ID versi aplikasi.
toolMetrics[]

object (ToolMetrics)

Hanya output. Metrik untuk setiap alat dalam versi aplikasi ini.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Hanya output. Metrik untuk kesamaan semantik dalam versi aplikasi ini.
hallucinationMetrics[]

object (HallucinationMetrics)

Hanya output. Metrik untuk halusinasi dalam versi aplikasi ini.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Hanya output. Metrik untuk latensi panggilan alat dalam versi aplikasi ini.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Hanya output. Metrik untuk latensi belokan dalam versi aplikasi ini.
passCount

integer

Hanya output. Jumlah evaluasi yang lulus.
failCount

integer

Hanya output. Jumlah kegagalan evaluasi.
metricsByTurn[]

object (MetricsByTurn)

Hanya output. Metrik yang diagregasi per giliran dalam versi aplikasi ini.

ToolMetrics

Representasi JSON 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
Kolom
tool

string

Hanya output. Nama alat.
passCount

integer

Hanya output. Jumlah keberhasilan alat.
failCount

integer

Hanya output. Frekuensi kegagalan alat.

SemanticSimilarityMetrics

Representasi JSON 
{
  "score": number
}
Kolom
score

number

Hanya output. Skor kesamaan semantik rata-rata (0-4).

HallucinationMetrics

Representasi JSON 
{
  "score": number
}
Kolom
score

number

Hanya output. Skor halusinasi rata-rata (0 hingga 1).

ToolCallLatencyMetrics

Representasi JSON 
{
  "tool": string,
  "averageLatency": string
}
Kolom
tool

string

Hanya output. Nama alat.
averageLatency

string (Duration format)

Hanya output. Latensi rata-rata panggilan alat.

Durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s".

TurnLatencyMetrics

Representasi JSON 
{
  "averageLatency": string
}
Kolom
averageLatency

string (Duration format)

Hanya output. Latensi rata-rata giliran.

Durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s".

MetricsByTurn

Representasi JSON 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
Kolom
turnIndex

integer

Hanya output. Indeks giliran (berbasis 0).
toolMetrics[]

object (ToolMetrics)

Hanya output. Metrik untuk setiap alat dalam giliran ini.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Hanya output. Metrik untuk kesamaan semantik dalam giliran ini.
hallucinationMetrics[]

object (HallucinationMetrics)

Hanya output. Metrik untuk halusinasi dalam giliran ini.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Hanya output. Metrik untuk latensi panggilan alat dalam giliran ini.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Hanya output. Metrik untuk latensi giliran dalam giliran ini.

EvaluationResult

Representasi JSON 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
Kolom
name

string

ID. ID unik hasil evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

Wajib. Nama tampilan Hasil Evaluasi. Unik dalam Evaluasi. Secara default, formatnya adalah: " hasil - ".
createTime

string (Timestamp format)

Hanya output. Stempel waktu saat hasil evaluasi dibuat.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
evaluationStatus

enum (Outcome)

Hanya output. Hasil evaluasi. Hanya diisi jika execution_state adalah COMPLETE.
evaluationRun

string

Hanya output. Jalannya evaluasi yang menghasilkan hasil ini. Format: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

Hanya output. Persona yang digunakan untuk membuat percakapan untuk hasil evaluasi.
errorInfo

object (EvaluationErrorInfo)

Hanya output. Informasi error untuk hasil evaluasi.
error
(deprecated)

object (Status)

Hanya output. Tidak digunakan lagi: Gunakan error_info sebagai gantinya. Terjadi error selama eksekusi.
initiatedBy

string

Hanya output. Pengguna yang memulai proses evaluasi yang menghasilkan hasil ini.
appVersion

string

Hanya output. Versi aplikasi yang digunakan untuk membuat percakapan yang menghasilkan hasil ini. Format: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Hanya output. Nama tampilan app_version yang digunakan untuk menjalankan evaluasi.
changelog

string

Hanya output. Log perubahan versi aplikasi yang digunakan untuk menjalankan evaluasi. Kolom ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf.
changelogCreateTime

string (Timestamp format)

Hanya output. Waktu pembuatan log perubahan versi aplikasi yang digunakan untuk menjalankan evaluasi. Kolom ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
executionState

enum (ExecutionState)

Hanya output. Status eksekusi hasil evaluasi.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Hanya output. Nilai minimum evaluasi untuk hasil.
config

object (EvaluationConfig)

Hanya output. Konfigurasi yang digunakan dalam proses evaluasi yang menghasilkan hasil ini.
goldenRunMethod

enum (GoldenRunMethod)

Hanya output. Metode yang digunakan untuk menjalankan evaluasi standar.
Kolom union result. Hasil evaluasi. Hanya diisi jika execution_state adalah COMPLETED. result hanya ada berupa salah satu diantara berikut:
goldenResult

object (GoldenResult)

Hanya output. Hasil evaluasi emas.
scenarioResult

object (ScenarioResult)

Hanya output. Hasil evaluasi skenario.

GoldenResult

Representasi JSON 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
Kolom
turnReplayResults[]

object (TurnReplayResult)

Hanya output. Hasil menjalankan setiap giliran percakapan emas.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Hanya output. Hasil ekspektasi evaluasi.

TurnReplayResult

Representasi JSON 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
Kolom
conversation

string

Hanya output. Percakapan yang dibuat untuk giliran ini.
expectationOutcome[]

object (GoldenExpectationOutcome)

Hanya output. Hasil dari setiap ekspektasi.
hallucinationResult

object (HallucinationResult)

Hanya output. Hasil pemeriksaan halusinasi.
toolInvocationScore
(deprecated)

number

Hanya output. Tidak digunakan lagi. Gunakan OverallToolInvocationResult sebagai gantinya.
turnLatency

string (Duration format)

Hanya output. Durasi giliran.

Durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s".
toolCallLatencies[]

object (ToolCallLatency)

Hanya output. Latensi setiap panggilan alat secara bergiliran.
semanticSimilarityResult

object (SemanticSimilarityResult)

Hanya output. Hasil pemeriksaan kemiripan semantik.
overallToolInvocationResult

object (OverallToolInvocationResult)

Hanya output. Hasil pemeriksaan pemanggilan alat secara keseluruhan.
errorInfo

object (EvaluationErrorInfo)

Hanya output. Informasi tentang error yang terjadi selama giliran ini.
spanLatencies[]

object (SpanLatency)

Hanya output. Latensi rentang dalam giliran.

Kolom union _tool_ordered_invocation_score.

_tool_ordered_invocation_score hanya dapat berupa salah satu dari berikut:
toolOrderedInvocationScore

number

Hanya output. Skor pemanggilan alat keseluruhan yang diurutkan untuk giliran ini. Hal ini menunjukkan persentase keseluruhan alat dari belokan yang diharapkan yang benar-benar dipanggil dalam urutan yang diharapkan.

GoldenExpectationOutcome

Representasi JSON 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  }
  // End of list of possible types for union field result.
}
Kolom
expectation

object (GoldenExpectation)

Hanya output. Ekspektasi yang dievaluasi.
outcome

enum (Outcome)

Hanya output. Hasil dari ekspektasi.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

Hanya output. Hasil pemeriksaan kemiripan semantik.
toolInvocationResult

object (ToolInvocationResult)

Hanya output. Hasil pemeriksaan pemanggilan alat.
Kolom union result. Hasil ekspektasi. result hanya ada berupa salah satu diantara berikut:
observedToolCall

object (ToolCall)

Hanya output. Hasil ekspektasi panggilan alat.
observedToolResponse

object (ToolResponse)

Hanya output. Hasil ekspektasi respons alat.
observedAgentResponse

object (Message)

Hanya output. Hasil ekspektasi respons agen.
observedAgentTransfer

object (AgentTransfer)

Hanya output. Hasil ekspektasi transfer agen.

SemanticSimilarityResult

Representasi JSON 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Kolom
label

string

Hanya output. Label yang terkait dengan setiap skor. Skor 4: Sepenuhnya Konsisten Skor 3: Sebagian Besar Konsisten Skor 2: Sebagian Konsisten (Kekurangan Kecil) Skor 1: Sebagian Besar Tidak Konsisten (Kekurangan Besar) Skor 0: Sepenuhnya Tidak Konsisten / Bertentangan
explanation

string

Hanya output. Penjelasan untuk skor kemiripan semantik.
outcome

enum (Outcome)

Hanya output. Hasil pemeriksaan kemiripan semantik. Hal ini ditentukan dengan membandingkan skor dengan semantic_similarity_success_threshold. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan GAGAL.

Kolom union _score.

_score hanya dapat berupa salah satu dari berikut:
score

integer

Hanya output. Skor kemiripan semantik. Dapat berupa 0, 1, 2, 3, atau 4.

ToolInvocationResult

Representasi JSON 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
Kolom
outcome

enum (Outcome)

Hanya output. Hasil pemeriksaan pemanggilan alat. Hal ini ditentukan dengan membandingkan parameter_correctness_score dengan nilai minimum. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan GAGAL.
explanation

string

Hanya output. Penjelasan teks bebas untuk hasil pemanggilan alat.

Kolom union _parameter_correctness_score.

_parameter_correctness_score hanya dapat berupa salah satu dari berikut:
parameterCorrectnessScore

number

Hanya output. Skor kebenaran parameter pemanggilan alat. Ini menunjukkan persentase parameter dari panggilan alat yang diharapkan yang juga ada dalam panggilan alat sebenarnya.

HallucinationResult

Representasi JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Kolom
label

string

Hanya output. Label yang terkait dengan setiap skor. Skor 1: Dibenarkan Skor 0: Tidak Dibenarkan Skor -1: Tidak Ada Klaim untuk Dinilai
explanation

string

Hanya output. Penjelasan untuk skor halusinasi.

Kolom union _score.

_score hanya dapat berupa salah satu dari berikut:
score

integer

Hanya output. Skor halusinasi. Dapat berupa -1, 0, 1.

ToolCallLatency

Representasi JSON 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Kolom
tool

string

Hanya output. Nama alat yang dieksekusi. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName

string

Hanya output. Nama tampilan alat.
startTime

string (Timestamp format)

Hanya output. Waktu mulai eksekusi panggilan alat.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Hanya output. Waktu berakhir eksekusi panggilan alat.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Hanya output. Latensi eksekusi panggilan alat.

Durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s".

OverallToolInvocationResult

Representasi JSON 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
Kolom
outcome

enum (Outcome)

Hanya output. Hasil pemeriksaan pemanggilan alat. Hal ini ditentukan dengan membandingkan tool_invocation_score dengan overall_tool_invocation_correctness_threshold. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan GAGAL.

Kolom union _tool_invocation_score.

_tool_invocation_score hanya dapat berupa salah satu dari berikut:
toolInvocationScore

number

Skor pemanggilan alat keseluruhan untuk giliran ini. Hal ini menunjukkan persentase keseluruhan alat dari belokan yang diharapkan yang benar-benar dipanggil.

EvaluationErrorInfo

Representasi JSON 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string
}
Kolom
errorType

enum (ErrorType)

Hanya output. Jenis error.
errorMessage

string

Hanya output. Pesan error.
sessionId

string

Hanya output. ID sesi untuk percakapan yang menyebabkan error.

SpanLatency

Representasi JSON 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
Kolom
type

enum (Type)

Hanya output. Jenis rentang.
displayName

string

Hanya output. Nama tampilan rentang. Berlaku untuk rentang alat dan pengamanan.
startTime

string (Timestamp format)

Hanya output. Waktu mulai rentang.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Hanya output. Waktu berakhir rentang.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Hanya output. Latensi rentang.

Durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s".
Kolom union identifier. ID item tertentu berdasarkan jenisnya. identifier hanya ada berupa salah satu diantara berikut:
resource

string

Hanya output. Nama resource rentang alat atau batas aman.
toolset

object (ToolsetTool)

Hanya output. ID alat toolset.
model

string

Hanya output. Nama rentang LLM.
callback

string

Hanya output. Nama rentang callback pengguna.

EvaluationExpectationResult

Representasi JSON 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
Kolom
evaluationExpectation

string

Hanya output. Ekspektasi evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

Hanya output. Perintah yang digunakan untuk evaluasi.
outcome

enum (Outcome)

Hanya output. Hasil ekspektasi evaluasi.
explanation

string

Hanya output. Penjelasan untuk hasil.

ScenarioResult

Representasi JSON 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
Kolom
conversation

string

Hanya output. Percakapan yang dihasilkan dalam skenario.
task

string

Hanya output. Tugas yang digunakan saat menjalankan skenario untuk hasil ini.
userFacts[]

object (UserFact)

Hanya output. Fakta pengguna yang digunakan oleh skenario untuk hasil ini.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

Hanya output. Hasil dari setiap ekspektasi.
rubricOutcomes[]

object (ScenarioRubricOutcome)

Hanya output. Hasil rubrik.
hallucinationResult[]

object (HallucinationResult)

Hanya output. Hasil pemeriksaan halusinasi. Akan ada satu hasil halusinasi untuk setiap giliran dalam percakapan.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

Hanya output. Hasil pemeriksaan penyelesaian tugas.
toolCallLatencies[]

object (ToolCallLatency)

Hanya output. Latensi setiap eksekusi panggilan alat dalam percakapan.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

Hanya output. Hasil pemeriksaan kepuasan tujuan pengguna.
spanLatencies[]

object (SpanLatency)

Hanya output. Latensi rentang dalam percakapan.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Hanya output. Hasil ekspektasi evaluasi.

Kolom union _all_expectations_satisfied.

_all_expectations_satisfied hanya dapat berupa salah satu dari berikut:
allExpectationsSatisfied

boolean

Hanya output. Apakah semua ekspektasi terpenuhi untuk giliran ini.

Kolom union _task_completed.

_task_completed hanya dapat berupa salah satu dari berikut:
taskCompleted

boolean

Hanya output. Apakah tugas telah diselesaikan untuk giliran ini. Ini adalah gabungan dari semua ekspektasi yang terpenuhi, tidak ada halusinasi, dan kepuasan tujuan pengguna.

ScenarioExpectationOutcome

Representasi JSON 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
Kolom
expectation

object (ScenarioExpectation)

Hanya output. Ekspektasi yang dievaluasi.
outcome

enum (Outcome)

Hanya output. Hasil ScenarioExpectation.
Kolom union result. Hasil ekspektasi. result hanya ada berupa salah satu diantara berikut:
observedToolCall

object (ObservedToolCall)

Hanya output. Panggilan alat yang diamati.
observedAgentResponse

object (Message)

Hanya output. Respons agen yang diamati.

ObservedToolCall

Representasi JSON 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Kolom
toolCall

object (ToolCall)

Hanya output. Panggilan alat yang diamati.
toolResponse

object (ToolResponse)

Hanya output. Respons alat yang diamati.

ScenarioRubricOutcome

Representasi JSON 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
Kolom
rubric

string

Hanya output. Rubrik yang digunakan untuk mengevaluasi percakapan.
scoreExplanation

string

Hanya output. Respons pemberi rating terhadap rubrik.

Kolom union _score.

_score hanya dapat berupa salah satu dari berikut:
score

number

Hanya output. Skor percakapan berdasarkan rubrik.

TaskCompletionResult

Representasi JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Kolom
label

string

Hanya output. Label yang terkait dengan setiap skor. Skor 1: Tugas Selesai Skor 0: Tugas Tidak Selesai Skor -1: Sasaran Pengguna Tidak Ditentukan
explanation

string

Hanya output. Penjelasan untuk skor penyelesaian tugas.

Kolom union _score.

_score hanya dapat berupa salah satu dari berikut:
score

integer

Hanya output. Skor penyelesaian tugas. Dapat berupa -1, 0, 1

UserGoalSatisfactionResult

Representasi JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Kolom
label

string

Hanya output. Label yang terkait dengan setiap skor. Skor 1: Tugas Pengguna Selesai Skor 0: Tugas Pengguna Tidak Selesai Skor -1: Tugas Pengguna Tidak Ditentukan
explanation

string

Hanya output. Penjelasan untuk skor kepuasan tugas pengguna.

Kolom union _score.

_score hanya dapat berupa salah satu dari berikut:
score

integer

Hanya output. Skor kepuasan tugas pengguna. Dapat berupa -1, 0, 1.

EvaluationPersona

Representasi JSON 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
Kolom
name

string

Wajib. ID unik persona. Format: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

Opsional. Deskripsi persona.
displayName

string

Wajib. Nama tampilan persona. Unik dalam aplikasi.
personality

string

Wajib. Petunjuk bagi agen tentang cara berperilaku dalam evaluasi.
speechConfig

object (SpeechConfig)

Opsional. Konfigurasi untuk suara persona (setelan TTS).

SpeechConfig

Representasi JSON 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
Kolom
speakingRate

number

Opsional. Kecepatan bicara. 1.0 adalah normal. Lebih rendah berarti lebih lambat (misalnya, 0,8), yang lebih tinggi lebih cepat (misalnya, 1.5). Berguna untuk menguji cara agen menangani orang yang berbicara cepat.
environment

enum (BackgroundEnvironment)

Opsional. Lingkungan audio simulasi.
voiceId

string

Opsional. ID/aksen suara tertentu yang akan digunakan. Contoh: "en-US-Wavenet-D" atau "en-GB-Standard-A"

Status

Representasi JSON 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Kolom
code

integer

Kode status, harus berupa nilai enum dari google.rpc.Code.
message

string

Pesan error yang ditampilkan ke developer dan seharusnya dalam bahasa Inggris. Setiap pesan error yang ditampilkan kepada pengguna harus dilokalkan dan dikirim di kolom google.rpc.Status.details, atau dilokalkan oleh klien.
details[]

object

Daftar pesan yang membawa detail error. Ada seperangkat jenis pesan umum untuk digunakan API.

Objek yang berisi kolom tipe arbitrer. Kolom tambahan "@type" berisi URI yang mengidentifikasi jenis. Contoh: { "id": 1234, "@type": "types.example.com/standard/id" }.

Semua

Representasi JSON 
{
  "typeUrl": string,
  "value": string
}
Kolom
typeUrl

string

Mengidentifikasi jenis pesan Protobuf yang diserialkan dengan referensi URI yang terdiri dari awalan yang diakhiri dengan garis miring dan nama jenis yang sepenuhnya memenuhi syarat.

Contoh: type.googleapis.com/google.protobuf.StringValue

String ini harus berisi setidaknya satu karakter /, dan konten setelah / terakhir harus berupa nama yang sepenuhnya memenuhi syarat dari jenis dalam bentuk kanonis, tanpa titik di depannya. Jangan tulis skema pada referensi URI ini agar klien tidak mencoba menghubungi mereka.

Awalan bersifat arbitrer dan implementasi Protobuf diharapkan cukup menghapus semua yang ada hingga dan termasuk / terakhir untuk mengidentifikasi jenisnya. type.googleapis.com/ adalah awalan default umum yang diperlukan oleh beberapa penerapan lama. Awalan ini tidak menunjukkan asal jenis, dan URI yang memuatnya tidak diharapkan merespons permintaan apa pun.

Semua string URL jenis harus berupa referensi URI yang valid dengan batasan tambahan (untuk format teks) bahwa konten referensi hanya boleh terdiri dari karakter alfanumerik, escape yang dienkode persen, dan karakter dalam set berikut (tidak termasuk tanda petik terbalik luar): /-.~_!$&()*+,;=. Meskipun kami mengizinkan encoding persen, implementasi tidak boleh meng-unescape-nya untuk mencegah kebingungan dengan parser yang ada. Misalnya, type.googleapis.com%2FFoo harus ditolak.

Dalam desain asli Any, kemungkinan meluncurkan layanan penyelesaian jenis di URL jenis ini dipertimbangkan, tetapi Protobuf tidak pernah mengimplementasikannya dan menganggap menghubungi URL ini bermasalah dan berpotensi menjadi masalah keamanan. Jangan mencoba menghubungi URL jenis kontak.
value

string (bytes format)

Berisi serialisasi Protobuf dari jenis yang dijelaskan oleh type_url.

String berenkode base64.

EvaluationMetricsThresholds

Representasi JSON 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
Kolom
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

Opsional. Nilai minimum metrik evaluasi emas.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

Opsional. Tidak digunakan lagi: Gunakan golden_hallucination_metric_behavior sebagai gantinya. Perilaku metrik halusinasi saat ini digunakan untuk evaluasi utama.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Opsional. Perilaku metrik halusinasi untuk evaluasi tepercaya.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Opsional. Perilaku metrik halusinasi untuk evaluasi skenario.

GoldenEvaluationMetricsThresholds

Representasi JSON 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
Kolom
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

Opsional. Nilai minimum metrik tingkat perputaran.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

Opsional. Nilai minimum metrik tingkat ekspektasi.
toolMatchingSettings

object (ToolMatchingSettings)

Opsional. Setelan pencocokan alat. Panggilan alat tambahan adalah panggilan alat yang ada dalam eksekusi, tetapi tidak cocok dengan panggilan alat apa pun dalam ekspektasi standar.

TurnLevelMetricsThresholds

Representasi JSON 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
Kolom
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

Opsional. Saluran kemiripan semantik yang akan digunakan untuk evaluasi.

Kolom union _semantic_similarity_success_threshold.

_semantic_similarity_success_threshold hanya dapat berupa salah satu dari berikut:
semanticSimilaritySuccessThreshold

integer

Opsional. Ambang batas keberhasilan untuk kemiripan semantik. Harus berupa bilangan bulat antara 0 dan 4. Defaultnya adalah >= 3.

Kolom union _overall_tool_invocation_correctness_threshold.

_overall_tool_invocation_correctness_threshold hanya dapat berupa salah satu dari berikut:
overallToolInvocationCorrectnessThreshold

number

Opsional. Ambang batas keberhasilan untuk kebenaran pemanggilan alat secara keseluruhan. Harus berupa float antara 0 dan 1. Defaultnya adalah 1.0.

ExpectationLevelMetricsThresholds

Representasi JSON 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
Kolom

Kolom union _tool_invocation_parameter_correctness_threshold.

_tool_invocation_parameter_correctness_threshold hanya dapat berupa salah satu dari berikut:
toolInvocationParameterCorrectnessThreshold

number

Opsional. Ambang batas keberhasilan untuk kebenaran parameter pemanggilan alat individual. Harus berupa float antara 0 dan 1. Defaultnya adalah 1.0.

ToolMatchingSettings

Representasi JSON 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
Kolom
extraToolCallBehavior

enum (ExtraToolCallBehavior)

Opsional. Perilaku untuk panggilan alat tambahan. Nilai defaultnya adalah GAGAL.

EvaluationConfig

Representasi JSON 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Kolom
inputAudioConfig
(deprecated)

object (InputAudioConfig)

Opsional. Konfigurasi untuk memproses audio input.
outputAudioConfig
(deprecated)

object (OutputAudioConfig)

Opsional. Konfigurasi untuk membuat audio output.
evaluationChannel

enum (EvaluationChannel)

Opsional. Saluran yang akan dievaluasi.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Opsional. Menentukan apakah evaluasi harus menggunakan panggilan alat asli atau alat palsu.

InputAudioConfig

Representasi JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Kolom
audioEncoding

enum (AudioEncoding)

Wajib. Encoding data audio input.
sampleRateHertz

integer

Wajib. Frekuensi sampel (dalam Hertz) data audio input.
noiseSuppressionLevel

string

Opsional. Apakah akan mengaktifkan peredam bising pada audio input. Nilai yang tersedia adalah "low", "moderate", "high", "very_high".

OutputAudioConfig

Representasi JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Kolom
audioEncoding

enum (AudioEncoding)

Wajib. Encoding data audio output.
sampleRateHertz

integer

Wajib. Frekuensi sampel (dalam Hertz) data audio output.

Anotasi Alat

Petunjuk Destruktif: ❌ | Petunjuk Idempoten: ✅ | Petunjuk Hanya Baca: ✅ | Petunjuk Dunia Terbuka: ❌