MCP Tools Reference: ces.googleapis.com

Alat: get_evaluation

Mendapatkan detail evaluasi yang ditentukan.

Contoh kode berikut menunjukkan cara menggunakan curl untuk memanggil alat MCP get_evaluation.

Permintaan Curl 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "get_evaluation",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Skema Input

Pesan permintaan untuk EvaluationService.GetEvaluation.

GetEvaluationRequest

Representasi JSON 
{
  "name": string
}
Kolom
name

string

Wajib. Nama resource evaluasi yang akan diambil.

Skema Output

Evaluasi merepresentasikan semua informasi yang diperlukan untuk menyimulasikan dan mengevaluasi agen.

Evaluasi

Representasi JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
Kolom
name

string

ID. ID unik evaluasi ini. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

Wajib. Nama tampilan evaluasi yang ditentukan pengguna. Unik dalam Aplikasi.
description

string

Opsional. Deskripsi evaluasi yang ditentukan pengguna.
tags[]

string

Opsional. Tag yang ditentukan pengguna untuk mengategorikan evaluasi.
evaluationDatasets[]

string

Hanya output. Daftar set data evaluasi yang termasuk dalam evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

Hanya output. Stempel waktu saat evaluasi dibuat.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
createdBy

string

Hanya output. Pengguna yang membuat evaluasi.
updateTime

string (Timestamp format)

Hanya output. Stempel waktu saat evaluasi terakhir diperbarui.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
lastUpdatedBy

string

Hanya output. Pengguna yang terakhir memperbarui evaluasi.
evaluationRuns[]

string

Hanya output. EvaluationRun yang terkait dengan Evaluasi ini.
etag

string

Hanya output. ETag yang digunakan untuk memastikan objek tidak berubah selama operasi baca-ubah-tulis. Jika etag kosong, pembaruan akan menimpa perubahan serentak.
aggregatedMetrics

object (AggregatedMetrics)

Hanya output. Metrik gabungan untuk evaluasi ini di semua proses.
lastCompletedResult

object (EvaluationResult)

Hanya output. Hasil evaluasi terbaru untuk evaluasi ini.
invalid

boolean

Hanya output. Apakah evaluasi tidak valid. Hal ini dapat terjadi jika evaluasi mereferensikan alat, toolset, atau agen yang telah dihapus.
lastTenResults[]

object (EvaluationResult)

Hanya output. 10 hasil evaluasi terakhir untuk evaluasi ini. Ini hanya diisi jika include_last_ten_results disetel ke benar (true) di ListEvaluationsRequest atau GetEvaluationRequest.
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

Opsional. Mengganti nilai minimum metrik untuk evaluasi tertentu ini.
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

Opsional. Mengganti konfigurasi metrik untuk evaluasi spesifik ini.
Kolom union inputs. Input untuk evaluasi inputs hanya dapat berupa salah satu dari berikut:
golden

object (Golden)

Opsional. Langkah-langkah ideal yang akan dievaluasi.
scenario

object (Scenario)

Opsional. Konfigurasi untuk skenario.

Golden

Representasi JSON 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
Kolom
turns[]

object (GoldenTurn)

Wajib. Jumlah putaran emas yang diperlukan untuk memutar ulang percakapan emas. Jumlah maksimum giliran yang diizinkan adalah 100.
evaluationExpectations[]

string

Opsional. Ekspektasi evaluasi untuk mengevaluasi percakapan yang diputar ulang. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

Representasi JSON 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior)
}
Kolom
steps[]

object (Step)

Wajib. Langkah-langkah yang diperlukan untuk memutar ulang percakapan emas.
rootSpan

object (Span)

Opsional. Rentang root dari giliran emas untuk memproses dan mempertahankan informasi audio. URI untuk audio harus berisi audio yang disimpan dalam frekuensi sampel 16 Khz.
turnLevelMetricsThresholdsOverride

object (TurnLevelMetricsThresholds)

Opsional. Penggantian untuk nilai minimum metrik tingkat giliran bicara.
hallucinationMetricBehaviorOverride

enum (HallucinationMetricBehavior)

Opsional. Penggantian untuk perilaku metrik halusinasi tingkat giliran bicara.

Langkah

Representasi JSON 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
Kolom
Kolom union step. Langkah yang akan dilakukan. step hanya ada berupa salah satu diantara berikut:
userInput

object (SessionInput)

Opsional. Input pengguna untuk percakapan.
agentTransfer

object (AgentTransfer)

Opsional. Mentransfer percakapan ke agen lain.
expectation

object (GoldenExpectation)

Opsional. Mengeksekusi ekspektasi pada giliran saat ini.

SessionInput

Representasi JSON 
{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
Kolom
willContinue

boolean

Opsional. Flag untuk menunjukkan apakah pesan saat ini adalah fragmen input yang lebih besar dalam sesi streaming bidi.

Jika disetel ke true, agen akan menunda pemrosesan hingga menerima pesan berikutnya dengan will_continue adalah false, atau hingga sistem mendeteksi titik akhir dalam input audio.

CATATAN: Kolom ini tidak berlaku untuk input audio dan DTMF, karena keduanya selalu diproses secara otomatis berdasarkan sinyal pengakhiran.
Kolom union input_type. Jenis input. input_type hanya ada berupa salah satu diantara berikut:
text

string

Opsional. Data teks dari pengguna akhir.
dtmf

string

Opsional. Digit DTMF dari pengguna akhir.
audio

string (bytes format)

Opsional. Data audio dari pengguna akhir.

String berenkode base64.
toolResponses

object (ToolResponses)

Opsional. Hasil eksekusi untuk panggilan alat dari klien.
image

object (Image)

Opsional. Data gambar dari pengguna akhir.
blob

object (Blob)

Opsional. Data blob dari pengguna akhir.
variables

object (Struct format)

Opsional. Variabel kontekstual untuk sesi, yang dikelompokkan berdasarkan nama. Hanya variabel yang dideklarasikan di aplikasi yang akan digunakan oleh agen CES.

Variabel yang tidak dikenali akan tetap dikirim ke [agen Dialogflow][Agent.RemoteDialogflowAgent] sebagai parameter sesi tambahan.
event

object (Event)

Opsional. Input acara.

ToolResponses

Representasi JSON 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
Kolom
toolResponses[]

object (ToolResponse)

Opsional. Daftar hasil eksekusi alat.

ToolResponse

Representasi JSON 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Kolom
id

string

Opsional. ID yang cocok dari tool call yang menjadi tujuan respons.
displayName

string

Hanya output. Nama tampilan alat.
response

object (Struct format)

Wajib. Hasil eksekusi alat dalam format objek JSON. Gunakan kunci "output" untuk menentukan respons alat dan kunci "error" untuk menentukan detail error (jika ada). Jika kunci "output" dan "error" tidak ditentukan, seluruh "respons" akan diperlakukan sebagai hasil eksekusi alat.
parentToolCallId

string

Hanya output. ID panggilan alat yang menyebabkan panggilan ini, saat dikeluarkan oleh sub-agen yang bekerja atas nama panggilan induk. Kosong untuk panggilan tingkat teratas. Memungkinkan klien mengelompokkan pekerjaan sub-agen dalam panggilan yang memulainya, bukan merender setiap langkah sebagai saudara.
agentName

string

Hanya output. Nama agen yang dapat dibaca manusia yang mengeluarkan panggilan ini, misalnya "Arsitek Kontrak". Kosong saat dikeluarkan oleh agen root.
Kolom union tool_identifier. ID alat yang dieksekusi. Alat ini bisa berupa alat yang tetap ada atau alat dari set alat. tool_identifier hanya ada berupa salah satu diantara berikut:
tool

string

Opsional. Nama alat yang akan dieksekusi. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Opsional. Alat toolset yang dieksekusi.

ToolsetTool

Representasi JSON 
{
  "toolset": string,
  "toolId": string
}
Kolom
toolset

string

Wajib. Nama resource Toolset dari mana alat ini berasal. Format: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Opsional. ID alat untuk memfilter alat yang akan diambil skemanya.

Struct

Representasi JSON 
{
  "fields": {
    string: value,
    ...
  }
}
Kolom
fields

map (key: string, value: value (Value format))

Peta tidak berurutan dari nilai yang diketik secara dinamis.

Objek yang berisi daftar pasangan "key": value. Contoh: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Representasi JSON 
{
  "key": string,
  "value": value
}
Kolom
key

string
value

value (Value format)

Nilai

Representasi JSON 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Kolom
Kolom union kind. Jenis nilai. kind hanya ada berupa salah satu diantara berikut:
nullValue

null

Mewakili JSON null.
numberValue

number

Mewakili angka JSON. Tidak boleh NaN, Infinity, atau -Infinity, karena tidak didukung dalam JSON. Hal ini juga tidak dapat merepresentasikan nilai Int64 besar, karena format JSON umumnya tidak mendukungnya dalam jenis angka.
stringValue

string

Mewakili string JSON.
boolValue

boolean

Mewakili boolean JSON (literal true atau false dalam JSON).
structValue

object (Struct format)

Mewakili objek JSON.
listValue

array (ListValue format)

Mewakili array JSON.

ListValue

Representasi JSON 
{
  "values": [
    value
  ]
}
Kolom
values[]

value (Value format)

Kolom berulang dari nilai yang diketik secara dinamis.

Gambar

Representasi JSON 
{
  "mimeType": string,
  "data": string
}
Kolom
mimeType

string

Wajib. Jenis MIME standar IANA dari data sumber. Jenis gambar yang didukung meliputi: * image/png * image/jpeg * image/webp
data

string (bytes format)

Wajib. Byte mentah gambar.

String berenkode base64.

Blob

Representasi JSON 
{
  "mimeType": string,
  "data": string
}
Kolom
mimeType

string

Wajib. Jenis MIME standar IANA dari data sumber.
data

string (bytes format)

Wajib. Byte mentah blob.

String berenkode base64.

Acara

Representasi JSON 
{
  "event": string
}
Kolom
event

string

Wajib. Nama acara.

AgentTransfer

Representasi JSON 
{
  "targetAgent": string,
  "displayName": string
}
Kolom
targetAgent

string

Wajib. Agen yang menjadi tujuan pengalihan percakapan. Agen akan menangani percakapan mulai saat ini. Format: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

Hanya output. Nama tampilan agen.

GoldenExpectation

Representasi JSON 
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}
Kolom
note

string

Opsional. Catatan untuk persyaratan ini, berguna dalam pelaporan saat pemeriksaan tertentu gagal. Misalnya, "Check_Payment_Tool_Called".
skipEvaluation

boolean

Opsional. Jika disetel ke benar (true), ekspektasi khusus ini tidak akan dievaluasi.
expectationLevelMetricsThresholdsOverride

object (ExpectationLevelMetricsThresholds)

Opsional. Mengganti metrik di tingkat langkah.
agentResponseSemanticSimilarityMetricsConfigOverride

object (SemanticSimilarityMetricsConfig)

Opsional. Penggantian untuk metrik kesamaan semantik agent_response.
agentResponseHallucinationMetricsConfigOverride

object (HallucinationMetricsConfig)

Opsional. Penggantian untuk metrik halusinasi agent_response.
comparisonType

enum (ComparisonType)

Opsional. Jenis perbandingan yang akan digunakan untuk pemeriksaan ekspektasi.
Kolom union condition. Pemeriksaan sebenarnya yang akan dilakukan. condition hanya ada berupa salah satu diantara berikut:
toolCall

object (ToolCall)

Opsional. Periksa apakah alat tertentu dipanggil dengan parameter.
toolResponse

object (ToolResponse)

Opsional. Periksa apakah alat tertentu memberikan respons yang diharapkan.
agentResponse

object (Message)

Opsional. Periksa apakah agen merespons dengan respons yang benar. Peran "agen" tersirat.
agentTransfer

object (AgentTransfer)

Opsional. Periksa apakah agen mengalihkan percakapan ke agen lain.
updatedVariables

object (Struct format)

Opsional. Pastikan agen memperbarui variabel sesi ke nilai yang diharapkan. Juga digunakan untuk merekam pembaruan variabel agen untuk evaluasi emas.
mockToolResponse

object (ToolResponse)

Opsional. Respons alat untuk meniru, dengan parameter yang diinginkan ditentukan. Parameter yang tidak ditentukan akan dihalusinasi oleh LLM.
noToolCalls

boolean

Opsional. Periksa apakah tidak ada alat yang dipanggil selama giliran ini.

ToolCall

Representasi JSON 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Kolom
id

string

Opsional. ID unik panggilan alat. Jika diisi, klien harus menampilkan hasil eksekusi dengan ID yang cocok di ToolResponse.
displayName

string

Hanya output. Nama tampilan alat.
args

object (Struct format)

Opsional. Parameter dan nilai input untuk alat dalam format objek JSON.
parentToolCallId

string

Hanya output. ID panggilan alat yang menyebabkan panggilan ini, saat dikeluarkan oleh sub-agen yang bekerja atas nama panggilan induk. Kosong untuk panggilan tingkat teratas. Memungkinkan klien mengelompokkan pekerjaan sub-agen dalam panggilan yang memulainya, bukan merender setiap langkah sebagai saudara.
agentName

string

Hanya output. Nama agen yang dapat dibaca manusia yang mengeluarkan panggilan ini, misalnya "Arsitek Kontrak". Kosong saat dikeluarkan oleh agen root.
Kolom union tool_identifier. ID alat yang akan dieksekusi. Alat ini bisa berupa alat yang tetap ada atau alat dari set alat. tool_identifier hanya ada berupa salah satu diantara berikut:
tool

string

Opsional. Nama alat yang akan dieksekusi. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Opsional. Alat toolset yang akan dieksekusi.

Pesan

Representasi JSON 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
Kolom
role

string

Opsional. Peran dalam percakapan, misalnya, pengguna, agen.
chunks[]

object (Chunk)

Opsional. Konten pesan sebagai serangkaian bagian.
eventTime

string (Timestamp format)

Opsional. Stempel waktu saat pesan dikirim atau diterima. Tidak boleh digunakan jika pesan adalah bagian dari example.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".

Chunk

Representasi JSON 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
Kolom
Kolom union data. Data potongan. data hanya ada berupa salah satu diantara berikut:
text

string

Opsional. Data teks.
transcript

string

Opsional. Transkrip yang terkait dengan audio.
blob

object (Blob)

Opsional. Data blob.
payload

object (Struct format)

Opsional. Data payload kustom.
image

object (Image)

Opsional. Data gambar.
toolCall

object (ToolCall)

Opsional. Permintaan eksekusi alat.
toolResponse

object (ToolResponse)

Opsional. Respons eksekusi alat.
agentTransfer

object (AgentTransfer)

Opsional. Peristiwa transfer agen.
updatedVariables

object (Struct format)

Struct merepresentasikan variabel yang diperbarui dalam percakapan, yang dikelompokkan berdasarkan nama variabel.
defaultVariables

object (Struct format)

Struct merepresentasikan variabel default di awal percakapan, yang dikelompokkan berdasarkan nama variabel.

Stempel waktu

Representasi JSON 
{
  "seconds": string,
  "nanos": integer
}
Kolom
seconds

string (int64 format)

Mewakili detik waktu UTC sejak epoch Unix 1970-01-01T00:00:00Z. Harus antara -62135596800 dan 253402300799 inklusif (yang sesuai dengan 0001-01-01T00:00:00Z hingga 9999-12-31T23:59:59Z).
nanos

integer

Pecahan detik non-negatif pada resolusi nanodetik. Kolom ini adalah bagian nanodetik dari durasi, bukan alternatif untuk detik. Nilai detik negatif dengan pecahan harus tetap memiliki nilai nanos non-negatif yang dihitung maju dalam waktu. Harus antara 0 dan 999.999.999 inklusif.

ExpectationLevelMetricsThresholds

Representasi JSON 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
Kolom

Kolom union _tool_invocation_parameter_correctness_threshold.

_tool_invocation_parameter_correctness_threshold hanya dapat berupa salah satu dari hal berikut:
toolInvocationParameterCorrectnessThreshold

number

Opsional. Ambang batas keberhasilan untuk kebenaran parameter pemanggilan alat individual. Harus berupa float antara 0 dan 1. Defaultnya adalah 1.0.

SemanticSimilarityMetricsConfig

Representasi JSON 
{
  "enableSemanticSimilarityMetrics": boolean
}
Kolom
enableSemanticSimilarityMetrics

boolean

Opsional. Apakah akan menghitung metrik kemiripan semantik untuk evaluasi.

HallucinationMetricsConfig

Representasi JSON 
{
  "enableHallucinationMetrics": boolean
}
Kolom
enableHallucinationMetrics

boolean

Opsional. Apakah akan menghitung metrik halusinasi untuk evaluasi.

Span

Representasi JSON 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
Kolom
name

string

Hanya output. Nama rentang.
startTime

string (Timestamp format)

Hanya output. Waktu mulai rentang.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Hanya output. Waktu akhir rentang.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
duration

string (Duration format)

Hanya output. Durasi rentang.

Durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s".
attributes

object (Struct format)

Hanya output. Atribut nilai kunci yang terkait dengan rentang.
childSpans[]

object (Span)

Hanya output. Span turunan yang bertingkat di bawah span ini.

Durasi

Representasi JSON 
{
  "seconds": string,
  "nanos": integer
}
Kolom
seconds

string (int64 format)

Detik yang ditandatangani dari rentang waktu. Harus dari -315.576.000.000 hingga +315.576.000.000 inklusif. Catatan: batas ini dihitung dari: 60 dtk/mnt * 60 mnt/j * 24 j/hr * 365,25 hr/thn * 10.000 thn
nanos

integer

Pecahan detik bertanda pada resolusi nanodetik rentang waktu. Durasi kurang dari satu detik ditampilkan dengan kolom seconds 0 dan kolom nanos positif atau negatif. Untuk durasi satu detik atau lebih, nilai non-nol untuk kolom nanos harus memiliki tanda yang sama dengan kolom seconds. Harus dari -999.999.999 hingga +999.999.999 inklusif.

TurnLevelMetricsThresholds

Representasi JSON 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
Kolom
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

Opsional. Saluran kemiripan semantik yang akan digunakan untuk evaluasi.

Kolom union _semantic_similarity_success_threshold.

_semantic_similarity_success_threshold hanya dapat berupa salah satu dari hal berikut:
semanticSimilaritySuccessThreshold

integer

Opsional. Ambang batas keberhasilan untuk kemiripan semantik. Harus berupa bilangan bulat antara 0 dan 4. Defaultnya adalah >= 3.

Kolom union _overall_tool_invocation_correctness_threshold.

_overall_tool_invocation_correctness_threshold hanya dapat berupa salah satu dari hal berikut:
overallToolInvocationCorrectnessThreshold

number

Opsional. Ambang batas keberhasilan untuk kebenaran pemanggilan alat secara keseluruhan. Harus berupa float antara 0 dan 1. Defaultnya adalah 1.0.

Skenario

Representasi JSON 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (ScenarioExecutionMode)
}
Kolom
task

string

Wajib. Tugas yang akan ditargetkan oleh skenario.
userFacts[]

object (UserFact)

Opsional. Fakta pengguna yang akan digunakan oleh skenario.
maxTurns

integer

Opsional. Jumlah maksimum giliran yang akan disimulasikan. Nilai maksimum yang diizinkan adalah 100. Nilai defaultnya adalah 100.
rubrics[]

string

Wajib. Rubrik untuk menilai skenario.
scenarioExpectations[]

object (ScenarioExpectation)

Wajib. ScenarioExpectations untuk mengevaluasi percakapan yang dihasilkan oleh simulasi pengguna.
variableOverrides

object (Struct format)

Opsional. Variabel / Parameter Sesi sebagai konteks untuk sesi, yang dikelompokkan berdasarkan nama variabel. Anggota struct ini akan menggantikan nilai default yang ditetapkan oleh sistem.

Perhatikan bahwa ini berbeda dengan fakta pengguna, yang merupakan fakta yang diketahui pengguna. Variabel adalah parameter yang diketahui oleh agen: yaitu MDN (nomor telepon) yang diteruskan oleh sistem telepon.
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

Opsional. Tidak digunakan lagi. Gunakan user_goal_behavior sebagai gantinya.
userGoalBehavior

enum (UserGoalBehavior)

Opsional. Perilaku yang diharapkan dari sasaran pengguna.
evaluationExpectations[]

string

Opsional. Ekspektasi evaluasi untuk mengevaluasi percakapan yang dihasilkan oleh simulasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode

enum (ScenarioExecutionMode)

Opsional. Mode eksekusi untuk evaluasi skenario.

UserFact

Representasi JSON 
{
  "name": string,
  "value": string
}
Kolom
name

string

Wajib. Nama fakta pengguna.
value

string

Wajib. Nilai fakta pengguna.

ScenarioExpectation

Representasi JSON 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
Kolom
Kolom union expectation. Ekspektasi untuk mengevaluasi percakapan yang dihasilkan oleh simulasi. expectation hanya ada berupa salah satu diantara berikut:
toolExpectation

object (ToolExpectation)

Opsional. Pasangan panggilan dan respons alat yang akan dievaluasi.
agentResponse

object (Message)

Opsional. Respons agen yang akan dievaluasi.

ToolExpectation

Representasi JSON 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
Kolom
expectedToolCall

object (ToolCall)

Wajib. Panggilan alat yang diharapkan, dengan parameter yang diinginkan ditentukan. Parameter yang tidak ditentukan akan dihalusinasi oleh LLM.
mockToolResponse

object (ToolResponse)

Wajib. Respons alat untuk meniru, dengan parameter yang diinginkan ditentukan. Parameter yang tidak ditentukan akan dihalusinasi oleh LLM.

AggregatedMetrics

Representasi JSON 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
Kolom
metricsByAppVersion[]

object (MetricsByAppVersion)

Hanya output. Metrik gabungan, dikelompokkan menurut ID versi aplikasi.

MetricsByAppVersion

Representasi JSON 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
Kolom
appVersionId

string

Hanya output. ID versi aplikasi.
toolMetrics[]

object (ToolMetrics)

Hanya output. Metrik untuk setiap alat dalam versi aplikasi ini.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Hanya output. Metrik untuk kesamaan semantik dalam versi aplikasi ini.
hallucinationMetrics[]

object (HallucinationMetrics)

Hanya output. Metrik untuk halusinasi dalam versi aplikasi ini.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Hanya output. Metrik untuk latensi panggilan alat dalam versi aplikasi ini.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Hanya output. Metrik untuk latensi belokan dalam versi aplikasi ini.
passCount

integer

Hanya output. Jumlah evaluasi yang lulus.
failCount

integer

Hanya output. Jumlah kegagalan evaluasi.
metricsByTurn[]

object (MetricsByTurn)

Hanya output. Metrik yang diagregasi per giliran dalam versi aplikasi ini.

ToolMetrics

Representasi JSON 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
Kolom
tool

string

Hanya output. Nama alat.
passCount

integer

Hanya output. Jumlah keberhasilan alat.
failCount

integer

Hanya output. Frekuensi alat gagal.

SemanticSimilarityMetrics

Representasi JSON 
{
  "score": number
}
Kolom
score

number

Hanya output. Skor kesamaan semantik rata-rata (0-4).

HallucinationMetrics

Representasi JSON 
{
  "score": number
}
Kolom
score

number

Hanya output. Skor halusinasi rata-rata (0 hingga 1).

ToolCallLatencyMetrics

Representasi JSON 
{
  "tool": string,
  "averageLatency": string
}
Kolom
tool

string

Hanya output. Nama alat.
averageLatency

string (Duration format)

Hanya output. Latensi rata-rata panggilan alat.

Durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s".

TurnLatencyMetrics

Representasi JSON 
{
  "averageLatency": string
}
Kolom
averageLatency

string (Duration format)

Hanya output. Latensi rata-rata giliran.

Durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s".

MetricsByTurn

Representasi JSON 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
Kolom
turnIndex

integer

Hanya output. Indeks giliran (berbasis 0).
toolMetrics[]

object (ToolMetrics)

Hanya output. Metrik untuk setiap alat dalam giliran ini.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Hanya output. Metrik untuk kesamaan semantik dalam giliran ini.
hallucinationMetrics[]

object (HallucinationMetrics)

Hanya output. Metrik untuk halusinasi dalam giliran ini.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Hanya output. Metrik untuk latensi panggilan alat dalam giliran ini.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Hanya output. Metrik untuk latensi giliran dalam giliran ini.

EvaluationResult

Representasi JSON 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
Kolom
name

string

ID. ID unik hasil evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

Wajib. Nama tampilan Hasil Evaluasi. Unik dalam Evaluasi. Secara default, formatnya adalah: " hasil - ".
createTime

string (Timestamp format)

Hanya output. Stempel waktu saat hasil evaluasi dibuat.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
evaluationStatus

enum (Outcome)

Hanya output. Hasil evaluasi. Hanya diisi jika execution_state adalah COMPLETE.
evaluationRun

string

Hanya output. Jalannya evaluasi yang menghasilkan hasil ini. Format: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

Hanya output. Persona yang digunakan untuk membuat percakapan untuk hasil evaluasi.
errorInfo

object (EvaluationErrorInfo)

Hanya output. Informasi error untuk hasil evaluasi.
error
(deprecated)

object (Status)

Hanya output. Tidak digunakan lagi: Gunakan error_info sebagai gantinya. Terjadi error selama eksekusi.
initiatedBy

string

Hanya output. Pengguna yang memulai proses evaluasi yang menghasilkan hasil ini.
appVersion

string

Hanya output. Versi aplikasi yang digunakan untuk membuat percakapan yang menghasilkan hasil ini. Format: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Hanya output. Nama tampilan app_version yang digunakan untuk menjalankan evaluasi.
changelog

string

Hanya output. Log perubahan versi aplikasi yang digunakan untuk menjalankan evaluasi. Kolom ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf.
changelogCreateTime

string (Timestamp format)

Hanya output. Waktu pembuatan log perubahan versi aplikasi yang digunakan untuk menjalankan evaluasi. Kolom ini diisi jika pengguna menjalankan evaluasi pada versi terbaru/draf.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
executionState

enum (ExecutionState)

Hanya output. Status eksekusi hasil evaluasi.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Hanya output. Nilai minimum evaluasi untuk hasil.
config

object (EvaluationConfig)

Hanya output. Konfigurasi yang digunakan dalam proses evaluasi yang menghasilkan hasil ini.
goldenRunMethod

enum (GoldenRunMethod)

Hanya output. Metode yang digunakan untuk menjalankan evaluasi standar.
rootSpan

object (Span)

Hanya output. Rentang root eksekusi evaluasi, yang mencakup informasi tentang setiap langkah evaluasi.
outcomeMetadata

enum (OutcomeMetadata)

Hanya output. Metadata hasil evaluasi. Hanya diisi jika execution_state adalah COMPLETE.
Kolom union result. Hasil evaluasi. Hanya diisi jika execution_state adalah COMPLETED. result hanya ada berupa salah satu diantara berikut:
goldenResult

object (GoldenResult)

Hanya output. Hasil evaluasi golden.
scenarioResult

object (ScenarioResult)

Hanya output. Hasil evaluasi skenario.

GoldenResult

Representasi JSON 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
Kolom
turnReplayResults[]

object (TurnReplayResult)

Hanya output. Hasil menjalankan setiap giliran percakapan emas.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Hanya output. Hasil ekspektasi evaluasi.

TurnReplayResult

Representasi JSON 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
Kolom
conversation

string

Hanya output. Percakapan yang dibuat untuk giliran ini.
expectationOutcome[]

object (GoldenExpectationOutcome)

Hanya output. Hasil setiap ekspektasi.
hallucinationResult

object (HallucinationResult)

Hanya output. Hasil pemeriksaan halusinasi.
toolInvocationScore
(deprecated)

number

Hanya output. Tidak digunakan lagi. Sebagai gantinya, gunakan OverallToolInvocationResult.
turnLatency

string (Duration format)

Hanya output. Durasi giliran.

Durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s".
toolCallLatencies[]

object (ToolCallLatency)

Hanya output. Latensi setiap panggilan alat dalam giliran.
semanticSimilarityResult

object (SemanticSimilarityResult)

Hanya output. Hasil pemeriksaan kemiripan semantik.
overallToolInvocationResult

object (OverallToolInvocationResult)

Hanya output. Hasil pemeriksaan pemanggilan alat secara keseluruhan.
errorInfo

object (EvaluationErrorInfo)

Hanya output. Informasi tentang error yang terjadi selama giliran ini.
spanLatencies[]

object (SpanLatency)

Hanya output. Latensi rentang dalam giliran.

Kolom union _tool_ordered_invocation_score.

_tool_ordered_invocation_score hanya dapat berupa salah satu dari hal berikut:
toolOrderedInvocationScore

number

Hanya output. Skor pemanggilan alat keseluruhan yang diurutkan untuk giliran ini. Ini menunjukkan persentase keseluruhan alat dari belokan yang diharapkan yang benar-benar dipanggil dalam urutan yang diharapkan.

GoldenExpectationOutcome

Representasi JSON 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}
Kolom
expectation

object (GoldenExpectation)

Hanya output. Ekspektasi yang dievaluasi.
outcome

enum (Outcome)

Hanya output. Hasil dari ekspektasi.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

Hanya output. Hasil pemeriksaan kemiripan semantik.
toolInvocationResult

object (ToolInvocationResult)

Hanya output. Hasil pemeriksaan pemanggilan alat.
Kolom union result. Hasil ekspektasi. result hanya ada berupa salah satu diantara berikut:
observedToolCall

object (ToolCall)

Hanya output. Hasil ekspektasi panggilan alat.
observedToolResponse

object (ToolResponse)

Hanya output. Hasil ekspektasi respons alat.
observedAgentResponse

object (Message)

Hanya output. Hasil ekspektasi respons agen.
observedAgentTransfer

object (AgentTransfer)

Hanya output. Hasil ekspektasi transfer agen.
observedPayload

object (Struct format)

Hanya output. Payload kustom yang diamati. Tidak ada ekspektasi untuk payload kustom. Kolom ini hanya digunakan untuk penghitungan metrik. Hasilnya selalu DILEWATI.

SemanticSimilarityResult

Representasi JSON 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Kolom
label

string

Hanya output. Label yang terkait dengan setiap skor. Skor 4: Sepenuhnya Konsisten Skor 3: Sebagian Besar Konsisten Skor 2: Sebagian Konsisten (Kekurangan Kecil) Skor 1: Sebagian Besar Tidak Konsisten (Kekurangan Besar) Skor 0: Sepenuhnya Tidak Konsisten / Bertentangan
explanation

string

Hanya output. Penjelasan untuk skor kemiripan semantik.
outcome

enum (Outcome)

Hanya output. Hasil pemeriksaan kemiripan semantik. Hal ini ditentukan dengan membandingkan skor dengan semantic_similarity_success_threshold. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan GAGAL.

Kolom union _score.

_score hanya dapat berupa salah satu dari hal berikut:
score

integer

Hanya output. Skor kemiripan semantik. Dapat berupa 0, 1, 2, 3, atau 4.

ToolInvocationResult

Representasi JSON 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
Kolom
outcome

enum (Outcome)

Hanya output. Hasil pemeriksaan pemanggilan alat. Hal ini ditentukan dengan membandingkan parameter_correctness_score dengan nilai minimum. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan GAGAL.
explanation

string

Hanya output. Penjelasan teks bebas untuk hasil pemanggilan alat.

Kolom union _parameter_correctness_score.

_parameter_correctness_score hanya dapat berupa salah satu dari hal berikut:
parameterCorrectnessScore

number

Hanya output. Skor kebenaran parameter pemanggilan alat. Ini menunjukkan persentase parameter dari panggilan alat yang diharapkan yang juga ada dalam panggilan alat sebenarnya.

HallucinationResult

Representasi JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Kolom
label

string

Hanya output. Label yang terkait dengan setiap skor. Skor 1: Dibenarkan Skor 0: Tidak Dibenarkan Skor -1: Tidak Ada Klaim untuk Dinilai
explanation

string

Hanya output. Penjelasan untuk skor halusinasi.

Kolom union _score.

_score hanya dapat berupa salah satu dari hal berikut:
score

integer

Hanya output. Skor halusinasi. Dapat berupa -1, 0, 1.

ToolCallLatency

Representasi JSON 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Kolom
tool

string

Hanya output. Nama alat yang dieksekusi. Format: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName

string

Hanya output. Nama tampilan alat.
startTime

string (Timestamp format)

Hanya output. Waktu mulai eksekusi panggilan alat.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Hanya output. Waktu berakhir eksekusi panggilan alat.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Hanya output. Latensi eksekusi panggilan alat.

Durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s".

OverallToolInvocationResult

Representasi JSON 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
Kolom
outcome

enum (Outcome)

Hanya output. Hasil pemeriksaan pemanggilan alat. Hal ini ditentukan dengan membandingkan tool_invocation_score dengan overall_tool_invocation_correctness_threshold. Jika skor sama dengan atau di atas nilai minimum, hasilnya adalah LULUS. Jika tidak, hasilnya akan GAGAL.

Kolom union _tool_invocation_score.

_tool_invocation_score hanya dapat berupa salah satu dari hal berikut:
toolInvocationScore

number

Skor pemanggilan alat keseluruhan untuk giliran ini. Ini menunjukkan persentase keseluruhan alat dari belokan yang diharapkan yang benar-benar dipanggil.

EvaluationErrorInfo

Representasi JSON 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string,
  "userFacingErrorMessage": string
}
Kolom
errorType

enum (ErrorType)

Hanya output. Jenis error.
errorMessage

string

Hanya output. Pesan error.
sessionId

string

Hanya output. ID sesi untuk percakapan yang menyebabkan error.
userFacingErrorMessage

string

Hanya output. Pesan error yang ditampilkan kepada pengguna.

SpanLatency

Representasi JSON 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
Kolom
type

enum (Type)

Hanya output. Jenis rentang.
displayName

string

Hanya output. Nama tampilan rentang. Berlaku untuk rentang alat dan pedoman.
startTime

string (Timestamp format)

Hanya output. Waktu mulai rentang.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Hanya output. Waktu berakhir rentang.

Menggunakan RFC 3339 yang outputnya akan selalu dinormalisasi Z dan menggunakan 0, 3, 6, atau 9 digit pecahan. Offset selain "Z" juga diterima. Contoh: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z", atau "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Hanya output. Latensi rentang.

Durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s".
Kolom union identifier. ID item tertentu berdasarkan jenisnya. identifier hanya ada berupa salah satu diantara berikut:
resource

string

Hanya output. Nama resource rentang alat atau pembatasan.
toolset

object (ToolsetTool)

Hanya output. ID alat toolset.
model

string

Hanya output. Nama rentang LLM.
callback

string

Hanya output. Nama rentang callback pengguna.

EvaluationExpectationResult

Representasi JSON 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
Kolom
evaluationExpectation

string

Hanya output. Ekspektasi evaluasi. Format: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

Hanya output. Perintah yang digunakan untuk evaluasi.
outcome

enum (Outcome)

Hanya output. Hasil ekspektasi evaluasi.
explanation

string

Hanya output. Penjelasan untuk hasil.

ScenarioResult

Representasi JSON 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
Kolom
conversation

string

Hanya output. Percakapan yang dihasilkan dalam skenario.
task

string

Hanya output. Tugas yang digunakan saat menjalankan skenario untuk hasil ini.
userFacts[]

object (UserFact)

Hanya output. Fakta pengguna yang digunakan oleh skenario untuk hasil ini.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

Hanya output. Hasil setiap ekspektasi.
rubricOutcomes[]

object (ScenarioRubricOutcome)

Hanya output. Hasil rubrik.
hallucinationResult[]

object (HallucinationResult)

Hanya output. Hasil pemeriksaan halusinasi. Akan ada satu hasil halusinasi untuk setiap giliran dalam percakapan.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

Hanya output. Hasil pemeriksaan penyelesaian tugas.
toolCallLatencies[]

object (ToolCallLatency)

Hanya output. Latensi setiap eksekusi panggilan alat dalam percakapan.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

Hanya output. Hasil pemeriksaan kepuasan target pengguna.
spanLatencies[]

object (SpanLatency)

Hanya output. Latensi rentang dalam percakapan.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Hanya output. Hasil ekspektasi evaluasi.

Kolom union _all_expectations_satisfied.

_all_expectations_satisfied hanya dapat berupa salah satu dari hal berikut:
allExpectationsSatisfied

boolean

Hanya output. Apakah semua ekspektasi terpenuhi untuk giliran ini.

Kolom union _task_completed.

_task_completed hanya dapat berupa salah satu dari hal berikut:
taskCompleted

boolean

Hanya output. Apakah tugas telah diselesaikan untuk giliran ini. Ini adalah gabungan dari semua ekspektasi yang terpenuhi, tidak ada halusinasi, dan kepuasan tujuan pengguna.

ScenarioExpectationOutcome

Representasi JSON 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
Kolom
expectation

object (ScenarioExpectation)

Hanya output. Ekspektasi yang dievaluasi.
outcome

enum (Outcome)

Hanya output. Hasil ScenarioExpectation.
Kolom union result. Hasil ekspektasi. result hanya ada berupa salah satu diantara berikut:
observedToolCall

object (ObservedToolCall)

Hanya output. Panggilan alat yang diamati.
observedAgentResponse

object (Message)

Hanya output. Respons agen yang diamati.

ObservedToolCall

Representasi JSON 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Kolom
toolCall

object (ToolCall)

Hanya output. Panggilan alat yang diamati.
toolResponse

object (ToolResponse)

Hanya output. Respons alat yang diamati.

ScenarioRubricOutcome

Representasi JSON 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
Kolom
rubric

string

Hanya output. Rubrik yang digunakan untuk mengevaluasi percakapan.
scoreExplanation

string

Hanya output. Respons pemberi rating terhadap rubrik.

Kolom union _score.

_score hanya dapat berupa salah satu dari hal berikut:
score

number

Hanya output. Skor percakapan berdasarkan rubrik.

TaskCompletionResult

Representasi JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Kolom
label

string

Hanya output. Label yang terkait dengan setiap skor. Skor 1: Tugas Selesai Skor 0: Tugas Belum Selesai Skor -1: Sasaran Pengguna Tidak Ditentukan
explanation

string

Hanya output. Penjelasan untuk skor penyelesaian tugas.

Kolom union _score.

_score hanya dapat berupa salah satu dari hal berikut:
score

integer

Hanya output. Skor penyelesaian tugas. Dapat berupa -1, 0, 1

UserGoalSatisfactionResult

Representasi JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Kolom
label

string

Hanya output. Label yang terkait dengan setiap skor. Skor 2: Skor Pengalihan yang Lancar 1: Tugas Pengguna Selesai 0: Tugas Pengguna Tidak Selesai Skor -1: Tugas Pengguna Tidak Ditentukan
explanation

string

Hanya output. Penjelasan untuk skor kepuasan tugas pengguna.

Kolom union _score.

_score hanya dapat berupa salah satu dari hal berikut:
score

integer

Hanya output. Skor kepuasan tugas pengguna. Dapat berupa -1, 0, 1, 2.

EvaluationPersona

Representasi JSON 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
Kolom
name

string

Wajib. ID unik persona. Format: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

Opsional. Deskripsi persona.
displayName

string

Wajib. Nama tampilan persona. Unik dalam aplikasi.
personality

string

Wajib. Petunjuk bagi agen tentang cara berperilaku dalam evaluasi.
speechConfig

object (SpeechConfig)

Opsional. Konfigurasi cara persona berbicara (setelan TTS).

SpeechConfig

Representasi JSON 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
Kolom
speakingRate

number

Opsional. Kecepatan bicara. 1,0 adalah normal. Nilai yang lebih rendah lebih lambat (misalnya, 0,8), nilai yang lebih tinggi lebih cepat (misalnya, 1,5). Berguna untuk menguji cara agen menangani orang yang berbicara cepat.
environment

enum (BackgroundEnvironment)

Opsional. Lingkungan audio simulasi.
voiceId

string

Opsional. ID/aksen suara spesifik yang akan digunakan. Contoh: "en-US-Wavenet-D" atau "en-GB-Standard-A"

Status

Representasi JSON 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Kolom
code

integer

Kode status, harus berupa nilai enum dari google.rpc.Code.
message

string

Pesan error yang ditampilkan ke developer dan seharusnya dalam bahasa Inggris. Setiap pesan error yang ditampilkan kepada pengguna harus dilokalkan dan dikirim di kolom google.rpc.Status.details, atau dilokalkan oleh klien.
details[]

object

Daftar pesan yang membawa detail error. Ada seperangkat jenis pesan umum untuk digunakan API.

Objek yang berisi kolom tipe arbitrer. Kolom tambahan "@type" berisi URI yang mengidentifikasi jenis. Contoh: { "id": 1234, "@type": "types.example.com/standard/id" }.

Semua

Representasi JSON 
{
  "typeUrl": string,
  "value": string
}
Kolom
typeUrl

string

Mengidentifikasi jenis pesan Protobuf yang diserialkan dengan referensi URI yang terdiri dari awalan yang diakhiri dengan garis miring dan nama jenis yang sepenuhnya memenuhi syarat.

Contoh: type.googleapis.com/google.protobuf.StringValue

String ini harus berisi setidaknya satu karakter /, dan konten setelah / terakhir harus berupa nama yang sepenuhnya memenuhi syarat dari jenis dalam bentuk kanonis, tanpa titik di depannya. Jangan tulis skema pada referensi URI ini agar klien tidak mencoba menghubungi mereka.

Awalan bersifat arbitrer dan implementasi Protobuf diharapkan cukup menghapus semua yang ada hingga dan termasuk / terakhir untuk mengidentifikasi jenisnya. type.googleapis.com/ adalah awalan default umum yang diperlukan oleh beberapa penerapan lama. Awalan ini tidak menunjukkan asal jenis, dan URI yang memuatnya tidak diharapkan merespons permintaan apa pun.

Semua string URL jenis harus berupa referensi URI yang valid dengan batasan tambahan (untuk format teks) bahwa konten referensi hanya boleh terdiri dari karakter alfanumerik, escape yang dienkode persen, dan karakter dalam set berikut (tidak termasuk tanda petik terbalik luar): /-.~_!$&()*+,;=. Meskipun kami mengizinkan encoding persen, implementasi tidak boleh meng-unescape-nya untuk mencegah kebingungan dengan parser yang ada. Misalnya, type.googleapis.com%2FFoo harus ditolak.

Dalam desain asli Any, kemungkinan meluncurkan layanan penyelesaian jenis di URL jenis ini dipertimbangkan, tetapi Protobuf tidak pernah menerapkannya dan menganggap menghubungi URL ini bermasalah dan berpotensi menimbulkan masalah keamanan. Jangan mencoba menghubungi URL jenis kontak.
value

string (bytes format)

Berisi serialisasi Protobuf dari jenis yang dijelaskan oleh type_url.

String berenkode base64.

EvaluationMetricsThresholds

Representasi JSON 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
Kolom
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

Opsional. Nilai minimum metrik evaluasi emas.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

Opsional. Tidak digunakan lagi: Gunakan golden_hallucination_metric_behavior sebagai gantinya. Perilaku metrik halusinasi saat ini digunakan untuk evaluasi utama.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Opsional. Perilaku metrik halusinasi untuk evaluasi golden dataset.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Opsional. Perilaku metrik halusinasi untuk evaluasi skenario.

GoldenEvaluationMetricsThresholds

Representasi JSON 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
Kolom
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

Opsional. Nilai minimum metrik tingkat belokan.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

Opsional. Nilai minimum metrik tingkat ekspektasi.
toolMatchingSettings

object (ToolMatchingSettings)

Opsional. Setelan pencocokan alat. Panggilan alat tambahan adalah panggilan alat yang ada dalam eksekusi, tetapi tidak cocok dengan panggilan alat apa pun dalam ekspektasi standar.

ToolMatchingSettings

Representasi JSON 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
Kolom
extraToolCallBehavior

enum (ExtraToolCallBehavior)

Opsional. Perilaku untuk panggilan alat tambahan. Nilai defaultnya adalah GAGAL.

EvaluationConfig

Representasi JSON 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Kolom
inputAudioConfig

object (InputAudioConfig)

Opsional. Konfigurasi untuk memproses audio input.
outputAudioConfig

object (OutputAudioConfig)

Opsional. Konfigurasi untuk membuat audio output.
evaluationChannel

enum (EvaluationChannel)

Opsional. Saluran yang akan dievaluasi.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Opsional. Menentukan apakah evaluasi harus menggunakan panggilan alat asli atau alat palsu.

InputAudioConfig

Representasi JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Kolom
audioEncoding

enum (AudioEncoding)

Wajib. Encoding data audio input.
sampleRateHertz

integer

Wajib. Frekuensi sampel (dalam Hertz) data audio input.
noiseSuppressionLevel

string

Opsional. Apakah peredam bising diaktifkan pada audio input. Nilai yang tersedia adalah "low", "moderate", "high", "very_high".

OutputAudioConfig

Representasi JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Kolom
audioEncoding

enum (AudioEncoding)

Wajib. Encoding data audio output.
sampleRateHertz

integer

Wajib. Frekuensi sampel (dalam Hertz) data audio output.

EvaluationMetricsConfig

Representasi JSON 
{
  "goldenMetricsConfig": {
    object (GoldenMetricsConfig)
  },
  "scenarioMetricsConfig": {
    object (ScenarioMetricsConfig)
  }
}
Kolom
goldenMetricsConfig

object (GoldenMetricsConfig)

Opsional. Konfigurasi untuk metrik utama untuk evaluasi.
scenarioMetricsConfig

object (ScenarioMetricsConfig)

Opsional. Konfigurasi untuk metrik skenario untuk evaluasi.

GoldenMetricsConfig

Representasi JSON 
{
  "semanticSimilarityMetricsConfig": {
    object (SemanticSimilarityMetricsConfig)
  },
  "toolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  },
  "stepToolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  }
}
Kolom
semanticSimilarityMetricsConfig

object (SemanticSimilarityMetricsConfig)

Opsional. Konfigurasi global untuk metrik kesamaan semantik.
toolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

Opsional. Konfigurasi untuk metrik kebenaran alat tingkat giliran.
stepToolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

Opsional. Konfigurasi untuk metrik kebenaran alat tingkat langkah.

ToolCorrectnessMetricsConfig

Representasi JSON 
{
  "enableToolCorrectnessMetrics": boolean
}
Kolom
enableToolCorrectnessMetrics

boolean

Opsional. Apakah akan menghitung metrik kebenaran alat untuk evaluasi.

ScenarioMetricsConfig

Representasi JSON 
{
  "userGoalMetMetricsConfig": {
    object (UserGoalMetMetricsConfig)
  },
  "expectationsMetMetricsConfig": {
    object (ExpectationsMetMetricsConfig)
  }
}
Kolom
userGoalMetMetricsConfig

object (UserGoalMetMetricsConfig)

Opsional. Konfigurasi untuk metrik tercapai sasaran pengguna.
expectationsMetMetricsConfig

object (ExpectationsMetMetricsConfig)

Opsional. Konfigurasi untuk metrik tingkat ekspektasi.

UserGoalMetMetricsConfig

Representasi JSON 
{
  "enableUserGoalMetMetrics": boolean
}
Kolom
enableUserGoalMetMetrics

boolean

Opsional. Apakah akan menghitung metrik tujuan pengguna yang tercapai untuk evaluasi.

ExpectationsMetMetricsConfig

Representasi JSON 
{
  "enableExpectationsMetMetrics": boolean
}
Kolom
enableExpectationsMetMetrics

boolean

Opsional. Apakah akan menghitung metrik tingkat ekspektasi untuk evaluasi.

NullValue

Mewakili JSON null.

NullValue adalah sentinel, menggunakan enum dengan hanya satu nilai untuk merepresentasikan nilai null untuk gabungan jenis Value.

Kolom berjenis NullValue dengan nilai selain 0 dianggap tidak valid. Sebagian besar serializer ProtoJSON akan memancarkan Value dengan null_value yang ditetapkan sebagai null JSON, terlepas dari nilai bilangan bulatnya, dan akan melakukan perjalanan pulang pergi ke nilai 0.

Enum
NULL_VALUE Nilai null.

ComparisonType

Jenis perbandingan yang didukung untuk memeriksa respons agen.

Enum
COMPARISON_TYPE_UNSPECIFIED Jenis perbandingan tidak ditentukan. Perilaku default adalah SEMANTIC_SIMILARITY untuk respons agen dan panggilan alat.
EQUALS Pencocokan string persis.
CONTAINS Pencocokan substring (memeriksa apakah string yang diharapkan terdapat dalam respons sebenarnya).
SEMANTIC_SIMILARITY Kecocokan kemiripan semantik (mengevaluasi kemiripan makna menggunakan LLM).

SemanticSimilarityChannel

Saluran kemiripan semantik yang akan digunakan.

Enum
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED Metrik tidak ditentukan. Nilai defaultnya adalah TEXT.
TEXT Menggunakan kemiripan semantik teks.
AUDIO Gunakan kesamaan semantik audio.

HallucinationMetricBehavior

Perilaku metrik halusinasi. Terlepas dari perilaku tersebut, metrik akan selalu dihitung. Perbedaannya adalah bahwa jika dinonaktifkan, metrik tidak digunakan untuk menghitung skor evaluasi keseluruhan.

Enum
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED Perilaku metrik halusinasi tidak ditentukan.
DISABLED Nonaktifkan metrik halusinasi.
ENABLED Aktifkan metrik halusinasi.

TaskCompletionBehavior

Perilaku yang diharapkan dari tugas pengguna. Hal ini digunakan untuk menentukan apakah skenario berhasil.

Enum
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED Perilaku tidak ditentukan. Akan ditetapkan secara default ke TASK_SATISFIED.
TASK_SATISFIED Tugas pengguna harus berhasil diselesaikan.
TASK_REJECTED Tugas pengguna harus ditolak.

UserGoalBehavior

Perilaku yang diharapkan dari sasaran pengguna. Hal ini digunakan untuk menentukan apakah skenario berhasil.

Enum
USER_GOAL_BEHAVIOR_UNSPECIFIED Perilaku tidak ditentukan. Secara default akan ditetapkan ke USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED Tujuan pengguna harus berhasil diselesaikan.
USER_GOAL_REJECTED Tujuan pengguna harus ditolak.
USER_GOAL_IGNORED Abaikan status sasaran pengguna.

ScenarioExecutionMode

Mode eksekusi untuk evaluasi skenario.

Enum
SCENARIO_EXECUTION_MODE_UNSPECIFIED Mode eksekusi tidak ditentukan. Nilai defaultnya adalah QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED Mode yang dioptimalkan untuk kualitas.
SPEED_OPTIMIZED Mode yang dioptimalkan untuk kecepatan.

Hasil

Hasil evaluasi atau ekspektasi.

Enum
OUTCOME_UNSPECIFIED Hasil evaluasi tidak ditentukan.
PASS Evaluasi/Ekspektasi terpenuhi. Dalam kasus evaluasi, hal ini berarti semua ekspektasi terpenuhi.
FAIL Evaluasi/Ekspektasi gagal. Dalam kasus evaluasi, hal ini berarti setidaknya satu ekspektasi tidak terpenuhi.
SKIPPED Evaluasi/Ekspektasi dilewati.

ErrorType

Jenis error

Enum
ERROR_TYPE_UNSPECIFIED Jenis error tidak ditentukan.
RUNTIME_FAILURE Kegagalan selama eksekusi runtime.
CONVERSATION_RETRIEVAL_FAILURE Gagal mengambil percakapan dari CES Runtime.
METRIC_CALCULATION_FAILURE Gagal menghitung metrik / hasil.
EVALUATION_UPDATE_FAILURE Gagal memperbarui evaluasi.
QUOTA_EXHAUSTED Kehabisan kuota.
USER_SIMULATION_FAILURE Kegagalan selama simulasi pengguna.

Jenis

Jenis rentang. Nilai tambahan dapat ditambahkan di masa mendatang.

Enum
TYPE_UNSPECIFIED Nilai default. Nilai ini tidak digunakan.
TOOL Rentang panggilan alat.
USER_CALLBACK Rentang callback pengguna.
GUARDRAIL Rentang pembatas.
LLM Rentang LLM.

BackgroundEnvironment

Lingkungan audio simulasi.

Enum
BACKGROUND_ENVIRONMENT_UNSPECIFIED Lingkungan latar belakang tidak ditentukan.
CALL_CENTER Lingkungan pusat panggilan.
TRAFFIC Lingkungan kebisingan lalu lintas.
KIDS_NOISE Lingkungan bising anak-anak.
CAFE Lingkungan kafe.

ExecutionState

Status eksekusi hasil evaluasi.

Enum
EXECUTION_STATE_UNSPECIFIED Status eksekusi hasil evaluasi tidak ditentukan.
QUEUED Eksekusi hasil evaluasi diantrekan.
RUNNING Eksekusi hasil evaluasi sedang berjalan.
COMPLETED Eksekusi hasil evaluasi telah selesai.
ERROR Eksekusi hasil evaluasi gagal karena error internal.
CANCELLED Eksekusi hasil evaluasi dibatalkan.

ExtraToolCallBehavior

Menentukan perilaku saat panggilan alat tambahan ditemukan. Panggilan alat tambahan adalah panggilan alat yang ada dalam eksekusi, tetapi tidak cocok dengan panggilan alat apa pun dalam ekspektasi standar.

Enum
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED Perilaku tidak ditentukan. Nilai defaultnya adalah GAGAL.
FAIL Gagal dalam evaluasi jika panggilan alat tambahan ditemukan.
ALLOW Izinkan panggilan alat tambahan.

AudioEncoding

AudioEncoding menentukan format encoding untuk data audio.

Enum
AUDIO_ENCODING_UNSPECIFIED Encoding audio tidak ditentukan.
LINEAR16 Encoding audio PCM linear 16-bit.
MULAW Sampel 8-bit yang memadatkan sampel audio 14-bit menggunakan PCMU/mu-law G.711.
ALAW Sampel 8-bit yang memadatkan sampel audio 14-bit menggunakan G.711 PCMU/A-law.

EvaluationChannel

Saluran yang akan dievaluasi.

Enum
EVALUATION_CHANNEL_UNSPECIFIED Saluran evaluasi tidak ditentukan.
TEXT Saluran evaluasi khusus teks.
AUDIO Channel evaluasi audio.

EvaluationToolCallBehaviour

Mengonfigurasi perilaku panggilan alat untuk menjalankan evaluasi.

Enum
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED Perilaku panggilan alat tidak ditentukan. Secara default akan memanggil alat asli.
REAL Gunakan panggilan alat sebenarnya.
FAKE Menggunakan panggilan alat palsu.

GoldenRunMethod

Metode yang digunakan untuk menjalankan evaluasi.

Enum
GOLDEN_RUN_METHOD_UNSPECIFIED Metode eksekusi tidak ditentukan.
STABLE Jalankan evaluasi sebagai pemutaran ulang yang stabil, dengan setiap giliran merupakan sesi unik dengan giliran yang diharapkan sebelumnya disisipkan sebagai konteks.
NAIVE Jalankan evaluasi sebagai pemutaran ulang naif, dengan menjalankan satu sesi tanpa konteks yang disisipkan.

OutcomeMetadata

Metadata tentang hasil evaluasi.

Enum
OUTCOME_METADATA_UNSPECIFIED Metadata hasil tidak ditentukan.
GRACEFUL_HANDOFF Evaluasi menghasilkan pengalihan yang lancar kepada perwakilan manusia.

Anotasi Alat

Anotasi alat dikirim ke klien MCP untuk menjelaskan risiko dasar alat tertentu. Sebagian besar klien memperlakukan petunjuk ini sebagai tidak tepercaya, tetapi petunjuk ini dapat digunakan untuk memutuskan kapan perintah konfirmasi dapat dikirim ke pengguna.

Selain string judul, petunjuk boolean berikut ditentukan sebagai berikut:

  • readOnlyHint: Jika benar, alat tidak akan mengubah lingkungannya. Default: false.
  • destructiveHint: Jika benar (true), alat dapat melakukan tindakan merusak. Jika salah (false), alat hanya dapat melakukan tindakan tambahan. Default: true.
  • idempotentHint: Jika benar (true), memanggil alat berulang kali dengan argumen yang sama tidak akan memberikan efek tambahan pada lingkungannya. Default: false.
  • openWorldHint: Jika benar, alat dapat berinteraksi dengan 'dunia terbuka' entitas eksternal. Jika salah (false), alat hanya dapat berinteraksi dengan entitas internal. Misalnya, alat penelusuran web akan menjadi open world, sedangkan alat memori tidak akan menjadi open world.

Petunjuk Destruktif: ❌ | Petunjuk Idempoten: ✅ | Petunjuk Hanya Baca: ✅ | Petunjuk Dunia Terbuka: ❌