Evaluation.GoldenExpectation

Mewakili satu persyaratan yang dapat dicentang.

Representasi JSON
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (EvaluationMetricsConfig.SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (EvaluationMetricsConfig.HallucinationMetricsConfig)
  },
  "comparisonType": enum (EvaluationMetricsConfig.ComparisonType),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of mutually exclusive fields.
}
Kolom
note

string

Opsional. Catatan untuk persyaratan ini, berguna dalam pelaporan saat pemeriksaan tertentu gagal. Misalnya, "Check_Payment_Tool_Called".

skipEvaluation

boolean

Opsional. Jika disetel ke benar (true), ekspektasi khusus ini tidak akan dievaluasi.

expectationLevelMetricsThresholdsOverride

object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.ExpectationLevelMetricsThresholds)

Opsional. Mengganti metrik di tingkat langkah.

agentResponseSemanticSimilarityMetricsConfigOverride

object (EvaluationMetricsConfig.SemanticSimilarityMetricsConfig)

Opsional. Penggantian untuk metrik kemiripan semantik agentResponse.

agentResponseHallucinationMetricsConfigOverride

object (EvaluationMetricsConfig.HallucinationMetricsConfig)

Opsional. Penggantian untuk metrik halusinasi agentResponse.

comparisonType

enum (EvaluationMetricsConfig.ComparisonType)

Opsional. Jenis perbandingan yang akan digunakan untuk pemeriksaan ekspektasi.

Pemeriksaan sebenarnya yang akan dilakukan. Berikut adalah daftar kolom yang bersifat eksklusif satu sama lain. Maksimal satu kolom akan ditetapkan dalam respons:
toolCall

object (ToolCall)

Opsional. Periksa apakah alat tertentu dipanggil dengan parameter.

toolResponse

object (ToolResponse)

Opsional. Periksa apakah alat tertentu memberikan respons yang diharapkan.

agentResponse

object (Message)

Opsional. Periksa apakah agen merespons dengan respons yang benar. Peran "agen" tersirat.

agentTransfer

object (AgentTransfer)

Opsional. Periksa apakah agen mengalihkan percakapan ke agen lain.

updatedVariables

object (Struct format)

Opsional. Pastikan agen memperbarui variabel sesi ke nilai yang diharapkan. Juga digunakan untuk merekam pembaruan variabel agen untuk evaluasi emas.

mockToolResponse

object (ToolResponse)

Opsional. Respons alat yang akan di-mock, dengan parameter yang diinginkan ditentukan. Parameter apa pun yang tidak ditentukan akan dihalusinasi oleh LLM.

noToolCalls

boolean

Opsional. Periksa apakah tidak ada alat yang dipanggil selama giliran ini.

Akhir kolom yang saling eksklusif.

EvaluationMetricsConfig.HallucinationMetricsConfig

Konfigurasi untuk metrik halusinasi untuk evaluasi. Untuk menonaktifkan metrik, tetapkan pesan, tetapi jangan tetapkan kolom enableHallucinationMetrics ke benar (atau tetapkan secara eksplisit ke salah). Untuk membatalkan setelan konfigurasi dan kembali ke perilaku default, hapus pesan sepenuhnya.

Representasi JSON
{
  "enableHallucinationMetrics": boolean
}
Kolom
enableHallucinationMetrics

boolean

Opsional. Apakah akan menghitung metrik halusinasi untuk evaluasi.

EvaluationMetricsConfig.ComparisonType

Jenis perbandingan yang didukung untuk memeriksa respons agen.

Enum
COMPARISON_TYPE_UNSPECIFIED Jenis perbandingan tidak ditentukan. Perilaku default adalah SEMANTIC_SIMILARITY untuk respons agen dan panggilan alat.
EQUALS Pencocokan string persis.
CONTAINS Pencocokan substring (memeriksa apakah string yang diharapkan terdapat dalam respons sebenarnya).
SEMANTIC_SIMILARITY Kecocokan kemiripan semantik (mengevaluasi kemiripan makna menggunakan LLM).