Evaluation.GoldenExpectation

チェック可能な単一の要件を表します。

JSON 表現
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (EvaluationMetricsConfig.SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (EvaluationMetricsConfig.HallucinationMetricsConfig)
  },
  "comparisonType": enum (EvaluationMetricsConfig.ComparisonType),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of mutually exclusive fields.
}
フィールド
note

string

省略可。この要件に関するメモ。特定のチェックが失敗した場合のレポートに役立ちます。例: "Check_Payment_Tool_Called".

skipEvaluation

boolean

省略可。true に設定すると、この特定の期待値は評価されません。

expectationLevelMetricsThresholdsOverride

object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.ExpectationLevelMetricsThresholds)

省略可。ステップレベルで指標をオーバーライドします。

agentResponseSemanticSimilarityMetricsConfigOverride

object (EvaluationMetricsConfig.SemanticSimilarityMetricsConfig)

省略可。agentResponse の意味的類似性指標のオーバーライド。

agentResponseHallucinationMetricsConfigOverride

object (EvaluationMetricsConfig.HallucinationMetricsConfig)

省略可。agentResponse ハルシネーション指標のオーバーライド。

comparisonType

enum (EvaluationMetricsConfig.ComparisonType)

省略可。期待値チェックに使用する比較タイプ。

実行する実際のチェック。以下は、相互に排他的なフィールドのリストです。レスポンスに設定されるフィールドは、最大 1 つです。
toolCall

object (ToolCall)

省略可。特定のツールがパラメータとともに呼び出されたことを確認します。

toolResponse

object (ToolResponse)

省略可。特定のツールが想定どおりのレスポンスを返したことを確認します。

agentResponse

object (Message)

省略可。エージェントが正しい回答で対応していることを確認します。ロール「agent」は暗黙的に指定されます。

agentTransfer

object (AgentTransfer)

省略可。エージェントが会話を別のエージェントに転送したことを確認します。

updatedVariables

object (Struct format)

省略可。エージェントがセッション変数を想定どおりの値に更新したことを確認します。ゴールデン評価用のエージェント変数の更新もキャプチャするために使用されます。

mockToolResponse

object (ToolResponse)

省略可。モックするツールのレスポンス。対象のパラメータが指定されています。指定されていないパラメータは LLM によってハルシネーションされます。

noToolCalls

boolean

省略可。このターンでツールが呼び出されなかったことを確認します。

相互に排他的なフィールドの終わり。

EvaluationMetricsConfig.HallucinationMetricsConfig

評価のハルシネーション指標の構成。指標を無効にするには、メッセージを設定しますが、enableHallucinationMetrics フィールドを true に設定しません(または、明示的に false に設定します)。構成を解除してデフォルトの動作に戻すには、メッセージを完全に省略します。

JSON 表現
{
  "enableHallucinationMetrics": boolean
}
フィールド
enableHallucinationMetrics

boolean

省略可。評価のハルシネーション指標を計算するかどうか。

EvaluationMetricsConfig.ComparisonType

エージェントのレスポンスを確認するためにサポートされている比較タイプ。

列挙型
COMPARISON_TYPE_UNSPECIFIED 比較タイプが指定されていません。エージェントの回答とツール呼び出しの動作は、デフォルトで SEMANTIC_SIMILARITY に設定されています。
EQUALS 文字列が完全に一致します。
CONTAINS 部分文字列の一致(実際のレスポンスに期待される文字列が含まれているかどうかを確認します)。
SEMANTIC_SIMILARITY 意味的類似性の一致(LLM を使用して意味的類似性を評価します)。