チェック可能な単一の要件を表します。
| JSON 表現 |
|---|
{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object ( |
| フィールド | |
|---|---|
note |
省略可。この要件に関するメモ。特定のチェックが失敗した場合のレポートに役立ちます。例: "Check_Payment_Tool_Called". |
skipEvaluation |
省略可。true に設定すると、この特定の期待値は評価されません。 |
expectationLevelMetricsThresholdsOverride |
省略可。ステップレベルで指標をオーバーライドします。 |
agentResponseSemanticSimilarityMetricsConfigOverride |
省略可。agentResponse の意味的類似性指標のオーバーライド。 |
agentResponseHallucinationMetricsConfigOverride |
省略可。agentResponse ハルシネーション指標のオーバーライド。 |
comparisonType |
省略可。期待値チェックに使用する比較タイプ。 |
| 実行する実際のチェック。以下は、相互に排他的なフィールドのリストです。レスポンスに設定されるフィールドは、最大 1 つです。 | |
toolCall |
省略可。特定のツールがパラメータとともに呼び出されたことを確認します。 |
toolResponse |
省略可。特定のツールが想定どおりのレスポンスを返したことを確認します。 |
agentResponse |
省略可。エージェントが正しい回答で対応していることを確認します。ロール「agent」は暗黙的に指定されます。 |
agentTransfer |
省略可。エージェントが会話を別のエージェントに転送したことを確認します。 |
updatedVariables |
省略可。エージェントがセッション変数を想定どおりの値に更新したことを確認します。ゴールデン評価用のエージェント変数の更新もキャプチャするために使用されます。 |
mockToolResponse |
省略可。モックするツールのレスポンス。対象のパラメータが指定されています。指定されていないパラメータは LLM によってハルシネーションされます。 |
noToolCalls |
省略可。このターンでツールが呼び出されなかったことを確認します。 |
| 相互に排他的なフィールドの終わり。 | |
EvaluationMetricsConfig.HallucinationMetricsConfig
評価のハルシネーション指標の構成。指標を無効にするには、メッセージを設定しますが、enableHallucinationMetrics フィールドを true に設定しません(または、明示的に false に設定します)。構成を解除してデフォルトの動作に戻すには、メッセージを完全に省略します。
| JSON 表現 |
|---|
{ "enableHallucinationMetrics": boolean } |
| フィールド | |
|---|---|
enableHallucinationMetrics |
省略可。評価のハルシネーション指標を計算するかどうか。 |
EvaluationMetricsConfig.ComparisonType
エージェントのレスポンスを確認するためにサポートされている比較タイプ。
| 列挙型 | |
|---|---|
COMPARISON_TYPE_UNSPECIFIED |
比較タイプが指定されていません。エージェントの回答とツール呼び出しの動作は、デフォルトで SEMANTIC_SIMILARITY に設定されています。 |
EQUALS |
文字列が完全に一致します。 |
CONTAINS |
部分文字列の一致(実際のレスポンスに期待される文字列が含まれているかどうかを確認します)。 |
SEMANTIC_SIMILARITY |
意味的類似性の一致(LLM を使用して意味的類似性を評価します)。 |