- リソース: EvaluationCaseResult
- ステータス
- MatcherResult
- OrderResultMatcherResult
- AgentUtteranceStringMatcherResult
- LLMJudgementMatcherResult
- メソッド
リソース: EvaluationCaseResult
評価ケースの結果。
| JSON 表現 |
|---|
{ "name": string, "evaluationCase": { object ( |
| フィールド | |
|---|---|
name |
ID。評価ケースの結果のリソース名。形式: projects/{project}/locations/{location}/brands/{brand}/evaluationCaseResults/{evaluationCaseResult} |
evaluationCase |
出力専用。この結果に関連付けられている評価ケース。 |
evaluationContext |
出力専用。この結果に関連付けられている評価コンテキスト。 |
evaluationDataset |
出力専用。この結果が関連付けられている評価データセットの参照。設定されていない場合、テストケースは評価データセットの一部としてではなく、スタンドアロン テストとして実行されます。形式: projects/{project}/locations/{location}/brands/{brand}/evaluationDatasets/{evaluationDataset} |
sessionRecord |
出力専用。この結果が関連付けられているセッション レコードのリソース名。形式: projects/{project}/locations/{location}/brands/{brand}/sessionRecords/{sessionRecord} |
status |
出力専用。評価ケースのステータス。 |
matcherResults[] |
出力専用。評価ケースの評価マッチャーの結果のリスト。評価マッチャーの結果。 |
createTime |
出力専用。評価ケースの結果の作成時間。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: |
ステータス
評価ケースのステータス。
| 列挙型 | |
|---|---|
STATUS_UNSPECIFIED |
ステータスが無効です。 |
PASS |
すべての評価マッチャーが満たされている。 |
FAIL |
評価マッチャーの少なくとも 1 つが満たされていません。 |
ERROR |
BidiProcessOrder セッションが予期せず終了し、評価を完了できなかったというエラーが発生しました。 |
MatcherResult
評価マッチャーの結果。
| JSON 表現 |
|---|
{ "evaluationMatcher": { object ( |
| フィールド | |
|---|---|
evaluationMatcher |
出力専用。この結果に関連付けられている評価マッチャー。 |
共用体フィールド result。評価マッチャーの結果。result は次のいずれかになります。 |
|
orderResultMatcherResult |
出力専用。注文結果マッチャーの結果。 |
agentUtteranceStringMatcherResult |
出力専用。エージェントの発話文字列マッチャーの結果。 |
llmJudgementMatcherResult |
出力専用。エージェントの発話の LLM 判定マッチャーの結果。 |
OrderResultMatcherResult
注文結果マッチャーの結果。
| JSON 表現 |
|---|
{ "match": boolean, "difference": string } |
| フィールド | |
|---|---|
match |
出力専用。注文結果マッチャーが合格したかどうか。 |
difference |
出力専用。注文結果マッチャーにおける、期待される注文と実際の注文の差を、プリティ プリントした形式(-want +got)で示します。 |
AgentUtteranceStringMatcherResult
エージェントの発話文字列マッチャーの結果。
| JSON 表現 |
|---|
{ "match": boolean } |
| フィールド | |
|---|---|
match |
出力専用。エージェントの発話文字列マッチャーが合格したかどうか。 |
LLMJudgementMatcherResult
エージェントの発話の LLM 判定マッチャーの結果。
| JSON 表現 |
|---|
{ "match": boolean, "reasoning": string } |
| フィールド | |
|---|---|
match |
出力専用。エージェントの発話の LLM 判定マッチャーが合格したかどうか。 |
reasoning |
出力専用。LLM の判定が一致した理由または失敗した理由を説明します。 |
メソッド |
|
|---|---|
|
指定された EvaluationCaseResult を削除します。 |
|
EvaluationCaseResult を取得します。 |
|
EvaluationCaseResult を一覧表示します。 |