REST Resource: projects.locations.brands.evaluationCases

リソース: EvaluationCase

個々の評価ケース。

JSON 表現 
{
  "name": string,
  "displayName": string,
  "description": string,
  "evaluationContext": string,
  "evaluationMatchers": [
    string
  ],

  // Union field test_case can be only one of the following:
  "staticTextTurnCase": {
    object (StaticTextTurnCase)
  },
  "dynamicTextTurnCase": {
    object (DynamicTextTurnCase)
  }
  // End of list of possible types for union field test_case.
}
フィールド
name

string

ID。評価ケースのリソース名。形式: projects/{project}/locations/{location}/brands/{brand}/evaluationCases/{evaluationCase}
displayName

string

必須。評価ケースの人が読める形式の名前。
description

string

省略可。評価ケースの説明。
evaluationContext

string

必須。このケースに関連付けられている評価コンテキストのリソース名。形式: projects/{project}/locations/{location}/brands/{brand}/evaluationContexts/{evaluationContext}
evaluationMatchers[]

string

省略可。評価ケースに使用する評価マッチャーのリスト。評価は、BidiProcessOrder セッションの終了時に 1 回行われます。各マッチャーは、評価マッチャーが合格したか不合格したかを示すブール値の結果を生成します。
共用体フィールド test_case。評価ケースに使用するテストケース。test_case は次のいずれかになります。
staticTextTurnCase

object (StaticTextTurnCase)

省略可。ユーザーとエージェントのテキスト ターンが静的なテストケース。
dynamicTextTurnCase

object (DynamicTextTurnCase)

省略可。ユーザーのテキスト入力が、順序付け指示を含む LLM を使用して動的に生成されるテストケース。

StaticTextTurnCase

ユーザー入力が静的テキスト入力である評価ケース。

JSON 表現 
{
  "textTurns": [
    {
      object (TextTurn)
    }
  ]
}
フィールド
textTurns[]

object (TextTurn)

必須。評価ケースのテキストターンのリスト。

TextTurn

評価ケース内の 1 つのテキストターン。ユーザー入力とエージェントのレスポンスで構成されます。

JSON 表現 
{
  "userTextInput": string,
  "exampleAgentResponse": string
}
フィールド
userTextInput

string

必須。このターンのユーザーのテキスト入力。
exampleAgentResponse

string

省略可。このターンのエージェントのレスポンスの例。これは実際のエージェントの回答ではありません。実際のエージェントのレスポンスは、このレスポンス例とは異なる場合があります。レスポンスの例は評価には使用されず、評価ケースをわかりやすくするための表示目的でのみ使用されます。

DynamicTextTurnCase

LLM を使用して、順序付け指示を含むユーザー入力が動的に生成される評価ケース。

JSON 表現 
{
  "orderingInstruction": string
}
フィールド
orderingInstruction

string

必須。ユーザーがデリバリー＆テイクアウト エージェントとやり取りするための注文手順。LLM は、注文指示に基づいてユーザーのテキスト入力を動的に生成します。これには、注文する対象アイテム、ユーザーの設定と制約、ユーザーが注文エージェントに通知する必要がある特定のアクションなどが含まれます。

メソッド

batchCreate

 EvaluationCase を一括作成します。

batchUpdate

 EvaluationCases をバッチ アップデートします。

create

 EvaluationCase を作成します。

delete

 指定された EvaluationCase を削除します。

get

 EvaluationCase を取得します。

list

 EvaluationCase を一覧表示します。

patch

 指定された EvaluationCase を更新します。

run

 評価ケースを実行します。