REST Resource: projects.locations.brands.evaluationCases

リソース: EvaluationCase

個々の評価ケース。

JSON 表現 
{
  "name": string,
  "displayName": string,
  "description": string,
  "evaluationContext": string,
  "evaluationMatchers": [
    string
  ],

  // Union field test_case can be only one of the following:
  "staticTextTurnCase": {
    object (StaticTextTurnCase)
  },
  "dynamicTextTurnCase": {
    object (DynamicTextTurnCase)
  }
  // End of list of possible types for union field test_case.
}
フィールド
name

string

ID。評価ケースのリソース名。形式: projects/{project}/locations/{location}/brands/{brand}/evaluationCases/{evaluationCase}
displayName

string

必須。人間が読める形式の評価ケース名。
description

string

省略可。評価ケースの説明。
evaluationContext

string

必須。このケースが関連付けられている評価コンテキストのリソース名。形式: projects/{project}/locations/{location}/brands/{brand}/evaluationContexts/{evaluationContext}
evaluationMatchers[]

string

省略可。評価ケースに使用する評価マッチャーのリスト。評価は、BidiProcessOrder セッションの最後に 1 回実行されます。各マッチャーは、評価マッチャーが合格したか不合格だったかを示すブール値の結果を生成します。
共用体フィールド test_case。評価ケースに使用するテストケース。test_case は次のいずれかになります。
staticTextTurnCase

object (StaticTextTurnCase)

省略可。ユーザーとエージェントのテキストターンが静的なテストケース。
dynamicTextTurnCase

object (DynamicTextTurnCase)

省略可。ユーザーのテキスト入力が、注文手順を含む LLM を使用して動的に生成されるテストケース。

StaticTextTurnCase

ユーザー入力が静的なテキスト入力である評価ケース。

JSON 表現 
{
  "textTurns": [
    {
      object (TextTurn)
    }
  ]
}
フィールド
textTurns[]

object (TextTurn)

必須。評価ケースのテキストターンのリスト。

TextTurn

評価ケース内の 1 つのテキストターン。ユーザー入力とエージェントのレスポンスで構成されます。

JSON 表現 
{
  "userTextInput": string,
  "exampleAgentResponse": string
}
フィールド
userTextInput

string

必須。このターンのユーザーのテキスト入力。
exampleAgentResponse

string

省略可。このターンのエージェントのレスポンスの例。これは実際のエージェントのレスポンスではありません。実際のエージェントのレスポンスは、このレスポンスの例と異なる場合があります。レスポンスの例は評価には使用されず、評価ケースをわかりやすくするために表示する目的でのみ使用されます。

DynamicTextTurnCase

ユーザー入力が、注文手順を含む LLM を使用して動的に生成される評価ケース。

JSON 表現 
{
  "orderingInstruction": string
}
フィールド
orderingInstruction

string

必須。ユーザーがデリバリー＆テイクアウト エージェントとやり取りするための注文手順。LLM は、注文手順に基づいてユーザーのテキスト入力を動的に生成します。これには、注文するターゲット アイテム、ユーザーの好みと制約、ユーザーが注文エージェントに通知する必要がある特定のアクションが含まれる場合があります。

メソッド

batchCreate

 EvaluationCase を一括作成します。

batchUpdate

 EvaluationCase を一括更新します。

create

 EvaluationCase を作成します。

delete

 指定した EvaluationCase を削除します。

get

 EvaluationCase を取得します。

list

 EvaluationCase を一覧表示します。

patch

 指定した EvaluationCase を更新します。

run

 評価ケースを実行します。