REST Resource: projects.locations.apps.evaluations

リソース: Evaluation

評価は、エージェントのシミュレーションと評価に必要なすべての情報を表します。

JSON 表現 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "golden": {
    object (Evaluation.Golden)
  },
  "scenario": {
    object (Evaluation.Scenario)
  }
  // End of mutually exclusive fields.
}
フィールド
name

string

ID。この評価の固有識別子。形式: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

必須。ユーザー定義の評価の表示名。アプリ内で一意。
description

string

省略可。評価のユーザー定義の説明。
tags[]

string

省略可。評価を分類するためのユーザー定義タグ。
evaluationDatasets[]

string

出力専用。評価が属する評価データセットのリスト。形式: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

出力専用。評価が作成されたときのタイムスタンプ。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
createdBy

string

出力専用。評価を作成したユーザー。
updateTime

string (Timestamp format)

出力専用。評価が最後に更新されたときのタイムスタンプ。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
lastUpdatedBy

string

出力専用。評価を最後に更新したユーザー。
evaluationRuns[]

string

出力専用。この評価に関連付けられている EvaluationRun。
etag

string

出力専用。読み取り / 変更 / 書き込みオペレーション中にオブジェクトが変更されていないことを確認するために使用される ETag。etag が空の場合、更新によって同時変更が上書きされます。
aggregatedMetrics

object (AggregatedMetrics)

出力専用。すべての実行にわたるこの評価の集計指標。
lastCompletedResult

object (EvaluationResult)

出力専用。この評価の最新の評価結果。
invalid

boolean

出力専用。評価が無効かどうか。これは、評価が、その後削除されたツール、ツールセット、またはエージェントを参照している場合に発生する可能性があります。
lastTenResults[]

object (EvaluationResult)

出力専用。この評価の過去 10 件の評価結果。これは、ListEvaluationsRequest または GetEvaluationRequest で include_last_ten_results が true に設定されている場合にのみ入力されます。
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

省略可。この特定の評価の指標しきい値をオーバーライドします。
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

省略可。この特定の評価の指標構成をオーバーライドします。
評価の入力。次のフィールドは相互に排他的です。レスポンスに設定されるフィールドは、最大 1 つです。
golden

object (Evaluation.Golden)

省略可。評価するゴールデン ステップ。
scenario

object (Evaluation.Scenario)

省略可。シナリオの構成。
相互に排他的なフィールドの終わり。

Evaluation.Golden

ゴールデン会話を再生するために必要な手順。

JSON 表現 
{
  "turns": [
    {
      object (Evaluation.GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
フィールド
turns[]

object (Evaluation.GoldenTurn)

必須。ゴールデン会話を再生するために必要なゴールデン ターン。許可される最大ターン数は 100 です。
evaluationExpectations[]

string

省略可。再生された会話を評価するための評価の期待値。形式: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

Evaluation.GoldenTurn

ゴールデン ターンは、ゴールデン会話の 1 つのターンを定義します。

JSON 表現 
{
  "steps": [
    {
      object (Evaluation.Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (EvaluationMetricsThresholds.HallucinationMetricBehavior)
}
フィールド
steps[]

object (Evaluation.Step)

必須。ゴールデン会話を再生するために必要な手順。
rootSpan

object (Span)

省略可。音声情報の処理と維持のためのゴールデン ターンのルート スパン。音声の URI には、16 Khz のサンプリング レートで保存された音声を含める必要があります。
turnLevelMetricsThresholdsOverride

object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.TurnLevelMetricsThresholds)

省略可。ターンレベルの指標のしきい値のオーバーライド。
hallucinationMetricBehaviorOverride

enum (EvaluationMetricsThresholds.HallucinationMetricBehavior)

省略可。ターンレベルのハルシネーション指標の動作をオーバーライドします。

Evaluation.Step

ステップは、評価中に発生する単一のアクションを定義します。

JSON 表現 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (Evaluation.GoldenExpectation)
  }
  // End of mutually exclusive fields.
}
フィールド
実行するステップ。以下は、相互に排他的なフィールドのリストです。レスポンスに設定されるフィールドは、最大 1 つです。
userInput

object (SessionInput)

省略可。会話のユーザー入力。
agentTransfer

object (AgentTransfer)

省略可。会話を別のエージェントに転送します。
expectation

object (Evaluation.GoldenExpectation)

省略可。現在のターンで期待値を実行します。
相互に排他的なフィールドの終わり。

SessionInput

セッションの入力。

JSON 表現 
{
  "willContinue": boolean,

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of mutually exclusive fields.
}
フィールド
willContinue

boolean

省略可。現在のメッセージが双方向ストリーミング セッションの大きな入力のフラグメントであるかどうかを示すフラグ。

true に設定すると、エージェントは willContinue が false の後続のメッセージを受信するまで、またはシステムが音声入力でエンドポイントを検出するまで、処理を延期します。

注: このフィールドは、音声入力と DTMF 入力には適用されません。これらは常にエンドポイント信号に基づいて自動的に処理されるためです。
入力のタイプ。以下は、相互に排他的なフィールドのリストです。レスポンスに設定されるフィールドは、最大 1 つです。
text

string

省略可。エンドユーザーからのテキストデータ。
dtmf

string

省略可。エンドユーザーからの DTMF 数字。
audio

string (bytes format)

省略可。エンドユーザーからの音声データ。

Base64 でエンコードされた文字列。
toolResponses

object (ToolResponses)

省略可。クライアントからのツール呼び出しの実行結果。
image

object (Image)

省略可。エンドユーザーからの画像データ。
blob

object (Blob)

省略可。エンドユーザーからの BLOB データ。
variables

object (Struct format)

省略可。セッションのコンテキスト変数。名前でキー設定されます。CES エージェントは、アプリで宣言された変数のみを使用します。

認識されない変数は、追加のセッション パラメータとして [Dialogflow エージェント][Agent.RemoteDialogflowAgent] に送信されます。
event

object (Event)

省略可。イベント入力。
相互に排他的なフィールドの終わり。

ToolResponses

クライアントからリクエストされたツール呼び出しの実行結果。

JSON 表現 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
フィールド
toolResponses[]

object (ToolResponse)

省略可。ツール実行結果のリスト。

イベント

イベント入力。

JSON 表現 
{
  "event": string,
  "variables": {
    object
  }
}
フィールド
event

string

必須。イベントの名前。
variables

object (Struct format)

省略可。イベントに関連付けられた追加の変数。

Evaluation.Scenario

シナリオの構成

JSON 表現 
{
  "task": string,
  "userFacts": [
    {
      object (Evaluation.Scenario.UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (Evaluation.ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (Evaluation.Scenario.TaskCompletionBehavior),
  "userGoalBehavior": enum (Evaluation.Scenario.UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (EvaluationSettings.ScenarioExecutionMode)
}
フィールド
task

string

必須。シナリオのターゲットとなるタスク。
userFacts[]

object (Evaluation.Scenario.UserFact)

省略可。シナリオで使用されるユーザーの事実。
maxTurns

integer

省略可。シミュレートするターンの最大数。最大値は 100 です。デフォルト値は 100 です。
rubrics[]

string

必須。シナリオを評価するためのルーブリック。
scenarioExpectations[]

object (Evaluation.ScenarioExpectation)

必須。ユーザー シミュレーションによって生成された会話を評価する ScenarioExpectations。
variableOverrides

object (Struct format)

省略可。セッションのコンテキストとしての変数 / セッション パラメータ。変数名でキー設定されます。この構造体のメンバーは、システムによって設定されたデフォルト値をオーバーライドします。

なお、これらはユーザーが知っている事実であるユーザーの事実とは異なります。変数はエージェントが認識しているパラメータです。たとえば、テレフォニー システムから渡された MDN（電話番号）などです。
taskCompletionBehavior
(deprecated)

enum (Evaluation.Scenario.TaskCompletionBehavior)

省略可。非推奨。代わりに userGoalBehavior を使用してください。
userGoalBehavior

enum (Evaluation.Scenario.UserGoalBehavior)

省略可。ユーザー目標の想定される動作。
evaluationExpectations[]

string

省略可。シミュレーションによって生成された会話を評価するための評価の期待値。形式: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode

enum (EvaluationSettings.ScenarioExecutionMode)

省略可。シナリオ評価の実行モード。

Evaluation.Scenario.TaskCompletionBehavior

ユーザー タスクの想定される動作。これは、シナリオが成功したかどうかを判断するために使用されます。

列挙型
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED 動作が指定されていません。デフォルトは TASK_SATISFIED になります。
TASK_SATISFIED ユーザー タスクが正常に完了している必要があります。
TASK_REJECTED ユーザー タスクは拒否されます。

Evaluation.Scenario.UserGoalBehavior

ユーザー目標の想定される動作。これは、シナリオが成功したかどうかを判断するために使用されます。

列挙型
USER_GOAL_BEHAVIOR_UNSPECIFIED 動作が指定されていません。デフォルトは USER_GOAL_SATISFIED になります。
USER_GOAL_SATISFIED ユーザー目標が正常に完了している必要があります。
USER_GOAL_REJECTED ユーザーの目標は拒否される必要があります。
USER_GOAL_IGNORED ユーザーの目標ステータスは無視します。

メソッド

create

 評価を作成します。

delete

 評価を削除します。

export

 評価をエクスポートします。

get

 指定された評価の詳細を取得します。

list

 指定されたアプリのすべての評価を一覧表示します。

patch

 評価を更新します。

uploadEvaluationAudio

 ゴールデン評価で使用する音声をアップロードします。