REST Resource: projects.locations.apps.evaluationRuns

リソース: EvaluationRun

評価実行は、評価実行のすべての評価結果を表します。

JSON 表現 
{
  "name": string,
  "displayName": string,
  "evaluationResults": [
    string
  ],
  "createTime": string,
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "evaluations": [
    string
  ],
  "evaluationDataset": string,
  "evaluationType": enum (EvaluationRun.EvaluationType),
  "state": enum (EvaluationRun.EvaluationRunState),
  "progress": {
    object (EvaluationRun.Progress)
  },
  "config": {
    object (EvaluationConfig)
  },
  "error": {
    object (Status)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "evaluationRunSummaries": {
    string: {
      object (EvaluationRun.EvaluationRunSummary)
    },
    ...
  },
  "latencyReport": {
    object (LatencyReport)
  },
  "runCount": integer,
  "personaRunConfigs": [
    {
      object (PersonaRunConfig)
    }
  ],
  "optimizationConfig": {
    object (OptimizationConfig)
  },
  "scheduledEvaluationRun": string,
  "goldenRunMethod": enum (GoldenRunMethod),
  "operation": string
}
フィールド
name

string

ID。評価実行の固有識別子。形式: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
displayName

string

省略可。評価実行のユーザー定義の表示名。デフォルト: 「 run - 」。
evaluationResults[]

string

出力専用。この実行の一部である評価結果。形式: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
createTime

string (Timestamp format)

出力専用。評価の実行が作成されたときのタイムスタンプ。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
initiatedBy

string

出力専用。評価実行を開始したユーザー。
appVersion

string

出力専用。評価するアプリのバージョン。形式: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

出力専用。評価が実行された appVersion の表示名。
changelog

string

出力専用。評価が実行されたアプリ バージョンの変更ログ。これは、ユーザーが最新版/下書き版で評価を実行した場合に設定されます。
changelogCreateTime

string (Timestamp format)

出力専用。評価が実行されたアプリ バージョンの変更ログの作成時間。これは、ユーザーが最新版/下書き版で評価を実行した場合に設定されます。

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
evaluations[]

string

出力専用。この実行に含まれる評価。リストには、どちらのタイプの評価も含まれる場合があります。このフィールドは evaluationDataset と相互に排他的です。形式: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
evaluationDataset

string

出力専用。この実行に関連付けられている評価データセット。このフィールドは evaluations と相互に排他的です。形式: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
evaluationType

enum (EvaluationRun.EvaluationType)

出力専用。この実行の評価のタイプ。
state

enum (EvaluationRun.EvaluationRunState)

出力専用。評価実行の状態。
progress

object (EvaluationRun.Progress)

出力専用。評価実行の進行状況。
config

object (EvaluationConfig)

出力専用。実行で使用される構成。
error
(deprecated)

object (Status)

出力専用。非推奨: 代わりに errorInfo を使用してください。実行中に発生したエラー。
errorInfo

object (EvaluationErrorInfo)

出力専用。評価実行のエラー情報。
evaluationRunSummaries

map (key: string, value: object (EvaluationRun.EvaluationRunSummary))

出力専用。評価名と EvaluationRunSummary のマッピング。

"key": value ペアのリストを含むオブジェクト。例: { "name": "wrench", "mass": "1.3kg", "count": "3" }
latencyReport

object (LatencyReport)

出力専用。評価実行のレイテンシ レポート。
runCount

integer

出力専用。実行内の評価が実行された回数。
personaRunConfigs[]

object (PersonaRunConfig)

出力専用。ペルソナごとに実行に使用する構成。
optimizationConfig

object (OptimizationConfig)

省略可。評価実行後に最適化ステップを実行するための構成。設定されていない場合、最適化ステップは実行されません。
scheduledEvaluationRun

string

出力専用。この評価実行を作成したスケジュールされた評価実行のリソース名。このフィールドは、評価実行がスケジュールされた評価実行によって作成された場合にのみ設定されます。形式: projects/{project}/locations/{location}/apps/{app}/scheduledEvaluationRuns/{scheduledEvaluationRun}
goldenRunMethod

enum (GoldenRunMethod)

出力専用。評価の実行に使用されるメソッド。
operation

string

出力専用。この評価実行を作成したオペレーション。形式: projects/{project}/locations/{location}/operations/{operation}

EvaluationRun.EvaluationType

この実行の評価のタイプ。今後、値が追加される可能性があります。

列挙型
EVALUATION_TYPE_UNSPECIFIED 評価タイプが指定されていません。
GOLDEN ゴールデン評価。
SCENARIO シナリオの評価。
MIXED 実行にゴールデン評価とシナリオ評価の両方が含まれていることを示します。

EvaluationRun.EvaluationRunState

評価実行の状態。

列挙型
EVALUATION_RUN_STATE_UNSPECIFIED 評価実行の状態が指定されていません。
QUEUED 評価の実行がキューに登録されていることを示します。
RUNNING 評価実行が実行中です。
COMPLETED 評価の実行が完了しました。
ERROR 評価の実行にエラーがあります。
CANCELLED 評価の実行がキャンセルされました。

EvaluationRun.Progress

評価実行の進行状況。

JSON 表現 
{
  "totalCount": integer,
  "failedCount": integer,
  "errorCount": integer,
  "completedCount": integer,
  "passedCount": integer,
  "cancelledCount": integer
}
フィールド
totalCount

integer

出力専用。この実行の評価結果の合計数。
failedCount

integer

出力専用。結果が FAIL の評価結果の完了数。（EvaluationResult.execution_state が COMPLETED で、EvaluationResult.evaluation_status が FAIL）。
errorCount

integer

出力専用。実行に失敗した評価結果の数。（EvaluationResult.execution_state が ERROR）。
completedCount

integer

出力専用。正常に終了した評価結果の数。（EvaluationResult.execution_state が COMPLETED）。
passedCount

integer

出力専用。結果が PASS の完了した評価結果の数。（EvaluationResult.execution_state が COMPLETED で、EvaluationResult.evaluation_status が PASS）。
cancelledCount

integer

出力専用。キャンセルされた評価結果の数。（EvaluationResult.execution_state が CANCELLED）。

EvaluationRun.EvaluationRunSummary

評価の実行における特定の評価の合格と不合格の結果数の概要が含まれます。

JSON 表現 
{
  "passedCount": integer,
  "failedCount": integer,
  "errorCount": integer
}
フィールド
passedCount

integer

出力専用。この実行で関連付けられた評価の合格結果の数。
failedCount

integer

出力専用。この実行で関連付けられた評価の失敗した結果の数。
errorCount

integer

出力専用。この実行に関連付けられた評価のエラー結果の数。

LatencyReport

評価実行のレイテンシ レポート。

JSON 表現 
{
  "toolLatencies": [
    {
      object (LatencyReport.ToolLatency)
    }
  ],
  "callbackLatencies": [
    {
      object (LatencyReport.CallbackLatency)
    }
  ],
  "guardrailLatencies": [
    {
      object (LatencyReport.GuardrailLatency)
    }
  ],
  "llmCallLatencies": [
    {
      object (LatencyReport.LlmCallLatency)
    }
  ],
  "sessionCount": integer
}
フィールド
toolLatencies[]

object (LatencyReport.ToolLatency)

出力専用。順序なしリスト。各ツールのレイテンシ指標。
callbackLatencies[]

object (LatencyReport.CallbackLatency)

出力専用。順序なしリスト。各コールバックのレイテンシ指標。
guardrailLatencies[]

object (LatencyReport.GuardrailLatency)

出力専用。順序なしリスト。各ガードレールのレイテンシ指標。
llmCallLatencies[]

object (LatencyReport.LlmCallLatency)

出力専用。順序なしリスト。LLM 呼び出しごとのレイテンシ指標。
sessionCount

integer

出力専用。レイテンシ レポートで考慮されたセッションの合計数。

LatencyReport.ToolLatency

単一ツールのレイテンシ指標。

JSON 表現 
{
  "toolDisplayName": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of mutually exclusive fields.
}
フィールド
toolDisplayName

string

出力専用。ツールの表示名。
latencyMetrics

object (LatencyReport.LatencyMetrics)

出力専用。ツールのレイテンシ指標。
ツールの識別子。以下は、相互に排他的なフィールドのリストです。レスポンスに設定されるフィールドは、最大 1 つです。
tool

string

出力専用。形式: projects/{project}/locations/{location}/apps/{app}/tools/{tool}。
toolsetTool

object (ToolsetTool)

出力専用。ツールセット ツールの ID。
相互に排他的なフィールドの終わり。

LatencyReport.LatencyMetrics

コンポーネントのレイテンシ指標。

JSON 表現 
{
  "p50Latency": string,
  "p90Latency": string,
  "p99Latency": string,
  "callCount": integer
}
フィールド
p50Latency

string (Duration format)

出力専用。50 パーセンタイル レイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。
p90Latency

string (Duration format)

出力専用。90 パーセンタイル レイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。
p99Latency

string (Duration format)

出力専用。99 パーセンタイル レイテンシ。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。
callCount

integer

出力専用。リソースが呼び出された回数。

LatencyReport.CallbackLatency

単一のコールバックのレイテンシ指標。

JSON 表現 
{
  "stage": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
フィールド
stage

string

出力専用。コールバックのステージ。
latencyMetrics

object (LatencyReport.LatencyMetrics)

出力専用。コールバックのレイテンシ指標。

LatencyReport.GuardrailLatency

単一のガードレールのレイテンシ指標。

JSON 表現 
{
  "guardrail": string,
  "guardrailDisplayName": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
フィールド
guardrail

string

出力専用。ガードレールの名前。形式: projects/{project}/locations/{location}/apps/{app}/guardrails/{guardrail}。
guardrailDisplayName

string

出力専用。ガードレールの表示名。
latencyMetrics

object (LatencyReport.LatencyMetrics)

出力専用。ガードレールのレイテンシ指標。

LatencyReport.LlmCallLatency

単一の LLM 呼び出しのレイテンシ指標。

JSON 表現 
{
  "model": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
フィールド
model

string

出力専用。モデルの名前。
latencyMetrics

object (LatencyReport.LatencyMetrics)

出力専用。LLM 呼び出しのレイテンシ指標。

メソッド

delete

 評価実行を削除します。

export

 評価実行をエクスポートします。

get

 指定された評価実行の詳細を取得します。

list

 指定されたアプリのすべての評価実行を一覧表示します。