- リソース: EvaluationResult
- JSON 表現
- EvaluationResult.GoldenResult
- EvaluationResult.GoldenResult.TurnReplayResult
- EvaluationResult.GoldenExpectationOutcome
- EvaluationResult.Outcome
- EvaluationResult.SemanticSimilarityResult
- EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult
- EvaluationResult.HallucinationResult
- EvaluationResult.ToolCallLatency
- EvaluationResult.OverallToolInvocationResult
- EvaluationResult.SpanLatency
- EvaluationResult.SpanLatency.Type
- EvaluationResult.EvaluationExpectationResult
- EvaluationResult.ScenarioResult
- EvaluationResult.ScenarioExpectationOutcome
- EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall
- EvaluationResult.ScenarioRubricOutcome
- EvaluationResult.TaskCompletionResult
- EvaluationResult.UserGoalSatisfactionResult
- EvaluationResult.ScenarioResult.MilestoneResult
- EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus
- EvaluationResult.ExecutionState
- EvaluationResult.OutcomeMetadata
- メソッド
リソース: EvaluationResult
評価結果は、評価の実行結果を表します。
| JSON 表現 |
|---|
{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum ( |
| フィールド | |
|---|---|
name |
ID。評価結果の固有識別子。形式: |
displayName |
必須。評価結果の表示名。評価内で一意。デフォルトの形式は「 |
createTime |
出力専用。評価結果が作成されたときのタイムスタンプ。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: |
evaluationStatus |
出力専用。評価の結果。executionState が COMPLETE の場合にのみ入力されます。 |
evaluationRun |
出力専用。この結果を生成した評価実行。形式: |
persona |
出力専用。評価結果の会話を生成するために使用されるペルソナ。 |
errorInfo |
出力専用。評価結果のエラー情報。 |
error |
出力専用。非推奨: 代わりに、 |
initiatedBy |
出力専用。この結果を生成した評価実行を開始したユーザー。 |
appVersion |
出力専用。この結果につながった会話の生成に使用されたアプリのバージョン。形式: |
appVersionDisplayName |
出力専用。評価が実行された |
changelog |
出力専用。評価が実行されたアプリ バージョンの変更履歴。ユーザーが最新 / ドラフトで評価を実行した場合に、この値が入力されます。 |
changelogCreateTime |
出力専用。評価が実行されたアプリ バージョンの変更履歴の作成時刻。ユーザーが最新 / ドラフトで評価を実行した場合に、この値が入力されます。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: |
executionState |
出力専用。評価結果の実行状態。 |
evaluationMetricsThresholds |
出力専用。結果の評価しきい値。 |
config |
出力専用。この結果を生成した評価実行で使用された構成。 |
goldenRunMethod |
出力専用。ゴールデン評価の実行に使用されるメソッド。 |
rootSpan |
出力専用。評価実行のルートスパン。評価の各ステップに関する情報が含まれます。 |
outcomeMetadata |
出力専用。評価の結果メタデータ。executionState が COMPLETE の場合にのみ入力されます。 |
| 評価の結果。execution_state が COMPLETED の場合にのみ入力されます。相互に排他的なフィールドのリストは次のとおりです。レスポンスに設定されるフィールドは、最大 1 つです。 | |
goldenResult |
出力専用。ゴールデン評価の結果。 |
scenarioResult |
出力専用。シナリオ評価の結果。 |
| 相互に排他的なフィールドの終了。 | |
EvaluationResult.GoldenResult
ゴールデン評価の結果。
| JSON 表現 |
|---|
{ "turnReplayResults": [ { object ( |
| フィールド | |
|---|---|
turnReplayResults[] |
出力専用。ゴールデン会話の各ターンを実行した結果。 |
evaluationExpectationResults[] |
出力専用。評価の期待値の結果。 |
EvaluationResult.GoldenResult.TurnReplayResult
ゴールデン会話の 1 ターンを実行した結果。
| JSON 表現 |
|---|
{ "conversation": string, "expectationOutcome": [ { object ( |
| フィールド | |
|---|---|
conversation |
出力専用。このターンで生成された会話。 |
expectationOutcome[] |
出力専用。各期待値の結果。 |
hallucinationResult |
出力専用。ハルシネーション チェックの結果。 |
toolInvocationScore |
出力専用。非推奨。代わりに OverallToolInvocationResult を使用してください。 |
turnLatency |
出力専用。ターンの所要時間。
|
toolCallLatencies[] |
出力専用。ターン内の各ツール呼び出しのレイテンシ。 |
semanticSimilarityResult |
出力専用。意味的類似性チェックの結果。 |
overallToolInvocationResult |
出力専用。ツール呼び出しチェック全体の実行結果。 |
errorInfo |
出力専用。このターン中に発生したエラーに関する情報。 |
spanLatencies[] |
出力専用。ターンのスパンのレイテンシ。 |
toolOrderedInvocationScore |
出力専用。このターンのツールの順序付き呼び出しの全体的なスコア。これは、期待されるターンから実際に期待される順序で呼び出されたツールの全体的な割合を示します。 |
EvaluationResult.GoldenExpectationOutcome
期待値とその期待値の結果を指定します。
| JSON 表現 |
|---|
{ "expectation": { object ( |
| フィールド | |
|---|---|
expectation |
出力専用。評価された期待値。 |
outcome |
出力専用。期待の結果。 |
semanticSimilarityResult |
出力専用。意味的類似性チェックの結果。 |
toolInvocationResult |
出力専用。ツール呼び出しチェックの結果。 |
| 期待値の結果。相互に排他的なフィールドのリストは次のとおりです。レスポンスに設定されるフィールドは、最大 1 つです。 | |
observedToolCall |
出力専用。ツール呼び出しの期待値の結果。 |
observedToolResponse |
出力専用。ツール レスポンスの期待値の結果。 |
observedAgentResponse |
出力専用。エージェントのレスポンスの期待値の結果。 |
observedAgentTransfer |
出力専用。エージェント転送の期待値の結果。 |
observedPayload |
出力専用。観測されたカスタム ペイロード。カスタム ペイロードに期待されるものはありません。これは指標の計算にのみ使用されます。結果は常に SKIPPED です。 |
| 相互に排他的なフィールドの終了。 | |
EvaluationResult.Outcome
評価または期待の結果。
| 列挙型 | |
|---|---|
OUTCOME_UNSPECIFIED |
評価結果が指定されていません。 |
PASS |
評価 / 期待値が合格しました。評価の場合、これはすべての期待が満たされたことを意味します。 |
FAIL |
評価 / 期待値が失敗しました。評価の場合、これは少なくとも 1 つの期待値が満たされなかったことを意味します。 |
SKIPPED |
評価 / 期待値がスキップされました。 |
EvaluationResult.SemanticSimilarityResult
意味的類似性チェックの結果。
| JSON 表現 |
|---|
{
"label": string,
"explanation": string,
"outcome": enum ( |
| フィールド | |
|---|---|
label |
出力専用。各スコアに関連付けられたラベル。スコア 4: 完全に一致、スコア 3: ほぼ一致、スコア 2: 部分的に一致(軽微な省略あり)、スコア 1: 大幅に不一致(重大な省略あり)、スコア 0: 完全に不一致 / 矛盾 |
explanation |
出力専用。意味的類似性スコアの説明。 |
outcome |
出力専用。意味的類似性チェックの結果。これは、スコアを semanticSimilaritySuccessThreshold と比較することで判断されます。スコアがしきい値以上の場合、結果は PASS になります。それ以外の場合、結果は FAIL になります。 |
score |
出力専用。意味的類似度スコア。0、1、2、3、4 のいずれかです。 |
EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult
ツール呼び出しチェックの結果。
| JSON 表現 |
|---|
{
"outcome": enum ( |
| フィールド | |
|---|---|
outcome |
出力専用。ツール呼び出しチェックの結果。これは、parameterCorrectnessScore をしきい値と比較することで判断されます。スコアがしきい値以上の場合、結果は PASS になります。それ以外の場合、結果は FAIL になります。 |
explanation |
出力専用。ツール呼び出しの結果に関する自由形式の説明。 |
parameterCorrectnessScore |
出力専用。ツール呼び出しパラメータの正確性スコア。これは、期待されるツール呼び出しのパラメータのうち、実際のツール呼び出しにも存在するパラメータの割合を示します。 |
EvaluationResult.HallucinationResult
1 ターンのハルシネーション チェックの結果。
| JSON 表現 |
|---|
{ "label": string, "explanation": string, "score": integer } |
| フィールド | |
|---|---|
label |
出力専用。各スコアに関連付けられたラベル。スコア 1: 正当化されている、スコア 0: 正当化されていない、スコア -1: 評価対象の主張がない |
explanation |
出力専用。ハルシネーション スコアの説明。 |
score |
出力専用。ハルシネーション スコア。-1、0、1 のいずれかです。 |
EvaluationResult.ToolCallLatency
ツール呼び出しの実行のレイテンシ。
| JSON 表現 |
|---|
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string } |
| フィールド | |
|---|---|
tool |
出力専用。実行されたツールの名前。形式: |
displayName |
出力専用。ツールの表示名。 |
startTime |
出力専用。ツール呼び出しの実行の開始時間。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: |
endTime |
出力専用。ツール呼び出しの実行の終了時間。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: |
executionLatency |
出力専用。ツール呼び出しの実行のレイテンシ。
|
EvaluationResult.OverallToolInvocationResult
ツール呼び出しチェック全体の実行結果。
| JSON 表現 |
|---|
{
"outcome": enum ( |
| フィールド | |
|---|---|
outcome |
出力専用。ツール呼び出しチェックの結果。これは、toolInvocationScore と overallToolInvocationCorrectnessThreshold を比較することで判断されます。スコアがしきい値以上の場合、結果は PASS になります。それ以外の場合、結果は FAIL になります。 |
toolInvocationScore |
このターンの全体的なツール呼び出しスコア。これは、期待されるターンから実際に呼び出されたツールの全体的な割合を示します。 |
EvaluationResult.SpanLatency
スパン実行のレイテンシ。
| JSON 表現 |
|---|
{ "type": enum ( |
| フィールド | |
|---|---|
type |
出力専用。スパンのタイプ。 |
displayName |
出力専用。スパンの表示名。ツールとガードレールのスパンに適用されます。 |
startTime |
出力専用。スパンの開始時間。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: |
endTime |
出力専用。スパンの終了時刻。 RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: |
executionLatency |
出力専用。スパンのレイテンシ。
|
| タイプに基づく特定のアイテムの識別子。相互に排他的なフィールドのリストは次のとおりです。レスポンスに設定されるフィールドは、最大 1 つです。 | |
resource |
出力専用。ガードレールまたはツールのスパンのリソース名。 |
toolset |
出力専用。ツールセット ツール ID。 |
model |
出力専用。LLM スパンの名前。 |
callback |
出力専用。ユーザー コールバック スパンの名前。 |
| 相互に排他的なフィールドの終了。 | |
EvaluationResult.SpanLatency.Type
スパンのタイプ。今後、値が追加される可能性があります。
| 列挙型 | |
|---|---|
TYPE_UNSPECIFIED |
デフォルト値。この値は使用されません。 |
TOOL |
ツール呼び出しスパン。 |
USER_CALLBACK |
ユーザー コールバック スパン。 |
GUARDRAIL |
ガードレール スパン。 |
LLM |
LLM スパン。 |
EvaluationResult.EvaluationExpectationResult
1 つの評価期待値の結果。
| JSON 表現 |
|---|
{
"evaluationExpectation": string,
"prompt": string,
"outcome": enum ( |
| フィールド | |
|---|---|
evaluationExpectation |
出力専用。評価の期待値。形式: |
prompt |
出力専用。評価に使用されたプロンプト。 |
outcome |
出力専用。評価期待値の結果。 |
explanation |
出力専用。結果の説明。 |
EvaluationResult.ScenarioResult
シナリオ評価の結果。
| JSON 表現 |
|---|
{ "conversation": string, "task": string, "userFacts": [ { object ( |
| フィールド | |
|---|---|
conversation |
出力専用。シナリオで生成された会話。 |
task |
出力専用。この結果のシナリオの実行時に使用されたタスク。 |
userFacts[] |
出力専用。この結果のシナリオで使用されたユーザー ファクト。 |
expectationOutcomes[] |
出力専用。各期待値の結果。 |
rubricOutcomes[] |
出力専用。ルーブリックの結果。 |
hallucinationResult[] |
出力専用。ハルシネーション チェックの結果。会話のターンごとに 1 つのハルシネーション結果が表示されます。 |
taskCompletionResult |
出力専用。タスク完了チェックの結果。 |
toolCallLatencies[] |
出力専用。会話内の各ツール呼び出しの実行のレイテンシ。 |
userGoalSatisfactionResult |
出力専用。ユーザー目標の達成度チェックの結果。 |
spanLatencies[] |
出力専用。会話内のスパンのレイテンシ。 |
evaluationExpectationResults[] |
出力専用。評価の期待値の結果。 |
milestoneResults[] |
出力専用。シナリオの各マイルストーンの結果。 |
allExpectationsSatisfied |
出力専用。このターンですべての期待値が満たされたかどうか。 |
taskCompleted |
出力専用。このターンでタスクが完了したかどうか。これは、すべての期待が満たされ、ハルシネーションがなく、ユーザーの目標が達成されたことを示す複合的な指標です。 |
EvaluationResult.ScenarioExpectationOutcome
シナリオの期待値の結果。
| JSON 表現 |
|---|
{ "expectation": { object ( |
| フィールド | |
|---|---|
expectation |
出力専用。評価された期待値。 |
outcome |
出力専用。ScenarioExpectation の結果。 |
| 期待値の結果。相互に排他的なフィールドのリストは次のとおりです。レスポンスに設定されるフィールドは、最大 1 つです。 | |
observedToolCall |
出力専用。観察されたツール呼び出し。 |
observedAgentResponse |
出力専用。観察されたエージェントのレスポンス。 |
| 相互に排他的なフィールドの終了。 | |
EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall
観察されたツール呼び出しとレスポンス。
| JSON 表現 |
|---|
{ "toolCall": { object ( |
| フィールド | |
|---|---|
toolCall |
出力専用。観察されたツール呼び出し。 |
toolResponse |
出力専用。観察されたツール レスポンス。 |
EvaluationResult.ScenarioRubricOutcome
ルーブリックに照らした評価の結果。
| JSON 表現 |
|---|
{ "rubric": string, "scoreExplanation": string, "score": number } |
| フィールド | |
|---|---|
rubric |
出力専用。会話の評価に使用されたルーブリック。 |
scoreExplanation |
出力専用。ルーブリックに対する評価者の回答。 |
score |
出力専用。ルーブリックに照らした会話のスコア。 |
EvaluationResult.TaskCompletionResult
会話のタスク完了チェックの結果。
| JSON 表現 |
|---|
{ "label": string, "explanation": string, "score": integer } |
| フィールド | |
|---|---|
label |
出力専用。各スコアに関連付けられたラベル。スコア 1: タスク完了、スコア 0: タスク未完了、スコア -1: ユーザーの目標が未定義 |
explanation |
出力専用。タスク完了スコアの説明。 |
score |
出力専用。タスク完了スコア。-1、0、1 のいずれか |
EvaluationResult.UserGoalSatisfactionResult
会話のユーザー目標達成度チェックの結果。
| JSON 表現 |
|---|
{ "label": string, "explanation": string, "score": integer } |
| フィールド | |
|---|---|
label |
出力専用。各スコアに関連付けられたラベル。スコア 2: 適切な引き継ぎ、スコア 1: ユーザーのタスクが完了、スコア 0: ユーザーのタスクが未完了、スコア -1: ユーザーのタスクが不明 |
explanation |
出力専用。ユーザーのタスク満足度スコアの説明。 |
score |
出力専用。ユーザーのタスク満足度スコア。-1、0、1、2 のいずれかです。 |
EvaluationResult.ScenarioResult.MilestoneResult
マイルストーンの実行結果を表します。
| JSON 表現 |
|---|
{ "milestone": { object ( |
| フィールド | |
|---|---|
milestone |
出力専用。トラッキングされているマイルストーン。 |
status |
出力専用。マイルストーンの現在のステータス。 |
justification |
出力専用。現在のステータスの理由。 |
EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus
マイルストーンのステータス。
| 列挙型 | |
|---|---|
MILESTONE_STATUS_UNSPECIFIED |
ステータスの指定がありません。 |
NOT_STARTED |
マイルストーンはまだ開始されていません。 |
IN_PROGRESS |
マイルストーンは現在進行中です。 |
COMPLETED |
マイルストーンが正常に完了しました。 |
EvaluationResult.ExecutionState
評価結果の実行状態。
| 列挙型 | |
|---|---|
EXECUTION_STATE_UNSPECIFIED |
評価結果の実行状態が指定されていません。 |
QUEUED |
評価結果の実行がキューに追加されました。 |
RUNNING |
評価結果の実行が進行中です。 |
COMPLETED |
評価結果の実行が完了しました。 |
ERROR |
内部エラーのため、評価結果の実行に失敗しました。 |
CANCELLED |
評価結果の実行がキャンセルされました。 |
EvaluationResult.OutcomeMetadata
評価の結果に関するメタデータ。
| 列挙型 | |
|---|---|
OUTCOME_METADATA_UNSPECIFIED |
未指定の結果メタデータ。 |
GRACEFUL_HANDOFF |
評価の結果、人間の担当者へのスムーズな引き継ぎが実現しました。 |
メソッド |
|
|---|---|
|
評価結果を削除します。 |
|
評価結果をエクスポートします。 |
|
指定された評価結果の詳細を取得します。 |
|
特定の評価のすべての評価結果を一覧表示します。 |
|
既存の評価結果に対して指標を実行します。 |