エンリッチメント提案を評価して承認する

このガイドは、データ スチュワードとカタログ管理者を対象としています。拡充実行によって生成されたメタデータ提案を評価して承認する方法について説明します。

拡充タスクを実行するたびに、拡充実行が生成されます。実行により、ナレッジ シグナルに対してコンテキスト セットが処理され、評価指標が生成され、新しいメタデータ プロパティが提案されます。

過去の実行の詳細を表示して、パフォーマンスを評価し、提案されたメタデータの変更を承認するか拒否するかを決定できます。

始める前に

拡充実行の評価と承認に必要な権限を取得するには、プロジェクトに対する次のいずれかの IAM ロールを付与するよう管理者に依頼してください。

  • Dataplex Catalog 編集者（roles/dataplex.catalogEditor）
  • Dataplex Catalog 管理者（roles/dataplex.catalogAdmin）

ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。

また、プロジェクトで実行されているアクティブな拡充タスクが必要です。詳細については、拡充タスクを作成するをご覧ください。

評価ワークフロー

拡充の実行は、次の 3 つのフェーズで確認できます。

  1. 全体的な有効性を評価する: [概要] タブと [評価] タブで集計スコアを確認します。これにより、詳細を調べる前に、実行が全体的に成功したか、完全にハルシネーションが発生したかがわかります。

  2. 個々の提案を精査する: [概要] タブをフィルタして、Low の信頼度の提案を表示します。提案の決定が不明確な場合は、[アーティファクト] タブを使用して、未加工の会話トレースを監査し、エージェントが提案を行った理由を把握します。

  3. 実行を承認または拒否する: 最終チェックを行います。提案の大部分が適切で、適切に根拠付けられている場合は、実行を承認してメタデータをカタログに統合します。重大な欠陥がある場合は、実行を拒否し、コンテキスト セットを改善して、もう一度お試しください。

エンリッチメント実行を開く

エンリッチメント実行の詳細を表示するには:

  1. Google Cloud コンソールで、[Knowledge Studio] ページに移動します。

    ナレッジ スタジオに移動

  2. 左側のナビゲーション パネルで、[Enrichments] を選択します。

    [Enrichment] ページが開き、アクティブなタスク、失敗したタスク、成功したタスクのリストが表示されます。タスクリストには、タスク名、ステータス、実行の概要、トリガー、最終更新日が含まれます。

  3. タスクのリストで、調査する拡充タスクの名前をクリックします。

  4. [ジョブ] タブをクリックします。

  5. ジョブのリストで、表示する実行のリンクされた名前（ID）をクリックします。または、実行の横にある [アクション] をクリックして、[結果を表示] を選択します。

[拡充実行の詳細] ページが開きます。

詳細ページでは、結果が次のタブに整理されます。

Tab このタブでは、以下の操作を行うことができます。
概要 全体的な健全性と信頼性を評価し、生成されたメタデータの提案を確認して承認します。「この実行はほぼ良好か？」「カタログに公開されるのは具体的に何か？」という質問に答えます。
評価 定量的なスコアと合否の指標を確認します。「拡充ロジックによってデータのユーザビリティが実際に向上したか？」という疑問に答えます。
アーティファクト 診断、暗黙的な学習、グラウンディングのスコアを検査します。「エージェントがこの決定を下したのはなぜか、そのロジックは信頼できるか」という質問に答えます。
ログ システム実行トレースのトラブルシューティングを行います。「ジョブは技術的に失敗したか？」という質問に答えます。

実行の全体的な実現可能性を評価する

[概要] タブは、このタブでは、実行の全体的な成功を評価し、概要指標を閲覧して、AI が提案した特定のメタデータの変更を確認または承認できます。

実行の概要を確認するには:

  1. [拡充実行の詳細] ページで、[概要] タブを選択します。

  2. エンリッチメント レポートを確認します。このセクションには、集計スコア、ステータス（「レビューが必要」など）、期間、使用されたトークンの合計、提案の全体的な信頼度を説明する概要など、実行の全体的な健全性が表示されます。

    確認事項: 集計スコアと概要を確認して、個々の提案を詳しく調べる前に、実行がマクロレベルで成功したかどうかをすばやく判断します。たとえば、スコアが 80% 以上であれば、一般的に信頼性の高い実行であることを示します。スコアが低い場合は、提案をより慎重に確認する必要があります。

  3. エンドツーエンド評価のセクションを確認します。評価ケースのベースラインと予測合格率が表示されます。許容可能な実行では、通常、デルタが正の値（+5% など）になり、提案されたメタデータがベースラインと比較して全体的なデータのユーザビリティを向上させていることを示します。

  4. [プロポーザル] セクションを確認します。このセクションには、提案された変更の概要（作成、更新、削除の合計数など）が表示され、その後にリソースタイプ（ナレッジベース ドキュメントなど）別にグループ化された提案のリストが表示されます。信頼度（High、Medium、Low、N/A）で提案をフィルタし、リソースタイプを開いて特定のエントリを表示できます。

    確認する内容: 特に Low 信頼度の提案を探します。これらは通常、コンテキストの欠落やハルシネーションを示しており、拒否する必要があります。

個々の提案を精査する

タスクで自動公開を有効にしていない限り、拡充の実行によってメタデータが自動的に変更されることはありません。この実行により、承認が必要な変更案が生成されます。

提案を確認する際は、信頼スコアでフィルタし、Low の信頼度の提案を最初に確認することをおすすめします。これらの提案は最も厳密な審査が必要であり、手動での調整や不承認が必要になる可能性が最も高いためです。生成された Markdown、タグ、説明がプレビュー モードでビジネス ロジックを正確に表していることを確認し、[変更] ビューで意図しない属性のオーバーライドがないか確認します。

実行によって生成された特定の提案を確認するには:

  1. [拡充実行の詳細] タブの [提案] セクションで、確認する提案を見つけます。

  2. エントリの [プロポーザルを表示] をクリックします。[変更の提案] サイドパネルが開きます。

  3. サイドパネルで、AI が生成したメタデータを確認し、必要に応じて編集します。

    • 変更する特定のリソース（概要など）で、ビューの切り替えを使用してビューを切り替えます。

      [変更] ビューでは、カタログに push される正確な差分を検査できます。

      [プレビュー] ビューには、生成されたドキュメントとテーブルが、人間が読みやすい形式で表示されます。

    • AI の提案を手動で調整するには、リソース名の横にある [編集] をクリックし、テキスト エディタで変更を加えて、[保存] をクリックします。

  4. 提案が不正確な場合は、サイドパネルで [リクエストから削除] をクリックし、[削除] をクリックして確定します。これにより、提案された変更が完全に削除され、実行を承認したときにカタログに追加されなくなります。

  5. すべての提案を確認したら、[提案] セクション ヘッダーの [承認] をクリックして、残りの提案をカタログに統合します。または、走行全体が不正確な場合は、[拒否] をクリックします。

エンドツーエンドの評価指標を表示する

[評価] タブでは、拡充実行の影響を測定します。提案されたメタデータがある場合とない場合で、データがテストの質問にどの程度適切に回答しているかを比較します。これにより、実行を承認するか、コンテキスト セットを調整するかを判断できます。

結果を評価する際は、[理由] 列を使用して理由を把握します。エージェントは、そのロジックをリファレンスと比較して詳細な推論を提供します。このフィードバックを使用して、エージェントが失敗した理由（重要なテーブル結合が欠落しているなど）を把握できます。この情報を使用して、ソースデータを改善したり、コンテキスト セットを明確にしたりできます。

評価結果を解釈するには:

  1. [拡充実行の詳細] ページで、[評価] タブをクリックします。
  2. タブの上部にあるスコアを確認します。デルタに注目します。これは、合格率の全体的な変化率を示し、拡充提案によって追加された高レベルの価値を示します。
  3. 概要指標を確認して、特定の条件（データ結果の精度など）における統計的な変化（平均値や最大値など）を確認します。
  4. [ケースごとの結果] テーブルを使用して、特定の認識ギャップをデバッグします。この表には、実行中に評価されたすべてのテスト質問が一覧表示されます。
    • リストをフィルタして、[Change] 列の [Fail] の結果または Still failing エントリを見つけます。
    • [理由] 列の説明を読んで、AI の失敗を理解します。

監査実行アーティファクト

[アーティファクト] タブには、AI の決定を裏付ける詳細な診断と証拠が表示されます。このタブは、提案の信頼スコアが低い理由を把握する必要がある場合に参照します。また、エージェントによって抽出された未加工の会話トレースと学習済みルールを監査することもできます。

[学習] タブを表示するときに、[適用済み] と [要確認] の数を確認します。[適用済み] の数は、システムに正常に追加された新しいファクトの数を示します。[要確認] は、手動でのクリーンアップが必要な、矛盾する検出結果やあいまいな検出結果にフラグを付けます。カウントが 0 の場合、このラウンドで新しいナレッジが抽出されなかったことを意味します。これは正常な結果です。アイテムに曖昧または競合のフラグが付けられている場合、エージェントがソースで矛盾する情報を見つけたことを意味します。この矛盾は、コンテキスト セットで解決する必要があります。

[信頼スコア] タブを表示するときは、概要文（「ほとんどの提案を妨げた要因」など）を読みます。[提案された変更] セクションに移動して、評価が最も低い変更を特定します。変更がここにリストされている場合、グラウンディング チェックに失敗したか、十分な証拠がなかった可能性があります。このリストを使用して、拒否する提案の優先順位を決定します。

実行アーティファクトを表示するには:

  1. [拡充実行の詳細] ページで、[アーティファクト] タブをクリックします。

  2. 診断データを確認するには、次のサブタブを確認します。

    • 学習: エージェントが新しい暗黙知（会話ログやチャット履歴など）を正常にマイニングしたかどうかを表示します。特定の提案につながった会話トレースを表示することもできます。

    • 信頼度スコア: AI の信頼度評価を、グラウンディング、裏付け、ソースの品質の 3 つのディメンションに分類します。評価を監査する必要がある場合は、このセクションから未加工の dynamic_eval.json データセットにアクセスすることもできます。

失敗した実行のトラブルシューティング

[ログ] タブには、詳細なシステム実行トレースが表示されます。このタブにアクセスして、バックエンド エラーのトラブルシューティングを行うか、拡充ジョブが完了まで実行されなかった理由を調査します。

失敗した実行のトラブルシューティングを行う、または実行の詳細を調べるには:

  1. [拡充実行の詳細] ページで、[ログ] タブをクリックします。
  2. [重大度] プルダウンまたは [フィルタ] バーを使用して、ログの結果を絞り込みます。
  3. 実行トレースとシステム ロギングを確認します。
    • 確認する内容: 割り当ての枯渇や API タイムアウトなど、バックエンド障害を示す赤色の ERROR または FATAL 重大度エントリを探します。

または、Cloud Logging を使用して診断ログを直接クエリすることもできます。拡充エージェントの詳細な実行ログは、Cloud Logging に自動的にルーティングされます。機密性の高いシステム指示と元データは秘匿化されます。

ログ エクスプローラで次のクエリを使用してログをフィルタします。

  • 拡充タスクのすべてのログを表示する:

    resource.type="dataplex.googleapis.com/EnrichmentWorkflow"

  • 特定のタスクのログをフィルタする: text resource.labels.workflow_id="YOUR_TASK_NAME"

  • 特定の実行のログをフィルタする: text labels.run_id="YOUR_RUN_ID"

  • 警告とエラーをフィルタする: text severity>=WARNING

これらのクエリを使用して、Cloud Logging 指標に基づいて Cloud Monitoring アラート ポリシーを構成することもできます。たとえば、拡充の実行が失敗（severity>=ERROR）したときに、アラートを Slack、PagerDuty、またはメール配信リストに事前に転送できます。

拡充タスクを反復処理する

拡充実行で不正確な提案が生成された場合や、グラウンディング チェックに失敗した場合（Low の信頼度が報告された場合）は、実行を承認しないでください。代わりに、エージェントに提供される情報を改善して、タスクを再度実行する必要があります。

  1. [概要] タブの [提案] セクションで、[拒否] をクリックします。

  2. エージェントがデータスキーマを誤って解釈した場合は、Knowledge Catalog のソース定義に移動して、スキーマの説明を改善します。

  3. エージェントに十分なビジネス ロジックがなかったり、質問に回答するために間違ったテーブルを使用したりした場合は、タスクに添付されているコンテキスト セットに移動します。

    • リソースを追加する: 不足している内部ドキュメント、有効なクエリの例、不足している関連テーブルをコンテキスト セットに追加して、エージェントにさらに多くの事実を提供します。
    • リソースを削除する: エージェントが混乱している場合は、古いドキュメントや競合する用語集の用語を削除します。

  4. [拡充] ページに移動して、タスクを選択します。

  5. [編集] をクリックして、更新されたコンテキスト セットを指していることを確認し、[実行] をクリックして新しい提案セットを生成します。

次のステップ