評估及核准擴充提案

本指南適用於資料監管者和目錄管理員。說明如何評估及核准擴充執行作業產生的中繼資料提案。

每次執行資料充實任務時，系統都會產生資料充實執行作業。執行作業會根據知識信號處理內容集、產生評估指標，並提出新的中繼資料屬性。

您可以查看過往執行作業的詳細資料、評估成效，並決定是否要核准或拒絕建議的中繼資料變更。

事前準備

如要取得評估及核准擴充工作的權限，請要求管理員授予您下列其中一項專案 IAM 角色：

  • Dataplex Catalog 編輯者 (roles/dataplex.catalogEditor)
  • Dataplex Catalog 管理員 (roles/dataplex.catalogAdmin)

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

此外，專案中必須有執行中的擴充工作。詳情請參閱「建立擴充工作」。

評估工作流程

您可以分三個階段查看擴充執行作業：

  1. 評估整體可行性：查看「Overview」(總覽) 和「Evaluation」(評估) 分頁中的匯總分數。這樣一來，您就能在深入研究細節之前，先瞭解執行作業是否大致成功，或完全是幻覺。

  2. 仔細檢查個別提案：篩選「總覽」分頁，查看Low信賴水準提案。如果提案的決策不明確，請使用「Artifacts」(構件) 分頁稽核原始對話追蹤記錄，瞭解代理做出建議的原因。

  3. 核准或拒絕執行：進行最終檢查。如果大部分的提案都合理且有適當依據，請核准執行作業，將中繼資料合併到目錄中。如果嚴重不符，請拒絕執行、改善情境集，然後再試一次。

開啟擴充執行作業

如要查看資料充實執行作業的詳細資料，請按照下列步驟操作：

  1. 前往 Google Cloud 控制台的「Knowledge Studio」頁面。

    前往 Knowledge Studio

  2. 在左側導覽窗格中，選取「擴充」。

    「Enrichment」(擴充) 頁面會隨即開啟，並顯示執行中、失敗和成功的工作清單。工作清單包含工作名稱、狀態、執行摘要、觸發條件和上次修改日期。

  3. 在工作清單中，按一下要調查的擴充工作名稱。

  4. 按一下「Jobs」(工作) 分頁標籤。

  5. 在工作清單中，按一下要查看的執行作業連結「Name」(名稱) (ID)。或者，您也可以按一下執行作業旁的 「Actions」(動作)，然後選取「View result」(查看結果)。

「Enrichment run details」(資料充實執行作業詳細資料) 頁面隨即開啟。

詳細資料頁面會將結果整理到下列分頁：

Tab 鍵 這個分頁的用途如下：
總覽 評估整體健康狀態和可信度，並審查及核准生成的中繼資料提案。回答以下問題：這次執行作業是否大致良好？和究竟會將什麼內容發布至目錄？
評估 查看量化評分和通過/失敗指標。回答以下問題：擴充邏輯是否確實提升資料可用性？
Artifact 檢查診斷、默會學習和基準分數。回答以下問題：為什麼代理做出這項決定？邏輯是否可靠？
記錄 排解系統執行追蹤記錄問題。回答問題：工作是否在技術上失敗？

評估整體執行可行性

「總覽」分頁是起點。您可以在這個分頁中評估執行的整體成效、瀏覽高層級指標，以及查看或核准 AI 建議的特定中繼資料變更。

如要查看執行摘要，請按照下列步驟操作：

  1. 在「Enrichment run details」(擴充執行作業詳細資料) 頁面中，選取「Overview」(總覽) 分頁標籤。

  2. 查看強化報告。這個部分會顯示執行的整體健康狀態，包括匯總分數、狀態 (例如「需要審查」)、時間長度、使用的詞元總數，以及說明提案整體信賴度的摘要。

    重點：查看匯總分數和摘要，快速評估執行作業是否成功，再深入研究個別提案。舉例來說，分數達到 80% 以上通常表示執行結果可信度高，分數較低則可能需要更仔細地審查提案。

  3. 查看「End-to-end evaluation」(端對端評估) 部分。這會顯示評估案例的基準和預計通過率。如果執行結果可接受，Delta 通常會是正值 (例如 +5%)，表示與基準相比，建議的中繼資料可提升整體資料可用性。

  4. 查看「提案」部分。這個部分會顯示建議變更的概略摘要 (例如建立、更新或刪除的總數)，接著列出依資源類型 (例如「知識庫文件」) 分組的建議。您可以依信賴等級 (High、Medium、Low、N/A) 篩選建議，並展開資源類型來查看特定項目。

    注意事項：請特別留意 Low 信心提案，因為這通常表示缺少背景資訊或幻覺，必須拒絕。

仔細審查個別提案

除非您在工作中啟用自動發布功能，否則擴充執行作業不會自動修改中繼資料。執行作業會產生建議的變更，您必須核准這些變更。

查看提案時，建議您依信賴分數篩選，並先查看Low信賴提案，因為這類提案需要最嚴格的審查，且最可能需要手動調整或拒絕。在「預覽」模式中，確認產生的 Markdown、標記或說明準確呈現商業邏輯，並在「變更」檢視畫面中，檢查是否有任何非預期的屬性覆寫。

如要查看執行作業產生的特定提案，請按照下列步驟操作：

  1. 在「Enrichment run details」(擴充執行詳細資料) 分頁的「Proposals」(提案) 部分，找出要查看的提案。

  2. 按一下該項目的「查看提案」。「Proposed changes」(提議的變更) 側邊面板隨即開啟。

  3. 在側邊面板中，查看並視需要編輯 AI 生成的中繼資料。

    • 在要修改的特定資源 (例如「Overview」(總覽) 方面) 下方，使用檢視畫面切換鈕切換檢視畫面。

      在「Changes」(變更) 檢視畫面中，您可以查看推送至目錄的確切差異。

      「Preview」(預覽) 檢視畫面會以容易閱讀的格式，顯示生成的表格和文件。

    • 如要手動調整 AI 的提案，請按一下資源名稱旁的 「Edit」(編輯)，在文字編輯器中進行變更，然後按一下「Save」(儲存)。

  4. 如果提案不正確，請按一下側邊面板中的「Remove from request」(從要求中移除)，然後按一下「Remove」(移除) 確認。這項操作會永久移除建議的變更，避免在您核准執行作業時，將變更加入目錄。

  5. 查看所有提案後，按一下「Proposals」(提案) 區段標題中的「Approve」(核准)，將其餘提案合併至目錄。如果整趟跑步記錄都不準確，也可以點選「拒絕」。

查看端對端評估指標

「評估」分頁會評估擴充作業的影響。系統會比較資料在有建議中繼資料和沒有建議中繼資料的情況下，回答測試問題的成效。這有助於您決定是否要核准執行作業，或調整情境組合。

評估結果時，請查看「原因」欄，瞭解背後原因。代理會提供詳細的推論，比較其邏輯與參考資料。您可以根據這項意見回饋，瞭解代理失敗的原因 (例如缺少重要的資料表 join)。接著，您可以使用這項資訊改善來源資料，或釐清情境集。

如要解讀評估結果，請按照下列步驟操作：

  1. 在「Enrichment run details」(擴充執行作業詳細資料) 頁面，按一下「Evaluation」(評估) 分頁標籤。
  2. 查看分頁頂端的分數。請著重於「Delta」，其中顯示通過率的整體百分比變化，代表擴充提案帶來的高階價值。
  3. 查看「Summary metrics」(摘要指標)，瞭解特定條件 (例如「Data result accuracy」(資料結果準確度)) 的統計資料變化 (例如平均值或最大值)。
  4. 使用「Per-case results」(個別案例結果) 表格，對特定認知落差進行偵錯。這個表格會列出執行期間評估的所有測試問題。
    • 篩選清單，找出「Change」欄中的「Fail」結果或 Still failing 項目。
    • 請參閱「原因」欄中的說明，瞭解 AI 失敗的原因。

稽核執行作業構件

如要瞭解提案可信度分數偏低的原因，請前往這個分頁。您也可以使用這項工具，稽核原始對話追蹤記錄，以及代理擷取的學習規則。

查看「學習」分頁時，請檢查「已套用」和「需要處理」的數量。「Applied」計數會顯示成功新增至系統的新事實數量，而「Needs attention」則會標記需要手動清理的矛盾或模糊發現。如果計數為 0，表示本輪未擷取到新知識，這是正常結果。如果項目標示為「ambiguous」(不明確) 或「conflicts」(衝突)，表示代理在來源中找到矛盾的資訊，您必須在情境集中解決。

查看「信賴分數」分頁時，請閱讀摘要句 (例如「大多數提案未通過的原因」)。前往「建議的變更」部分，找出評分最低的變更。如果變更列在這裡，可能是未通過基準檢查，或缺乏足夠證據。請根據這份清單，決定拒絕提案的優先順序。

如要查看執行作業構件，請按照下列步驟操作：

  1. 在「Enrichment run details」(擴充執行作業詳細資料) 頁面中，按一下「Artifacts」(構件) 分頁標籤。

  2. 查看下列子標籤，檢查診斷資料：

    • 學習：顯示代理是否成功挖掘新的默契知識 (例如從對話記錄或即時通訊記錄)。您也可以查看促成特定提案的對話追蹤記錄。

    • 可信度分數：從基準、佐證和來源品質三個維度，細分 AI 的可信度評分。如需稽核評估結果，也可以從這個部分存取原始 dynamic_eval.json 資料集。

排解執行失敗的問題

「Logs」(記錄) 分頁包含詳細的系統執行追蹤記錄。請前往這個分頁，排解後端錯誤，或調查擴充工作無法完成的原因。

如要排解執行失敗的問題或檢查執行作業詳細資料，請按照下列步驟操作：

  1. 在「Enrichment run details」(擴充執行作業詳細資料) 頁面中，按一下「Logs」(記錄) 分頁標籤。
  2. 使用「Severity」(嚴重性) 下拉式選單或「Filter」(篩選器) 列，縮小記錄結果範圍。
  3. 查看執行追蹤記錄和系統記錄。
    • 注意事項：請尋找紅色 ERROR 或 FATAL 嚴重程度項目，這些項目代表後端失敗，例如配額用盡或 API 逾時。

或者，您也可以使用 Cloud Logging 直接查詢診斷記錄。擴充代理的詳細執行記錄會自動轉送至 Cloud Logging。機密的系統指令和原始資料會經過遮蓋。

在 Logs Explorer 中使用下列查詢，篩選記錄：

  • 查看擴充工作的記錄：

    resource.type="dataplex.googleapis.com/EnrichmentWorkflow"

  • 篩選特定工作的記錄： text resource.labels.workflow_id="YOUR_TASK_NAME"

  • 篩選特定執行作業的記錄： text labels.run_id="YOUR_RUN_ID"

  • 篩選警告和錯誤： text severity>=WARNING

您也可以使用這些查詢，根據 Cloud Logging 記錄指標設定 Cloud Monitoring 警告政策。舉例來說，每當擴充執行失敗 (severity>=ERROR) 時，您可以主動將快訊轉送至 Slack、PagerDuty 或電子郵件通訊清單。

反覆執行資料充實工作

如果擴充執行作業生成的提案不準確，或未通過基準檢查 (回報 Low 信心水準)，請勿核准該執行作業。您必須提供更完善的資訊給代理，然後再次執行工作。

  1. 在「總覽」分頁的「提案」部分，按一下「拒絕」。

  2. 如果代理誤解資料結構定義，請前往 Knowledge Catalog 的來源定義，改善結構定義說明。

  3. 如果代理缺乏足夠的商業邏輯，或使用錯誤的資料表回答問題，請前往工作附加的情境集。

    • 新增資源：在情境集中新增缺少的內部文件、有效的查詢範例或缺少的相關資料表，為代理提供更多事實。
    • 移除資源：如果代理因過時文件或衝突的詞彙而混淆，請移除這些資源。

  4. 前往「Enrichment」頁面，然後選取工作。

  5. 按一下「Edit」(編輯)，確認指向更新後的內容集，然後按一下「Run」(執行)，生成新的提案。

後續步驟