建立資料充實工作

Knowledge Studio 擴充工作可自動記錄資料的業務意義,讓 AI 應用程式準確查詢,不會產生幻覺。這些工作會使用 AI 掃描標準作業程序 (SOP)、程式碼存放區和使用者互動,擷取建立 AI 代理所需的商業邏輯。

事前準備

建立擴充工作前,請先完成下列必要條件。

瞭解概念

執行擴充工作前,建議您先熟悉擴充架構的核心元件:

  • 如要概略瞭解 Knowledge Studio 代理如何自動生成中繼資料,請參閱「關於擴充工作」。

  • 如要概略瞭解中繼資料內容如何建立 AI 代理基準,並簡化資料探索作業,請參閱「關於資料內容」。

  • 如要瞭解 Knowledge Catalog 階層架構 (包括項目群組、項目、切面和項目連結),請參閱「關於中繼資料」。

準備必要元件

建立擴充工作前,請務必按照「設定擴充工作的必要條件」一文,正確設定 AI 擴充環境。

備妥下列元件:

  • 服務帳戶:具備必要角色的專屬使用者服務帳戶。在本說明文件中,我們將其稱為「執行服務帳戶」,以便與 Google 代管的 Knowledge Catalog 服務代理區分。擴充工作會以這個服務帳戶的身分執行,並使用該帳戶讀取來源及寫入脈絡資料集。

  • 脈絡資料集:用於儲存擴充中繼資料的目的地脈絡資料集。脈絡資料集也是要充實的資產來源。如果在設定期間未新增其他資源,系統預設會擴充內容集中的所有內容。如果沒有情境組合,也可以在設定工作時建立空白情境組合。

  • 要擴充的資源 (選用):您要擴充的其他資料資產,且尚未包含在目的地情境集中。在建立工作時新增這些額外資源,可豐富工作內容,並自動將其新增至目的地情境集。這些資源可以是 BigQuery 資料集、資料表或 Lakehouse 資產,且必須已存在。

  • 知識信號 (選用):如果您打算提供文件或模型,讓 AI 代理學習,請務必準備 Cloud Storage bucket、設定 .jsonl 評估資料集的格式,或為第三方來源網址設定 OAuth。

  • 追蹤記錄 (選用):如要啟用代理自我學習功能,請務必設定代理追蹤記錄,方法是設定範圍記錄檢視畫面或 BigQuery 代理數據分析資料表,讓代理從中學習歷來互動。

  • 資料剖析和資料洞察 (建議):為提升生成中繼資料提案的品質,請先對常用的目標資料表啟用資料剖析和 AI 資料洞察功能,再執行工作。詳情請參閱「設定擴充工作的必要條件」。

必要的角色

如要設定及執行擴充工作,不同身分需要特定權限。

使用者

如要建立及管理擴充工作,您必須具備下列必要角色。

建立、修改、執行及取消擴充工作

為確保您具備建立、修改、執行及取消擴充工作的必要權限,請要求管理員在專案中授予您下列 IAM 角色:

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備建立、修改、執行和取消擴充工作的必要權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

您必須具備下列權限,才能建立、修改、執行及取消擴充工作:

  • 建立資料充實任務:dataplex.agentTasks.create
  • 查看資料充實任務:dataplex.agentTasks.get
  • 列出資料充實任務: dataplex.agentTasks.list
  • 刪除資料充實工作:dataplex.agentTasks.delete
  • 更新資料充實工作:dataplex.agentTasks.update
  • 執行資料充實工作: dataplex.agentTasks.run
  • 取消資料充實任務:dataplex.agentTasks.cancel

管理員或許也能透過自訂角色或其他預先定義的角色,授予您這些權限。

將執行服務帳戶附加至擴充工作設定

為確保您具備必要權限,可將執行服務帳戶附加至擴充工作設定,請要求管理員為您授予執行服務帳戶的下列 IAM 角色:

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備將執行服務帳戶附加至擴充工作設定所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

您必須具備下列權限,才能將執行服務帳戶附加至擴充工作設定:

  • 模擬服務帳戶:iam.serviceAccounts.actAs

管理員或許也能透過自訂角色或其他預先定義的角色,授予您這些權限。

執行作業服務帳戶

執行服務帳戶是擴充工作執行及執行所有作業的身分。

使用必要服務

為確保執行服務帳戶具備必要權限,可在執行擴充工作期間使用 API,請要求管理員在包含擴充工作的專案中,為執行服務帳戶授予下列 IAM 角色:

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備在執行擴充工作期間,使用 API 所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

執行擴充工作時,必須具備下列權限,才能使用 API:

  • 使用配額和服務:serviceusage.services.use

管理員或許也能透過自訂角色或其他預先定義的角色,將這些權限授予執行服務帳戶。

查看及剖析目標資料內容

為確保執行服務帳戶具備必要權限,可查看目標資料集內的資料內容並建立設定檔,請要求管理員將目標資料表的下列 IAM 角色授予執行服務帳戶:

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備查看及剖析目標資料集內資料內容所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

必須具備下列權限,才能查看目標資料集內的資料內容並建立設定檔:

  • 查看資料集中繼資料:bigquery.datasets.get
  • 查看資料表中繼資料: bigquery.tables.get
  • 讀取資料表資料:bigquery.tables.getData

管理員或許還可透過自訂角色或其他預先定義的角色,將這些權限授予執行服務帳戶。

提出中繼資料並寫入情境集

為確保執行服務帳戶具備必要權限,可提出中繼資料定義並寫入內容集,請要求管理員將專案的下列 IAM 角色授予執行服務帳戶:

  • 如要授予必要權限: Dataplex Catalog 編輯者 (roles/dataplex.catalogEditor) 和 Dataplex Catalog 檢視者 (roles/dataplex.catalogViewer)

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備建議中繼資料定義,並將其寫入內容集的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

必須具備下列權限,才能提議中繼資料定義,並將其寫入情境集:

  • 建立中繼資料項目: dataplex.entries.create
  • 更新中繼資料項目: dataplex.entries.update
  • 查看中繼資料項目: dataplex.entries.get
  • 列出中繼資料項目: dataplex.entries.list
  • 建立項目群組:dataplex.entryGroups.create
  • 更新項目群組:dataplex.entryGroups.update
  • 提議變更項目群組:dataplex.entryGroups.requestChanges

管理員或許還可透過自訂角色或其他預先定義的角色,將這些權限授予執行服務帳戶。

自動發布擴充內容 (選用)

(選用) 如果您為工作啟用自動發布功能,請加入下列角色:

為確保執行服務帳戶具備必要權限,可自動核准及發布變更,請要求管理員將專案的下列 IAM 角色授予執行服務帳戶:

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備自動核准及發布變更所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

必須具備下列權限,才能自動核准及發布變更:

  • 使用變更要求: dataplex.changeRequests.use

管理員或許還可透過自訂角色或其他預先定義的角色,將這些權限授予執行服務帳戶。

瞭解追蹤記錄

(選用) 如果您打算從現有的追蹤記錄中學習 (自我學習),請加入下列角色:

為確保執行服務帳戶具備必要權限,可從追蹤記錄讀取歷來互動,請要求管理員在擁有 Gemini 應用程式的專案中,將下列 IAM 角色授予執行服務帳戶:

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備從追蹤記錄讀取過往互動所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

必須具備下列權限,才能從追蹤記錄讀取過往互動:

  • 存取記錄檢視:logging.views.access
  • 讀取記錄項目:logging.logEntries.list

管理員或許還可透過自訂角色或其他預先定義的角色,將這些權限授予執行服務帳戶。

(選用) 如果您打算從 BigQuery 代理數據分析資料表學習,執行服務帳戶也需要代理數據分析資料表的 BigQuery 資料檢視者 (roles/bigquery.dataViewer) 角色。

Dataplex 服務代理

Knowledge Catalog 服務代理是 Google 代管的服務帳戶,Knowledge Catalog 會使用該帳戶代表您執行後端作業,例如在擴充執行期間模擬執行服務帳戶,以及自動調度 BigQuery 剖析工作。

Knowledge Catalog 服務代理的電子郵件地址格式如下:

service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com

將 PROJECT_NUMBER 替換為 Google Cloud 專案編號。

模擬執行作業服務帳戶

為確保 Knowledge Catalog 服務代理具備必要權限,能模擬執行服務帳戶來執行工作,請要求管理員將執行服務帳戶的下列 IAM 角色授予 Knowledge Catalog 服務代理:

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備所需權限,可模擬執行服務帳戶來執行工作。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

您必須具備下列權限,才能模擬執行服務帳戶來執行工作:

  • 產生存取權杖: iam.serviceAccounts.getAccessToken
  • 產生 OpenID 權杖:iam.serviceAccounts.getOpenIdToken
  • 簽署 JWT:iam.serviceAccounts.signJwt
  • 簽署 BLOB:iam.serviceAccounts.signBlob

管理員或許也能透過自訂角色或其他預先定義的角色,將這些權限授予 Knowledge Catalog 服務代理。

執行 BigQuery 分析及讀取查詢記錄

為確保 Dataplex 服務代理具備必要權限,可執行後端 BigQuery 分析及讀取資料表查詢記錄,請要求管理員在專案中,向 Dataplex 服務代理授予下列 IAM 角色:

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這些預先定義的角色具備執行後端 BigQuery 剖析,以及讀取資料表查詢記錄所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

如要執行後端 BigQuery 分析及讀取資料表查詢記錄,必須具備下列權限:

  • 查看資料集中繼資料:bigquery.datasets.get
  • 查看資料表中繼資料: bigquery.tables.get
  • 讀取資料表資料:bigquery.tables.getData
  • 列出 BigQuery 工作: bigquery.jobs.list
  • 查看基本資源中繼資料: resourcemanager.projects.get

管理員或許也能透過自訂角色或其他預先定義的角色,將這些權限授予 Dataplex 服務代理。

開啟 Knowledge Studio 工作區

如要開啟工作建立精靈,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Knowledge Studio」頁面。

    前往 Knowledge Studio

  2. 在左側導覽窗格中,選取「擴充」。

  3. 按一下「+ 建立擴充工作」。

為資料充實任務命名

在「Define」(定義) 窗格中,執行下列步驟:

  1. 在「Display name」(顯示名稱) 欄位中,輸入工作的描述性名稱 (例如 Finance Dataset enrichment)。
  2. 在「Task ID」欄位中,提供專屬 ID 或使用自動生成的 ID。
  3. 在「Goal」(目標) 欄位中,說明擴充工作的目標,引導擷取程序。提供自然語言指引,詳細說明這組情境的業務任務和 AI 功能目標。

    例如:

    Curate and maintain the authoritative context set for the
    `subscription_revenue` domain. Focus on resolving metric discrepancies
    between `gross_sales`, `net_billed_revenue`, and `discount_applied`.
    Ensure all customer join keys (e.g. `customer_id`, `subscription_fk`)
    have explicit column documentation, and establish parameterized query
    templates for Monthly Recurring Revenue (MRR) and Churn Rate calculations.
    
  4. 按一下「繼續」。

設定資料充實任務參數

範圍會指定要充實的內容,以及代理讀取的內容。

在「Scope」(範圍) 窗格中,執行下列步驟:

  1. 在「Project」(專案) 欄位中,選取包含情境集的專案。

  2. 在「Context set」(情境集) 欄位中,選取工作要擴充及儲存結果的情境集。

    擴充工作會沿用所選情境集的 Google Cloud 區域。

    如果沒有脈絡資料集,請按一下「建立新的脈絡資料集」。

    如要進一步瞭解如何建立情境組合,請參閱「建立情境組合」。

  3. 選用:在「Resources to enrich」(要擴充的資源) 部分,除了背景資訊集,您也可以新增要擴充的 BigQuery 或 Lakehouse 資源。

    新增的資源必須與所選情境集位於相同區域。多區域位置 (例如 us) 可成功比對該位置中的單一區域 (例如 us-central1)。如果區域不相符,工作建立作業就會失敗。

    如果您選取空白的背景資訊集,且未在這個部分新增任何其他資源,Knowledge Studio 會顯示警告。如果使用這項設定執行工作,系統會根據您的指示生成語意知識庫,但不會充實任何項目。

    1. 輸入目標資料資產的完整資源名稱。

      例如:

      • BigQuery 資料表: //bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID

      • Lakehouse 資產: //dataplex.googleapis.com/projects/PROJECT_ID/locations/LOCATION/lakes/LAKE_ID/zones/ZONE_ID/assets/ASSET_ID

    或者,如要以視覺化方式選取資源,請按照下列步驟操作:

    1. 按一下「瀏覽」,開啟「選取來源」對話方塊。
    2. 如要從最近使用的資源中選取,請按一下「近期」分頁標籤,然後選取要新增的資源。
    3. 如要瀏覽或搜尋所有資源,請按一下「全部」分頁標籤,然後執行下列操作:
      1. 在「Search」(搜尋) 欄位中,輸入 BigQuery 或 Lakehouse 資源的搜尋字詞。
      2. 在資源樹狀結構中,展開專案和資料集階層,找出資源。
      3. 勾選一或多個資源旁的核取方塊。您可以在右側窗格中預覽所選資源的結構定義和詳細資料。
    4. 按一下「確認」。

    如要新增更多資源,請使用半形逗號分隔資源名稱。

  4. 選用:在「Knowledge signals」(知識信號) 部分,將 AI 代理連結至其他來源,以便讀取背景資訊。這些資源為唯讀,且不會擴充。

    • Cloud Storage bucket:輸入 bucket 名稱,或按一下「Browse」(瀏覽) 搜尋 bucket。輸入個別 bucket 名稱後,請按下 Enter 鍵、半形逗號或空格鍵。這項工作需要整個 bucket,無法設定為只讀取個別檔案。
    • Glossaries (詞彙表):輸入詞彙表名稱,或按一下「Browse」(瀏覽) 搜尋詞彙表。輸入個別詞彙表名稱後,請按下 Enter 鍵,或是以半形逗號/空格分隔。

      請確認所有連結的詞彙表都位於與擴充工作和內容集完全相同的區域 (例如 us-central1)。如果從無效的多區域位置 (例如 us) 新增詞彙表,工作建立作業就會失敗。

    • 外部來源:如要連結 Google Workspace、Microsoft SharePoint、GitHub 或 Atlassian Confluence 等第三方平台,可以個別設定,或提供 YAML 設定檔。

      如要使用 YAML 檔案設定來源,請按照下列步驟操作:

      1. 在「Source configuration file (optional)」(來源設定檔 (選用)) 欄位中,按一下「Browse」(瀏覽),然後選取 YAML 檔案。

      如要手動設定來源,請按照下列步驟操作:

      1. 在「Connected sources」(已連結的來源) 下方,按一下要設定的平台旁的「Set up」(設定)。
      2. 在「Source URLs」(來源網址) 欄位中,輸入文件、存放區或空間的網址,然後在每個網址後方按下 Enter 鍵或半形逗號。
      3. 如果平台需要驗證 (例如 GitHub、Atlassian 或 Microsoft),請按照下列步驟附加憑證:

        1. 按一下「+ 新增連線」。
        2. 在「New connection」(新增連線) 窗格的「Auth provider」(驗證提供者) 欄位中,輸入驗證提供者的完整資源名稱。請使用下列格式:
          projects/PROJECT_ID/locations/LOCATION/authProviders/PROVIDER_NAME
        3. 在「URI patterns」(URI 模式) 下方,按一下「+ Add URI pattern」(新增 URI 模式),指定這組憑證有權存取的網址。您可以使用星號 (*) 做為萬用字元 (例如 https://github.com/test-org/*)。
        4. 按一下「完成」。

        Google Workspace 資源會直接使用工作執行服務帳戶的 IAM 權限連線,因此不需要驗證提供者連線。

  5. 按一下「繼續」。

設定評估和自我學習

這個部分為選用。在「Improve」(改善) 窗格中,執行下列步驟:

  1. 選用:在「Evaluation」(評估) 部分,設定下列欄位:

    如要進一步瞭解如何設定評估和精選資料集的格式,請參閱「資料集結構定義需求條件」。

    • 評估集:如要評估建議情境變更的影響,請輸入 Cloud Storage URI,或按一下「瀏覽」選取 .jsonl 檔案。

    • 精選集:如要提供一組種子問題進行疊代最佳化,請輸入 Cloud Storage URI,或按一下「Browse」(瀏覽) 選取 .jsonl 檔案。

  2. 選用:在「Publishing」(發布) 部分,指定發布頻率:

    啟用自動發布功能後,自動核准的中繼資料變更會直接寫入情境集。停用時,擴充執行作業會產生草稿編輯內容,必須經人工審查員核准,才能合併至程式碼集。

    • 如要先經過人工審查,再將中繼資料合併至正式版情境集,請取消勾選「Enable auto-publish」(啟用自動發布) 核取方塊。

    • 如要自動發布符合高畫質門檻的變更,請勾選「Enable auto-publish」(啟用自動發布) 核取方塊。使用上方的「Auto-publish above」(自動發布門檻) 滑桿,設定自動發布變更所需的最低信心分數 (例如 85%)。如果已設定評估資料集,您也可以使用「Maximum quality drop」(品質下降上限) 滑桿,在代理效能下降時 (例如 -5%) 安全地限制發布。任何不符合這些門檻的提案,都會排入變更要求佇列,等待人工審查。

  3. 選用:如要找出真人服務專員對話中的落差,並保持最新情境,請在「Self-learning」(自我學習) 部分,選取「Enable self-learning」(啟用自我學習) 切換鈕。

  4. 選用:如果啟用自我學習功能,請在「Learn from」(學習來源) 專區下方,新增下列任一來源:

    • Gemini Enterprise 應用程式:在「Project ID」(專案 ID) 清單中選取專案。在「Gemini Enterprise app」(Gemini Enterprise 應用程式) 清單中,選取會產生對話追蹤記錄的應用程式,然後按一下「Done」(完成)。

      您可以新增多個 Gemini Enterprise 應用程式。

      為充分發揮這些擴充和自我學習功能,建議在 Gemini Enterprise 應用程式中指定 Gemini 3.8 Flash 以上版本模型。如要進一步瞭解模型選取步驟,請參閱「在 Agent Studio 中設計代理」的「使用流程建構工具建立代理」一節。

    • BigQuery 代理分析:在「Table」(資料表) 欄位中,輸入包含代理對話事件的資料表名稱,或按一下「Browse」(瀏覽) 以視覺化方式選取,然後按一下「Done」(完成)。

      您可以新增多個表格。

  5. 按一下「繼續」。

調整執行設定

在「Run」(執行) 窗格中,執行下列步驟:

  1. 在「Run as」(執行身分) 部分,按一下「User service account」(使用者服務帳戶) 清單,然後選取工作用於讀取來源和寫入內容集的識別資訊。請確認這是您在「事前準備」中設定的身分。
  2. 在「Trigger」(觸發條件) 下方,選取觸發條件:
    • 隨選:只有在您點選「執行」時才會執行。
    • 排定:按照重複的時間表自動執行。
  3. 選用:在「Notifications」(通知) 下方,按一下「+ Add recipient」(新增收件者),指定最多五個電子郵件地址,以便在每次執行後接收報表。
  4. 在「摘要」窗格中驗證參數,然後按一下「建立」。

系統會儲存新的資料充實工作。視觸發條件設定而定,工作會等待首次排定的執行作業,或準備立即執行。工作執行完畢後,代理會將生成的 AI 中繼資料提案排入變更要求,供您審查。

後續步驟