搭配使用 Knowledge Catalog 與 BigQuery

Knowledge Catalog (舊稱 Dataplex Universal Catalog) 可與 BigQuery 互動，做為 BigQuery 中繼資料的中央資料治理和代理存取層。詳情請參閱「Knowledge Catalog 總覽」。

如何搭配使用 Knowledge Catalog 和 BigQuery？

Knowledge Catalog 與 BigQuery 的互動方式如下：

自動擷取中繼資料

Knowledge Catalog 會自動探索及編製 BigQuery 資產的技術中繼資料索引。包含下列項目：

資產類型：資料集、資料表、檢視區塊、模型、常式、連線和連結的資料集。
BigQuery sharing：來自 BigQuery sharing (舊稱 Analytics Hub) 的交易和項目。
即時更新：系統支援近乎即時的擷取作業，並使用 Pub/Sub 提供中繼資料變更訊息，通知下游系統 BigQuery 中的結構定義變更或刪除作業。
暗資料探索：Knowledge Catalog 可以掃描非結構化檔案 (例如 Cloud Storage 中的 PDF)，擷取實體，並將其轉換為 BigQuery 中可查詢的資產。這項功能可讓您存取先前無法存取的「暗資料」，以進行 BigQuery 基礎分析和 AI 基礎作業。

中繼資料表示法和擴充功能

項目：每個 BigQuery 資料表或資產在目錄中都以項目表示，而非整個資料表，例如 project.dataset.table。
資料欄層級中繼資料：個別資料欄或欄位會以路徑表示，方便您將特定中繼資料 (例如 PII 標記或資料品質分數) 附加至 BigQuery 資料表中的個別欄位，而不只是附加至資料表本身。
切面：技術中繼資料會透過切面擴增，為資料新增業務背景資訊，例如擁有權、資料品質和文件。
資料產品：您可以將相關的 BigQuery 資產封裝成資料產品，例如電子商務業務資料，並共用存取權和管理限制。

資料探索與搜尋

語意搜尋：使用者可以運用自然語言搜尋 BigQuery 資料，這項功能特別適合資料科學家和 AI 代理，可透過冗長或複雜的查詢，尋找可信的資料產品。
名稱翻譯：為方便以程式輔助查詢，系統可將 BigQuery SQL 名稱或完整名稱翻譯為 Knowledge Catalog 項目名稱。

代理功能存取權和建立基準

代理功能存取權：AI 代理可透過本機或遠端 MCP 伺服器，探索及適應性地使用 Knowledge Catalog 工具。
AI 代理的背景脈絡：Knowledge Catalog 會管理背景脈絡圖，將 BigQuery 資料集與業務語意連結，確保模型使用企業核准的資料，減少 AI 產生幻覺。

管理與法規遵循

資料歷程：Knowledge Catalog 會自動追蹤資料在 BigQuery 資料表內外的流動和轉換情形。這項功能對於稽核整個資料資產中的 PII 等私密資訊至關重要。
存取權控管：中繼資料管理功能已整合 Identity and Access Management (IAM) 和 VPC Service Controls，可確保 BigQuery 中繼資料的探索和存取作業符合機構安全政策。

遷移注意事項

從已淘汰的 Data Catalog 遷移至 Knowledge Catalog 需經過幾個步驟。BigQuery 的標準中繼資料 (例如資料集、資料表、檢視區塊) 會自動顯示在 Knowledge Catalog 中，因此遷移程序主要著重於自訂中繼資料、API 用量和使用者介面預設值。

遷移時請注意以下幾點：

瞭解變更內容

與 Data Catalog 相比，Knowledge Catalog 提供更強大的中繼資料管理、控管和探索功能。Knowledge Catalog 使用不同的 API (Knowledge Catalog API)，資料模型也略有不同。舉例來說，Knowledge Catalog 使用切面和切面類型，而非標記和標記範本。

評估目前的資料目錄用量

沒有自訂中繼資料：如果您只依賴 Knowledge Catalog 自動擷取及探索標準 BigQuery 中繼資料，且未建立任何自訂標記、標記範本、自訂項目或項目群組，則轉換作業很簡單。您可以立即開始使用 Knowledge Catalog 介面。
自訂中繼資料或程式輔助使用：如果您建立自訂標記或範本、自訂項目，或使用 Data Catalog API、用戶端程式庫、Google Cloud CLI 指令或 Terraform，則需要更結構化的轉換方式。

BigQuery 專屬注意事項

自動擷取：BigQuery 資產 (資料集、表格、檢視區塊、模型和常式) 的技術中繼資料會繼續自動擷取至 Knowledge Catalog，與 Dataplex Universal Catalog 的做法相同。
政策標記：用於 BigQuery 資料欄層級存取控管的政策標記不會遭到淘汰，且管理作業仍會在 BigQuery 中進行。
歷程：BigQuery 作業的資料歷程會顯示在 Knowledge Catalog 中。如要進一步瞭解資料歷程，請參閱「追蹤 BigQuery 資料表的資料歷程」一文。

按照轉換指南操作

如要遷移至 Knowledge Catalog，請按照「從 Data Catalog 轉移至 Knowledge Catalog」一文中的步驟操作。

如要將程式輔助工作流程更新為 Knowledge Catalog API，請參閱「將 Data Catalog API 方法對應至 Knowledge Catalog」。

後續步驟

進一步瞭解 Knowledge Catalog：