搭配使用 Knowledge Catalog 與 BigQuery

Knowledge Catalog (舊稱 Dataplex Universal Catalog) 與 BigQuery 互動，做為 BigQuery 中繼資料的中央資料治理和代理存取層。詳情請參閱「Knowledge Catalog 總覽」。

如何搭配使用 Knowledge Catalog 和 BigQuery？

Knowledge Catalog 與 BigQuery 的互動方式如下。

自動擷取中繼資料

Knowledge Catalog 會自動探索 BigQuery 資產的技術中繼資料，並建立索引。包含下列項目：

中繼資料表示法和擴充

  • 項目：每個 BigQuery 資料表或資產在目錄中都以項目表示，而非整個資料表，例如 project.dataset.table。
  • 資料品質評量表整合：Knowledge Catalog 為目錄中的每個項目提供資料品質評量表。除了內建的 Knowledge Catalog 資料掃描作業，Dataform 的斷言結果也是這份評量表的資料來源。

  • 自動擴充中繼資料：使用 Dataform 建立資料表和檢視表時，可以直接在程式碼中定義語意中繼資料。管道動作順利完成後，這項中繼資料會自動同步至 Knowledge Catalog。支援的切面類型如下：

    • 總覽：項目的說明文件和摘要文字。
    • 一般切面：技術詳細資料的語義中繼資料標記，例如資料表系統和類型資訊。

    如要查看中繼資料更新狀態，請按照「查看過去的手動執行作業」中的操作說明進行。

    中繼資料同步後，您可以在 Knowledge Catalog 搜尋及查看項目。詳情請參閱「搜尋資源」。

  • 資料欄層級中繼資料：個別資料欄或欄位會以路徑表示，可讓您將特定中繼資料 (例如 PII 標記或資料品質分數) 附加至 BigQuery 資料表中的個別欄位，而非僅限於資料表本身。

  • 切面：技術中繼資料會以切面充實，為資料新增業務情境，例如擁有權、資料品質和說明文件。

  • 資料產品：您可以將相關的 BigQuery 資產封裝成資料產品 (例如電子商務業務資料)，並設定共用存取權和控管限制。

  • 語意搜尋：使用者可以透過自然語言搜尋 BigQuery 資料，這對資料科學家和 AI 代理特別有用，能使用冗長或複雜的查詢，找出可靠的資料產品。
  • 名稱翻譯：為方便透過程式查詢，系統允許將 BigQuery SQL 名稱或完整名稱翻譯為 Knowledge Catalog 項目名稱。

代理存取權和建立基準

  • 代理存取權：AI 代理可透過本機或遠端 MCP 伺服器，探索並彈性使用 Knowledge Catalog 工具。
  • AI 代理的背景資訊：Knowledge Catalog 會建立背景資訊圖，將 BigQuery 資料集與業務語意連結，確保模型使用企業核准的資料，減少 AI 幻覺。

管理與法規遵循

  • 資料歷程：Knowledge Catalog 會自動追蹤資料如何流入/流出 BigQuery 資料表，以及如何轉換。這項功能對於稽核整個資料資產中的私密資訊 (例如 PII) 至關重要。
  • 存取控管：中繼資料管理功能與 Identity and Access Management (IAM) 和 VPC Service Controls 整合，確保探索及存取 BigQuery 中繼資料時，遵循組織的安全政策。

後續步驟

進一步瞭解 Knowledge Catalog：