關於中繼資料連接器

Knowledge Catalog (舊稱 Dataplex Universal Catalog) 連接器可讓您將第三方資料來源的技術、作業、業務和語意中繼資料匯入目錄。您可以排定定期執行作業，讓目錄與來源系統保持同步，以便在同一個位置探索、搜尋及管理外部資產。

支援的資料來源

您可以使用 Knowledge Catalog 連接器，從下列來源匯入中繼資料：

  • dbt Core
  • Oracle
  • MySQL
  • PostgreSQL
  • SQL Server

與資料治理合作夥伴整合

您可以將 Knowledge Catalog 與其他企業資料目錄和管理平台整合。這些整合功能可確保中繼資料在貴組織的資料環境中可供探索且一致，讓您在 Knowledge Catalog 中充實中繼資料，或在第三方工具中查看 Knowledge Catalog 中繼資料。

下列合作夥伴提供 Knowledge Catalog 整合功能：

運作方式

Knowledge Catalog 連接器會使用預先建構的整合功能，以及由 BigQuery 資料移轉服務管理的移轉設定，連線至資料來源、自動擷取中繼資料，並將中繼資料對應至您指定的 Knowledge Catalog 項目群組中的項目。

連接器會擷取下列類型的中繼資料：

  • 技術中繼資料：結構定義、資料類型和資料欄名稱定義。
  • 作業中繼資料：建立和修改時間戳記、歷程、使用統計資料和資料品質結果。
  • 業務中繼資料：標記、擁有者和註解。
  • 語意中繼資料：維度、測量指標、指標、精確查詢和關係。

設定連接器後，Knowledge Catalog 會按照您指定的排程執行中繼資料匯入作業，確保目錄與來源系統保持同步。每次執行中繼資料匯入作業時，系統都會完整覆寫該設定管理的目的地項目群組中的項目。系統會從項目群組中移除來源中不再出現的中繼資料物件，並新增物件。如果項目群組中的物件未透過連接器設定匯入，就不會受到影響。

您可以在 Google Cloud 控制台的「Knowledge Catalog」部分，透過「連接器」頁面設定及管理這些設定。

術語

本文件使用下列術語：

  • 中繼資料匯入設定：排定或隨選工作的設定，使用 BigQuery 資料移轉服務從來源擷取中繼資料，並載入 Knowledge Catalog。
  • 執行：中繼資料匯入設定的單一執行個體。
  • 項目群組：Knowledge Catalog 中的資源，內含中繼資料項目。設定連接器時，您會指定一個項目群組，做為匯入中繼資料的目的地。
  • 項目：Knowledge Catalog 中代表資料資產 (例如資料表或檢視表) 的資源。

定價

使用連結器匯入中繼資料時，Knowledge Catalog 或 BigQuery 資料移轉服務不會額外收費。

其他 Knowledge Catalog 用量 (例如中繼資料儲存空間) 則適用標準費用。詳情請參閱「Knowledge Catalog 定價」。

限制

  • 系統只會匯入中繼資料，不會匯入來源資料表或檢視表中的基礎資料。如要移轉基礎資料，可以使用 BigQuery 資料移轉服務。
  • 每次執行都會完全覆寫目的地項目群組中，由連接器管理的項目。不支援中繼資料增量更新。
  • 執行記錄會保留 90 天。

後續步驟