本文說明如何使用 Knowledge Catalog (舊稱 Dataplex Universal Catalog) 連接器,將外部第三方資料來源的中繼資料匯入 Knowledge Catalog。
Knowledge Catalog 連接器會運用 BigQuery 資料移轉服務,提供預先建構的整合功能,自動從來源系統擷取中繼資料,並對應至 Knowledge Catalog 項目群組中的項目。
連接器會擷取下列類型的中繼資料:
- 技術中繼資料:資料庫、結構定義、資料表和檢視定義。
- 作業中繼資料:資產 (例如資料表、檢視區塊和常式) 的建立和上次更新時間戳記。
- 業務中繼資料:資產擁有者和註解。
設定連接器後,Knowledge Catalog 會依您指定的排程匯入中繼資料,確保目錄與來源系統保持同步。
支援的資料來源
您可以使用 Knowledge Catalog 連接器,從下列來源匯入中繼資料:
- Oracle
- MySQL
與資料治理合作夥伴整合
您可以將 Knowledge Catalog 與其他企業資料編目和治理平台整合。這些整合功能可確保貴機構資料環境中的中繼資料可供探索,且一致性無虞,讓您在 Knowledge Catalog 中擴充中繼資料,或在第三方工具中查看 Knowledge Catalog 中繼資料。
下列合作夥伴提供 Knowledge Catalog 整合功能:
運作方式
Knowledge Catalog 連接器會使用 BigQuery 資料移轉服務管理的移轉設定,連線至資料來源、擷取中繼資料,並將中繼資料擷取至您指定的 Knowledge Catalog 項目群組。
每次執行中繼資料匯入作業時,系統都會完整覆寫該設定所管理目的地項目群組中的項目。系統會從項目群組中移除來源中不再出現的中繼資料物件,並新增物件。項目群組中未由連接器設定匯入的物件不會受到影響。
您可以在 Google Cloud 控制台的「Knowledge Catalog」部分,透過「連接器」頁面設定及管理這些設定。
術語
本說明文件使用下列術語:
- 中繼資料匯入設定:排程或隨選工作的設定,這類工作會使用 BigQuery 資料移轉服務從來源擷取中繼資料,並載入至 Knowledge Catalog。
- 執行:中繼資料匯入設定的單一執行個體。
- 項目群組:Knowledge Catalog 中的資源,內含中繼資料項目。設定連接器時,您會將項目群組指定為匯入中繼資料的目的地。
- 項目:Knowledge Catalog 中的資源,代表資料資產,例如資料表或檢視區塊。
定價
使用連結器匯入中繼資料時,Knowledge Catalog 或 BigQuery 資料移轉服務不會額外收費。
使用其他 Knowledge Catalog 功能 (例如中繼資料儲存空間) 時,須支付標準費用。詳情請參閱「Knowledge Catalog 定價」。
限制
- 系統只會匯入中繼資料,不會匯入來源資料表或檢視區塊的基礎資料。如要移轉基礎資料,可以使用 BigQuery 資料移轉服務。
- 每次執行時,系統都會完整覆寫目的地項目群組中由連接器管理的項目。不支援漸進式中繼資料更新。
- 執行記錄會保留 90 天。
後續步驟
- 瞭解如何從 Oracle 匯入中繼資料。
- 瞭解如何從 MySQL 匯入中繼資料。
- 瞭解如何管理連接器設定。