代管連線總覽

代管連線能力管道會將第三方來源的中繼資料匯入 Knowledge Catalog (舊稱 Dataplex Universal Catalog)。您可以使用這些管道，將中繼資料大規模匯入 Knowledge Catalog，從來源擷取資料。管道也會視需要在Google Cloud 專案中建立 Knowledge Catalog 項目群組。這種方法可讓您根據需求，自動化調度管理工作流程及排定匯入工作。

您會建構自訂連接器，從各種第三方來源擷取中繼資料，包括 MySQL、SQL Server、Oracle、Snowflake 和 Databricks。或者，您也可以使用社群貢獻的自訂連接器，連結更多來源。

代管連線的運作方式

下圖顯示代管連線管道。

代管連線管道。

代管連線的運作方式大致如下：

  1. 為資料來源建立連接器。

    連接器必須是可在 Managed Service for Apache Spark 上執行的 Artifact Registry 映像檔。

  2. 您可以在自動化調度管理平台 Workflows 中執行代管連線管道。

  3. 代管連線能力管道會執行下列動作：

    1. 如果項目群組不存在，則會根據您的設定建立目標項目群組。
    2. 執行連接器。連接器會從資料來源擷取中繼資料，並產生可匯入 Knowledge Catalog 的中繼資料匯入檔案。
    3. 監控中繼資料擷取進度。
    4. 執行中繼資料匯入工作，將中繼資料匯入 Knowledge Catalog。
    5. 監控中繼資料匯入工作的進度。

代管連線管道會使用 Managed Service for Apache Spark 執行連接器，並使用 Knowledge Catalog 中繼資料匯入 API 方法執行中繼資料匯入工作。

匯入的中繼資料包含 Knowledge Catalog 項目及其切面。如要進一步瞭解 Knowledge Catalog 中繼資料，請參閱「關於 Knowledge Catalog 的中繼資料管理」。

社群貢獻的自訂連接器

如要從第三方來源匯入中繼資料，可以使用社群提供的自訂連接器。如需設定操作說明和連接器的詳細資訊，請參閱各連接器的 README 檔案。

資料來源 存放區
AWS Glue Data Catalog aws-glue-connector
Databricks Unity Catalog databricks-connector
MySQL mysql-connector
Oracle oracle-connector
PostgreSQL postgresql-connector
Snowflake snowflake-connector
Snowflake Horizon Catalog snowflake-horizon-connector
SQL Server sql-server-connector

後續步驟