外掛程式總覽

在 Cloud Data Fusion 中建立資料管道時,您會使用一系列階段 (稱為節點) 來移動及管理資料,讓資料從來源流向接收器。每個節點都包含外掛程式,也就是可自訂的模組,用於擴充 Cloud Data Fusion 的功能。

前往「Studio」頁面,即可在 Cloud Data Fusion 網頁介面中找到外掛程式。如要查看更多外掛程式,請按一下「Hub」(中樞)

網頁介面中的外掛程式。

外掛程式類型

外掛程式可分為下列類別:

  • 來源
  • 轉換
  • 數據分析
  • 接收器
  • 條件和動作
  • 錯誤處理常式和警示

來源

來源外掛程式會連線至資料庫、檔案或即時串流,讓管道從中讀取資料。您可以使用網頁介面設定資料管道的來源,無須擔心如何撰寫低層級連線的程式碼。

轉換

轉換外掛程式會在從來源擷取資料後變更資料。舉例來說,您可以複製記錄、將檔案格式變更為 JSON,或使用 Javascript 外掛程式建立自訂轉換。

數據分析

分析外掛程式會執行匯總作業,例如從不同來源彙整資料,以及執行分析和機器學習作業。

接收器

接收器外掛程式會將資料寫入資源,例如 Cloud Storage、BigQuery、Spanner、關聯資料庫、檔案系統和大型主機。您可以使用 Cloud Data Fusion 網頁介面或 REST API,查詢寫入接收器的資料。

條件和動作

使用條件和動作外掛程式,排定工作流程期間要執行的動作,但不會在流程中直接控管資料。例如:

  • 使用資料庫外掛程式,排定在管道尾端執行的資料庫指令。
  • 使用「檔案移動」外掛程式觸發動作,在 Cloud Storage 內移動檔案。

錯誤處理常式和警示

階段出現空值、邏輯錯誤或其他錯誤來源時,您可以使用錯誤處理常式外掛程式來捕捉錯誤。轉換或數據分析外掛程式執行後,您可以使用這些外掛程式找出輸出內容中的錯誤。您可以將錯誤寫入資料庫以供分析。

後續步驟