在 Cloud Data Fusion 中建立資料管道時,您會使用一系列階段 (稱為節點) 來移動及管理資料,讓資料從來源流向接收器。每個節點都包含外掛程式,也就是可自訂的模組,用於擴充 Cloud Data Fusion 的功能。
前往「Studio」頁面,即可在 Cloud Data Fusion 網頁介面中找到外掛程式。如要查看更多外掛程式,請按一下「Hub」(中樞)。
外掛程式類型
外掛程式可分為下列類別:
- 來源
- 轉換
- 數據分析
- 接收器
- 條件和動作
- 錯誤處理常式和警示
來源
來源外掛程式會連線至資料庫、檔案或即時串流,讓管道從中讀取資料。您可以使用網頁介面設定資料管道的來源,無須擔心如何撰寫低層級連線的程式碼。
轉換
轉換外掛程式會在從來源擷取資料後變更資料。舉例來說,您可以複製記錄、將檔案格式變更為 JSON,或使用 Javascript 外掛程式建立自訂轉換。
數據分析
分析外掛程式會執行匯總作業,例如從不同來源彙整資料,以及執行分析和機器學習作業。
接收器
接收器外掛程式會將資料寫入資源,例如 Cloud Storage、BigQuery、Spanner、關聯資料庫、檔案系統和大型主機。您可以使用 Cloud Data Fusion 網頁介面或 REST API,查詢寫入接收器的資料。
條件和動作
使用條件和動作外掛程式,排定工作流程期間要執行的動作,但不會在流程中直接控管資料。例如:
- 使用資料庫外掛程式,排定在管道尾端執行的資料庫指令。
- 使用「檔案移動」外掛程式觸發動作,在 Cloud Storage 內移動檔案。
錯誤處理常式和警示
階段出現空值、邏輯錯誤或其他錯誤來源時,您可以使用錯誤處理常式外掛程式來捕捉錯誤。轉換或數據分析外掛程式執行後,您可以使用這些外掛程式找出輸出內容中的錯誤。您可以將錯誤寫入資料庫以供分析。