Cloud Data Fusion 外掛程式可讓您在資料管道中,移動及管理從來源流向接收器的資料。每個階段 (稱為節點) 都包含可自訂的模組,可擴充工作流程功能。在 Cloud Data Fusion 網頁介面中,您可以存取「Studio」頁面的預設外掛程式,瀏覽「Hub」尋找其他整合項目,或探索所有 Cloud Data Fusion 外掛程式。
外掛程式類型
外掛程式可分為下列類別:
- 來源
- 轉換
- 數據分析
- 接收器
- 條件和動作
- 錯誤處理常式和快訊
來源
來源外掛程式會連線至資料庫、檔案或即時串流,管道會從中讀取資料。您可以使用網頁介面設定資料管道的來源,因此不必擔心編寫低階連線的程式碼。
轉換
轉換外掛程式會在資料從來源擷取後進行變更。舉例來說,您可以複製記錄、將檔案格式變更為 JSON,或使用 JavaScript 外掛程式建立自訂轉換。
數據分析
數據分析外掛程式會執行匯總作業,例如彙整不同來源的資料,以及執行數據分析和機器學習作業。
接收器
接收器外掛程式會將資料寫入資源,例如 Cloud Storage、BigQuery、Spanner、關聯式資料庫、檔案系統和大型主機。您可以使用 Cloud Data Fusion 網頁介面或 REST API,查詢寫入接收器的資料。
條件和動作
使用條件和動作外掛程式,排定工作流程中執行的動作,但不會直接操控工作流程中的資料。例如:
- 使用 Database 外掛程式,排定在管道結束時執行的資料庫指令。
- 使用檔案移動外掛程式,觸發在 Cloud Storage 中移動檔案的動作。
錯誤處理常式和快訊
當階段遇到空值、邏輯錯誤或其他錯誤來源時,您可以使用錯誤處理常式外掛程式擷取錯誤。使用這些外掛程式,在轉換或數據分析外掛程式後,找出輸出內容中的錯誤。您可以將錯誤寫入資料庫進行分析。