Cloud Data Fusion 總覽

Cloud Data Fusion 採用開放原始碼專案 CDAP，可讓您在全代管的雲端原生資料整合服務中建構及自動化調度管理資料管道。您可以使用 Cloud Data Fusion 網頁介面連結資料來源、轉換資料，以及將資料轉移至目的地系統，不必管理基礎架構。

開始使用 Cloud Data Fusion

您可以在幾分鐘內開始探索 Cloud Data Fusion。

探索 Cloud Data Fusion

以下各節將說明 Cloud Data Fusion 的主要元件。

租戶專案

建構及自動化調度管理 Cloud Data Fusion 管道，以及儲存管道中繼資料所需的一組服務，會在租用單元內的租戶專案中佈建。系統會為每個客戶專案建立專屬的租戶專案，並在其中佈建 Cloud Data Fusion 執行個體。租戶專案會繼承客戶專案的所有網路和防火牆設定。

Cloud Data Fusion：控制台

Cloud Data Fusion 控制台 (也稱為控制層) 是一組 API 作業和網頁介面，可處理 Cloud Data Fusion 執行個體本身，例如建立、刪除、重新啟動及更新執行個體。

Cloud Data Fusion：Studio

Cloud Data Fusion Studio (也稱為資料層) 是一組 REST API 和網頁介面作業，用於建立、執行及管理管道和相關構件。

概念

本節將介紹 Cloud Data Fusion 的一些核心概念。

概念 說明
Cloud Data Fusion 執行個體
  • Cloud Data Fusion 執行個體是 Cloud Data Fusion 的專屬部署項目。如要開始使用 Cloud Data Fusion，請透過 Google Cloud 控制台建立 Cloud Data Fusion 執行個體。
  • 您可以在單一 Google Cloud 控制台 專案中建立多個執行個體，並指定 Google Cloud 要在哪個區域建立 Cloud Data Fusion 執行個體。
  • 您可以根據需求和成本限制，建立開發人員版、基本版或企業版執行個體。
  • 每個 Cloud Data Fusion 執行個體都包含獨立的專屬 Cloud Data Fusion 部署作業，內含一組服務，可處理管道生命週期管理、協調、協作和中繼資料管理。這些服務會使用租戶專案中的長時間執行資源。
命名空間 命名空間是 Cloud Data Fusion 執行個體中應用程式、資料和相關聯中繼資料的邏輯群組。您可以將命名空間視為執行個體的分割區。在單一執行個體中，一個命名空間會獨立儲存實體的資料和中繼資料，與另一個命名空間分開。
管道
  • 管道可讓您以視覺化方式設計資料和控制流程，從各種地端部署和雲端資料來源擷取、轉換、混合、匯總及載入資料。
  • 建構管道可建立複雜的資料處理工作流程，協助您解決資料擷取、整合和遷移問題。您可以視需求使用 Cloud Data Fusion 建構批次和即時管道。
  • 管道可讓您使用資料的邏輯流程來表示資料處理工作流程，而 Cloud Data Fusion 則會處理在執行環境中實際執行所需的所有功能。
管道節點
  • 在 Cloud Data Fusion 網頁介面的「Studio」頁面中，管道會以一系列節點表示，這些節點排列在有向非循環圖 (DAG) 中，形成單向流程。
  • 節點代表您可對管道執行的各種動作，例如從來源讀取、執行資料轉換，以及將輸出內容寫入接收器。您可以在 Cloud Data Fusion 網頁介面中開發資料管道，方法是將來源、轉換、接收器和其他節點連結在一起。
外掛程式
  • 外掛程式是可自訂的模組，能夠擴充 Cloud Data Fusion 功能。
  • Cloud Data Fusion 提供來源、轉換、匯總、接收器、錯誤收集器、快訊發布者、動作和執行後動作的外掛程式。
  • 外掛程式有時稱為節點，通常是在 Cloud Data Fusion 網頁介面的情境中。
  • 如要探索及存取熱門的 Cloud Data Fusion 外掛程式，請參閱「Cloud Data Fusion 外掛程式」。
中樞 在 Cloud Data Fusion 網頁介面中，按一下「Hub」即可瀏覽外掛程式、範例管道和其他整合項目。外掛程式的新版本發布後，就會顯示在任何相容執行個體的中心。即使執行個體是在外掛程式發布前建立，也適用這項規定。
管道預覽
  • Cloud Data Fusion Studio 可讓您使用「Preview」(預覽)，在資料子集上測試管道設計的準確度。
  • 預覽中的管道會在租戶專案中執行。
管道執行作業
  • Cloud Data Fusion 會建立臨時執行環境來執行管道。
  • Cloud Data Fusion 支援 Managed Service for Apache Spark 做為執行環境
  • 在管道執行開始時，Cloud Data Fusion 會在客戶專案中佈建暫時的 Managed Service for Apache Spark 叢集，並在該叢集中使用 Spark 執行管道，完成後再刪除叢集。
  • 或者，如果您在受控環境中透過 Terraform 等技術管理 Managed Service for Apache Spark 叢集，也可以設定 Cloud Data Fusion 不佈建叢集。在這些環境中，您可以針對現有的 Managed Service for Apache Spark 叢集執行管道。
運算設定檔
  • 運算設定檔會指定管道的執行方式和位置。設定及刪除管道的實體執行環境時，需要使用設定檔。
  • 舉例來說，運算設定檔包含下列項目：
    • 執行作業供應商
    • 資源 (記憶體和 CPU)
    • 節點數下限和上限
    • 其他值
  • 設定檔會以名稱識別，且必須指派佈建工具和相關設定。設定檔可以存在於 Cloud Data Fusion 執行個體層級或命名空間層級。
  • Cloud Data Fusion 預設的運算設定檔為「自動調整規模」。
可重複使用的管道
  • Cloud Data Fusion 中的可重複使用資料管道可建立單一管道，將資料整合模式套用至各種用途和資料集。
  • 可重複使用的管道可讓您在執行時設定大部分的管道設定，而不是在設計時硬式編碼，因此可提供更好的管理能力。
觸發條件
  • Cloud Data Fusion 支援在資料管道 (稱為「下游管道」) 上建立觸發條件，以便在一或多個不同管道 (稱為「上游管道」) 完成時執行。您可以選擇下游管道的執行時機，例如在上游管道執行成功、失敗、停止或任何組合時執行。
  • 觸發條件適用於下列情況：
    • 清理資料一次，然後提供給多個下游管道使用。
    • 在管道之間分享資訊，例如執行階段引數和外掛程式設定。這稱為酬載設定。
    • 擁有一組動態管道，可使用每小時、每日、每週或每月的資料執行，而不必使用每次執行時都必須更新的靜態管道。

Cloud Data Fusion 資源

探索 Cloud Data Fusion 資源：

後續步驟