Cloud Data Fusion 中的佈建者

在不同雲端環境中執行管道時,佈建工具可自動管理叢集生命週期。他們會在執行作業開始前建立必要的運算叢集,並在管道完成後將其拆除。

每個佈建工具都提供設定,可控管叢集屬性,並向目標雲端平台進行驗證。舉例來說,Managed Service for Apache Spark 和 Amazon EMR 的佈建工具會設定叢集大小,以及佈建運算節點所需的憑證。

Cloud Data Fusion 支援的佈建工具

Cloud Data Fusion 支援下列佈建工具:

Managed Service for Apache Spark
這項全代管雲端服務運作快速,且容易使用,能執行 Apache Spark 和 Apache Hadoop 叢集。
Amazon Elastic MapReduce (EMR)
提供代管 Hadoop 架構,可在動態擴充的 Amazon EC2 執行個體中處理大量資料。
遠端 Hadoop
在地端部署或雲端中,於現有的 Hadoop 叢集上執行工作。