Cloud Data Fusion 中的配置程序

借助预配器,您可以在跨不同云环境运行流水线时自动执行集群生命周期管理。它们会在运行开始之前创建所需的计算集群,并在流水线完成后将其拆除。

每个预配器都提供配置设置,用于控制集群属性并向目标云平台进行身份验证。例如,Managed Service for Apache Spark 和 Amazon EMR 的预配器会配置集群大小以及预配计算节点所需的凭据。

Cloud Data Fusion 中支持的预配器

Cloud Data Fusion 支持以下预配器:

Managed Service for Apache Spark
一项快速、易用且全托管式的云服务,可用于运行 Apache Spark 和 Apache Hadoop 集群。
Amazon Elastic MapReduce (EMR)
提供一个托管式 Hadoop 框架,用于跨动态可伸缩的 Amazon EC2 实例处理大量数据。
远程 Hadoop
在预先存在的 Hadoop 集群(本地或云端)上运行作业。