Managed Service for Apache Spark 提供两个层级:标准层级和高级(高性能)层级。这些层级可让您以最优成本满足性能要求并获得相应功能。
高级层级福利
高级层级与标准层级的区别在于其附加功能和特性。高级层级提供高级查询加速以及加速的计算、磁盘和内存,这些通常是复杂或延迟敏感型工作负载所必需的。
高级层级功能和特性
下表重点介绍了 Managed Service for Apache Spark 专属的高级层级功能。
| 功能 | 标准 | 高级 |
|---|---|---|
| Lightning Engine(查询加速) | (默认:已启用,交互式会话除外) | |
| 互动式工作负载(会话) | (默认:已启用) | |
| Shuffle 密集型作业(高级磁盘) | (默认:已停用) | |
| 内存密集型作业(扩展内存) | (默认:已停用) | |
| GPU 支持 | (默认:已停用) | |
| 批处理工作负载 | ||
| 自动扩缩 | ||
| 无服务器 Spark 界面 | ||
| 沿袭、安全性和合规性(VPC-SC、CMEK) |
高级层级批量工作负载和会话
以下工作负载和会话需要使用高级层级:
- Lightning Engine:Lightning Engine 仅在高级层级中提供,是一项关键功能,可通过优化查询执行来加速 Spark 性能。当您通过将
dataproc.tier属性设置为premium来为批处理工作负载选择高级层级时,系统会默认启用该功能。 - 交互式会话:交互式会话会自动被视为高价值的收费功能。它们通过 Managed Service for Apache Spark 会话 API 启动,并按高级 DCU 费率收费,提供低延迟交互和状态管理等功能。对于交互式会话,您可以通过将
spark.dataproc.engine属性设置为lightningEngine来启用 Lightning Engine。 - GPU 支持:GPU 支持仅在高级层级中提供。此选项默认处于停用状态。 您可以通过配置标志启用它。GPU 支持使用专用基础设施,并按高级 DCU 费率收费,无需支付额外的计算费用。
可预测的高级层级定价模式
高级层级针对其核心功能采用简化的全包式价格模式。高级 DCU 费率涵盖了对 Lightning Engine、扩展内存等高价值功能的使用,以及对 shuffle 密集型作业所需的专用基础架构的使用。当您通过配置标志启用这些功能时,它们会包含在基本高级版 DCU 费率中,并且不会产生额外的计算费用。这意味着,您只需支付一笔可预测的高级层级费率,即可使用全套高级层级高级功能。