Serverless for Apache Spark 提供两个层级:标准 层级和 高级 (高性能)层级,以便客户根据性能 要求和功能访问权限选择最经济实惠的层级。
高级层级的优势
高级层级与标准层级的区别在于其新增的功能 。高级层级提供 高级查询加速,以及复杂或对延迟敏感的工作负载通常需要的加速计算、磁盘和内存 。
高级层级的功能
下表重点介绍了 Serverless for Apache Spark 独有的 高级层级功能。
| 功能 | 标准 | 高级 |
|---|---|---|
| Lightning Engine(查询加速) | (默认:启用,但互动会话除外) | |
| 互动工作负载(会话) | (默认:启用) | |
| 混洗密集型作业(高级磁盘) | (默认:停用) | |
| 内存密集型作业(扩展内存) | (默认:停用) | |
| GPU 支持 | (默认:停用) | |
| 批处理工作负载 | ||
| 自动扩缩 | ||
| Serverless Spark 界面 | ||
| 沿袭、安全性和合规性 (VPC-SC、CMEK) |
高级层级的批处理工作负载和会话
以下工作负载和会话需要高级层级:
- Lightning Engine:Lightning Engine 专供高级层级使用,是一项关键功能,可通过优化查询执行来加快 Spark 性能。如果您通过将
dataproc.tier属性设置为premium为批处理工作负载选择高级层级,则默认会启用此功能。 - 互动会话:互动会话会自动被视为高价值的高级功能。它们通过 Dataproc 会话 API 启动,并按高级 DCU 费率收费,提供低延迟互动和状态管理等功能。对于互动会话,您可以通过将
spark.dataproc.engine属性设置为lightningEngine来启用 Lightning Engine。 - GPU 支持: GPU 支持仅在高级层级中提供。默认情况下,此功能处于停用状态。您可以通过配置标志启用此功能。GPU 支持使用专用基础架构,并按高级 DCU 费率收费,不会产生额外的计算费用。
可预测的高级层级定价模式
高级层级对其核心功能采用简化的全包式定价模式。高级 DCU 费率涵盖对高价值功能的访问权限,例如 Lightning Engine、扩展内存以及混洗密集型作业所需的专用基础架构。当您通过配置标志启用这些功能时,它们会包含在基本高级 DCU 费率中,不会产生额外的计算费用。这意味着,您只需支付一个可预测的高级费率,即可访问高级层级的全套高级功能。