Serverless for Apache Spark 提供两个层级:标准层级和高级(高性能)层级,以便客户根据性能要求和功能访问权限选择最经济实惠的层级。
高级层级福利
高级层级与标准层级的区别在于其新增的功能。高级层级提供高级查询加速功能,以及复杂或对延迟时间敏感的工作负载通常需要的加速计算、磁盘和内存。
高级层级功能和功能
下表重点介绍了 Serverless for Apache Spark 专属的高级层级功能。
功能 | 标准 | 高级 |
---|---|---|
Lightning Engine(查询加速) | (默认:启用,交互式会话除外) | |
交互式工作负载(会话) | (默认:已启用) | |
需要大量 Shuffle 操作的作业(高级磁盘) | (默认值:已停用) | |
内存密集型作业(扩展内存) | (默认值:已停用) | |
GPU 支持 | (默认值:已停用) | |
批处理工作负载 | ||
自动扩缩 | ||
无服务器 Spark 界面 | ||
谱系、安全性和合规性(VPC-SC、CMEK) |
优质层级批量工作负载和会话
以下工作负载和会话需要高级版:
- Lightning Engine:Lightning Engine 仅在高级层级中提供,是一项关键功能,可通过优化查询执行来加快 Spark 性能。如果您通过将
dataproc.tier
属性设置为premium
来为批处理工作负载选择高级层级,则默认会启用此功能。 - 互动式会话:系统会自动将互动式会话视为高价值的优质功能。它们通过 Dataproc 会话 API 启动,并按高级 DCU 费率收费,可提供低延迟互动和状态管理等功能。对于互动式会话,您可以通过将
spark.dataproc.engine
属性设置为lightningEngine
来启用 Lightning Engine。 - GPU 支持:GPU 支持仅适用于高级层级。此选项默认处于停用状态。 您可以通过配置标志来启用它。GPU 支持使用专用基础设施,并按高级 DCU 费率收费,不会产生额外的计算费用。
可预测的专业版层级价格模式
专业版层级针对其核心功能采用简化的全包式价格模式。高级 DCU 费率涵盖对高价值功能(例如 Lightning Engine、扩展内存)以及需要大量数据混洗作业的专用基础设施的访问权限。通过配置标志启用这些功能后,它们将包含在基本高级 DCU 费率中,不会产生额外的计算费用。这意味着,您只需支付一笔可预测的保费,即可使用完整的高级版高级功能。