Serverless for Apache Spark 提供標準和進階 (高效能) 兩種層級,方便客戶根據效能需求和功能存取權,選擇最符合成本效益的層級。
進階級福利
進階級別與標準級別的不同之處在於,前者提供額外功能。進階級提供進階查詢加速功能,以及複雜或延遲敏感型工作負載經常需要的加速運算、磁碟和記憶體。
進階級功能
下表列出 Serverless for Apache Spark 專屬的進階級功能。
| 功能 | 標準 | 進階 |
|---|---|---|
| Lightning Engine (查詢加速) | (預設值:已啟用,互動工作階段除外) | |
| 互動式工作負載 (工作階段) | (預設:已啟用) | |
| 需要大量隨機存取的作業 (進階版磁碟) | (預設:已停用) | |
| 記憶體密集型作業 (擴充記憶體) | (預設:已停用) | |
| GPU 支援 | (預設:已停用) | |
| 批次工作負載 | ||
| 自動調度資源 | ||
| 無伺服器 Spark UI | ||
| 沿襲、安全性與合規性 (VPC-SC、CMEK) |
進階級批次工作負載和工作階段
下列工作負載和工作階段需要進階層級:
- Lightning Engine:Lightning Engine 是進階級專屬的重要功能,可透過最佳化查詢執行作業,提升 Spark 效能。如將
dataproc.tier屬性設為premium,為批次工作負載選取進階層級時,系統預設會啟用這項功能。 - 互動工作階段:系統會自動將互動工作階段視為高價值進階功能。這些工作階段是透過 Dataproc 工作階段 API 啟動,並以 DCU 進階費率計費,提供低延遲互動和狀態管理等功能。如要啟用互動式工作階段的 Lightning Engine,請將
spark.dataproc.engine屬性設為lightningEngine。 - GPU 支援:只有進階級別提供 GPU 支援。這項功能預設為停用。您可以使用設定旗標啟用這項功能。GPU 支援功能使用專用基礎架構,因此適用於 DCU 進階費率,不會產生額外運算費用。
可預測的 Premium 級定價模式
進階級別的核心功能採用簡化的全包式定價模式。進階 DCU 費率涵蓋 Lightning Engine、擴充記憶體等高價值功能,以及需要大量隨機存取作業的專用基礎架構。透過設定標記啟用這些功能後,系統會將其納入基本進階 DCU 費率,不會產生額外運算費用。也就是說,您只需支付單一且可預測的進階費率,就能存取整套進階級進階功能。