Serverless for Apache Spark 提供兩種層級:標準層級和進階 (高效能) 層級,方便客戶根據效能需求和功能存取權,選擇最符合成本效益的方案。
進階級服務的優點
進階級別與標準級別的不同之處在於,前者提供更多功能。進階層提供進階查詢加速功能,以及複雜或延遲敏感型工作負載經常需要的加速運算、磁碟和記憶體。
Premium 級功能
下表列出 Serverless for Apache Spark 專屬的進階層級功能。
功能 | 標準 | 進階 |
---|---|---|
Lightning 引擎 (查詢加速) | (預設值:已啟用,互動工作階段除外) | |
互動式工作負載 (工作階段) | (預設:已啟用) | |
需要大量隨機存取的作業 (進階版磁碟) | (預設:已停用) | |
記憶體密集型作業 (擴充記憶體) | (預設:已停用) | |
GPU 支援 | (預設:已停用) | |
批次工作負載 | ||
自動調度資源 | ||
無伺服器 Spark UI | ||
沿襲、安全性和法規遵循 (VPC-SC、CMEK) |
付費版批次工作負載和工作階段
下列工作負載和工作階段需要進階層級:
- Lightning Engine:Lightning Engine 是進階級專屬的重要功能,可透過最佳化查詢執行作業,提升 Spark 效能。如果您將
dataproc.tier
屬性設為premium
,為批次工作負載選取進階層級,系統預設會啟用這項功能。 - 互動工作階段:系統會自動將互動工作階段視為高價值的進階功能。這些工作階段是透過 Dataproc 工作階段 API 啟動,並以 DCU 進階費率計費,可提供低延遲互動和狀態管理等功能。如要啟用互動式工作階段的 Lightning 引擎,請將
spark.dataproc.engine
屬性設為lightningEngine
。 - GPU 支援:只有進階級別提供 GPU 支援。這項功能預設為停用。您可以透過設定旗標啟用這項功能。GPU 支援功能使用專用基礎架構,適用於進階 DCU 費率,不會產生額外運算費用。
可預測的 Premium 級定價模式
進階級別的核心功能採用簡化的全包式定價模式。進階 DCU 費率涵蓋 Lightning Engine、擴充記憶體等高價值功能,以及需要大量隨機存取作業的專用基礎架構。透過設定標記啟用這些功能後,系統會將其納入基本進階 DCU 費率,不會產生額外運算費用。也就是說,您只需支付單一且可預測的進階費率,就能存取整套進階級進階功能。