Managed Service for Apache Spark 提供兩個級別:標準級和進階 (高效能) 級。您可以根據效能需求和功能存取權,選擇最符合成本效益的方案。
進階級福利
進階級與標準級的差異在於額外功能和特色。進階級提供進階查詢加速功能,以及加速運算、磁碟和記憶體,通常是複雜或易受延遲影響的工作負載所需。
進階級功能與機制
下表列出 Managed Service for Apache Spark 專屬的進階級功能和特色。
| 功能 | 標準 | Premium |
|---|---|---|
| Lightning Engine (查詢加速) | (預設:啟用,互動式工作階段除外) | |
| 互動式工作負載 (工作階段) | (預設:啟用) | |
| 重度重組工作 (進階磁碟) | (預設:停用) | |
| 記憶體密集型工作 (擴充記憶體) | (預設:停用) | |
| GPU 支援 | (預設:停用) | |
| 批次工作負載 | ||
| 自動調度資源 | ||
| 無伺服器 Spark UI | ||
| 歷來記錄、安全性和法規遵循 (VPC-SC、CMEK) |
進階級批次工作負載和工作階段
下列工作負載和工作階段需要進階級:
- Lightning Engine:Lightning Engine 是進階級獨有的重要功能,可透過最佳化查詢執行作業,提升 Spark 效能。只要將
dataproc.tier屬性設為premium,為批次工作負載選取進階級,系統就會預設啟用這項功能。 - 互動式工作階段:互動式工作階段會自動視為高價值付費功能。這類工作階段是透過 Managed Service for Apache Spark 工作階段 API 啟動,並按進階 DCU 費率計費,提供低延遲互動和狀態管理等功能。如要為互動式工作階段啟用 Lightning Engine,請將
spark.dataproc.engine屬性設為lightningEngine。 - GPU 支援:只有進階級支援 GPU。這項功能預設為停用。您可以透過設定旗標啟用這項功能。GPU 支援採用專門的基礎架構,並以進階 DCU 費率計費,不需額外支付運算費用。
可預測的進階級計價模式
進階級的核心功能採用簡化的全包式定價模式。進階 DCU 費率涵蓋 Lightning Engine、擴充記憶體等高價值功能,以及需要大量重組的工作所需的專用基礎架構。透過設定旗標啟用這些功能時,費用會計入基本進階 DCU 費率,不會產生額外運算費用。也就是說,您只需支付一筆可預測的進階級費率,即可使用完整的進階級進階功能。