Managed Service for Apache Spark 層級

Managed Service for Apache Spark 提供兩個級別:標準級和進階 (高效能) 級。您可以根據效能需求和功能存取權,選擇最符合成本效益的方案。

進階級福利

進階級與標準級的差異在於額外功能和特色。進階級提供進階查詢加速功能,以及加速運算、磁碟和記憶體,通常是複雜或易受延遲影響的工作負載所需。

進階級功能與機制

下表列出 Managed Service for Apache Spark 專屬的進階級功能和特色。

功能 標準 Premium
Lightning Engine (查詢加速) 「移除」圖示 (預設:啟用,互動式工作階段除外)
互動式工作負載 (工作階段) 「移除」圖示 (預設:啟用)
重度重組工作 (進階磁碟) 「移除」圖示 (預設:停用)
記憶體密集型工作 (擴充記憶體) 「移除」圖示 (預設:停用)
GPU 支援 「移除」圖示 (預設:停用)
批次工作負載
自動調度資源
無伺服器 Spark UI
歷來記錄、安全性和法規遵循 (VPC-SC、CMEK)

進階級批次工作負載和工作階段

下列工作負載和工作階段需要進階級:

  • Lightning Engine:Lightning Engine 是進階級獨有的重要功能,可透過最佳化查詢執行作業,提升 Spark 效能。只要將 dataproc.tier 屬性設為 premium,為批次工作負載選取進階級,系統就會預設啟用這項功能。
  • 互動式工作階段:互動式工作階段會自動視為高價值付費功能。這類工作階段是透過 Managed Service for Apache Spark 工作階段 API 啟動,並按進階 DCU 費率計費,提供低延遲互動和狀態管理等功能。如要為互動式工作階段啟用 Lightning Engine,請將 spark.dataproc.engine 屬性設為 lightningEngine。
  • GPU 支援:只有進階級支援 GPU。這項功能預設為停用。您可以透過設定旗標啟用這項功能。GPU 支援採用專門的基礎架構,並以進階 DCU 費率計費,不需額外支付運算費用。

可預測的進階級計價模式

進階級的核心功能採用簡化的全包式定價模式。進階 DCU 費率涵蓋 Lightning Engine、擴充記憶體等高價值功能,以及需要大量重組的工作所需的專用基礎架構。透過設定旗標啟用這些功能時,費用會計入基本進階 DCU 費率,不會產生額外運算費用。也就是說,您只需支付一筆可預測的進階級費率,即可使用完整的進階級進階功能。