Google Cloud Serverless for Apache Spark 層級

Serverless for Apache Spark 提供兩種層級:標準層級和進階 (高效能) 層級,方便客戶根據效能需求和功能存取權,選擇最符合成本效益的方案。

進階級服務的優點

進階級別與標準級別的不同之處在於,前者提供更多功能。進階層提供進階查詢加速功能,以及複雜或延遲敏感型工作負載經常需要的加速運算、磁碟和記憶體。

Premium 級功能

下表列出 Serverless for Apache Spark 專屬的進階層級功能。

功能 標準 進階
Lightning 引擎 (查詢加速) 移除圖示 (預設值:已啟用,互動工作階段除外)
互動式工作負載 (工作階段) 移除圖示 (預設:已啟用)
需要大量隨機存取的作業 (進階版磁碟) 移除圖示 (預設:已停用)
記憶體密集型作業 (擴充記憶體) 移除圖示 (預設:已停用)
GPU 支援 移除圖示 (預設:已停用)
批次工作負載
自動調度資源
無伺服器 Spark UI
沿襲、安全性和法規遵循 (VPC-SCCMEK)

付費版批次工作負載和工作階段

下列工作負載和工作階段需要進階層級:

  • Lightning Engine:Lightning Engine 是進階級專屬的重要功能,可透過最佳化查詢執行作業,提升 Spark 效能。如果您將 dataproc.tier 屬性設為 premium,為批次工作負載選取進階層級,系統預設會啟用這項功能。
  • 互動工作階段:系統會自動將互動工作階段視為高價值的進階功能。這些工作階段是透過 Dataproc 工作階段 API 啟動,並以 DCU 進階費率計費,可提供低延遲互動和狀態管理等功能。如要啟用互動式工作階段的 Lightning 引擎,請將 spark.dataproc.engine 屬性設為 lightningEngine
  • GPU 支援:只有進階級別提供 GPU 支援。這項功能預設為停用。您可以透過設定旗標啟用這項功能。GPU 支援功能使用專用基礎架構,適用於進階 DCU 費率,不會產生額外運算費用。

可預測的 Premium 級定價模式

進階級別的核心功能採用簡化的全包式定價模式。進階 DCU 費率涵蓋 Lightning Engine、擴充記憶體等高價值功能,以及需要大量隨機存取作業的專用基礎架構。透過設定標記啟用這些功能後,系統會將其納入基本進階 DCU 費率,不會產生額外運算費用。也就是說,您只需支付單一且可預測的進階費率,就能存取整套進階級進階功能。