Serverless for Apache Spark 執行階段 3.0

Spark 執行階段版本 3.0 元件

元件 3.0.0
2025/12/04		 3.0.0-RC6
2025/10/16
 3.0.0-RC5
2025/10/06		 3.0.0-RC4
2025/09/11		 3.0.0-RC3
2025/09/08
Apache Spark 4.0.0 4.0.0 4.0.0 4.0.0 4.0.0
Cloud Storage Connector 3.1.9 3.1.5 3.1.5 3.1.5 3.1.5
BigQuery 連接器 0.43.1-preview 0.42.3 0.42.3 0.42.3 0.42.3
Java 21 21 21 21 21
Python 3.12 3.12 3.12 3.12 3.12
Scala 2.13 2.13 2.13 2.13 2.13

注意：

如要為後續幾行停用，請使用： * 3.0 執行階段會使用 UTF-8 做為預設字元編碼。

  • 3.0 執行階段新功能和改善項目：

    • 預設使用區域和多區域工作負載，提高運算資源的取得率
    • 啟動速度比先前的執行階段更快
    • 快速清除資源，在工作負載完成後更快釋出 VPC IP
    • 根據預設，所有工作負載都會使用使用者憑證
    • 全新 bigquery Spark 目錄，預先設定為可直接與 BigQuery 原生資料表互動
    • 新的 Spark 無伺服器專用 IAM 角色
    • 必須啟用新的 dataproc-rm.googleapis.com API

  • 3.0 執行階段不支援的功能和已淘汰的功能：

    • 系統不支援永久記錄伺服器 (PHS)。請改用 Spark UI。
    • 不支援 SparkR 批次。請改用 sparklyr。
    • 系統不支援 Jupyter 工作階段。請改用 Spark Connect 工作階段，這是互動式 Spark 開發的業界標準。