Serverless for Apache Spark 运行时 3.0

Spark 运行时版本 3.0 组件

组件 3.0.0
2025/12/04		 3.0.0-RC6
2025/10/16
 3.0.0-RC5
2025/10/06		 3.0.0-RC4
2025/09/11		 3.0.0-RC3
2025/09/08
Apache Spark 4.0.0 4.0.0 4.0.0 4.0.0 4.0.0
Cloud Storage 连接器 3.1.9 3.1.5 3.1.5 3.1.5 3.1.5
BigQuery 连接器 0.43.1-preview 0.42.3 0.42.3 0.42.3 0.42.3
Java 21 21 21 21 21
Python 3.12 3.12 3.12 3.12 3.12
Scala 2.13 2.13 2.13 2.13 2.13

注意：

使用以下代码针对后续行停用： * 3.0 运行时使用 UTF-8 作为默认字符编码。

  • 3.0 运行时新增功能和改进：

    • 默认使用区域级和多地区工作负载，以提高计算资源的可用性
    • 启动速度比之前的运行时更快
    • 快速清理资源，以便在工作负载完成后更快地释放 VPC IP
    • 默认情况下，最终用户凭证用于所有工作负载
    • 新的 bigquery Spark 目录，已预先配置，可实现开箱即用的 BigQuery 原生表互动
    • 新的 Spark Serverless 专用 IAM 角色
    • 需要启用新的 dataproc-rm.googleapis.com API

  • 3.0 运行时不支持和已弃用的功能：

    • 不支持持久性历史记录服务器 (PHS)。请改用 Spark 界面。
    • 不支持 SparkR 批处理。请改用 sparklyr。
    • 不支持 Jupyter 会话。请改用 Spark Connect 会话，这是交互式 Spark 开发的业界标准。