Google Cloud Serverless for Apache Spark 运行时版本

本文档列出了受支持和不受支持的 Serverless for Apache Spark 运行时版本,并介绍了它们的特征。

运行时节点位置

本部分介绍了 Google Cloud Serverless for Apache Spark 运行时版本如何在区域内分配节点来执行批量工作负载和交互式会话。

  • 运行时版本 3.0+:为了提高可获取性并避免可用区缺货,Serverless for Apache Spark 可能会在工作负载或会话区域内的多个可用区中分配节点,以执行批量工作负载或交互式会话。区域中节点之间的跨可用区网络流量无需额外费用。

    对于低于 3.0 的运行时版本,Serverless for Apache Spark 会在工作负载或会话区域内的单个地区中分配节点,以执行批量工作负载或交互式会话。

运行时可用性和支持

  • Serverless for Apache Spark LTS(长期支持)运行时版本的支持时长为 30 个月。Serverless for Apache Spark 非 LTS 运行时版本的支持时长为 12 个月。

  • Serverless for Apache Spark 运行时版本在支持结束日期后仍可使用两年。

  • 不支持运行时次次要版本固定。

支持的 Serverless for Apache Spark 运行时版本

版本 上次更新时间 发布日期 支持截止日期 可用截止日期 备注
Spark 运行时 3.0 2025/10/16 2025/09/08 预览版。
Spark 运行时 2.3 LTS 2025/10/06 2025/05/28 2027/11/26 2029/11/26 推出正式版。
Spark 运行时 2.2 LTS 2025/09/11 2024/03/27 2026/09/30 2028/09/30 推出正式版。这是默认版本
Spark 运行时 1.2 LTS 2025/09/11 2024/03/27 2026/09/30 2028/09/30 推出正式版。

如何选择 Serverless for Apache Spark 运行时版本

当前默认的 Serverless for Apache Spark 运行时版本列在受支持的 Serverless for Apache Spark 运行时版本中。您可以在提交批量工作负载创建交互式会话会话模板时选择其他 major.minor 运行时版本。

不受支持的 Serverless for Apache Spark 运行时版本

以下 Serverless for Apache Spark 版本不受支持。

版本 包含 发布日期 上次更新时间 可用截止日期 备注
Spark 运行时 2.1 Apache Spark 3.4.0
Cloud Storage 连接器 2.2.20
BigQuery 连接器 0.28.1
Java 17
Conda 23.3
Python 3.11
R 4.2
Scala 2.13
2022/01/19 2024/5/30 2026/08/28 自 2024 年 5 月 30 日起不再受支持。2.1.50 是最后发布的版本。
Spark 运行时 2.0 Apache Spark 3.3.4
Cloud Storage 连接器 2.2.20
Java 17
Conda 22.9
Python 3.10
R 4.1
Scala 2.13
2022/10/21 2024/08/22 2026/08/28 自 2024 年 8 月 22 日起不再受支持。2.0.84 是最后发布的版本。
Spark 运行时 1.1 Apache Spark 3.3.4
Cloud Storage 连接器 2.2.28
BigQuery 连接器 0.28.1
Java 11
Conda 22.11
Python 3.10
R 4.2
Scala 2.12
2023/01/27 2025/07/31 2027/07/31 自 2025 年 7 月 31 日起已停止支持。1.1.111 是最后发布的版本。
Spark 运行时 1.0 Apache Spark 3.2.3
Cloud Storage 连接器 2.2.11
Conda 4.11
Java 11
Python 3.9
R 4.1
Scala 2.12.17
2022/01/19 2023/2/03 2025/05/30 自 2023 年 2 月 3 日起已停止支持。1.0.29 是最后发布的版本。