4.0.x 发布映像版本

组件 4.0.0-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/11/19




Apache Flink
可选 组件
2.2.0
Apache Gluten
已安装
1.6
Apache Hadoop
已安装
3.5.0
Apache Hive
已安装
4.2.0
Apache Hive WebHCat
可选组件
4.2.0
Apache Iceberg
可选组件
1.12.0
Apache Kafka
初始化操作
3.9.2
Apache Pig
可选组件
0.18.0
Apache Ranger
可选组件
2.8.0
Apache Spark
已安装
4.2.0
Apache Solr
可选组件
9.10.1
Apache Tez
已安装
0.10.5
Apache Zeppelin 笔记本
可选组件
0.12.0
Apache Zookeeper
可选组件
3.9.5
BigQuery 连接器
已安装
0.46.0
Cloud Storage 连接器
已安装
4.0.7
Conscrypt
已安装
2.6
Delta Lake
可选组件
4.4.0
Docker
可选 组件
28.1
Java
已安装
25
JupyterLab 笔记本
可选组件
4.6.6
Python
已安装
Pixi 0.76.0(搭配 Python 3.13)
R
已安装
R 4.5
Scala
已安装
2.13.17
Trino
可选组件
480

新增功能和改进

  • 灵活虚拟机机器类型:从映像版本 4.0 开始,如果您在创建集群时未为集群节点指定机器类型,Managed Service for Apache Spark 会为该节点指定一个灵活虚拟机机器类型的排名列表,例如 N4、N2 和 E2 系列机器类型的排名列表,该列表会针对资源可用性进行优化。

限制

  • Apache Hudi:映像版本 4.0 不支持 Apache Hudi。

  • 具有 Hive 4.2 的 Metastore:映像版本 4.0 不支持 BigQuery Metastore、BigLake Metastore 或具有 Hive 4.2 的 Dataproc Metastore(不支持使用这些 Metastore 进行直接 Hive 查询)。

  • Delta Lake 与 Hive:Managed Service for Apache Spark 映像版本 4.0 中包含的 Delta Lake 4.x 不支持 Hive(无法在 Hive 上执行针对 Delta Lake 4.4 表的查询)。

注意:

  • Java 版本:映像版本 4.0 包含适用于 Spark 工作负载的 Java 25。Java 21 包含在内,以实现向后兼容性。

  • Iceberg Spark 属性过滤:在标准 4.0 集群上,如果省略可选的 iceberg 组件,则在集群激活期间,系统会自动从 spark-defaults.conf 中过滤掉 Iceberg 会话扩展和默认目录。

  • GPU 集群:除 4.0-ml-ubuntu 之外的所有 4.0 映像版本都会启用 cgroups V2。由于 YARN 在启用 cgroups V2 时不支持 GPU 发现,因此您在创建具有 GPU 的集群时必须使用 4.0-ml-ubuntu 映像。

  • 版本 4.0 是一种仅包含核心组件的轻量级映像,可减少常见漏洞和披露 (CVE) 的风险。如果安全合规性要求较高,请在创建 Managed Service for Apache Spark 集群时使用映像版本 2.3 或更高版本。

  • 预安装的可选组件:以下可选组件已预安装在 4.0 映像中,如果您在创建集群时添加了这些组件,它们就会被激活:

    • Apache Iceberg
    • Delta Lake

    您必须在创建集群时指定要安装的可选组件。如需了解详情,请参阅添加可选组件。
    以下示例展示了用于创建包含可选组件的集群的 Google Cloud CLI 命令:

    gcloud dataproc clusters create CLUSTER_NAME
        --optional-components=COMPONENT_NAME \
        ... other flags
    

  • YARN 的默认资源计算器已从 DefaultResourceCalculator 更改为 DominantResourceCalculator,后者使用主要资源概念来确定资源分配,例如内存和 CPU 分配。此更改会影响自动扩缩器,该扩缩器会根据集群的主要资源使用情况进行扩缩。