4.0.x 發布映像檔版本

元件 4.0.0-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/11/19




Apache Flink
選用元件
2.2.0
Apache Gluten
已安裝
1.6
Apache Hadoop
已安裝
3.5.0
Apache Hive
已安裝
4.2.0
Apache Hive WebHCat
選用元件
4.2.0
Apache Iceberg
選用元件
1.12.0
Apache Kafka
初始化動作
3.9.2
Apache Pig
選用元件
0.18.0
Apache Ranger
選用元件
2.8.0
Apache Spark
已安裝
4.2.0
Apache Solr
選用元件
9.10.1
Apache Tez
已安裝
0.10.5
Apache Zeppelin Notebook
選用元件
0.12.0
Apache Zookeeper
選用元件
3.9.5
BigQuery Connector
已安裝
0.46.0
Cloud Storage 連接器
已安裝
4.0.7
Conscrypt
已安裝
2.6
Delta Lake
選用元件
4.4.0
Docker
選用元件
28.1
Java
已安裝
25
JupyterLab Notebook
選用元件
4.6.6
Python
已安裝
Pixi 0.76.0 搭配 Python 3.13
R
已安裝
R 4.5
Scala
已安裝
2.13.17
Trino
選用元件
480

新功能和改善項目

  • 彈性 VM 機型:從映像檔版本 4.0 開始,如果您在建立叢集時未指定叢集節點的機型,Managed Service for Apache Spark 會根據彈性 VM 機型的排名清單 (例如 N4、N2 和 E2 系列機型的排名清單) 指定節點,並根據資源可用性最佳化清單。

限制

  • Apache Hudi:映像檔版本 4.0 不支援 Apache Hudi。

  • 使用 Hive 4.2 的 metastore:映像檔版本 4.0 不支援 BigQuery Metastore、BigLake Metastore 或使用 Hive 4.2 的 Dataproc Metastore (不支援使用這些 metastore 直接執行 Hive 查詢)。

  • Delta Lake 搭配 Hive:Delta Lake 4.x 包含在 Managed Service for Apache Spark 映像檔版本 4.0 中,不支援 Hive (無法在 Hive 執行 Delta Lake 4.4 資料表查詢)。

注意:

  • Java 版本:映像檔版本 4.0 包含適用於 Spark 工作負載的 Java 25。Java 21 則用於回溯相容。

  • Iceberg Spark 屬性篩選:在標準 4.0 叢集上,如果省略選用的 iceberg 元件,系統會在叢集啟用期間,自動從 spark-defaults.conf 篩除 Iceberg 工作階段擴充功能和預設目錄。

  • GPU 叢集:除了 4.0-ml-ubuntu 之外,所有 4.0 映像檔版本都會啟用 cgroups V2。啟用 cgroups V2 時,YARN 不支援 GPU 探索,因此建立具備 GPU 的叢集時,必須使用 4.0-ml-ubuntu 映像檔。

  • 4.0 版是輕量型映像檔,只包含核心元件,可減少常見安全漏洞與弱點 (CVE) 的風險。如需更高的安全法規遵循要求,請在建立 Managed Service for Apache Spark 叢集時,使用 2.3 以上版本的映像檔。

  • 預先安裝的選用元件:下列選用元件已預先安裝在 4.0 映像檔中,如果您在建立叢集時納入這些元件,系統就會啟用:

    • Apache Iceberg
    • Delta Lake

    建立叢集時,必須指定要安裝的選用元件。詳情請參閱「新增選用元件」。
    以下範例顯示使用 Google Cloud CLI 指令建立含選用元件的叢集:

    gcloud dataproc clusters create CLUSTER_NAME
        --optional-components=COMPONENT_NAME \
        ... other flags
    

  • YARN 的預設資源計算機已從 DefaultResourceCalculator 變更為 DominantResourceCalculator,後者採用「主導資源」概念來決定資源 (例如記憶體和 CPU) 的分配。這項變更會影響自動配置器,因其調度資源的方式,正是取決於叢集的主導資源使用情況。