3.0.x 發布映像檔版本

元件	3.0.3-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/09/30	3.0.2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/09/04	3.0.1-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/08/19	3.0.0-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/07/15	3.0.0-RC2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/05/03
Apache Flink ^選用元件	2.2.0	2.2.0	2.2.0	2.2.0
Apache Hadoop ^已安裝	3.5.0	3.5.0	3.5.0	3.5.0	3.5.0
Apache Hive ^已安裝	4.2.0	4.2.0	4.2.0	4.2.0	4.2.0
Apache Hive WebHCat ^選用元件	4.2.0	4.2.0	4.2.0	4.2.0
Apache Iceberg ^選用元件	1.11.0	1.11.0	1.11.0	1.11.0
Apache Hudi ^選用元件	1.2.0	1.2.0
Apache Kafka ^初始化動作	3.9.2	3.9.2	3.9.2	3.9.2
Apache Pig ^選用元件	0.18.0	0.18.0	0.18.0	0.18.0	0.18.0-SNAPSHOT
Apache Ranger ^選用元件	2.8.0	2.8.0	2.8.0
Apache Spark ^已安裝	4.1.2	4.1.2	4.1.2	4.1.2	4.1.1
Apache Solr ^選用元件	9.10.1	9.10.1	9.10.1	9.10.1	9.7.0
Apache Tez ^已安裝	0.10.5	0.10.5	0.10.5	0.10.5	0.10.5
Apache Zeppelin Notebook ^選用元件	0.12.0	0.12.0	0.12.0	0.12.0
Apache Zookeeper ^選用元件	3.9.5	3.9.5	3.9.5	3.9.5	3.9.3
BigQuery Connector ^已安裝	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview
Cloud Storage 連接器 ^已安裝	4.0.4	4.0.4	3.1.13	3.1.13	3.1.13
Conscrypt ^已安裝	2.6	2.6	2.6	2.6	2.6
Delta Lake ^選用元件	4.2.0	4.2.0	4.2.0
Docker ^選用元件	28.1	28.1	28.1	28.1
Java ^已安裝	21	21	21	21	21
JupyterLab Notebook ^選用元件	4.5.7	4.5.7	4.5.7	4.5.7
Python ^已安裝	Pixi 0.76.0，搭配 Python 3.12	Pixi 0.76.0，搭配 Python 3.12	Pixi 0.67.1 搭配 Python 3.12	Pixi 0.67.1 搭配 Python 3.12	Pixi 0.67.1 搭配 Python 3.11
R ^已安裝	R 4.5	R 4.5	R 4.5	R 4.5	R 4.5
Scala ^已安裝	2.13.17	2.13.17	2.13.17	2.13.17	2.13.17
Trino ^選用元件	480	480	480	480

限制

• 使用 Hive 4.2 的 Metastore：映像檔版本 3.0 不支援 BigQuery Metastore、BigLake Metastore 或使用 Hive 4.2 的 Dataproc Metastore (不支援使用這些 Metastore 直接查詢 Hive)。

• Delta Lake 搭配 Hive：Delta Lake 4.x 包含在 Managed Service for Apache Spark 映像檔 3.0 版中，不支援 Hive (無法在 Hive 執行 Delta Lake 4.2 資料表查詢)。

• Iceberg 與 Hive：Managed Service for Apache Spark 映像檔版本 3.0 包含 Hive 4.2，可透過 Iceberg REST 目錄支援 Iceberg。

• GPU 叢集：除了 3.0-ml-ubuntu 以外，所有 3.0 映像檔版本都會啟用 cgroups V2。由於啟用 cgroups V2 時，YARN 不支援 GPU 探索功能，因此建立含 GPU 的叢集時，必須使用 3.0-ml-ubuntu 映像檔。

注意：

• 版本 3.0 是輕量型映像檔，只包含核心元件，可減少常見安全漏洞與弱點 (CVE) 的風險。如需更高的安全法規遵循要求，請在建立 Managed Service for Apache Spark 叢集時使用 2.3 以上版本的映像檔。

• 使用 3.0 映像檔建立 Managed Service for Apache Spark 叢集時，若選擇安裝選用元件，系統會在叢集建立期間下載並安裝這些元件，此舉可能會延長叢集啟動時間。為避免此延遲，可建立一個預先安裝選用元件的自訂映像檔，方法是執行 generate_custom_image.py 並加上 --optional-components 旗標。

  注意： 建立叢集時，必須指定要安裝的選用元件。詳情請參閱「新增選用元件」。
  以下範例顯示使用 Google Cloud CLI 指令建立含選用元件的叢集：

  gcloud dataproc clusters create CLUSTER_NAME
      --optional-components=COMPONENT_NAME \
      ... other flags
  

• 3.0 映像檔支援下列選用元件：

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Iceberg
  • Apache Pig
  • Apache Ranger
  • Apache Solr
  • Apache Zeppelin 筆記本
  • Apache Zookeeper
  • Delta Lake
  • Docker
  • JupyterLab Notebook
  • Trino

• 3.0 版映像檔預設會啟用 yarn.nodemanager.recovery.enabled 和 HDFS 稽核記錄功能。

• Pixi 會隨 Python 安裝程序一併安裝，並用於安裝 Python 套件，而非 Conda。

• YARN 的預設資源計算機已從 DefaultResourceCalculator 變更為 DominantResourceCalculator，後者採用「主導資源」概念來決定資源 (例如記憶體和 CPU) 的分配。這項變更會影響自動配置器，因其調度資源的方式，正是取決於叢集的主導資源使用情況。

• 從映像檔版本 3.0 開始，如果您建立叢集時未指定叢集節點的機型，Managed Service for Apache Spark 會根據彈性 VM 機型的排名清單 (例如 N4、N2 和 E2 系列機型的排名清單，並根據資源可用性進行最佳化) 指定節點。