3.0.x リリース イメージ バージョン

コンポーネント 3.0.0-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/07/15		 3.0.0-RC2-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/05/03		 3.0.0-RC1-debian12/
-ubuntu24/
-rocky9
2025/09/08

Apache Flink
オプションのコンポーネント		 2.2.0 2.2.0
**Apache Hadoop**
インストール済み		 3.5.0 3.5.0 3.4.1
**Apache Hive**
インストール済み		 4.2.0 4.2.0 4.1.0
Apache Hive WebHCat
オプションのコンポーネント		 4.2.0 4.2.0
**Apache Iceberg**
オプションのコンポーネント		 1.11.0
**Apache Kafka**
初期化アクション		 3.9.2 3.9.2
Apache Pig
オプションのコンポーネント		 0.18.0 0.18.0-SNAPSHOT
**Apache Ranger**
オプションのコンポーネント		 2.8.0
Apache Spark
インストール済み		 4.1.2 4.1.1 4.0.0
**Apache Solr**
オプションのコンポーネント		 9.10.1 9.10.1 9.7.0
Apache Tez
インストール済み		 0.10.5 0.10.5 0.10.5
Apache Zeppelin ノートブック
オプションのコンポーネント		 0.12.0 0.12.0
**Apache Zookeeper**
オプションのコンポーネント		 3.9.5 3.9.5 3.9.3
BigQuery Connector
インストール済み		 0.44.1-Preview 0.44.1-Preview
**Cloud Storage コネクタ**
インストール済み		 3.1.13 3.1.13 3.1.6
Conscrypt
インストール済み		 2.6 2.6 2.6
Delta Lake
オプションのコンポーネント		 4.2.0
**Docker**
オプションのコンポーネント		 28.1 28.1
Java
インストール済み		 21 21 17
**JupyterLab ノートブック**
オプションのコンポーネント		 4.5.7 4.5.7
Python
インストール済み		 Pixi 0.67.1 と Python 3.12 Pixi 0.67.1 と Python 3.11 micromamba 2.0.5 と Python 3.11
R
インストール済み		 R 4.5 R 4.5 R 4.3
Scala
インストール済み		 2.13.17 2.13.17 2.13.14
Trino
オプションのコンポーネント		 480 480

制限事項

  • Lightning Engine: 画像モード 3.0 は Lightning Engine をサポートしていません。

  • Hive 4.2 を使用したメタストア: イメージ バージョン 3.0 は、Hive 4.2 を使用した BigQuery Metastore、BigLake Metastore、Dataproc Metastore をサポートしていません（これらのメタストアを使用した直接的な Hive クエリはサポートされていません）。

  • Hive を使用した Delta Lake: Managed Service for Apache Spark イメージ バージョン 3.0 に含まれている Delta Lake 4.x は Hive をサポートしていません（Delta Lake 4.2 テーブルに対するクエリは Hive で実行できません）。

  • Hive を使用した Iceberg: Managed Service for Apache Spark イメージ バージョン 3.0 には Hive 4.2 が含まれており、Iceberg REST カタログを介して Iceberg をサポートしています。

  • GPU クラスタ: 3.0 を除くすべての 3.0-ml-ubuntu イメージ バージョンで cgroups V2 が有効になります。cgroups V2 が有効になっている場合、YARN は GPU の検出をサポートしていないため、GPU を使用してクラスタを作成する場合は 3.0-ml-ubuntu イメージを使用する必要があります。

  • Hudi: 画像モード 3.0 は Apache Hudi をサポートしていません。

注:

  • バージョン 3.0 は、コア コンポーネントのみを含む軽量イメージであり、共通脆弱性識別子（CVE）への露出を減らします。セキュリティ コンプライアンスの要件が高い場合は、Managed Service for Apache Spark クラスタの作成時にイメージ バージョン 2.3 以降を使用します。

  • 3.0 イメージで Managed Service for Apache Spark クラスタを作成するときに オプション コンポーネントのインストールを選択すると、クラスタの作成中に ダウンロードされてインストールされます。これにより、クラスタの起動時間が長くなる可能性があります。この遅延を回避するには、オプション コンポーネントがプリインストールされたカスタム イメージを作成します。これは、--optional-components フラグを指定して generate_custom_image.py を実行することで実現できます。

  • 3.0 イメージでは、次のオプション コンポーネントがサポートされています。

    • Apache Flink
    • Apache Hive WebHCat
    • Apache Iceberg
    • Apache Pig
    • Apache Ranger
    • Apache Solr
    • Apache Zeppelin ノートブック
    • Apache Zookeeper
    • Delta Lake
    • Docker
    • JupyterLab ノートブック
    • Trino

  • 3.0 イメージでは、yarn.nodemanager.recovery.enabled と HDFS 監査ロギングがデフォルトで有効になっています。

  • Pixi は Python のインストールの一部としてインストールされ、Conda の代わりに Python パッケージのインストールに使用されます。

  • YARN のデフォルトのリソース計算ツール方式が DefaultResourceCalculator から DominantResourceCalculatorに変更されました。 DominantResourceCalculator は、メモリや CPU などの支配的リソースの概念を使用して、リソース割り当てを決定します。この変更は、クラスタの支配的リソース使用量に基づいてスケーリングする Autoscaler に影響します。

  • イメージ バージョン 3.0 以降では、クラスタノードのマシンタイプを指定せずにクラスタを作成すると、Managed Service for Apache Spark は、リソースの可用性を最適化したリストを使用して、N4、N2、E2 シリーズのマシンタイプなどのフレキシブル VM マシンタイプのランク付けされたリストでノードを指定します。