3.0.x リリース イメージ バージョン

コンポーネント	3.0.2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/09/04	3.0.1-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/08/19	3.0.0-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/07/15	3.0.0-RC2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/05/03	3.0.0-RC1-debian12/ -ubuntu24/ -rocky9 2025/09/08
Apache Flink ^オプション コンポーネント	2.2.0	2.2.0	2.2.0
Apache Hadoop ^インストール済み	3.5.0	3.5.0	3.5.0	3.5.0	3.4.1
Apache Hive ^インストール済み	4.2.0	4.2.0	4.2.0	4.2.0	4.1.0
Apache Hive WebHCat ^オプション コンポーネント	4.2.0	4.2.0	4.2.0
Apache Iceberg ^オプション コンポーネント	1.11.0	1.11.0	1.11.0
Apache Hudi ^オプション コンポーネント	1.2.0
Apache Kafka ^初期化アクション	3.9.2	3.9.2	3.9.2
Apache Pig ^オプション コンポーネント	0.18.0	0.18.0	0.18.0	0.18.0-SNAPSHOT
Apache Ranger ^オプション コンポーネント	2.8.0	2.8.0
Apache Spark ^インストール済み	4.1.2	4.1.2	4.1.2	4.1.1	4.0.0
Apache Solr ^オプション コンポーネント	9.10.1	9.10.1	9.10.1	9.7.0
Apache Tez ^インストール済み	0.10.5	0.10.5	0.10.5	0.10.5	0.10.5
Apache Zeppelin ノートブック ^オプション コンポーネント	0.12.0	0.12.0	0.12.0
Apache Zookeeper ^オプション コンポーネント	3.9.5	3.9.5	3.9.5	3.9.3
BigQuery Connector ^インストール済み	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview
Cloud Storage コネクタ ^インストール済み	4.0.4	3.1.13	3.1.13	3.1.13	3.1.6
Conscrypt ^インストール済み	2.6	2.6	2.6	2.6
Delta Lake ^オプション コンポーネント	4.2.0	4.2.0
Docker ^オプション コンポーネント	28.1	28.1	28.1
Java ^インストール済み	21	21	21	21	17
JupyterLab ノートブック ^オプション コンポーネント	4.5.7	4.5.7	4.5.7
Python ^インストール済み	Pixi 0.76.0 と Python 3.12	Pixi 0.67.1 と Python 3.12	Pixi 0.67.1 と Python 3.12	Pixi 0.67.1 と Python 3.11	micromamba 2.0.5 と Python 3.11
R ^インストール済み	R 4.5	R 4.5	R 4.5	R 4.5	R 4.3
Scala ^インストール済み	2.13.17	2.13.17	2.13.17	2.13.17	2.13.14
Trino ^オプション コンポーネント	480	480	480

制限事項

• Hive 4.2 を使用するメタストア: イメージ バージョン 3.0 は、Hive 4.2 を使用する BigQuery Metastore、BigLake Metastore、Dataproc Metastore をサポートしていません（これらのメタストアを使用する直接 Hive クエリはサポートされていません）。

• Hive を使用した Delta Lake: Managed Service for Apache Spark イメージ バージョン 3.0 に含まれている Delta Lake 4.x は、Hive をサポートしていません（Delta Lake 4.2 テーブルに対するクエリを Hive で実行することはできません）。

• Hive を使用した Iceberg: Managed Service for Apache Spark イメージ バージョン 3.0 には Hive 4.2 が含まれており、Iceberg REST カタログを介して Iceberg をサポートしています。

• GPU クラスタ: 3.0-ml-ubuntu を除くすべての 3.0 イメージ バージョンで cgroups V2 が有効になります。cgroups V2 が有効になっている場合、YARN は GPU 検出をサポートしていないため、GPU を使用してクラスタを作成するときは 3.0-ml-ubuntu イメージを使用する必要があります。

注:

• バージョン 3.0 は、コア コンポーネントのみを含む軽量イメージであり、共通脆弱性識別子（CVE）への露出を減らします。セキュリティ コンプライアンスの要件が高い場合は、Managed Service for Apache Spark クラスタの作成時にイメージ バージョン 2.3 以降を使用します。

• 3.0 イメージで Managed Service for Apache Spark クラスタを作成するときにオプション コンポーネントのインストールを選択すると、クラスタの作成中にダウンロードされてインストールされます。これにより、クラスタの起動時間が長くなる可能性があります。この遅延を回避するには、オプション コンポーネントがプリインストールされたカスタム イメージを作成します。これは、--optional-components フラグを指定して generate_custom_image.py を実行することで実現できます。

  注: クラスタの作成時に、インストールするオプション コンポーネントを指定する必要があります。詳細については、オプション コンポーネントを追加するをご覧ください。
  次の例は、オプション コンポーネントを含むクラスタを作成するための Google Cloud CLI コマンドを示しています。

  gcloud dataproc clusters create CLUSTER_NAME
      --optional-components=COMPONENT_NAME \
      ... other flags
  

• 3.0 イメージでは、次のオプション コンポーネントがサポートされています。

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Iceberg
  • Apache Pig
  • Apache Ranger
  • Apache Solr
  • Apache Zeppelin ノートブック
  • Apache Zookeeper
  • Delta Lake
  • Docker
  • JupyterLab ノートブック
  • Trino

• 3.0 イメージでは、yarn.nodemanager.recovery.enabled と HDFS 監査ロギングがデフォルトで有効になっています。

• Pixi は Python のインストールの一部としてインストールされ、Conda の代わりに Python パッケージのインストールに使用されます。

• YARN のデフォルトのリソース計算ツール方式が DefaultResourceCalculator から DominantResourceCalculator に変更されました。DominantResourceCalculator は、メモリや CPU などの支配的リソースの概念を使用して、リソース割り当てを決定します。この変更は、クラスタの支配的リソース使用量に基づいてスケーリングする Autoscaler に影響します。

• イメージ バージョン 3.0 以降では、クラスタノードのマシンタイプを指定せずにクラスタを作成すると、Managed Service for Apache Spark は、リソースの可用性を最適化した N4、N2、E2 シリーズのマシンタイプのランキング リストなど、フレキシブル VM マシンタイプのランキング リストを使用してノードを指定します。