4.0.x リリース イメージ バージョン

コンポーネント 4.0.0-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/11/19




Apache Flink
オプション コンポーネント
2.2.0
Apache Gluten
インストール済み
1.6
Apache Hadoop
インストール済み
3.5.0
Apache Hive
インストール済み
4.2.0
Apache Hive WebHCat
オプション コンポーネント
4.2.0
Apache Iceberg
オプション コンポーネント
1.12.0
Apache Kafka
初期化アクション
3.9.2
Apache Pig
オプション コンポーネント
0.18.0
Apache Ranger
オプション コンポーネント
2.8.0
Apache Spark
インストール済み
4.2.0
Apache Solr
オプション コンポーネント
9.10.1
Apache Tez
インストール済み
0.10.5
Apache Zeppelin ノートブック
オプション コンポーネント
0.12.0
Apache Zookeeper
オプション コンポーネント
3.9.5
BigQuery Connector
インストール済み
0.46.0
Cloud Storage コネクタ
インストール済み
4.0.7
Conscrypt
インストール済み
2.6
Delta Lake
オプション コンポーネント
4.4.0
Docker
オプション コンポーネント
28.1
Java
インストール済み
25
JupyterLab ノートブック
オプション コンポーネント
4.6.6
Python
インストール済み
Pixi 0.76.0 と Python 3.13
R
インストール済み
R 4.5
Scala
インストール済み
2.13.17
Trino
オプション コンポーネント
480

新機能と改善点

  • フレキシブル VM マシンタイプ: イメージ バージョン 4.0 以降では、クラスタノードのマシンタイプを指定せずにクラスタを作成すると、Managed Service for Apache Spark は、フレキシブル VM マシンタイプのランク付けされたリスト(N4、N2、E2 シリーズのマシンタイプのランク付けされたリストなど)でノードを指定します。このリストは、リソースの可用性に合わせて最適化されています。

制限事項

  • Apache Hudi: Apache Hudi は、イメージ バージョン 4.0 ではサポートされていません。

  • Hive 4.2 を使用する metastore: イメージ バージョン 4.0 は、Hive 4.2 を使用する BigQuery Metastore、BigLake Metastore、Dataproc Metastore をサポートしていません(これらの metastore を使用する直接 Hive クエリはサポートされていません)。

  • Hive を使用した Delta Lake: Managed Service for Apache Spark イメージ バージョン 4.0 に含まれている Delta Lake 4.x は、Hive をサポートしていません(Delta Lake 4.4 テーブルに対するクエリは Hive で実行できません)。

注:

  • Java バージョン: イメージ バージョン 4.0 には、Spark ワークロード用の Java 25 が含まれています。Java 21 は下位互換性のために含まれています。

  • Iceberg Spark プロパティのフィルタリング: 標準の 4.0 クラスタで、オプションの iceberg コンポーネントが省略されている場合、クラスタの有効化時に Iceberg セッション拡張機能とデフォルト カタログが spark-defaults.conf から自動的にフィルタされます。

  • GPU クラスタ: 4.0-ml-ubuntu を除くすべての 4.0 イメージ バージョンで cgroups V2 が有効になります。cgroups V2 が有効になっている場合、YARN は GPU の検出をサポートしないため、GPU を使用してクラスタを作成するときに 4.0-ml-ubuntu イメージを使用する必要があります。

  • バージョン 4.0 は、コア コンポーネントのみを含む軽量イメージであり、共通脆弱性識別子(CVE)への露出を減らします。セキュリティ コンプライアンスの要件が高い場合は、Managed Service for Apache Spark クラスタの作成時にイメージ バージョン 2.3 以降を使用します。

  • プリインストールされたオプション コンポーネント: 次のオプション コンポーネントは 4.0 イメージにプリインストールされており、クラスタの作成時に含めると有効になります。

    • Apache Iceberg
    • Delta Lake

    クラスタの作成時に、インストールするオプション コンポーネントを指定する必要があります。詳細については、オプション コンポーネントを追加するをご覧ください。
    次の例は、オプション コンポーネントを含むクラスタを作成するための Google Cloud CLI コマンドを示しています。

    gcloud dataproc clusters create CLUSTER_NAME
        --optional-components=COMPONENT_NAME \
        ... other flags
    

  • YARN のデフォルトのリソース計算ツール方式が DefaultResourceCalculator から DominantResourceCalculator に変更されました。DominantResourceCalculator は、メモリや CPU などの支配的リソースの概念を使用して、リソース割り当てを決定します。この変更は、クラスタの支配的リソース使用量に基づいてスケーリングする Autoscaler に影響します。