Versions d'image de la version 4.0.x

Composant 4.0.0-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/11/19




Apache Flink
composant facultatif
2.2.0
Apache Gluten
installé
1.6
Apache Hadoop
installé
3.5.0
Apache Hive
installé
4.2.0
Apache Hive WebHCat
composant facultatif
4.2.0
Composant facultatif
Apache Iceberg
1.12.0
Apache Kafka
action d'initialisation
3.9.2
Composant facultatif
Apache Pig
0.18.0
Composant facultatif
Apache Ranger
2.8.0
Apache Spark
installé
4.2.0
Composant facultatif
Apache Solr
9.10.1
Apache Tez
installé
0.10.5
Composant facultatif
Apache Zeppelin Notebook
0.12.0
Composant facultatif
Apache ZooKeeper
3.9.5
Connecteur BigQuery
installé
0.46.0
Connecteur Cloud Storage
installé
4.0.7
Conscrypt
installé
2.6
Composant facultatif
Delta Lake
4.4.0
Docker
composant facultatif
28,1
Java
installé
25
Notebook JupyterLab
composant facultatif
4.6.6
Python
installé
Pixi 0.76.0 avec Python 3.13
R
installé
R 4.5
Scala
installé
2.13.17
Trino
Trino
480

Nouvelles fonctionnalités et améliorations

  • Types de machines de VM flexibles : à partir de la version d'image 4.0, lorsque vous créez un cluster sans spécifier de type de machine pour un nœud de cluster, Managed Service for Apache Spark spécifie le nœud avec une liste classée de types de machines de VM flexibles, par exemple une liste classée de types de machines des séries N4, N2 et E2, la liste étant optimisée pour la disponibilité des ressources.

Limites

  • Apache Hudi : Apache Hudi n'est pas compatible avec la version d'image 4.0.

  • Métastores avec Hive 4.2 : la version d'image 4.0 n'est pas compatible avec BigQuery Metastore, BigLake Metastore ni Dataproc Metastore avec Hive 4.2 (les requêtes Hive directes utilisant ces métastores ne sont pas acceptées).

  • Delta Lake avec Hive : Delta Lake 4.x, qui est inclus dans la version d'image 4.0 de Managed Service pour Apache Spark, n'est pas compatible avec Hive (les requêtes sur les tables Delta Lake 4.4 ne peuvent pas être exécutées sur Hive).

Remarques :

  • Versions de Java : la version d'image 4.0 inclut Java 25 pour les charges de travail Spark. Java 21 est inclus pour assurer la rétrocompatibilité.

  • Filtrage des propriétés Iceberg Spark : sur les clusters 4.0 standards, si le composant iceberg facultatif est omis, les extensions de session Iceberg et les catalogues par défaut sont automatiquement filtrés à partir de spark-defaults.conf lors de l'activation du cluster.

  • Clusters GPU : toutes les versions d'image 4.0, à l'exception de 4.0-ml-ubuntu, activent cgroups V2. Étant donné que YARN n'est pas compatible avec la détection de GPU lorsque cgroups V2 est activé, vous devez utiliser l'image 4.0-ml-ubuntu lorsque vous créez des clusters avec des GPU.

  • La version 4.0 est une image légère qui ne contient que les composants de base, ce qui réduit l'exposition aux failles et expositions courantes (CVE). Pour répondre à des exigences de conformité de sécurité plus strictes, utilisez la version d'image 2.3 ou une version ultérieure lorsque vous créez un cluster Managed Service pour Apache Spark.

  • Composants facultatifs préinstallés : les composants facultatifs suivants sont préinstallés dans les images 4.0 et sont activés si vous les incluez lors de la création du cluster :

    • Apache Iceberg
    • Delta Lake

    Vous devez spécifier les composants facultatifs que vous souhaitez installer lorsque vous créez un cluster. Pour en savoir plus, consultez Ajouter des composants facultatifs.
    L'exemple suivant montre la commande Google Cloud CLI permettant de créer un cluster avec des composants facultatifs :

    gcloud dataproc clusters create CLUSTER_NAME
        --optional-components=COMPONENT_NAME \
        ... other flags
    

  • Le simulateur de ressources par défaut pour YARN est passé de DefaultResourceCalculator à DominantResourceCalculator, qui utilise le concept de ressource dominante pour déterminer l'allocation des ressources, telles que la mémoire et le processeur. Ce changement affecte l'autoscaler, qui effectue un scaling en fonction de l'utilisation des ressources dominantes du cluster.