Versions d'image 3.0.x

Composant	3.0.0-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/07/15	3.0.0-RC2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/05/03	3.0.0-RC1-debian12/ -ubuntu24/ -rocky9 2025/09/08
Apache Flink ^composant facultatif	2.2.0	2.2.0
Apache Hadoop ^installé	3.5.0	3.5.0	3.4.1
Apache Hive ^installé	4.2.0	4.2.0	4.1.0
Apache Hive WebHCat ^composant facultatif	4.2.0	4.2.0
Apache Iceberg ^composant facultatif	1.11.0
Apache Kafka ^action d'initialisation	3.9.2	3.9.2
Apache Pig ^composant facultatif	0.18.0	0.18.0-SNAPSHOT
Apache Ranger ^composant facultatif	2.8.0
Apache Spark ^installé	4.1.2	4.1.1	4.0.0
Apache Solr ^composant facultatif	9.10.1	9.10.1	9.7.0
Apache Tez ^installé	0.10.5	0.10.5	0.10.5
Notebook Apache Zeppelin ^composant facultatif	0.12.0	0.12.0
Apache ZooKeeper ^composant facultatif	3.9.5	3.9.5	3.9.3
Connecteur BigQuery ^installé	0.44.1-Preview	0.44.1-Preview
Connecteur Cloud Storage ^installé	3.1.13	3.1.13	3.1.6
Conscrypt ^installé	2.6	2.6	2.6
Delta Lake ^composant facultatif	4.2.0
Docker ^composant facultatif	28.1	28.1
Java ^installé	21	21	17
Notebook JupyterLab ^composant facultatif	4.5.7	4.5.7
Python ^installé	Pixi 0.67.1 avec Python 3.12	Pixi 0.67.1 avec Python 3.11	micromamba 2.0.5 avec Python 3.11
R ^installé	R 4.5	R 4.5	R 4.3
Scala ^installé	2.13.17	2.13.17	2.13.14
Trino ^composant facultatif	480	480

Limites

• Lightning Engine : la version d'image 3.0 n'est pas compatible avec Lightning Engine.

• Metastores avec Hive 4.2 : la version d'image 3.0 n'est pas compatible avec BigQuery Metastore, BigLake Metastore ni Dataproc Metastore avec Hive 4.2 (les requêtes Hive directes utilisant ces metastores ne sont pas compatibles).

• Delta Lake avec Hive : Delta Lake 4.x, inclus dans la version 3.0 de l'image Managed Service for Apache Spark, n'est pas compatible avec Hive (les requêtes sur les tables Delta Lake 4.2 ne peuvent pas être exécutées sur Hive).

• Iceberg avec Hive : la version d'image Managed Service pour Apache Spark 3.0 inclut Hive 4.2, qui est compatible avec Iceberg via le catalogue Iceberg REST.

• Clusters GPU : toutes les versions d'image 3.0, à l'exception de 3.0-ml-ubuntu, activent cgroups V2. Étant donné que YARN n'est pas compatible avec la découverte de GPU lorsque cgroups V2 est activé, vous devez utiliser l'image 3.0-ml-ubuntu lorsque vous créez des clusters avec des GPU.

• Hudi : la version 3.0 de l'image n'est pas compatible avec Apache Hudi.

Remarques :

• La version 3.0 est une image légère qui ne contient que les composants de base, ce qui réduit l'exposition aux failles et expositions courantes (CVE, Common Vulnerabilities and Exposures). Pour répondre à des exigences de conformité de sécurité plus élevées, utilisez la version d'image 2.3 ou ultérieure lorsque vous créez un cluster Managed Service pour Apache Spark.

• Si vous choisissez d'installer des composants facultatifs lorsque vous créez un cluster Managed Service pour Apache Spark avec l'image 3.0, ils seront téléchargés et installés lors de la création du cluster. Cela peut augmenter le temps de démarrage du cluster. Pour éviter ce délai, vous pouvez créer une image personnalisée avec les composants facultatifs préinstallés. Pour ce faire, exécutez generate_custom_image.py avec l'indicateur --optional-components.

  Remarque : Vous devez spécifier les composants facultatifs que vous souhaitez installer lorsque vous créez le cluster. Pour en savoir plus, consultez Ajouter des composants facultatifs.
  L'exemple suivant montre la commande Google Cloud CLI permettant de créer un cluster avec des composants facultatifs :

  gcloud dataproc clusters create CLUSTER_NAME
      --optional-components=COMPONENT_NAME \
      ... other flags
  

• Les composants facultatifs suivants sont compatibles avec les images 3.0 :

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Iceberg
  • Apache Pig
  • Apache Ranger
  • Apache Solr
  • Notebook Apache Zeppelin
  • Apache ZooKeeper
  • Delta Lake
  • Docker
  • Notebook JupyterLab
  • Trino

• yarn.nodemanager.recovery.enabled et les journaux d'audit HDFS sont activés par défaut dans les images 3.0.

• Pixi est installé dans le cadre de l'installation de Python et est utilisé pour installer des packages Python au lieu de Conda.

• Le calculateur de ressources par défaut pour YARN est passé de DefaultResourceCalculator à DominantResourceCalculator, qui utilise le concept de ressource dominante pour déterminer l'allocation de ressources, telles que la mémoire et le processeur. Cette modification a un impact sur l'autoscaler, qui effectue le scaling en fonction de l'utilisation des ressources dominantes du cluster.

• À partir de la version d'image 3.0, lorsque vous créez un cluster sans spécifier de type de machine pour un nœud de cluster, Managed Service for Apache Spark spécifie le nœud avec une liste classée de types de machines de VM flexibles, par exemple une liste classée de types de machines des séries N4, N2 et E2, avec une liste optimisée pour la disponibilité des ressources.