Versions d'image 2.2.x

Composant	2.2.85-debian12/ -ubuntu22/ -ubuntu22-arm/ -rocky9 2026/06/30	2.2.84-debian12/ -ubuntu22/ -ubuntu22-arm/ -rocky9 2026/06/22	2.2.83-debian12/ -ubuntu22/ -ubuntu22-arm/ -rocky9 2026/06/22	2.2.82-debian12/ -ubuntu22/ -ubuntu22-arm/ -rocky9 2026/05/19	2.2.81-debian12/ -ubuntu22/ -ubuntu22-arm/ -rocky9 2026/04/27
Apache Atlas ^action d'initialisation	2.2.0	2.2.0	2.2.0	2.2.0	2.2.0
Apache Flink ^composant facultatif	1.17.0	1.17.0	1.17.0	1.17.0	1.17.0
Apache Hadoop ^installé	3.3.6	3.3.6	3.3.6	3.3.6	3.3.6
Apache Hive ^installé	3.1.3	3.1.3	3.1.3	3.1.3	3.1.3
Apache Hive WebHCat ^composant facultatif	3.1.3	3.1.3	3.1.3	3.1.3	3.1.3
Apache Hudi ^composant facultatif	0.15.0	0.15.0	0.15.0	0.15.0	0.15.0
Apache Iceberg ^composant facultatif	1.6.1	1.6.1	1.6.1	1.6.1	1.6.1
Apache Kafka ^action d'initialisation	3.1.0	3.1.0	3.1.0	3.1.0	3.1.0
Apache Pig ^installé	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT
Apache Spark ^installé	3.5.3	3.5.3	3.5.3	3.5.3	3.5.3
Apache Sqoop ^action d'initialisation	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT
Apache Tez ^installé	0.10.2	0.10.2	0.10.2	0.10.2	0.10.2
Connecteur BigQuery ^installé	0.34.1	0.34.1	0.34.1	0.34.1	0.34.1
Connecteur Cloud Storage ^installé	3.0.17	3.0.17	3.0.17	3.0.17	3.0.15
Conscrypt ^installé	2.5.2	2.5.2	2.5.2	2.5.2	2.5.2
Delta Lake ^composant facultatif	3.2.1	3.2.1	3.2.1	3.2.1	3.2.0
Docker ^composant facultatif	24.0	24.0	24.0	24.0	24.0
Hue ^action d'initialisation	4.11.0	4.11.0	4.11.0	4.11.0	4.11.0
Java ^installé	11	11	11	11	11
Notebook JupyterLab ^composant facultatif	3.6	3.6	3.6	3.6	3.6
Oozie ^action d'initialisation	5.2.1	5.2.1	5.2.1	5.2.1	5.2.1
Python ^installé	conda 23.11.0 avec Python 3.11	conda 23.11.0 avec Python 3.11	conda 23.11.0 avec Python 3.11	conda 23.11.0 avec Python 3.11	conda 23.11.0 avec Python 3.11
R ^installé	R 4.3	R 4.3	R 4.3	R 4.3	R 4.3
Ranger ^composant facultatif	2.4.0	2.4.0	2.4.0	2.4.0	2.4.0
Scala ^installé	2.12.18	2.12.18	2.12.18	2.12.18	2.12.18
Solr ^composant facultatif	9.2.1	9.2.1	9.2.1	9.2.1	9.2.1
Trino ^composant facultatif	432	432	432	432	432
Notebook Zeppelin ^composant facultatif	0.10.1	0.10.1	0.10.1	0.10.1	0.10.1
Zookeeper ^composant facultatif	3.8.3	3.8.3	3.8.3	3.8.3	3.8.3

Problèmes et limites connus de la version 2.2 des images :

• Les anciens agents ne sont pas installés dans les clusters utilisant la version 2.2 de l'image. Les monitoring-agent-defaults ne sont pas disponibles, sauf si l'agent Ops est installé. Remarque : Les métriques et les journaux OSS sont disponibles pour les composants Managed Service pour Apache Spark.

• La journalisation ou la surveillance des applications tierces ne sont pas disponibles, sauf si l'agent Ops est installé.

Remarques :

• Les images 2.2.x-*-arm ne sont compatibles qu'avec les composants préinstallés et les composants optionnels suivants. Les autres composants optionnels de la version 2.2 et toutes les actions d'initialisation ne sont pas pris en charge :

  • Apache Hive WebHCat
  • Apache Pig (à partir de la version 2.2.75-ubuntu22-arm)
  • Docker
  • Zeppelin
  • Zookeeper (installé dans les clusters à haute disponibilité ; composant facultatif dans les autres clusters)

• Le code source des bibliothèques d'image 2.2 qui sont concédées sous licence réciproque et restreinte est disponible dans le chemin d'accès /usr/local/share/google/managed-spark/third-party-sources sur les VM du cluster Managed Service pour Apache Spark.

• Les procédures Hudi suivantes ne fonctionnent pas sur une table Hudi reposant sur le système de fichiers Cloud Storage :

  • run_clustering
  • run_compaction

• Le calculateur de ressources par défaut pour YARN est passé de DefaultResourceCalculator à DominantResourceCalculator, qui utilise le concept de ressource dominante pour déterminer l'allocation de ressources, telles que la mémoire et le processeur. Cette modification a un impact sur l'autoscaler, qui effectue le scaling en fonction de l'utilisation des ressources dominantes du cluster.