Google Managed Service pour Apache Spark utilise des versions d'image Ubuntu, Debian et Rocky Linux pour rassembler système d'exploitation, composants big data et Google Cloud connecteurs en un seul package déployé sur un cluster. Pour en savoir plus, consultez la section Gestion des versions de Managed Service pour Apache Spark.
Remarques :
- Les versions d'image de Managed Service pour Apache Spark sont compatibles pendant 24 mois après leur publication initiale.
- En règle générale, les versions d'image de Managed Service pour Apache Spark sont disponibles pendant 24 mois après leur date de fin de compatibilité, mais une période de disponibilité peut être raccourcie si la date de compatibilité d'une image est prolongée.
Version d'image par défaut de Managed Service pour Apache Spark
Managed Service pour Apache Spark met à jour la version d'image par défaut vers la dernière version générale de Managed Service pour Apache Spark basée sur Debian après sa date de disponibilité générale.
Versions d'image compatibles de Managed Service pour Apache Spark
Images Debian
Les versions d'image basées sur Debian suivantes sont compatibles avec les clusters Managed Service pour Apache Spark. Sachez que des clusters seront créés afin d'inclure tous les correctifs apportés à une version depuis son lancement.
| Version | Dernière mise à jour | Date de sortie | Compatible jusqu'à | Disponible jusqu'au | Remarques |
|---|---|---|---|---|---|
| 3.0-debian12 | 08/09/2025 | 08/09/2025 | À déterminer | À déterminer | Version d'évaluation. |
| 2.3-debian12 | 02/04/2026 | 09/06/2025 | 09/06/2027 | 09/06/2029 | Disponibilité générale. |
| 2.2-debian12 | 24/03/2026 | 08/12/2023 | 31/03/2027 | 31/12/2027 | Disponibilité générale. La version d'image 2.2 deviendra la version par défaut le 13 septembre 2024. |
| 2.1-debian11 | 24/03/2026 | 12/12/2022 | 31/03/2026 | 31/12/2026 | Disponibilité générale. |
| 2.0-debian10 | 24/02/2026 | 22/01/2021 | 30/09/2025 | 31/07/2026 | Disponibilité générale. |
Images Ubuntu
Les versions d'image basées sur Ubuntu LTS suivantes sont compatibles avec les clusters Managed Service pour Apache Spark. Sachez que des clusters seront créés afin d'inclure tous les correctifs apportés à une version depuis son lancement.
| Version | Dernière mise à jour | Date de sortie | Compatible jusqu'à | Disponible jusqu'au | Remarques |
|---|---|---|---|---|---|
| 3.0-ubuntu24 | 08/09/2025 | 08/09/2025 | À déterminer | À déterminer | Version d'évaluation. |
| 2.3-ubuntu22 | 02/04/2026 | 09/06/2025 | 09/06/2027 | 09/06/2029 | Disponibilité générale. |
| 2.2-ubuntu22 | 24/03/2026 | 08/12/2023 | 31/03/2027 | 31/12/2027 | Disponibilité générale. |
| 2.1-ubuntu20 | 24/03/2026 | 12/12/2022 | 31/03/2026 | 31/12/2026 | Disponibilité générale. |
| 2.0-ubuntu18 | 24/02/2026 | 22/01/2021 | 30/09/2025 | 31/07/2026 | Disponibilité générale. |
Images Rocky Linux
Les versions d'image basées sur Rocky Linux suivantes sont compatibles avec les clusters Managed Service pour Apache Spark. Sachez que des clusters seront créés afin d'inclure tous les correctifs apportés à une version depuis son lancement.
| Version | Dernière mise à jour | Date de sortie | Compatible jusqu'à | Disponible jusqu'au | Remarques |
|---|---|---|---|---|---|
| 3.0-rocky9 | 08/09/2025 | 08/09/2025 | À déterminer | À déterminer | Version d'évaluation. |
| 2.3-rocky9 | 02/04/2026 | 09/06/2025 | 09/06/2027 | 09/06/2029 | Disponibilité générale. |
| 2.2-rocky9 | 24/03/2026 | 08/12/2023 | 31/03/2027 | 31/12/2027 | Disponibilité générale. |
| 2.1-rocky8 | 24/03/2026 | 12/12/2022 | 31/03/2026 | 31/12/2026 | Disponibilité générale. |
| 2.0-rocky8 | 24/02/2026 | 18/02/2022 | 30/09/2025 | 31/07/2026 | Disponibilité générale. |
Versions d'image non compatibles de Managed Service pour Apache Spark
Les versions suivantes de Managed Service pour Apache Spark ne sont pas compatibles. Managed Service pour Apache Spark ne fournit pas de mises à jour ni de compatibilité pour les clusters créés avec ces versions. Même si vous pouvez continuer à exécuter un cluster créé avec une version non compatible, il est recommandé de remplacer ce cluster par un nouveau, créé avec une version compatible.
| Version | Inclut | Date de sortie | Dernière mise à jour | Remarques |
|---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connecteur Cloud Storage 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
28/04/2023 | Non compatible depuis le 28/04/2023. 1.5.89-debian10/-ubuntu18/-rocky8 est la version finale. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Connecteur Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
16/03/2021 | 01/02/2022 | Non compatible depuis le 01/02/2022. 2.0.30-centos8 est la version finale. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Connecteur Cloud Storage 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
14/12/2020 | 01/02/2022 | Non compatible depuis le 01/02/2022. 1.5.56-centos8 est la version finale. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connecteur Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
22/03/2019 | 01/02/2022 | Non compatible depuis le 01/02/2022. 1.4.80-debian10/-ubuntu18 est la version finale. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connecteur Cloud Storage 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 22/12/2021 | Non compatible depuis le 01/08/2021. 1.3.95-debian10/-ubuntu18 est la version finale, qui corrige les failles log4j2. Remarque : Les versions précédentes sont vulnérables et doivent être mises à niveau. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connecteur Cloud Storage 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
2019/03/22 | 2020/07/10 | Non compatible depuis le 10/07/2020. 1.4.33-debian9 est la version finale. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connecteur Cloud Storage 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018/06/29 | 2020/07/10 | Non compatible depuis le 10/07/2020. 1.3.62-debian9 est la version finale. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Connecteur Cloud Storage 1.6.10-hadoop2 Connecteur BigQuery 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2017/07/21 | 2020/07/10 | Non compatible depuis le 10/07/2020. 1.2.102-debian9 est la dernière version. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Connecteur Cloud Storage 1.6.10-hadoop2 Connecteur BigQuery 0.10.11-hadoop2 |
08/08/2016 | 2019/09/26 | Non compatible depuis le 01/10/2019. 1.1.121-debian9 est la version finale. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Connecteur Cloud Storage 1.6.10-hadoop2 Connecteur BigQuery 0.10.11-hadoop2 |
22/02/2016 | 2019/05/09 | Première version de l'image GA. Non compatible depuis le 01/04/2019. 1.0.119-debian9 était la version finale. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Connecteur Cloud Storage 1.5.1-hadoop2 Connecteur BigQuery 0.7.7-hadoop2 |
18/11/2015 | 02/08/2016 | Deuxième version de l'image bêta. |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Connecteur Cloud Storage 1.5.1-hadoop2 Connecteur BigQuery 0.7.7-hadoop2 |
23/09/2015 | 02/08/2016 | Version bêta de Managed Service pour Apache Spark. La version Spark 1.5 a été compilée avec Hive 1.2. |