Google Managed Service para Apache Spark usa versiones de imágenes de Ubuntu, Debian y Rocky Linux para agrupar el sistema operativo, los componentes de macrodatos y los Google Cloud conectores en un paquete que se implementa en un clúster. Para obtener más información, consulta Control de versiones de Managed Service para Apache Spark.
Notas:
- Las versiones de imágenes de Managed Service para Apache Spark son compatibles durante 24 meses después de su lanzamiento inicial.
- Por lo general, las versiones de imágenes de Managed Service para Apache Spark están disponibles durante 24 meses después de su fecha de finalización de la asistencia, pero un período de disponibilidad puede acortarse si se extiende la fecha de asistencia de una imagen.
Versión de imagen predeterminada de Managed Service para Apache Spark
Managed Service para Apache Spark actualiza la versión de imagen predeterminada a la versión más reciente de Managed Service para Apache Spark basada en Debian disponible de forma general después de su fecha de lanzamiento de disponibilidad general (DG).
Versiones de imágenes compatibles de Managed Service para Apache Spark
Imágenes de Debian
Las siguientes versiones de imágenes basadas en Debian son compatibles con los clústeres de Managed Service para Apache Spark. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.
| Versión | Última actualización | Lanzada el | Compatible hasta | Disponible hasta el | Notas |
|---|---|---|---|---|---|
| 3.0-debian12 | 08/09/2025 | 08/09/2025 | Por definir | Por definir | Versión preliminar |
| 2.3-debian12 | 02/04/2026 | 09/06/2025 | 09/06/2027 | 09/06/2029 | Esta es la versión de disponibilidad general. |
| 2.2-debian12 | 24/03/2026 | 08/12/2023 | 31/03/2027 | 31/12/2027 | Esta es la versión de disponibilidad general. La versión de imagen 2.2 se convierte en la versión de imagen predeterminada el 13 de septiembre de 2024. |
| 2.1-debian11 | 24/03/2026 | 12/12/2022 | 31/03/2026 | 31/12/2026 | Esta es la versión de disponibilidad general. |
| 2.0-debian10 | 24/02/2026 | 22/01/2021 | 30/09/2025 | 31/07/2026 | Esta es la versión de disponibilidad general. |
Imágenes de Ubuntu
Las siguientes versiones de imágenes basadas en Ubuntu LTS son compatibles con los clústeres de Managed Service para Apache Spark. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.
| Versión | Última actualización | Lanzada el | Compatible hasta | Disponible hasta el | Notas |
|---|---|---|---|---|---|
| 3.0-ubuntu24 | 08/09/2025 | 08/09/2025 | Por definir | Por definir | Versión preliminar |
| 2.3-ubuntu22 | 02/04/2026 | 09/06/2025 | 09/06/2027 | 09/06/2029 | Esta es la versión de disponibilidad general. |
| 2.2-ubuntu22 | 24/03/2026 | 08/12/2023 | 31/03/2027 | 31/12/2027 | Esta es la versión de disponibilidad general. |
| 2.1-ubuntu20 | 24/03/2026 | 12/12/2022 | 31/03/2026 | 31/12/2026 | Esta es la versión de disponibilidad general. |
| 2.0-ubuntu18 | 24/02/2026 | 22/01/2021 | 30/09/2025 | 31/07/2026 | Esta es la versión de disponibilidad general. |
Imágenes de Rocky Linux
Las siguientes versiones de imágenes basadas en Rocky Linux son compatibles con los clústeres de Managed Service para Apache Spark. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.
| Versión | Última actualización | Lanzada el | Compatible hasta | Disponible hasta el | Notas |
|---|---|---|---|---|---|
| 3.0-rocky9 | 08/09/2025 | 08/09/2025 | Por definir | Por definir | Versión preliminar |
| 2.3-rocky9 | 02/04/2026 | 09/06/2025 | 09/06/2027 | 09/06/2029 | Esta es la versión de disponibilidad general. |
| 2.2-rocky9 | 24/03/2026 | 08/12/2023 | 31/03/2027 | 31/12/2027 | Esta es la versión de disponibilidad general. |
| 2.1-rocky8 | 24/03/2026 | 12/12/2022 | 31/03/2026 | 31/12/2026 | Esta es la versión de disponibilidad general. |
| 2.0-rocky8 | 24/02/2026 | 18/02/2022 | 30/09/2025 | 31/07/2026 | Esta es la versión de disponibilidad general. |
Versiones de imágenes no compatibles de Managed Service para Apache Spark
Las siguientes versiones de Managed Service para Apache Spark no son compatibles. Managed Service para Apache Spark no proporciona actualizaciones ni asistencia para los clústeres creados con estas versiones. Aunque puedes continuar ejecutando un clúster que se creó con una versión no compatible, se recomienda reemplazar el clúster por uno nuevo creado con una versión compatible.
| Versión | Incluye | Lanzamiento | Última actualización | Notas |
|---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
28/04/2023 | No es compatible desde el 28/04/2023. 1.5.89-debian10/-ubuntu18/-rocky8 es la última versión publicada. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Conector de Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
16/03/2021 | 01/02/2022 | No es compatible desde el 01/02/2022. 2.0.30-centos8 es la última versión publicada. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
14/12/2020 | 01/02/2022 | No es compatible desde el 01/02/2022. 1.5.56-centos8 es la última versión publicada. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
2019/03/22 | 01/02/2022 | No es compatible desde el 01/02/2022. 1.4.80-debian10/-ubuntu18 es la última versión publicada. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 22/12/2021 | No es compatible desde el 01/08/2021. 1.3.95-debian10/-ubuntu18 es la última versión publicada, que tiene vulnerabilidades de log4j2 abordadas. Nota: Las versiones publicadas anteriormente son vulnerables y se deben actualizar. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
2019/03/22 | 2020/07/10 | No es compatible desde el 10/07/2020. 1.3.62-debian9 fue la última versión de actualización. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 2020/07/10 | No es compatible desde el 10/07/2020. 1.3.62-debian9 fue la última versión de actualización. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage connector 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2017/07/21 | 2020/07/10 | No es compatible desde el 10/07/2020. 1.2.102-debian9 es la última versión de actualización. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Conector de Cloud Storage 1.6.10-hadoop2 Conector de BigQuery 0.10.11-hadoop2 |
08/08/2016 | 26/09/2019 | No es compatible desde el 01/10/2019. 1.1.21-debian9 es la última versión publicada. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector de Cloud Storage 1.6.10-hadoop2 Conector de BigQuery 0.10.11-hadoop2 |
22/022016 | 05/09/2019 | Primera actualización de la imagen de Google Analytics. No se admite a partir de 01/04/2019. 1.0.119-debian9 fue la última versión publicada. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector de Cloud Storage 1.5.1-hadoop2 Conector de BigQuery 0.7.7-hadoop2 |
18/11/2015 | 02/08/2016 | Segunda versión de la imagen Beta. |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Conector de Cloud Storage 1.5.1-hadoop2 Conector de BigQuery 0.7.7-hadoop2 |
23/09/2015 | 02/08/2016 | Versión beta de Managed Service para Apache Spark. Spark 1.5 se compiló con Hive 1.2 |