Google Managed Service para Apache Spark usa versiones de imágenes de Ubuntu, Debian y Rocky Linux para empaquetar el sistema operativo, los componentes de macrodatos y los conectores de Google Cloud en un solo paquete que se implementa en un clúster. Para obtener más información, consulta Control de versiones de Managed Service para Apache Spark.
Notas:
- Las versiones de imágenes de Managed Service para Apache Spark son compatibles durante 24 meses después de su lanzamiento inicial.
- Por lo general, las versiones de imágenes de Managed Service para Apache Spark están disponibles durante 24 meses después de la fecha de finalización de la asistencia, pero el período de disponibilidad puede acortarse si se extiende la fecha de asistencia de una imagen.
Versión de imagen predeterminada de Managed Service para Apache Spark
Managed Service para Apache Spark actualiza la versión de imagen predeterminada a la versión más reciente de Managed Service para Apache Spark basado en Debian disponible de forma general después de la fecha de lanzamiento de la disponibilidad general (AG).
Versiones de imágenes compatibles con Managed Service para Apache Spark
Imágenes de Debian
Las siguientes versiones de imágenes basadas en Debian son compatibles con los clústeres de Managed Service para Apache Spark. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.
| Versión | Última actualización | Lanzada el | Compatible hasta | Disponible hasta el | Notas |
|---|---|---|---|---|---|
| 3.0-debian13 | 30/09/2026 | 15/7/2026 | 15/7/2028 | 15/7/2030 | Esta es la versión de disponibilidad general. |
| 2.3-debian12 | 30/09/2026 | 09/06/2025 | 2027/06/09 | 2029/06/09 | Esta es la versión de disponibilidad general. |
| 2.2-debian12 | 30/09/2026 | 08/12/2023 | 31/03/2027 | 31/12/2027 | Esta es la versión de disponibilidad general. La versión de la imagen 2.2 se convertirá en la versión predeterminada el 13 de septiembre de 2024. |
| 2.1-debian11 | 4/9/2026 | 2022/12/12 | 2026/03/31 | 2026/12/31 | Esta es la versión de disponibilidad general. |
Imágenes de Ubuntu
Las siguientes versiones de imágenes basadas en Ubuntu LTS son compatibles con los clústeres de Managed Service para Apache Spark. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.
| Versión | Última actualización | Lanzada el | Compatible hasta | Disponible hasta el | Notas |
|---|---|---|---|---|---|
| 3.0-ubuntu24 | 30/09/2026 | 2026/07/15 | 2028/07/15 | 15/7/2030 | Esta es la versión de disponibilidad general. |
| 2.3-ubuntu22 | 30/09/2026 | 09/06/2025 | 2027/06/09 | 2029/06/09 | Esta es la versión de disponibilidad general. |
| 2.2-ubuntu22 | 30/09/2026 | 8/12/2023 | 31/03/2027 | 31/12/2027 | Esta es la versión de disponibilidad general. |
| 2.1-ubuntu20 | 2026/09/04 | 2022/12/12 | 2026/03/31 | 2026/12/31 | Esta es la versión de disponibilidad general. |
Imágenes de Rocky Linux
Las siguientes versiones de imágenes basadas en Rocky Linux son compatibles con los clústeres de Managed Service para Apache Spark. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.
| Versión | Última actualización | Lanzada el | Compatible hasta | Disponible hasta el | Notas |
|---|---|---|---|---|---|
| 3.0-rocky9 | 30/09/2026 | 2026/07/15 | 15/7/2028 | 15/7/2030 | Esta es la versión de disponibilidad general. |
| 2.3-rocky9 | 30/09/2026 | 2025/06/09 | 2027/06/09 | 2029/06/09 | Esta es la versión de disponibilidad general. |
| 2.2-rocky9 | 30/09/2026 | 08/12/2023 | 2027/03/31 | 31/12/2027 | Esta es la versión de disponibilidad general. |
| 2.1-rocky8 | 2026/09/04 | 2022/12/12 | 31/03/2026 | 2026/12/31 | Esta es la versión de disponibilidad general. |
Versiones de imágenes de Managed Service para Apache Spark no compatibles
Las siguientes versiones de Managed Service para Apache Spark no son compatibles. Managed Service para Apache Spark no proporciona actualizaciones ni asistencia para los clústeres creados con estas versiones. Las versiones 1.x y 2.0 alcanzarán el final del ciclo de vida el 25 de agosto de 2026. Si ejecutas versiones no compatibles, debes actualizar tus clústeres a imágenes compatibles.
| Versión | Incluye | Lanzamiento | Última actualización | Disponible hasta el | Notas |
|---|---|---|---|---|---|
2.0-debian10/-ubuntu18/-rocky8 |
Apache Spark 3.1.3 Apache Hadoop 3.2.4 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.3 Conector de Cloud Storage 2.2.30-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
2021/01/22:debian10/ubuntu18 2022/02/18:rocky8 |
2026/02/24 | 2026/08/25 | No se admite desde el 24/2/2026. 2.0.160-debian10/-ubuntu18/-rocky8 fue la versión final lanzada. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Conector de Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
2021/03/16 | 01/02/2022 | 2026/08/25 | No se admite a partir del 1 de febrero de 2022. 2.0.30-centos8 fue la última versión lanzada. |
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
2023/04/28 | 25/8/2026 | No se admite desde el 28/4/2023. 1.5.89-debian10/-ubuntu18/-rocky8 fue la versión final lanzada. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
14/12/2020 | 01/02/2022 | 2026/08/25 | No se admite desde el 1/2/2022. 1.5.56-centos8 fue la última versión lanzada. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
2019/03/22 | 01/02/2022 | 2026/08/25 | No se admite desde el 1/2/2022. 1.4.80-debian10/-ubuntu18 fue la última versión lanzada. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
2019/03/22 | 2020/07/10 | 2026/08/25 | No es compatible desde el 10/07/2020. 1.3.62-debian9 fue la última versión de actualización. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 22/12/2021 | 2026/08/25 | No se admite a partir del 1/8/2021. 1.3.95-debian10/-ubuntu18 fue la última versión de actualización lanzada, en la que se abordaron las vulnerabilidades de log4j2. Nota: Las versiones lanzadas anteriormente son vulnerables y deben actualizarse. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 2020/07/10 | 2026/08/25 | No es compatible desde el 10/07/2020. 1.3.62-debian9 fue la última versión de actualización. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage connector 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2017/07/21 | 2020/07/10 | No disponible | No es compatible desde el 10/07/2020. 1.2.102-debian9 es la última versión de actualización. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Conector de Cloud Storage 1.6.10-hadoop2 Conector de BigQuery 0.10.11-hadoop2 |
08/08/2016 | 26/09/2019 | No disponible | No es compatible desde el 01/10/2019. 1.1.21-debian9 es la última versión publicada. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector de Cloud Storage 1.6.10-hadoop2 Conector de BigQuery 0.10.11-hadoop2 |
22/022016 | 05/09/2019 | No disponible | Primera actualización de la imagen de Google Analytics. No se admite a partir de 01/04/2019. 1.0.119-debian9 fue la última versión publicada. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector de Cloud Storage 1.5.1-hadoop2 Conector de BigQuery 0.7.7-hadoop2 |
18/11/2015 | 02/08/2016 | No disponible | Segunda versión de la imagen Beta. |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Conector de Cloud Storage 1.5.1-hadoop2 Conector de BigQuery 0.7.7-hadoop2 |
23/09/2015 | 02/08/2016 | No disponible | Se lanzó la versión beta de Managed Service para Apache Spark. Spark 1.5 se compiló con Hive 1.2 |