Listas de versiones de imágenes de clústeres de Managed Service para Apache Spark

"Clústeres de versiones de imágenes basadas en Ubuntu y Debian | Google Cloud"

Managed Service para Apache Spark de Google usa versiones de imágenes de Ubuntu, Debian y Rocky Linux para agrupar el sistema operativo, los componentes de macrodatos y los Google Cloud conectores en un paquete que se implementa en un clúster. Para obtener más información, consulta Control de versiones de Managed Service para Apache Spark.

Notas:

  • Las versiones de imágenes de Managed Service para Apache Spark son compatibles durante 24 meses después de su lanzamiento inicial.
  • Por lo general, las versiones de imágenes de Managed Service para Apache Spark están disponibles durante 24 meses después de su fecha de finalización de la asistencia, pero un período de disponibilidad puede acortarse si se extiende una fecha de asistencia de la imagen.

Versión de imagen predeterminada de Managed Service para Apache Spark

Managed Service para Apache Spark actualiza la versión de imagen predeterminada a la versión más reciente de Managed Service para Apache Spark basada en Debian disponible de forma general después de su fecha de lanzamiento de disponibilidad general (DG).

Versiones de imágenes compatibles de Managed Service para Apache Spark

Imágenes de Debian

Las siguientes versiones de imágenes basadas en Debian son compatibles con los clústeres de Managed Service para Apache Spark. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.

Versión Última actualización Lanzada el Compatible hasta Disponible hasta el Notas
3.0-debian12 03/05/2026 08/09/2025 Por definir Por definir Versión preliminar
2.3-debian12 22/06/2026 09/06/2025 09/06/2027 09/06/2029 Esta es la versión de disponibilidad general.
2.2-debian12 22/06/2026 08/12/2023 31/03/2027 31/12/2027 Esta es la versión de disponibilidad general. La versión de imagen 2.2 se convierte en la versión de imagen predeterminada el 13 de septiembre de 2024.
2.1-debian11 22/06/2026 12/12/2022 31/03/2026 31/12/2026 Esta es la versión de disponibilidad general.

Imágenes de Ubuntu

Las siguientes versiones de imágenes basadas en Ubuntu LTS son compatibles con los clústeres de Managed Service para Apache Spark. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.

Versión Última actualización Lanzada el Compatible hasta Disponible hasta el Notas
3.0-ubuntu24 03/05/2026 08/09/2025 Por definir Por definir Versión preliminar
2.3-ubuntu22 22/06/2026 09/06/2025 09/06/2027 09/06/2029 Esta es la versión de disponibilidad general.
2.2-ubuntu22 22/06/2026 08/12/2023 31/03/2027 31/12/2027 Esta es la versión de disponibilidad general.
2.1-ubuntu20 22/06/2026 12/12/2022 31/03/2026 31/12/2026 Esta es la versión de disponibilidad general.

Imágenes de Rocky Linux

Las siguientes versiones de imágenes basadas en Rocky Linux son compatibles con los clústeres de Managed Service para Apache Spark. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.

Versión Última actualización Lanzada el Compatible hasta Disponible hasta el Notas
3.0-rocky9 03/05/2026 08/09/2025 Por definir Por definir Versión preliminar
2.3-rocky9 22/06/2026 09/06/2025 09/06/2027 09/06/2029 Esta es la versión de disponibilidad general.
2.2-rocky9 22/06/2026 08/12/2023 31/03/2027 31/12/2027 Esta es la versión de disponibilidad general.
2.1-rocky8 22/06/2026 12/12/2022 31/03/2026 31/12/2026 Esta es la versión de disponibilidad general.

Versiones de imágenes no compatibles de Managed Service para Apache Spark

Las siguientes versiones de Managed Service para Apache Spark no son compatibles. Managed Service para Apache Spark no proporciona actualizaciones ni asistencia para los clústeres creados con estas versiones. Las versiones 1.x y 2.0 llegarán al final de su ciclo de vida el 25 de agosto de 2026. Si ejecutas versiones no compatibles, debes actualizar tus clústeres a imágenes compatibles.

Versión Incluye Lanzamiento Última actualización Disponible hasta el Notas
2.0-debian10/-ubuntu18/-rocky8 Apache Spark 3.1.3
Apache Hadoop 3.2.4
Apache Pig 0.18.0-SNAPSHOT
Apache Hive 3.1.3
Conector de Cloud Storage 2.2.30-hadoop3
Python 3.8
Scala 2.12.14
Zookeeper 3.4.14
2021/01/22:debian10/ubuntu18
2022/02/18:rocky8
24/02/2026 25/08/2026 No es compatible desde el 24/02/2026.
2.0.160-debian10/-ubuntu18/-rocky8 es la última versión publicada.
2.0-centos8 Apache Spark 3.1.2
Apache Hadoop 3.2.2
Apache Pig 0.18.0-SNAPSHOT
Apache Hive 3.1.2
Conector de Cloud Storage 2.2.4-hadoop3
Python 3.8
Scala 2.12.14
Zookeeper 3.4.14
16/03/2021 01/02/2022 25/08/2026 No es compatible desde el 01/02/2022.
2.0.30-centos8 es la última versión publicada.
1.5-debian10/-ubuntu18/-rocky8 Apache Spark 2.4.8
Apache Hadoop 2.10.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector de Cloud Storage 2.1.9-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
2020/03/25:debian10/ubuntu18
2022/02/18:rocky8
28/04/2023 25/08/2026 No es compatible desde el 28/04/2023.
1.5.89-debian10/-ubuntu18/-rocky8 es la última versión publicada.
1.5-centos8 Apache Spark 2.4.8
Apache Hadoop 2.10.1
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector de Cloud Storage 2.1.5-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
14/12/2020 01/02/2022 25/08/2026 No es compatible desde el 01/02/2022.
1.5.56-centos8 es la última versión publicada.
1.4-debian10/-ubuntu18 Apache Spark 2.4.8
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector de Cloud Storage 1.9.18-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.14
22/03/2019 01/02/2022 25/08/2026 No es compatible desde el 01/02/2022.
1.4.80-debian10/-ubuntu18 es la última versión publicada.
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector de Cloud Storage 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
2019/03/22 10/07/2020 25/08/2026 No es compatible desde el 10/07/2020.
1.4.33-debian9 es la última versión publicada.
1.3-debian10/-ubuntu18 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector de Cloud Storage 1.9.18-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29/06/2018 22/12/2021 25/08/2026 No es compatible desde el 01/08/2021.
1.3.95-debian10/-ubuntu18 es la última versión publicada, que tiene vulnerabilidades de log4j2 abordadas. Nota: Las versiones publicadas anteriormente son vulnerables y se deben actualizar.
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector de Cloud Storage 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29/06/2018 10/07/2020 25/08/2026 No es compatible desde el 10/07/2020.
1.3.62-debian9 es la última versión publicada.
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage connector 1.6.10-hadoop2
BigQuery connector 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2017/07/21 10/07/2020 No disponible No es compatible desde el 10/07/2020.
1.2.102-debian9 es la última versión publicada.
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Conector de Cloud Storage 1.6.10-hadoop2
Conector de BigQuery 0.10.11-hadoop2
08/08/2016 26/09/2019 No disponible No es compatible desde el 01/10/2019.
1.1.121-debian9 es la última versión publicada.
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Conector de Cloud Storage 1.6.10-hadoop2
Conector de BigQuery 0.10.11-hadoop2
22/022016 05/09/2019 No disponible Primera actualización de la imagen de Google Analytics.
No se admite a partir de 01/04/2019.
1.0.119-debian9 fue la última versión publicada.
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Conector de Cloud Storage 1.5.1-hadoop2
Conector de BigQuery 0.7.7-hadoop2
18/11/2015 02/08/2016 No disponible Segunda versión de la imagen Beta.
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Conector de Cloud Storage 1.5.1-hadoop2
Conector de BigQuery 0.7.7-hadoop2
23/09/2015 02/08/2016 No disponible Versión beta de Managed Service para Apache Spark.
Spark 1.5 se compiló con Hive 1.2