Listas de versões de imagens de cluster do Managed Service for Apache Spark

"Clusters de versão de imagem baseados em Ubuntu e Debian | Google Cloud"

O Serviço Gerenciado para Apache Spark do Google usa versões de imagem do Ubuntu, Debian e Rocky Linux para agrupar sistemas operacionais, componentes de Big Data e Google Cloud conectores em um pacote implantado em um cluster. Para mais informações, consulte Controle de versões do Serviço Gerenciado para Apache Spark.

Observações:

  • As versões de imagem do Serviço Gerenciado para Apache Spark são compatíveis por 24 meses após o lançamento inicial.
  • Geralmente, as versões de imagem do Serviço Gerenciado para Apache Spark ficam disponíveis por 24 meses após a data de fim de suporte, mas um período de disponibilidade pode ser encurtado se a data de suporte da imagem for estendida.

Versão de imagem padrão do Serviço Gerenciado para Apache Spark

O Serviço Gerenciado para Apache Spark atualiza a versão de imagem padrão para a versão mais recente do Serviço Gerenciado para Apache Spark baseado em Debian após a data de lançamento da disponibilidade geral (GA).

Versões de imagem com suporte do Serviço Gerenciado para Apache Spark

Imagens do Debian

As seguintes versões de imagem baseadas no Debian são compatíveis com os clusters do Serviço Gerenciado para Apache Spark. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.

Versão Última atualização Liberada em Suporte até Disponível até Observações
3.0-debian13 04/09/2026 15/07/2026 15/07/2028 15/07/2030 Versão de disponibilidade geral.
2.3-debian12 04/09/2026 09/06/2025 09/06/2027 09/06/2029 Versão de disponibilidade geral.
2.2-debian12 04/09/2026 08/12/2023 31/03/2027 31/12/2027 Versão de disponibilidade geral. A versão de imagem 2.2 se torna a versão de imagem padrão em 13 de setembro de 2024.
2.1-debian11 04/09/2026 12/12/2022 31/03/2026 31/12/2026 Versão de disponibilidade geral.

Imagens do Ubuntu

As seguintes versões de imagem baseadas no Ubuntu LTS são compatíveis com os clusters do Serviço Gerenciado para Apache Spark. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.

Versão Última atualização Liberada em Suporte até Disponível até Observações
3.0-ubuntu24 04/09/2026 15/07/2026 15/07/2028 15/07/2030 Versão de disponibilidade geral.
2.3-ubuntu22 04/09/2026 09/06/2025 09/06/2027 09/06/2029 Versão de disponibilidade geral.
2.2-ubuntu22 04/09/2026 08/12/2023 31/03/2027 31/12/2027 Versão de disponibilidade geral.
2.1-ubuntu20 04/09/2026 12/12/2022 31/03/2026 31/12/2026 Versão de disponibilidade geral.

Imagens do Rocky Linux

As seguintes versões de imagem baseadas no Rocky Linux são compatíveis com os clusters do Serviço Gerenciado para Apache Spark. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.

Versão Última atualização Liberada em Suporte até Disponível até Observações
3.0-rocky9 04/09/2026 15/07/2026 15/07/2028 15/07/2030 Versão de disponibilidade geral.
2.3-rocky9 04/09/2026 09/06/2025 09/06/2027 09/06/2029 Versão de disponibilidade geral.
2.2-rocky9 04/09/2026 08/12/2023 31/03/2027 31/12/2027 Versão de disponibilidade geral.
2.1-rocky8 04/09/2026 12/12/2022 31/03/2026 31/12/2026 Versão de disponibilidade geral.

Versões de imagem sem suporte do Serviço Gerenciado para Apache Spark

As seguintes versões do Serviço Gerenciado para Apache Spark não têm suporte. O Serviço Gerenciado para Apache Spark não oferece atualizações e suporte para clusters criados com essas versões. As versões 1.x e 2.0 vão chegar ao fim da vida útil em 25 de agosto de 2026. Se você estiver executando versões sem suporte, será necessário fazer upgrade dos clusters para imagens com suporte.

Versão Inclui Liberada em Última atualização Disponível até Observações
2.0-debian10/-ubuntu18/-rocky8 Apache Spark 3.1.3
Apache Hadoop 3.2.4
Apache Pig 0.18.0-SNAPSHOT
Apache Hive 3.1.3
Conector do Cloud Storage 2.2.30-hadoop3
Python 3.8
Scala 2.12.14
Zookeeper 3.4.14
2021/01/22:debian10/ubuntu18
2022/02/18:rocky8
24/02/2026 25/08/2026 Sem suporte desde 24/02/2026.
2.0.160-debian10/-ubuntu18/-rocky8 era a versão de lançamento final.
2.0-centos8 Apache Spark 3.1.2
Apache Hadoop 3.2.2
Apache Pig 0.18.0-SNAPSHOT
Apache Hive 3.1.2
Conector do Cloud Storage 2.2.4-hadoop3
Python 3.8
Scala 2.12.14
Zookeeper 3.4.14
16/03/2021 01/02/2022 25/08/2026 Sem suporte desde 01/02/2022.
2.0.30-centos8 era a versão de lançamento final.
1.5-debian10/-ubuntu18/-rocky8 Apache Spark 2.4.8
Apache Hadoop 2.10.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector do Cloud Storage 2.1.9-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
2020/03/25:debian10/ubuntu18
2022/02/18:rocky8
28/04/2023 25/08/2026 Sem suporte desde 28/04/2023.
1.5.89-debian10/-ubuntu18/-rocky8 era a versão de lançamento final.
1.5-centos8 Apache Spark 2.4.8
Apache Hadoop 2.10.1
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector do Cloud Storage 2.1.5-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
14/12/2020 01/02/2022 25/08/2026 Sem suporte desde 01/02/2022.
1.5.56-centos8 era a versão de lançamento final.
1.4-debian10/-ubuntu18 Apache Spark 2.4.8
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector do Cloud Storage 1.9.18-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.14
22/03/2019 01/02/2022 25/08/2026 Sem suporte desde 01/02/2022.
1.4.80-debian10/-ubuntu18 era a versão de lançamento final.
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector do Cloud Storage 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
22/03/2019 10/07/2020 25/08/2026 Sem suporte desde 10/07/2020.
1.4.33-debian9 era a versão de lançamento final.
1.3-debian10/-ubuntu18 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector do Cloud Storage 1.9.18-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29/06/2018 22/12/2021 25/08/2026 Sem suporte desde 01/08/2021.
1.3.95-debian10/-ubuntu18 era a versão de lançamento final, que tem vulnerabilidades log4j2 resolvidas. Observação: as versões lançadas anteriormente são vulneráveis e precisam ser atualizadas.
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector do Cloud Storage 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29/06/2018 10/07/2020 25/08/2026 Sem suporte desde 10/07/2020.
1.3.62-debian9 era a versão de lançamento final.
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Conector do Cloud Storage 1.6.10-hadoop2
BigQuery connector 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
21/07/2017 10/07/2020 Indisponível Sem suporte desde 10/07/2020.
1.2.102-debian9 era a versão de lançamento final.
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Conector do Cloud Storage 1.6.10-hadoop2
BigQuery connector 0.10.11-hadoop2
08/08/2016 26/09/2019 Indisponível Sem suporte desde 01/10/2019.
1.1.121-debian9 é a versão de lançamento final.
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Conector do Cloud Storage 1.6.10-hadoop2
BigQuery connector 0.10.11-hadoop2
22/02/2016 09/05/2019 Indisponível Primeiro lançamento da imagem do GA.
Sem suporte desde 01/04/2019.
1.0.119-debian9 era a versão de lançamento final.
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Conector do Cloud Storage 1.5.1-hadoop2
BigQuery connector 0.7.7-hadoop2
18/11/2015 02/08/2016 Indisponível Imagem beta, segunda versão
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Conector do Cloud Storage 1.5.1-hadoop2
BigQuery connector 0.7.7-hadoop2
23/09/2015 02/08/2016 Indisponível Versão beta do Serviço Gerenciado para Apache Spark.
O Spark 1.5 foi compilado em relação ao Hive 1.2.