O Google Managed Service para Apache Spark usa versões de imagem do Ubuntu, Debian e Rocky Linux para agrupar sistema operacional, componentes de Big Data e conectores Google Cloud em um pacote implantado em um cluster. Para mais informações, consulte Controle de versões do Managed Service for Apache Spark.
Observações:
- As versões de imagem do Managed Service for Apache Spark são compatíveis por 24 meses após o lançamento inicial.
- Em geral, as versões de imagem do Serviço gerenciado para Apache Spark ficam disponíveis por 24 meses após a data de fim do suporte, mas um período de disponibilidade pode ser reduzido se a data de suporte de uma imagem for estendida.
Versão padrão da imagem do Managed Service for Apache Spark
O Managed Service for Apache Spark atualiza a versão padrão da imagem para a versão mais recente disponível do Debian com base no Managed Service for Apache Spark após a data de lançamento da disponibilidade geral (GA).
Versões de imagem compatíveis do Managed Service for Apache Spark
Imagens do Debian
As seguintes versões de imagem baseadas no Debian são compatíveis com os clusters do Managed Service for Apache Spark. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.
| Versão | Última atualização | Lançada em | Compatível até | Disponível até | Observações |
|---|---|---|---|---|---|
| 3.0-debian12 | 08/09/2025 | 08/09/2025 | A definir | A definir | Versão de pré-lançamento. |
| 2.3-debian12 | 02/04/2026 | 09/06/2025 | 09/06/2027 | 09/06/2029 | Versão de disponibilidade geral. |
| 2.2-debian12 | 24/03/2026 | 08/12/2023 | 2027/03/31 | 2027/12/31 | Versão de disponibilidade geral. A versão de imagem 2.2 vai se tornar a padrão em 13 de setembro de 2024. |
| 2.1-debian11 | 24/03/2026 | 12/12/2022 | 2026/03/31 | 31/12/2026 | Versão de disponibilidade geral. |
| 2.0-debian10 | 24/02/2026 | 22/01/2021 | 30/09/2025 | 2026/07/31 | Versão de disponibilidade geral. |
Imagens do Ubuntu
As seguintes versões de imagem baseadas no Ubuntu LTS são compatíveis com os clusters do Serviço gerenciado para Apache Spark. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.
| Versão | Última atualização | Lançada em | Compatível até | Disponível até | Observações |
|---|---|---|---|---|---|
| 3.0-ubuntu24 | 08/09/2025 | 08/09/2025 | A definir | A definir | Versão de pré-lançamento. |
| 2.3-ubuntu22 | 02/04/2026 | 09/06/2025 | 09/06/2027 | 09/06/2029 | Versão de disponibilidade geral. |
| 2.2-ubuntu22 | 24/03/2026 | 08/12/2023 | 2027/03/31 | 2027/12/31 | Versão de disponibilidade geral. |
| 2.1-ubuntu20 | 24/03/2026 | 12/12/2022 | 2026/03/31 | 31/12/2026 | Versão de disponibilidade geral. |
| 2.0-ubuntu18 | 24/02/2026 | 22/01/2021 | 30/09/2025 | 2026/07/31 | Versão de disponibilidade geral. |
Imagens do Rocky Linux
As versões de imagem a seguir baseadas no Rocky Linux são compatíveis com os clusters do Managed Service for Apache Spark. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.
| Versão | Última atualização | Lançada em | Compatível até | Disponível até | Observações |
|---|---|---|---|---|---|
| 3.0-rocky9 | 08/09/2025 | 08/09/2025 | A definir | A definir | Versão de pré-lançamento. |
| 2.3-rocky9 | 02/04/2026 | 09/06/2025 | 09/06/2027 | 09/06/2029 | Versão de disponibilidade geral. |
| 2.2-rocky9 | 24/03/2026 | 08/12/2023 | 2027/03/31 | 2027/12/31 | Versão de disponibilidade geral. |
| 2.1-rocky8 | 24/03/2026 | 12/12/2022 | 2026/03/31 | 31/12/2026 | Versão de disponibilidade geral. |
| 2.0-rocky8 | 24/02/2026 | 18/02/2022 | 30/09/2025 | 2026/07/31 | Versão de disponibilidade geral. |
Versões de imagens não compatíveis do Managed Service for Apache Spark
As seguintes versões do Managed Service for Apache Spark não são compatíveis. O Managed Service for Apache Spark não oferece atualizações e suporte para clusters criados com estas versões. Embora seja possível continuar a execução de um cluster que foi criado com uma versão não compatível, recomendamos a substituição do cluster por um novo cluster criado com uma versão aceita.
| Versão | Inclui | Liberada em | Última atualização | Observações |
|---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
28/04/2023 | Não compatível desde 28/04/2023. 1.5.89-debian10/-ubuntu18/-rocky8 era a versão final lançada. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Conector do Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
2021/03/16 | 2022/02/01 | Não compatível desde 01/02/2022. 2.0.30-centos8 era a versão final lançada. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
14/12/2020 | 2022/02/01 | Não compatível desde 01/02/2022. 1.5.56-centos8 era a versão final lançada. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
22/03/2019 | 2022/02/01 | Não compatível desde 01/02/2022. 1.4.80-debian10/-ubuntu18 era a versão final lançada. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 2021/12/22 | Não compatível desde 01/08/2021. 1.3.95-debian10/-ubuntu18 era a versão final lançada, que aborda as vulnerabilidades do log4j2. Observação: as versões lançadas anteriormente estão vulneráveis e precisam ser atualizadas. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
22/03/2019 | 10/07/2020 | Não compatível desde 10/07/2020. 1.4.33-debian9 era a versão de lançamento final. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 10/07/2020 | Não compatível desde 10/07/2020. 1.3.62-debian9 era a versão de lançamento final. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Conector do Cloud Storage 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
21/07/2017 | 10/07/2020 | Não compatível desde 10/07/2020. 1.2.102-debian9 era a versão de lançamento final. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Conector do Cloud Storage 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 |
08/08/2016 | 26/09/2019 | Não compatível desde de 01/10/2019. 1.1.121-debian9 é a versão final lançada. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector do Cloud Storage 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 |
22/02/2016 | 09/05/2019 | Primeiro lançamento da imagem do GA. O suporte a partir de 1º/04/2019. 1.0.119-debian9 era a versão de lançamento final. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector do Cloud Storage 1.5.1-hadoop2 BigQuery connector 0.7.7-hadoop2 |
18/11/2015 | 02/08/2016 | Imagem beta, segunda versão |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Conector do Cloud Storage 1.5.1-hadoop2 BigQuery connector 0.7.7-hadoop2 |
23/09/2015 | 02/08/2016 | Versão Beta do Managed Service for Apache Spark. O Spark 1.5 foi compilado em relação ao Hive 1.2. |