Google Managed Service for Apache Spark menggunakan versi image Ubuntu, Debian, dan Rocky Linux untuk menggabungkan sistem operasi, komponen big data, dan konektor Google Cloud menjadi satu paket yang di-deploy di cluster. Untuk mengetahui informasi selengkapnya, lihat Pembuatan Versi Managed Service for Apache Spark.
Catatan:
- Versi image Managed Service for Apache Spark didukung selama 24 bulan setelah rilis awal.
- Secara umum, versi image Managed Service for Apache Spark tersedia selama 24 bulan setelah tanggal akhir dukungannya, tetapi periode ketersediaan dapat dipersingkat jika tanggal dukungan image diperpanjang.
Versi image Managed Service for Apache Spark default
Managed Service for Apache Spark mengupdate versi image default ke Managed Service for Apache Spark berbasis Debian terbaru yang tersedia secara umum setelah tanggal rilis Ketersediaan Umum (GA).
Versi image Managed Service for Apache Spark yang didukung
Image Debian
Versi image berbasis Debian berikut didukung di cluster Managed Service for Apache Spark. Perhatikan bahwa cluster baru akan dibuat untuk menyertakan patch sub-minor yang telah dilakukan pada suatu versi sejak rilisnya.
| Versi | Terakhir diperbarui | Dirilis pada | Didukung hingga | Tersedia hingga | Catatan |
|---|---|---|---|---|---|
| 3.0-debian12 | 08/09/2025 | 08/09/2025 | Ditentukan Nanti | Ditentukan Nanti | Rilis pratinjau. |
| 2.3-debian12 | 02/04/2026 | 09/06/2025 | 09/06/2027 | 09/06/2029 | Rilis ketersediaan umum. |
| 2.2-debian12 | 24/03/2026 | 08/12/2023 | 31/03/2027 | 31/12/2027 | Rilis ketersediaan umum. Versi gambar 2.2 akan menjadi versi gambar default pada 13 September 2024. |
| 2.1-debian11 | 24/03/2026 | 12/12/2022 | 31/03/2026 | 31/12/2026 | Rilis ketersediaan umum. |
| 2.0-debian10 | 24/02/2026 | 22/01/2021 | 30/09/2025 | 31/07/2026 | Rilis ketersediaan umum. |
Image Ubuntu
Versi image berbasis Ubuntu LTS berikut didukung di cluster Managed Service for Apache Spark. Perhatikan bahwa cluster baru akan dibuat untuk menyertakan patch sub-minor yang telah dibuat pada suatu versi sejak rilisnya.
| Versi | Terakhir diperbarui | Dirilis pada | Didukung hingga | Tersedia hingga | Catatan |
|---|---|---|---|---|---|
| 3.0-ubuntu24 | 08/09/2025 | 08/09/2025 | Ditentukan Nanti | Ditentukan Nanti | Rilis pratinjau. |
| 2.3-ubuntu22 | 02/04/2026 | 09/06/2025 | 09/06/2027 | 09/06/2029 | Rilis ketersediaan umum. |
| 2.2-ubuntu22 | 24/03/2026 | 08/12/2023 | 31/03/2027 | 31/12/2027 | Rilis ketersediaan umum. |
| 2.1-ubuntu20 | 24/03/2026 | 12/12/2022 | 31/03/2026 | 31/12/2026 | Rilis ketersediaan umum. |
| 2.0-ubuntu18 | 24/02/2026 | 22/01/2021 | 30/09/2025 | 31/07/2026 | Rilis ketersediaan umum. |
Image Rocky Linux
Versi image berbasis Rocky Linux berikut didukung di cluster Managed Service untuk Apache Spark. Perhatikan bahwa cluster baru akan dibuat untuk menyertakan patch sub-minor yang telah dibuat pada suatu versi sejak rilisnya.
| Versi | Terakhir diperbarui | Dirilis pada | Didukung hingga | Tersedia hingga | Catatan |
|---|---|---|---|---|---|
| 3.0-rocky9 | 08/09/2025 | 08/09/2025 | Ditentukan Nanti | Ditentukan Nanti | Rilis pratinjau. |
| 2.3-rocky9 | 02/04/2026 | 09/06/2025 | 09/06/2027 | 09/06/2029 | Rilis ketersediaan umum. |
| 2.2-rocky9 | 24/03/2026 | 08/12/2023 | 31/03/2027 | 31/12/2027 | Rilis ketersediaan umum. |
| 2.1-rocky8 | 24/03/2026 | 12/12/2022 | 31/03/2026 | 31/12/2026 | Rilis ketersediaan umum. |
| 2.0-rocky8 | 24/02/2026 | 18/02/2022 | 30/09/2025 | 31/07/2026 | Rilis ketersediaan umum. |
Versi image Managed Service for Apache Spark yang tidak didukung
Versi Managed Service for Apache Spark berikut tidak didukung. Managed Service for Apache Spark tidak menyediakan update dan dukungan untuk cluster yang dibuat dengan versi ini. Meskipun Anda dapat terus menjalankan cluster yang dibuat dengan versi yang tidak didukung, sebaiknya ganti cluster dengan cluster baru yang dibuat dengan versi yang didukung.
| Versi | Mencakup | Dirilis Pada | Terakhir Diperbarui | Catatan |
|---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
28/04/2023 | Tidak didukung mulai 28/04/2023. 1.5.89-debian10/-ubuntu18/-rocky8 adalah versi rilis terakhir. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Konektor Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
16/03/2021 | 01/02/2022 | Tidak didukung mulai 01/02/2022. 2.0.30-centos8 adalah versi terakhir yang dirilis. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
14/12/2020 | 01/02/2022 | Tidak didukung mulai 01/02/2022. 1.5.56-centos8 adalah versi terakhir yang dirilis. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
22/03/2019 | 01/02/2022 | Tidak didukung mulai 01/02/2022. 1.4.80-debian10/-ubuntu18 adalah versi terakhir yang dirilis. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 22/12/2021 | Tidak didukung mulai 01/08/2021. 1.3.95-debian10/-ubuntu18 adalah versi terakhir yang dirilis, yang telah mengatasi kerentanan log4j2. Catatan: versi yang dirilis sebelumnya rentan dan harus diupgrade. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
22/03/2019 | 10/07/2020 | Tidak didukung mulai 10/07/2020. 1.4.33-debian9 adalah versi rilis terakhir. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Konektor Cloud Storage 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 10/07/2020 | Tidak didukung mulai 10/07/2020. 1.3.62-debian9 adalah versi rilis terakhir. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage connector 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
21/07/2017 | 10/07/2020 | Tidak didukung mulai 10/07/2020. 1.2.102-debian9 adalah versi rilis terakhir. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Konektor Cloud Storage 1.6.10-hadoop2 Konektor BigQuery 0.10.11-hadoop2 |
08/08/2016 | 2019/09/26 | Tidak didukung mulai 01/10/2019. 1.1.121-debian9 adalah versi rilis terakhir. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Konektor Cloud Storage 1.6.10-hadoop2 Konektor BigQuery 0.10.11-hadoop2 |
22/02/2016 | 09/05/2019 | Rilis pertama image GA. Tidak didukung mulai 01/04/2019. 1.0.119-debian9 adalah versi terakhir yang dirilis. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Konektor Cloud Storage 1.5.1-hadoop2 Konektor BigQuery 0.7.7-hadoop2 |
2015/11/18 | 02/08/2016 | Rilis kedua gambar beta. |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Konektor Cloud Storage 1.5.1-hadoop2 Konektor BigQuery 0.7.7-hadoop2 |
2015/09/23 | 02/08/2016 | Rilis beta Managed Service for Apache Spark. Spark 1.5 telah dikompilasi terhadap Hive 1.2. |