Google Managed Service for Apache Spark 會使用 Ubuntu、Debian 和 Rocky Linux 映像檔版本,將作業系統、大數據元件和 Google Cloud 連接器組合成單一套件,並部署到叢集上。詳情請參閱「Managed Service for Apache Spark 版本管理」。
注意:
- Managed Service for Apache Spark 映像檔版本在初始發布後,可獲得為期 24 個月的支援。
- 一般來說,Managed Service for Apache Spark 映像檔版本在支援期限結束後,仍可使用 24 個月,但如果映像檔支援期限延長,可用期則可能會縮短。
預設 Managed Service for Apache Spark 映像檔版本
在正式發布 (General availability, GA) 日期之後,Managed Service for Apache Spark 會將預設的映像檔版本更新為最新的正式發布 Debian 架構 Managed Service for Apache Spark 版本。
支援的 Managed Service for Apache Spark 映像檔版本
Debian 映像檔
Managed Service for Apache Spark 叢集支援下列 Debian 架構映像檔版本。請注意,如果版本在發布後有任何修正版修補程式,系統會建立新叢集以將它們納入其中。
| 版本 | 上次更新時間 | 發布日期 | 支援期限 | 使用期限 | 附註 |
|---|---|---|---|---|---|
| 3.0-debian12 | 2026/05/03 | 2025/09/08 | 待定 | 待定 | 預先發布版 |
| 2.3-debian12 | 2026/04/27 | 2025/06/09 | 2027/06/09 | 2029/06/09 | 正式發布版。 |
| 2.2-debian12 | 2026/04/27 | 2023/12/08 | 2027/03/31 | 2027/12/31 | 正式發布版。映像檔版本 2.2 自 2024 年 9 月 13 日起成為預設映像檔版本。 |
| 2.1-debian11 | 2026/04/27 | 2022/12/12 | 2026/03/31 | 2026/12/31 | 正式發布版。 |
Ubuntu 映像檔
Managed Service for Apache Spark 叢集支援下列 Ubuntu LTS 架構映像檔版本。請注意,如果版本在發布後有任何修正版修補程式,系統會建立新叢集以將它們納入其中。
| 版本 | 上次更新時間 | 發布日期 | 支援期限 | 使用期限 | 附註 |
|---|---|---|---|---|---|
| 3.0-ubuntu24 | 2026/05/03 | 2025/09/08 | 待定 | 待定 | 預先發布版 |
| 2.3-ubuntu22 | 2026/04/27 | 2025/06/09 | 2027/06/09 | 2029/06/09 | 正式發布版。 |
| 2.2-ubuntu22 | 2026/04/27 | 2023/12/08 | 2027/03/31 | 2027/12/31 | 正式發布版。 |
| 2.1-ubuntu20 | 2026/04/27 | 2022/12/12 | 2026/03/31 | 2026/12/31 | 正式發布版。 |
Rocky Linux 映像檔
Managed Service for Apache Spark 叢集支援下列 Rocky Linux 架構映像檔版本。請注意,如果版本在發布後有任何修正版修補程式,系統會建立新叢集以將它們納入其中。
| 版本 | 上次更新時間 | 發布日期 | 支援期限 | 使用期限 | 附註 |
|---|---|---|---|---|---|
| 3.0-rocky9 | 2026/05/03 | 2025/09/08 | 待定 | 待定 | 預先發布版 |
| 2.3-rocky9 | 2026/04/27 | 2025/06/09 | 2027/06/09 | 2029/06/09 | 正式發布版。 |
| 2.2-rocky9 | 2026/04/27 | 2023/12/08 | 2027/03/31 | 2027/12/31 | 正式發布版。 |
| 2.1-rocky8 | 2026/04/27 | 2022/12/12 | 2026/03/31 | 2026/12/31 | 正式發布版。 |
不支援的 Managed Service for Apache Spark 映像檔版本
下列為不支援的 Managed Service for Apache Spark 版本。 Managed Service for Apache Spark 對使用這些版本建立的叢集並不提供更新和支援。1.x 和 2.0 版將於 2026 年 8 月 25 日終止服務。如果執行的是不支援的版本,請將叢集升級至支援的映像檔。
| 版本 | 包含 | 發布日期 | 上次更新日期 | 使用期限 | 附註 |
|---|---|---|---|---|---|
2.0-debian10/-ubuntu18/-rocky8 |
Apache Spark 3.1.3 Apache Hadoop 3.2.4 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.3 Cloud Storage 連接器 2.2.30-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
2021/01/22:debian10/ubuntu18 2022/02/18:rocky8 |
2026/02/24 | 2026/08/25 | 自 2026 年 2 月 24 日起停止支援。 2.0.160-debian10/-ubuntu18/-rocky8 是最後的發布版本。 |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Cloud Storage 連接器 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
2021/03/16 | 2022/02/01 | 2026/08/25 | 自 2022 年 2 月 1 日起停止支援。 2.0.30-centos8 是最後的發布版本。 |
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
2023/04/28 | 2026/08/25 | 自 2023 年 4 月 28 日起停止支援。 1.5.89-debian10/-ubuntu18/-rocky8 是最後的發布版本。 |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/12/14 | 2022/02/01 | 2026/08/25 | 自 2022 年 2 月 1 日起停止支援。 1.5.56-centos8 是最後的發布版本。 |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
2019/03/22 | 2022/02/01 | 2026/08/25 | 自 2022 年 2 月 1 日起停止支援。 1.4.80-debian10/-ubuntu18 是最後的發布版本。 |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
2019/03/22 | 2020/07/10 | 2026/08/25 | 自 2020 年 7 月 10 日起停止支援。 1.4.33-debian9 是最後的發布版本。 |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018/06/29 | 2021/12/22 | 2026/08/25 | 自 2021 年 8 月 1 日起停止支援。 1.3.95-debian10/-ubuntu18 是最後的發布版本,且已解決 log4j2 安全漏洞。注意:先前發布的版本有安全漏洞,因此必須升級。 |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018/06/29 | 2020/07/10 | 2026/08/25 | 自 2020 年 7 月 10 日起停止支援。 1.3.62-debian9 是最後的發布版本。 |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage 連接器 1.6.10-hadoop2 BigQuery 連接器 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2017/07/21 | 2020/07/10 | 無法使用 | 自 2020 年 7 月 10 日起停止支援。 1.2.102-debian9 是最後的發布版本。 |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage 連接器 1.6.10-hadoop2 BigQuery 連接器 0.10.11-hadoop2 |
2016/08/08 | 2019/09/26 | 無法使用 | 自 2019 年 10 月 1 日起停止支援。 1.1.121-debian9 是最後的發布版本。 |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage 連接器 1.6.10-hadoop2 BigQuery 連接器 0.10.11-hadoop2 |
2016/02/22 | 2019/05/09 | 無法使用 | 映像檔的第一個正式發布版本。 自 2019 年 4 月 1 日起停止支援。 1.0.119-debian9 是最後的發布版本。 |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage 連接器 1.5.1-hadoop2 BigQuery 連接器 0.7.7-hadoop2 |
2015/11/18 | 2016/08/02 | 無法使用 | 第二個發布的 Beta 版映像檔。 |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Cloud Storage 連接器 1.5.1-hadoop2 BigQuery 連接器 0.7.7-hadoop2 |
2015/09/23 | 2016/08/02 | 無法使用 | Managed Service for Apache Spark Beta 版。 Spark 1.5 是針對 Hive 1.2 編譯而成。 |