Google Dataproc 會使用 Ubuntu、Debian 和 Rocky Linux 映像檔版本,將作業系統、大數據元件和 Google Cloud 連接器組合成單一套件,並部署到叢集上。詳情請參閱「Dataproc 版本管理」。
附註:
- Dataproc 映像檔版本在初始發布後,可獲得為期 24 個月的支援。
- 一般來說,Dataproc 映像檔版本在支援期限結束後,仍可使用 24 個月,但如果映像檔支援期限延長,可用期則可能會縮短。
預設 Dataproc 映像檔版本
在正式發布 (General availability, GA) 日期之後,Dataproc 會將預設的映像檔版本更新為最新的正式發布 Debian 架構 Dataproc 版本。
支援的 Dataproc 映像檔版本
Debian 映像檔
Dataproc 叢集支援下列 Debian 架構映像檔版本。請注意,如果版本在發布後有任何修正版修補程式,系統會建立新叢集以將它們納入其中。
| 版本 | 上次更新時間 | 發布日期 | 支援期限 | 使用期限 | 附註 |
|---|---|---|---|---|---|
| 3.0-debian12 | 2025/09/08 | 2025/09/08 | 待定 | 待定 | 預先發布版 |
| 2.3-debian12 | 2025/10/28 | 2025/06/09 | 2027/06/09 | 2029/06/09 | 正式發布版。 |
| 2.2-debian12 | 2025/10/28 | 2023/12/08 | 2027/03/31 | 2027/12/31 | 正式發布版。映像檔版本 2.2 自 2024 年 9 月 13 日起成為預設映像檔版本。 |
| 2.1-debian11 | 2025/10/28 | 2022/12/12 | 2026/03/31 | 2026/12/31 | 正式發布版。 |
| 2.0-debian10 | 2025/10/28 | 2021/01/22 | 2025/09/30 | 2026/07/31 | 正式發布版。 |
Ubuntu 映像檔
Dataproc 叢集支援下列 Ubuntu LTS 架構映像檔版本。請注意,如果版本在發布後有任何修正版修補程式,系統會建立新叢集以將它們納入其中。
| 版本 | 上次更新時間 | 發布日期 | 支援期限 | 使用期限 | 附註 |
|---|---|---|---|---|---|
| 3.0-ubuntu24 | 2025/09/08 | 2025/09/08 | 待定 | 待定 | 預先發布版 |
| 2.3-ubuntu22 | 2025/10/28 | 2025/06/09 | 2027/06/09 | 2029/06/09 | 正式發布版。 |
| 2.2-ubuntu22 | 2025/10/28 | 2023/12/08 | 2027/03/31 | 2027/12/31 | 正式發布版。 |
| 2.1-ubuntu20 | 2025/10/28 | 2022/12/12 | 2026/03/31 | 2026/12/31 | 正式發布版。 |
| 2.0-ubuntu18 | 2025/10/28 | 2021/01/22 | 2025/09/30 | 2026/07/31 | 正式發布版。 |
Rocky Linux 映像檔
Dataproc 叢集支援下列 Rocky Linux 架構映像檔版本。請注意,如果版本在發布後有任何修正版修補程式,系統會建立新叢集以將它們納入其中。
| 版本 | 上次更新時間 | 發布日期 | 支援期限 | 使用期限 | 附註 |
|---|---|---|---|---|---|
| 3.0-rocky9 | 2025/09/08 | 2025/09/08 | 待定 | 待定 | 預先發布版 |
| 2.3-rocky9 | 2025/10/28 | 2025/06/09 | 2027/06/09 | 2029/06/09 | 正式發布版。 |
| 2.2-rocky9 | 2025/10/28 | 2023/12/08 | 2027/03/31 | 2027/12/31 | 正式發布版。 |
| 2.1-rocky8 | 2025/10/28 | 2022/12/12 | 2026/03/31 | 2026/12/31 | 正式發布版。 |
| 2.0-rocky8 | 2025/10/28 | 2022/02/18 | 2025/09/30 | 2026/07/31 | 正式發布版。 |
不支援的 Dataproc 映像檔版本
下列為不支援的 Dataproc 版本。 Dataproc 對使用這些版本建立的叢集並不提供更新和支援。雖然您可以繼續執行使用不支援版本建立的叢集,但我們仍建議您改用使用支援版本建立的新叢集。
| 版本 | 包含 | 發布日期 | 上次更新時間 | 附註 |
|---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
2023/04/28 | 自 2023 年 4 月 28 日起停止支援。 1.5.89-debian10/-ubuntu18/-rocky8 是最後的發布版本。 |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Cloud Storage 連接器 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
2021/03/16 | 2022/02/01 | 自 2022 年 2 月 1 日起停止支援。 2.0.30-centos8 是最後的發布版本。 |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/12/14 | 2022/02/01 | 自 2022 年 2 月 1 日起停止支援。 1.5.56-centos8 是最後的發布版本。 |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
2019/03/22 | 2022/02/01 | 自 2022 年 2 月 1 日起停止支援。 1.4.80-debian10/-ubuntu18 是最後的發布版本。 |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018/06/29 | 2021/12/22 | 自 2021 年 8 月 1 日起停止支援。 1.3.95-debian10/-ubuntu18 是最後的發布版本,且已解決 log4j2 安全漏洞。注意:先前發布的版本有安全漏洞,因此必須升級。 |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
2019/03/22 | 2020/07/10 | 自 2020 年 7 月 10 日起停止支援。 1.4.33-debian9 是最後的發布版本。 |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 連接器 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018/06/29 | 2020/07/10 | 自 2020 年 7 月 10 日起停止支援。 1.3.62-debian9 是最後的發布版本。 |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage 連接器 1.6.10-hadoop2 BigQuery 連接器 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2017/07/21 | 2020/07/10 | 自 2020 年 7 月 10 日起停止支援。 1.2.102-debian9 是最後的發布版本。 |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage 連接器 1.6.10-hadoop2 BigQuery 連接器 0.10.11-hadoop2 |
2016/08/08 | 2019/09/26 | 自 2019 年 10 月 1 日起停止支援。 1.1.121-debian9 是最後的發布版本。 |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage 連接器 1.6.10-hadoop2 BigQuery 連接器 0.10.11-hadoop2 |
2016/02/22 | 2019/05/09 | 映像檔的第一個正式發布版本。 自 2019 年 4 月 1 日起停止支援。 1.0.119-debian9 是最後的發布版本。 |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage 連接器 1.5.1-hadoop2 BigQuery 連接器 0.7.7-hadoop2 |
2015/11/18 | 2016/08/02 | 第二個發布的 Beta 版映像檔。 |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Cloud Storage 連接器 1.5.1-hadoop2 BigQuery 連接器 0.7.7-hadoop2 |
2015/09/23 | 2016/08/02 | Dataproc Beta 版。 Spark 1.5 是針對 Hive 1.2 編譯而成。 |