Managed Service for Apache Spark クラスタのイメージ バージョンのリスト

「Ubuntu と Debian ベースのイメージ バージョン クラスタ | Google Cloud」

Google Managed Service for Apache Spark は、Ubuntu、Debian、Rocky Linux のイメージ バージョンを使用して、オペレーティング システム、ビッグデータ コンポーネント、 Google Cloud コネクタを、クラスタにデプロイされる 1 つのパッケージにバンドルします。詳細については、Managed Service for Apache Spark のバージョン管理をご覧ください。

注:

  • Managed Service for Apache Spark イメージ バージョンは、最初のリリースから 24 か月間サポートされます。
  • 通常、Managed Service for Apache Spark イメージ バージョンはサポート終了日から 24 か月間使用できますが、イメージのサポート期間が延長された場合は、利用期間が短縮される場合があります。

Managed Service for Apache Spark のデフォルトのイメージ バージョン

Managed Service for Apache Spark は、デフォルト イメージ バージョンを、一般提供（GA）リリース日の後に、一般提供されている最新の Debian ベースの Managed Service for Apache Spark に更新します。

サポートされている Managed Service for Apache Spark イメージ バージョン

Debian イメージ

Managed Service for Apache Spark クラスタでは、次の Debian ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。

バージョン 最終更新日時 リリース日 サポート期限 有効期限 注
3.0-debian12 2026/05/03 2025/09/08 未定 未定 プレビュー リリース。
2.3-debian12 2026/04/27 2025/06/09 2027/06/09 2029/06/09 一般提供リリース。
2.2-debian12 2026/04/27 2023/12/08 2027/03/31 2027/12/31 一般提供リリース。2024 年 9 月 13 日、イメージ バージョン 2.2 は、デフォルトのイメージ バージョンになります。
2.1-debian11 2026/04/27 2022/12/12 2026/03/31 2026/12/31 一般提供リリース。

Ubuntu イメージ

Managed Service for Apache Spark クラスタでは、次の Ubuntu LTS ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。

バージョン 最終更新日時 リリース日 サポート期限 有効期限 注
3.0-ubuntu24 2026/05/03 2025/09/08 未定 未定 プレビュー リリース。
2.3-ubuntu22 2026/04/27 2025/06/09 2027/06/09 2029/06/09 一般提供リリース。
2.2-ubuntu22 2026/04/27 2023/12/08 2027/03/31 2027/12/31 一般提供リリース。
2.1-ubuntu20 2026/04/27 2022/12/12 2026/03/31 2026/12/31 一般提供リリース。

Rocky Linux イメージ

Managed Service for Apache Spark クラスタでは、次の Rocky Linux ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。

バージョン 最終更新日時 リリース日 サポート期限 有効期限 注
3.0-rocky9 2026/05/03 2025/09/08 未定 未定 プレビュー リリース。
2.3-rocky9 2026/04/27 2025/06/09 2027/06/09 2029/06/09 一般提供リリース。
2.2-rocky9 2026/04/27 2023/12/08 2027/03/31 2027/12/31 一般提供リリース。
2.1-rocky8 2026/04/27 2022/12/12 2026/03/31 2026/12/31 一般提供リリース。

サポートされていない Managed Service for Apache Spark イメージ バージョン

次の Managed Service for Apache Spark のバージョンはサポートされていません。Managed Service for Apache Spark は、これらのバージョンで作成されたクラスタの更新とサポートを提供していません。バージョン 1.x と 2.0 は、2026 年 8 月 25 日にサポートが終了します。サポートされていないバージョンで実行している場合は、クラスタをサポートされているイメージにアップグレードする必要があります。

バージョン 含める リリース日 最終更新 有効期限 メモ
2.0-debian10/-ubuntu18/-rocky8 Apache Spark 3.1.3
Apache Hadoop 3.2.4
Apache Pig 0.18.0-SNAPSHOT
Apache Hive 3.1.3
Cloud Storage コネクタ 2.2.30-hadoop3
Python 3.8
Scala 2.12.14
Zookeeper 3.4.14
 2021/01/22:debian10/ubuntu18
2022/02/18:rocky8		 2026/02/24 2026/08/25 2026 年 2 月 24 日の時点ではサポートされていません。
2.0.160-debian10/-ubuntu18/-rocky8 が最終リリース バージョンでした。
2.0-centos8 Apache Spark 3.1.2
Apache Hadoop 3.2.2
Apache Pig 0.18.0-SNAPSHOT
Apache Hive 3.1.2
Cloud Storage コネクタ 2.2.4-hadoop3
Python 3.8
Scala 2.12.14
Zookeeper 3.4.14
 2021/03/16 2022/02/01 2026/08/25 2022 年 2 月 1 日の時点ではサポートされていません。
2.0.30-centos8 が最終リリース バージョンでした。
1.5-debian10/-ubuntu18/-rocky8 Apache Spark 2.4.8
Apache Hadoop 2.10.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage コネクタ 2.1.9-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
 2020/03/25:debian10/ubuntu18
2022/02/18:rocky8		 2023/04/28 2026/08/25 2023 年 4 月 28 日の時点ではサポートされていません。
1.5.89-debian10/-ubuntu18/-rocky8 が最終リリース バージョンでした。
1.5-centos8 Apache Spark 2.4.8
Apache Hadoop 2.10.1
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage コネクタ 2.1.5-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
 2020/12/14 2022/02/01 2026/08/25 2022 年 2 月 1 日の時点ではサポートされていません。
1.5.56-centos8 が最終リリース バージョンでした。
1.4-debian10/-ubuntu18 Apache Spark 2.4.8
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage コネクタ 1.9.18-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.14
 2019/03/22 2022/02/01 2026/08/25 2022 年 2 月 1 日の時点ではサポートされていません。
1.4.80-debian10/-ubuntu18 が最終リリース バージョンでした。
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage コネクタ 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
 2019/03/22 2020/07/10 2026/08/25 2020 年 7 月 10 日にサポート対象外になりました。
1.4.33-debian9 は最終リリース バージョンでした。
1.3-debian10/-ubuntu18 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage コネクタ 1.9.18-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
 2018/06/29 2021/12/22 2026/08/25 2021 年 8 月 1 日の時点ではサポートされていません。
1.3.95-debian10/-ubuntu18 が最終リリース バージョンであり、log4j2 の脆弱性については対応済みです。注: これよりも前にリリースされたバージョンは脆弱であるため、アップグレードする必要があります。
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage コネクタ 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
 2018/06/29 2020/07/10 2026/08/25 2020 年 7 月 10 日にサポート対象外になりました。
1.3.62-debian9 は最終リリース バージョンでした。
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage コネクタ 1.6.10-hadoop2
BigQuery コネクタ 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
 2017/07/21 2020/07/10 使用不可 2020 年 7 月 10 日にサポート対象外になりました。
1.2.102-debian9 が最終リリース バージョンでした。
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage コネクタ 1.6.10-hadoop2
BigQuery コネクタ 0.10.11-hadoop2		 2016/08/08 2019/09/26 使用不可 2019 年 10 月 1 日の時点ではサポートされていません。
1.1.121-debian9 が最終リリース バージョンです。
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage コネクタ 1.6.10-hadoop2
BigQuery コネクタ 0.10.11-hadoop2		 2016/02/22 2019/05/09 使用不可 一般提供イメージの最初のリリース
2019 年 4 月 1 日にサポート対象外
1.0.119-debian9 が最終リリース バージョン
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage コネクタ 1.5.1-hadoop2
BigQuery コネクタ 0.7.7-hadoop2		 2015/11/18 2016/08/02 使用不可 ベータイメージのセカンド リリース。
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Cloud Storage コネクタ 1.5.1-hadoop2
BigQuery コネクタ 0.7.7-hadoop2		 2015/09/23 2016/08/02 使用不可 Managed Service for Apache Spark のベータ版リリース。
Spark 1.5 は、Hive 1.2 に対してコンパイルされています。