"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google は AI 技術を使用して、コンテンツをご希望の言語に翻訳しています。AI 翻訳には誤りが含まれる場合があります。

Conda チャネルを移行して設定する

事前構成済みの Conda パッケージチャネルが、Managed Service for Apache Spark クラスタイメージとサーバーレスランタイムから削除されます。このドキュメントでは、ワークロードの Conda チャンネルを移行して構成する方法について説明します。

事前構成された Conda チャネルの削除

以前は、Managed Service for Apache Spark イメージに、Anaconda の defaults リポジトリなどの事前構成済みの Conda チャネルがバンドルされていました。ライセンスの変更により、Managed Service for Apache Spark は、過去および今後のすべての Managed Service for Apache Spark イメージとサーバーレスランタイムから、事前構成済みのすべてのチャネルポインタを削除します。

変更内容: 明示的に指定されたチャンネルなしで conda install PACKAGE を実行するコマンドは、デフォルトのリポジトリに対してパッケージを解決しなくなり、失敗します。
変更されないもの: PyPI からの標準の Python パッケージのインストール（pip install PACKAGE または dataproc:pip.packages クラスタプロパティ）は、まったく影響を受けません。

チャンネルフリーの側面画像の利用可能性

デベロッパーがこの更新に対応できるように、Managed Service for Apache Spark は、次の表に示すように、チャネルなしのサブマイナーバージョンをリリースしました。これらのイメージは、既存のイメージとのバイナリとコンポーネントの互換性を 100% 維持しており、事前構成された Conda チャネルが削除されている点のみが異なります。

画像トラック	以前のバージョンまたは影響を受けるバージョン	Conda を使用しない横断型バージョンを公開	ステータスと互換性
1.3	`<= 1.3.95`	`1.3.96`	`1.3.95` との互換性が 100% になり、Conda チャンネルが削除されました
1.4	`<= 1.4.80`	`1.4.81`	`1.4.80` との互換性が 100% になり、Conda チャンネルが削除されました
1.5	`<= 1.5.90`	`1.5.92`	`1.5.90` と 100% の互換性。Conda チャンネルは削除
2.0	`<= 2.0.160`	`2.0.161`	`2.0.160` との互換性が 100% になり、Conda チャンネルが削除されました
2.1	`<= 2.1.116`	`2.1.117`、`2.1.119` 以降	サポートされているリリース。Conda チャンネルが削除されました
2.2	`<= 2.2.84`	`2.2.85`、`2.2.87` 以降	サポートされているリリース。Conda チャンネルが削除されました
2.3	`<= 2.3.31`	`2.3.32`、`2.3.36` 以降	サポートされているリリース。Conda チャンネルが削除されました

削除がワークロードに与える影響

ピン留めされていないクラスタ: イメージバージョンエイリアス（--image-version=2.2-debian12 など）を指定するクラスタ作成スクリプトは、新しいチャンネルなしのイメージを自動的に受け取ります。
固定イメージまたはカスタムイメージ: 以前のサブマイナーリリースに固定されたクラスタ、またはカスタムイメージを使用するクラスタは、更新されない限り、古いチャネル構成を引き続き参照します。固定イメージを使用している場合は、追加の時間を確保してサポートされているチャンネルなしのバージョンに移行するために、延長をリクエストする必要があります。
実行エラー: チャネルを指定せずに conda install PACKAGE を送信する初期化アクション、パイプラインスクリプト、ジョブは、チャネル解決エラーで失敗します。

Conda チャネルを構成する方法

ワークロードが Conda に依存してバイナリパッケージをインストールする場合は、次のいずれかのオプションを使用してチャネルを明示的に宣言する必要があります。代わりに Conda 関連のクラスタプロパティでチャネルを指定するには、Conda 関連のクラスタプロパティを使用するをご覧ください。

オプション 1: 明示的なコマンドラインフラグ

このオプションは、アドホックインストールにおすすめします。conda install を実行するときに --channel フラグを渡します。

conda install --channel conda-forge PACKAGE

または、短い -c フラグを使用します。

conda install -c conda-forge PACKAGE

PACKAGE は、インストールするパッケージの名前に置き換えます。

オプション 2: クラスタ初期化アクション

このオプションは、自動化された環境におすすめします。.condarc 構成ファイルで使用するチャネルを事前構成するカスタムの初期化アクションを追加します。

#!/bin/bash
# Preconfigure the community conda-forge channel or a private enterprise repository.
conda config --add channels conda-forge
conda config --set channel_priority strict

以前のイメージ（1.x と 2.0）から移行する

Managed Service for Apache Spark バージョン 1.3、1.4、1.5、2.0 は、長期間サポートされていません。以前のイメージを実行すると、基盤となるオペレーティングシステムとオープンソースソフトウェア（OSS）の依存関係における既知の Common Vulnerabilities and Exposures（CVE）など、運用とセキュリティに関する重大なリスクが生じます。

Google Cloud は、1.x トラックと 2.0 トラックのイメージ作成を完全に停止します。
これらの非推奨イメージ（1.x と 2.0）のみをサポートする GoogleCloudDataproc/initialization-actions GitHub リポジトリで使用可能な初期化アクションもすべて削除されます。
すべてのワークロードは、2026 年 10 月 15 日までに conda チャンネルのないラテラルイメージに移行する必要があります。
すべてのワークロードは、最終的にサポートされているアクティブバージョン（2.1、2.2、2.3、3.0 以降）に移行する必要があります。

詳細については、サポートされていない Managed Service for Apache Spark イメージバージョンをご覧ください。

利用可能な拡張機能

Managed Service for Apache Spark には、オプトインの許可リストを介した 2 つの拡張パスが用意されています。これには、サービスチームの承認が必要です。

拡張機能のタイプ

次の拡張機能タイプを使用できます。

一時的な Conda 回避策拡張機能

有効期間: 最大 2026 年 10 月 31 日まで。
目的: 2026 年 8 月 25 日と 2026 年 9 月 1 日にデフォルトのイメージエイリアスが切り替えられることで、自動デプロイや初期化アクションが中断されるお客様に、運用上のバッファを直ちに提供します。
メリット: --channel を含むようにスクリプトを変更したり、チャネルフリー画像に移行したりする間、プロジェクトで以前の動作を一時的に保持できます。

従来のイメージの非推奨拡張機能

有効期限: 2026 年 12 月 31 日まで。
目的: Spark 3.x 以降の OS 環境用にコードをすぐにリファクタリングできない、1.x または 2.0 で実行されているミッションクリティカルなワークロード。
メリット: 2026 年末まで、以前のトラックでクラスタの作成を継続できるため、本番環境の即時停止を防ぐことができます。
前提条件: この拡張機能を取得できるのは、現在の 1.x と 2.0 のワークロードで Conda 準拠のラテラルイメージを使用している場合のみです。

拡張機能の要件

拡張機能は、コンプライアンスとインフラストラクチャの制約に則って管理されます。承認を受けるには、以下の要件をすべて満たす必要があります。

既存のプロジェクトのみ: 拡張機能は、2026 年 8 月より前にこれらのバージョンの実行履歴がアクティブな Google Cloudプロジェクト ID にのみ適用されます。新しいプロジェクトは許可リストに追加されません。
2026 年 10 月 31 日までに必須のラテラルイメージスワップ: 1.x または 2.0 の拡張が許可されている場合は、2026 年 10 月 31 日までに、クラスタ作成構成をラテラル Conda 準拠のサブマイナーバージョン（1.3.96、1.4.81、1.5.92、2.0.161）に移行する必要があります。
global リージョンの使用なし: 画像モード 1.5 以前の場合、クラスタは以前の global リージョンにデプロイできません。ワークロードは、特定のリージョンエンドポイント（us-central1 や europe-west1 など）を使用する必要があります。
コミットされた移行ロードマップ: 2026 年 12 月 31 日の期限までに、ワークロードを Conda 準拠のサポート対象バージョン（2.2 以降、または 3.0）に移行するには、有効なモダナイゼーションプランが必要です。

延長をリクエストする方法

拡張機能の許可リストへの登録をリクエストするには、次のいずれかのチャネルからリクエストを送信してください。

メール: リクエストを dataproc-msa-support@google.com に直接送信します。
サポートケース: Dataproc Conda の非推奨 MSA を参照するケースを Cloud カスタマーケアに登録します。
アカウントチーム: 専任の Google Cloud テクニカルアカウントマネージャー（TAM）またはカスタマーエンジニア（CE）にお問い合わせください。

リクエストには以下の情報を含めてください。

Google Cloud 組織名
ターゲット Google Cloud プロジェクト ID とプロジェクト番号
影響を受けるクラスタ名または UUID
現在使用中のイメージバージョン
延長リクエストの理由と移行完了の目標日

準拠した Conda チャネルのチェックリスト

次の優先度を順番に完了します。

優先度 1: ワークロードの課題抽出と洗い出し

非推奨のイメージを特定する: 組織のプロジェクトで、1.3、1.4、1.5、2.0 で実行されているクラスタを監査します。

次のコマンドは、リージョン内のアクティブなクラスタのイメージバージョンを一覧表示します。
```
gcloud dataproc clusters list --region=REGION \
    --format="table(clusterName, status.state, config.softwareConfig.imageVersion)"
```
REGION は、クラスタが配置されているリージョンに置き換えます。
Conda の使用状況を監査する: 初期化アクション（--initialization-actions）、起動スクリプト、ジョブ送信スクリプトで conda install の呼び出しを確認します。

優先度 2: 障害の即時トリアージ

サービス停止が発生している場合は、次の操作を行います。

Conda パッケージが見つからないために自動化されたパイプラインが失敗した場合は、--channel conda-forge（または -c conda-forge）を追加して、初期化アクションまたはスクリプトを直ちにパッチ適用します。
```
conda install -c conda-forge PACKAGE
```
非推奨のイメージブロックが原因でクラスタの作成が失敗した場合は、すぐに dataproc-msa-support@google.com または TAM に連絡して、一時的な許可リストへの登録をリクエストしてください。

優先度 3: 横方向のサブマイナーの交換を実施する

このステップでは、コードの変更は不要です。

イメージバージョン 2.2 以降にすぐにアップグレードできないパイプラインの場合は、クラスタ作成テンプレート（Terraform、Apache Airflow DataprocCreateClusterOperator、Managed Service for Apache Airflow、CI/CD スクリプトなど）を更新して、チャネルなしのラテラルバージョンを使用します。
- 1.3.* を 1.3.96 に置き換えます。
- 1.4.* を 1.4.81 に置き換えます。
- 1.5.* を 1.5.92 に置き換えます。
- 2.0.* を 2.0.161 に置き換えます。
理由: これらのイメージには、以前のサブマイナーバージョンと同じバージョンの Apache Spark、Apache Hadoop、Apache Hive、Java が含まれています。コードを変更することなく、100% のアプリケーション互換性を保証します。

優先度 4: 長時間実行されるクラスタを再作成する

以前のイメージに静的で長時間実行されるクラスタがデプロイされている場合は、最新のラテラルサブマイナーバージョン（または Conda 準拠のサポート対象の 2.x または 3.x バージョン）を使用して再作成するようにメンテナンスの時間枠をスケジュールします。クラスタを再作成すると、重要なセキュリティと構成の更新がすべて適用されます。

優先度 5: サポート対象のバージョンへの完全なアップグレードを計画する

この優先度の完了目標は 2026 年第 4 四半期です。

イメージバージョン 2.2（Debian 12、Spark 3.5）または一般提供（GA）のイメージバージョン 3.0 でテスト環境を構築します。
Spark 3.x API 仕様に照らして PySpark、Scala、Java ジョブを検証します。
専用のモダナイゼーションサポートが必要な場合は、 Google CloudProfessional Services Organization（PSO）または Wipro や HCL などの認定移行パートナーをご利用ください。

よくある質問

以降のセクションでは、Conda チャネルの削除に関するよくある質問に回答します。

全般と背景

以下の質問では、これらの変更が行われる理由と、それぞれの変更の違いについて説明します。

Managed Service for Apache Spark で、事前構成された Conda チャネルが削除されるのはなぜですか？

ライセンス要件の変更により、Managed Service for Apache Spark は、独自の Anaconda チャネルからサービスを切り離し、標準のオープンソースパッケージメカニズムに移行します。

Conda チャンネルの削除とイメージの非推奨の違いは何ですか？

Conda チャネルの削除は、アクティブにサポートされているバージョン 2.1、2.2、2.3、サーバーレスランタイムなど、すべての Managed Service for Apache Spark バージョンに影響します。Anaconda リポジトリへのデフォルトのポインタを削除します。
イメージの非推奨は、特に以前の 1.x イメージと 2.0 イメージに影響します。これらのイメージはサポートが終了しており、セキュリティパッチが適用されなくなります。また、クラスタの作成がブロックされます。

技術的な問題と互換性の問題

次の質問では、変更が Python パッケージのインストール、Conda の使用、イメージの互換性にどのように影響するかについて説明します。

今回の変更は `pip install` や `dataproc:pip.packages` に影響しますか？

いいえ。pip または Managed Service for Apache Spark クラスタプロパティ dataproc:pip.packages を使用した標準の Python パッケージインストールは、Python Package Index（PyPI）から直接取得します。PyPI は Conda と完全に独立しており、影響を受けません。

組織で Anaconda パッケージまたは Conda パッケージを引き続き使用できますか？

はい。Conda を引き続き使用して環境を管理することもできます。ただし、リポジトリチャンネルを明示的に指定する必要があります。初期化アクションを使用すると、コミュニティでサポートされている conda-forge チャンネル（-c conda-forge を追加）を指定したり、組織の非公開のライセンス付き Anaconda リポジトリミラーを指定したりできます。

スクリプトを更新しないと、どのようなエラーが発生しますか？

チャネルなしのイメージで conda install PACKAGE を実行すると、チャネルが構成されていないか、リクエストされたパッケージがデフォルトの検索パスで見つからないことを示すエラーが Conda から返されます。例: PackagesNotFoundError: The following packages are not available from current channels。

ラテラルサブマイナー画像とは何ですか？なぜ使用する必要があるのですか？

ラテラルサブマイナーイメージ（1.5 トラックの 1.5.92 や 2.0 トラックの 2.0.161 など）は、コアビッグデータエコシステムコンポーネント（Hadoop、Spark、Hive、Presto、Java ランタイム）がそのトラックの以前のリリースと同じままで、基盤となる Conda チャネルが削除されたイメージリリースです。ラテラルサブマイナーバージョンにアップグレードする場合、Spark ジョブのコード変更は不要です。

デプロイとエコシステム

次の質問では、この変更がサーバーレスワークロード、Google Kubernetes Engine（GKE）デプロイ、マネージドオーケストレーションサービスにどのように影響するかについて説明します。

これは Managed Service for Apache Spark サーバーレスにどのような影響を与えますか？

2026 年 8 月 25 日以降、新しく送信されたサーバーレスバッチワークロードは、事前構成された Conda チャネルを含まないベースランタイムイメージで実行されます。カスタムコンテナイメージまたは Conda 環境の tarball を使用して依存関係をパッケージ化する場合は、ビルド定義で --channel conda-forge またはプライベートチャンネルが指定されていることを確認してください。

これは Managed Service for Apache Spark on Google Kubernetes Engine にどのような影響を与えますか？

GKE イメージの Managed Service for Apache Spark が更新され、事前構成済みの Conda チャネル（ランタイムイメージ 3.5-dataproc-28 以降のリリースなど）が削除されました。conda install を実行するカスタムコンテナ Dockerfile は、明示的な --channel を渡すように更新する必要があります。

Managed Service for Apache Airflow や Cloud Data Fusion などのマネージドオーケストレーターは影響を受けますか？

Managed Airflow または Cloud Data Fusion によって管理され、組み込みの Managed Service for Apache Spark クラスタ作成タスクを呼び出すデフォルトの標準パイプラインは、ワークフローがフラグなしの conda install コマンドを実行するカスタム初期化アクションに依存している場合や、非推奨の 1.x または 2.0 イメージを固定している場合を除き、影響を受けません。

サポートと支援

次の質問では、移行に関するサポートを受ける方法について説明します。

移行に関する技術サポートはどこで受けられますか？

技術的なトラブルシューティングと許可リストのリクエストについては、dataproc-msa-support@google.com にお問い合わせいただくか、Cloud カスタマーケアでケースを開いてください。
エンタープライズ移行支援については、 Google Cloud PSO が構造化されたモダナイゼーションパッケージを提供し、Wipro や HCL などの認定システムインテグレーター（SI）パートナーが、パートナーサービスファンド（PSF）の対象となる専用の移行サービスを提供しています。