Managed Service for Apache Spark ステージング バケット

このドキュメントでは、Managed Service for Apache Spark サーバーレス ステージング バケットについて説明します。Spark ランタイム バージョン 3.0 より前のバージョンでバッチ ワークロードまたはインタラクティブ セッションを実行すると、Apache Spark 向けマネージド サービス サーバーレスは、プロジェクトに Cloud Storage ステージング バケットを作成するか、以前のバッチ作成リクエストからの既存のステージング バケットを再利用します。これは、Managed Service for Apache Spark クラスタによって作成されたデフォルトのバケットです。詳細については、クラスタのステージング バケットと一時バケットの Managed Service for Apache Spark をご覧ください。

Managed Service for Apache Spark は、ワークロードの依存関係、構成ファイル、ジョブドライバ コンソール出力をステージング バケットに保存します。

Managed Service for Apache Spark は、ワークロードがデプロイされる Compute Engine のゾーンに従い、Cloud Storage のロケーションにリージョンのステージング バケットを設定し、これらのプロジェクト レベルのロケーションごとのバケットを作成して管理します。Managed Service for Apache Spark で作成されたステージング バケットは、同じリージョン内のワークロード間で共有され、Cloud Storage の削除(復元可能)の保持期間が 0 秒に設定された状態で作成されます。