Serverless for Apache Spark ランタイム 3.0

最新の Apache Spark 向け Serverless ランタイム更新に関する通知については、Apache Spark 向け Serverless リリースノートをご覧ください。

Spark ランタイム バージョン 3.0 のコンポーネント

コンポーネント	3.0.0 2025/12/04	3.0.0-RC6 2025/10/16	3.0.0-RC5 2025/10/06	3.0.0-RC4 2025/09/11	3.0.0-RC3 2025/09/08
Apache Spark	4.0.0	4.0.0	4.0.0	4.0.0	4.0.0
Cloud Storage コネクタ	3.1.9	3.1.5	3.1.5	3.1.5	3.1.5
BigQuery コネクタ	0.43.1-preview	0.42.3	0.42.3	0.42.3	0.42.3
Java	21	21	21	21	21
Python	3.12	3.12	3.12	3.12	3.12
Scala	2.13	2.13	2.13	2.13	2.13

注:

次の行を無効にします。 * 3.0 ランタイムは、デフォルトの文字エンコードとして UTF-8 を使用します。

• 3.0 ランタイムの新機能と改善点:

  • コンピューティング リソースの取得可能性を高めるために、リージョン ワークロードとマルチゾーン ワークロードがデフォルトで使用されます。
  • 以前のランタイムよりも起動が速い
  • ワークロードの完了後に VPC IP を迅速にリリースできる高速リソース クリーンアップ
  • エンドユーザー認証情報はデフォルトですべてのワークロードで使用される
  • すぐに使用できる BigQuery ネイティブ テーブルの操作用に事前構成された新しい bigquery Spark カタログ
  • Spark サーバーレス固有の新しい IAM ロール
  • 新しい dataproc-rm.googleapis.com API の有効化が必要

• 3.0 ランタイムでサポートされていない機能と非推奨の機能:

  • 永続的履歴サーバー（PHS）はサポートされていません。代わりに、Spark UI を使用してください。
  • SparkR バッチはサポートされていません。代わりに、sparklyr を使用してください。
  • Jupyter セッションはサポートされていません。代わりに、インタラクティブな Spark 開発の業界標準である Spark Connect セッションを使用します。