Managed Service for Apache Spark 執行階段 3.0

Spark 執行階段 3.0 版元件

元件 3.0.14
2026/08/25
3.0.13
2026/03/27

3.0.12
2026/03/20
3.0.11
2026/03/13
3.0.10
2026/03/06
Apache Spark 4.0.1 4.0.1 4.0.1 4.0.0 4.0.0
Cloud Storage 連接器 3.1.16 3.1.9 3.1.9 3.1.9 3.1.9
BigQuery 連接器 0.44.0 0.44.0 0.44.0 0.43.1-preview 0.43.1-preview
Java 21 21 21 21 21
Python 3.12 3.12 3.12 3.12 3.12
Scala 2.13 2.13 2.13 2.13 2.13

注意:

  • 3.0 執行階段預設使用 UTF-8 做為字元編碼。

  • 3.0 執行階段新功能和改善項目:

    • 根據預設,系統會使用區域和多可用區工作負載,提高運算資源的可用性
    • 啟動速度比先前的執行階段更快
    • 快速清理資源,在工作負載完成後更快釋出虛擬私有雲 IP
    • 根據預設,所有工作負載都會使用使用者憑證
    • 全新 bigquery Spark 目錄,預先設定好,可直接與 BigQuery 原生資料表互動
    • 新的 Spark Serverless 專屬 IAM 角色
    • 必須啟用新的 dataprocrm.googleapis.com API
  • 3.0 執行階段不支援和已淘汰的功能:

Python 程式庫

serverless-spark-3.0-debian-12 python 程式庫
套件名稱 版本
accelerate 1.11
bigframes 2.24
cookiecutter 2.6
cuda 12.9
cudnn 9.10
cython 3.1
dask 2025.10
dataproc-spark-connect 1.0.0
dataproc-ml 1.0.0rc1
datasets 4.0
deepspeed 0.17
delta-spark 4.0.0
evaluate 0.4
fastavro 1.12
fastparquet 2024 年 11 月
gcsfs 2025.3
Git 2.51
google-auth-oauthlib 1.2
google-cloud-aiplatform 1.121
google-cloud-bigquery 3.38
google-cloud-bigquery-storage 2.32
google-cloud-bigtable 2.34
google-cloud-container 2.59
google-cloud-datacatalog 3.27
google-cloud-dataproc 5.22
google-cloud-datastore 2.21
google-cloud-dlp 3.32
google-cloud-language 2.17
google-cloud-logging 3.12
google-cloud-monitoring 2.28
google-cloud-pubsub 2.31
google-cloud-redis 2.18
google-cloud-secret-manager 2.25
google-cloud-spanner 3.59
google-cloud-speech 2.33
google-cloud-storage 2.19
google-cloud-texttospeech 2.31
google-cloud-translate 3.21
google-cloud-vision 3.10
httplib2 0.31
huggingface_hub 0.36
ipyparallel 9.0
keyrings.google-artifactregistry-auth 1.1
langchain 1.0
lightgbm 4.6
mamba 2.3
markdown 3.9
nccl 2.27
nltk 3.9
nodejs 24.9
numba 0.61
numpy 2.1
oauth2client 4.1
onnx 1.17
openblas 0.3
opencv 4.11
orc 2.1
pandas 2.3
pyarrow 19.0
pydot 4.0
pyhive 0.7
pyiceberg 0.10
pymongo 4.15
pynvml 13.0
pytables 3.10
python 3.12
pytorch-gpu 2.6
regex 2025.10
要求 2.32
rtree 1.4
scikit-image 0.25
scikit-learn 1.7
scipy 1.15
seaborn 0.13
sentence-transformers 5.1
shap 0.48
spark-tensorflow-distributor 1.0
spacy 3.8
sqlalchemy 2.0
statsforecast 2.0
sympy 1.14
tensorflow-gpu 2.18
torcheval 0.0.7
torch 2.6
torchvision 0.21
tornado 6.5
transformers 4.57
uritemplate 4.2
virtualenv 20.35
wordcloud 1.9
xgboost 3.0.4
ydata-profiling 4.17