Serverless for Apache Spark Spark 執行階段 2.2.x

Spark 執行階段版本 2.2 元件

元件 2.2.61
2025/09/11		 2.2.61
2025/09/11
 2.2.61
2025/09/11		 2.2.60
2025/09/05		 2.2.59
2025/08/29
Apache Spark附註 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage 連接器 3.0.3 3.0.3 3.0.3 3.0.3 3.0.3
BigQuery 連接器 0.36.4 0.36.4 0.36.4 0.36.4 0.36.4
Java 17 17 17 17 17
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.13 2.13 2.13 2.13 2.13

注意：

1. 2.2 執行階段會使用UTF-8預設字元編碼。

Spark 執行階段 2.2 程式庫

學習程式庫，例如 TensorFlow、PyTorch 和 XGBoost，並提供機器學習和資料科學應用程式的即用型環境。

以下各節列出 Serverless for Apache Spark 執行階段版本 2.2 提供的程式庫版本。

GPU 專用程式庫

對於使用 GPU VM 的 Serverless for Apache Spark 批次工作負載，Serverless for Apache Spark 容器提供下列 NVIDIA 驅動程式和程式庫。您可以使用這些函式完成下列工作：

  • 使用 NVIDIA Spark Rapids 程式庫，加速處理 Spark 批次工作負載
  • 訓練機器學習工作負載
  • 使用 Spark 執行分散式批次推論
套件名稱 版本
Spark Rapids 24.04.0
NVIDIA 驅動程式 550.127.05
CUDA 12.6
cublas 12.8.4
cusolver 11.7.3
cupti 12.8.90
cusparse 12.5.8
cuDNN 9.2
NCCL 2.22

XGBoost 程式庫

在 Serverless for Apache Spark 執行階段版本 2.2 中，您可以使用下列 Maven 套件版本，透過 Java 或 Scala 在 Spark 中使用 XGBoost。

群組 ID 套件名稱 版本
ml.dmlc xgboost4j-gpu_2.13 2.1.1
ml.dmlc xgboost4j-spark-gpu_2.13 2.1.1
屬性設為停用動態分配。

Python 程式庫

Serverless for Apache Spark 執行階段版本 2.2 包含下列 Python 程式庫版本。

serverless-spark-2.2-debian-12 python 程式庫
套件名稱 版本
加速 0.33
bigframes 1.7
cookiecutter 2.6
cython 3.0
dask 2024 年 5 月
deepspeed 0.14
delta-spark 3.2
evaluate 0.4
fastavro 1.9
fastparquet 2024 年 2 月
gcsfs 2024 年 5 月
Git 2.45
google-auth-oauthlib 1.2
google-cloud-aiplatform 1.60
google-cloud-bigquery 3.23
google-cloud-bigquery-storage 2.25
google-cloud-bigtable 2.23
google-cloud-container 2.45
google-cloud-datacatalog 3.19
google-cloud-dataproc 5.9
google-cloud-datastore 2.19
google-cloud-dlp 3.22
google-cloud-language 2.13
google-cloud-logging 3.10
google-cloud-monitoring 2.21
google-cloud-pubsub 2.21
google-cloud-redis 2.15
google-cloud-secret-manager 2.20
google-cloud-spanner 3.46
google-cloud-speech 2.26
google-cloud-storage 2.16
google-cloud-texttospeech 2.16
google-cloud-translate 3.15
google-cloud-vision 3.7
httplib2 0.22
huggingface_hub 0.27
ipyparallel 8.8
ipython-sql 0.3
ipywidgets 8.1
jupyter_http_over_ws 0.0
jupyterlab 4.1
jupyterlab-git 0.50
keyrings.google-artifactregistry-auth 1.1
langchain 0.2
lightgbm 4.5
markdown 3.6
matplotlib 3.8
nbclassic 1.0
nbconvert 7.16
nbdime 4.0
nltk 3.8
nodejs 20.12
numba 0.59
numpy 1.26
oauth2client 4.1
onnx 1.16
openblas 0.3
opencv 4.9
orc 2.0
pandas 2.2
papermill 2.6
pyarrow 15.0
pydot 2.0
pyhive 0.7
pymongo 4.7
pynvml 11.5
pytables 3.9
pytorch-cpu 2.3
regex 2024 年 5 月
要求 2.31
rtree 1.2
scikit-image 0.22
scikit-learn 1.5
scipy 1.11
seaborn 0.12
sentence-transformers 3.0
shap 0.45
spark-tensorflow-distributor 1.0
sparksql-magic 0.0.3
sqlalchemy 2.0
sympy 1.12
分詞器 0.19
torcheval 0.0.7
torchvision 0.18
toree 0.5
龍捲風 6.4
轉換器 4.43
uritemplate 4.1
virtualenv 20.26
wordcloud 1.9
xgboost 2.0
ydata-profiling 4.8

R 程式庫

Serverless for Apache Spark 執行階段版本 2.2 包含下列 R 程式庫版本。

serverless-spark-2.2-debian-12 r libraries
套件名稱 版本
askpass 1.2
assertthat 0.2
backports 1.5
b 4.0
bit64 4.0
blob 1.2
boot 1.3_30
沖泡 1.0_10
掃帚 1.0
callr 3.7
插入符號 6.0_94
cellranger 1.1
chron 2.3_61
類別 7.3_22
CLI 3.6
clipr 0.8
叢集 2.1
codetools 0.2_20
colorspace 2.1_0
commonmark 1.9
cpp11 0.4
蠟筆 1.5
curl 5.1
data.table 1.15
dbi 1.2
dbplyr 2.5
遞減 1.4
開發人員工具 2.4
摘要 0.6
dplyr 1.1
省略符號 0.3
evaluate 0.23
fans 1.0
fastmap 1.2
forcats 1.0
foreach 1.5
外國 0.8_86
fs 1.6
future 1.33
泛型 0.1
ggplot2 3.5
gh 1.4
glmnet 4.1_8
globals 0.16
膠水 1.7
gower 1.0
gtable 0.3
haven 2.5
highr 0.10
hms 1.1
htmltools 0.5.8
htmlwidgets 1.6
httpuv 1.6
httr 1.4
hwriter 1.3.2
ini 0.3
ipred 0.9_14
isoband 0.2
疊代器 1.0
jsonlite 1.8
kernsmooth 2.23_24
knitr 1.46
標籤 0.4
稍後 1.3
格狀 0.22_6
熔岩 1.7
lifecycle 1.0
listenv 0.9
lubridate 1.9
magrittr 2.0
markdown 1.12
mass 7.3_60
矩陣 1.6_5
記憶 2.0
mgcv 1.9_1
mime 0.12
modelmetrics 1.2.2
modelr 0.1
munsell 0.5
nlme 3.1_164
nnet 7.3_19
numderiv 2016.8_1
openssl 2.2
支柱 1.9
pkgbuild 1.4
pkgconfig 2.0
pkgload 1.3
plogr 0.2
plyr 1.8
讚美 1.0
prettyunits 1.2
processx 3.8
prodlim 2023 年 8 月
progress 1.2
promise 1.3
proto 1.0
ps 1.7
purrr 1.0
r6 2.5
randomforest 4.7_1
rappdirs 0.3
rcmdcheck 1.4
rcolorbrewer 1.1_3
rcpp 1.0
rcurl 1.98_1
readr 2.1
readxl 1.4
食譜 1.0
重新比對 2.0
遙控器 2.5
reprex 2.1
reshape2 1.4
rlang 1.1
rmarkdown 2.27
rodbc 1.3_23
roxygen2 7.3
rpart 4.1
rprojroot 2.0
rserve 1.8_7
rsqlite 2.3
rstudioapi 0.16
rvest 1.0
體重計 1.3
selectr 0.4_2
sessioninfo 1.2
形狀 1.4.6
閃亮 1.8.1
sourcetools 0.1
空間 7.3_17
squarem 2021.1
stringi 1.8
stringr 1.5
存續 3.6_4
sys 3.4
teachingdemos 2.12
testthat 3.2.1
tibble 3.2
tidyr 1.3
tidyselect 1.2
tidyverse 2.0
timedate 4032.109
tinytex 0.51
usethis 2.2
utf8 1.2
uuid 1.2_0
vctrs 0.6
鬍鬚 0.4
withr 3.0
xfun 0.44
xml2 1.3
xopen 1.0
xtable 1.8_4
yaml 2.3
zip 2.3