Managed Service for Apache Spark-Laufzeit 2.3

Komponenten der Spark-Laufzeitversion 2.3

Komponente 2.3.42
2026/09/23		 2.3.39
12.08.2026
 2.3.38
2026/08/07		 2.3.35
2026/06/09		 2.3.33
2026/05/11
Apache Spark 3.5.3 3.5.3 3.5.3 3.5.3 3.5.3
Cloud Storage-Connector 3.1.2 3.1.2 3.1.2 3.1.2 3.1.2
BigQuery-Connector 0.42.3 0.42.3 0.42.3 0.42.3 0.42.3
Java 17 17 17 17 17
Python Python 3.11 Python 3.11 Python 3.11 Python 3.11 Python 3.11
R 4,3 4,3 4,3 4,3 4,3
Scala 2.13 2.13 2.13 2.13 2.13

Hinweise:

  • Die 2.3-Laufzeit verwendet die Standardzeichencodierung UTF-8.

Spark-Laufzeitbibliotheken 2.3

Lernbibliotheken wie TensorFlow, PyTorch und XGBoost und bieten eine sofort einsatzbereite Umgebung für Anwendungen für maschinelles Lernen und Data Science.

In den folgenden Abschnitten sind die Bibliotheksversionen aufgeführt, die in der Managed Service for Apache Spark-Laufzeitversion 2.3 verfügbar sind.

GPU-spezifische Bibliotheken

Für Managed Service for Apache Spark-Batcharbeitslasten, die GPU-VMs verwenden, sind die folgenden NVIDIA-Treiber und -Bibliotheken im Managed Service for Apache Spark-Container verfügbar. Sie können sie für die folgenden Aufgaben verwenden:

Paketname Version
Spark cuDF 25.02.1
NVIDIA-Treiber 570.133.20
CUDA 12.9
cublas 12.9.0
cusolver 11.7.4
cupti 12.9
cusparse 12.5.9
cuDNN 9.10
NCCL 2,26

XGBoost-Bibliotheken

Die folgenden Maven-Paketversionen sind in der Managed Service for Apache Spark-Laufzeitversion 2.3 verfügbar, um XGBoost mit Spark in Java oder Scala zu verwenden.

Gruppen-ID Paketname Version
ml.dmlc xgboost4j-gpu_2.13 2.1.4
ml.dmlc xgboost4j-spark-gpu_2.13 2.1.4

Python-Bibliotheken

Die folgenden Python-Bibliotheksversionen sind in der Managed Service for Apache Spark-Laufzeitversion 2.3 enthalten.

serverless-spark-2.2-debian-12 python libraries
Paketname Version
beschleunigen 1,7
bigframes 2.4
cookiecutter 2,6
cython 3.1
dask 2025.5
Datasets 3,6
deepspeed 0,16
delta-spark 3.2
evaluate 0,4
fastavro 1.9
fastparquet 2024.11
gcsfs 2025.3
git 2,49
google-auth-oauthlib 1.2
google-cloud-aiplatform 1,94
google-cloud-bigquery 3,33
google-cloud-bigquery-storage 2,31
google-cloud-bigtable 2,31
google-cloud-container 2,56
google-cloud-datacatalog 3,27
google-cloud-dataproc 5.18
google-cloud-datastore 2.21
google-cloud-dlp 3,29
google-cloud-language 2,17
google-cloud-logging 3.12
google-cloud-monitoring 2,27
google-cloud-pubsub 2,29
google-cloud-redis 2,18
google-cloud-secret-manager 2,23
google-cloud-spanner 3,54
google-cloud-speech 2,32
google-cloud-storage 2,19
google-cloud-texttospeech 2,27
google-cloud-translate 3.20
google-cloud-vision 3,10
httplib2 0.22
huggingface_hub 0,31
ipyparallel 9,0
ipython-sql 0,3
ipywidgets 8.1
jupyter_http_over_ws 0,0
jupyterlab 4.4
jupyterlab-git 0,51
keyrings.google-artifactregistry-auth 1.1
langchain 0,3
lightgbm 4.6
markdown 3,8
matplotlib 3,9
nbclassic 1.3
nbconvert 7.16
nbdime 4,0
nltk 3,9
nodejs 22.13
numba 0,61
numpy 1,26
oauth2client 4.1
onnx 1.17
openblas 0,3
opencv 4.10
orc 2.0
pandas 2.2
Papierfabrik 2,6
pyarrow 15,0
pydot 4,0
pyhive 0,7
pyiceberg 0,9
pymongo 4.11
pynvml 12.0
pytables 3,10
pytorch-gpu 2.4
regex 2024.11
Anfragen 2,32
rtree 1,4
scikit-image 0,25
scikit-learn 1,6
scipy 1.13
seaborn 0,13
sentence-transformers 4.1
shap 0,47
spark-tensorflow-distributor 1,0
sparksql-magic 0.0.3
sqlalchemy 2.0
sympy 1,14
Tokenizer 0,21
torcheval 0.0.7
torchvision 0,19
toree 0,5
Tornado 6.5
transformers 4,52
uritemplate 4.1
virtualenv 20.31
wordcloud 1.9
xgboost 2.1
ydata-profiling 4,16

R-Bibliotheken

Die folgenden R-Bibliotheksversionen sind in der Managed Service for Apache Spark-Laufzeitversion 2.3 enthalten.

serverless-spark-2.2-debian-12 r libraries
Paketname Version
askpass 1.2
assertthat 0,2
Backports 1,5
Bit 4.6
bit64 4.6
blob 1.2
Stiefel 1.3_31
brew 1.0_10
Besen 1,0
callr 3,7
Caret-Zeichen 6.0_94
cellranger 1.1
chron 2.3_62
Klasse 7.3_23
Befehlszeile 3,6
clipr 0,8
Cluster 2.1
codetools 0.2_20
colorspace 2.1_1
commonmark 1.9
cpp11 0,5
Buntstift 1,5
curl 6.2
data.table 1.17
dbi 1.2
dbplyr 2,5
Ab 1,4
devtools 2.4
Hashwert 0,6
dplyr 1.1
Auslassungszeichen 0,3
evaluate 1,0
fansi 1,0
fastmap 1.2
forcats 1,0
foreach 1,5
foreign 0.8_90
fs 1,6
zukünftig 1,49
Generika 0,1
ggplot2 3,5
gh 1,4
glmnet 4.1_8
globals 0,18
glue 1.8
gower 1,0
gtable 0,3
haven 2,5
highr 0,11
HMS 1.1
htmltools 0.5.8
htmlwidgets 1,6
httpuv 1,6
httr 1,4
hwriter 1.3.2
ini 0,3
ipred 0.9_15
Isoband 0,2
Iteratoren 1,0
jsonlite 2.0
kernsmooth 2.23_26
knitr 1,50
Labeling 0,4
später 1,4
lattice 0.22_7
Lava 1.8
Lebenszyklus 1,0
listenv 0,9
lubridate 1.9
magrittr 2.0
markdown 2.0
Masse 7.3_60
matrix 1.6_5
memoise 2.0
mgcv 1.9_3
mime 0,13
modelmetrics 1.2.2
modelr 0,1
munsell 0,5
nlme 3.1_168
nnet 7.3_20
numderiv 2016.8_1
openssl 2.3
pillar 1.10
pkgbuild 1,4
pkgconfig 2.0
pkgload 1,4
plogr 0,2
plyr 1.8
praise 1,0
prettyunits 1.2
processx 3,8
prodlim 2025.04
progress 1.2
Versprechen 1.3
Proto 1,0
ps 1.9
purrr 1,0
r6 2,6
randomforest 4.7_1
rappdirs 0,3
rcmdcheck 1,4
rcolorbrewer 1.1_3
rcpp 1,0
rcurl 1.98_1
readr 2.1
readxl 1,4
rezepte 1.3
empfohlen 4.3
Revanche 2.0
Fernbedienungen 2,5
reprex 2.1
reshape2 1,4
rlang 1.1
rmarkdown 2,29
rodbc 1.3_25
roxygen2 7.3
rpart 4.1
rprojroot 2.0
rserve 1.8_14
rsqlite 2.3
rstudioapi 0,170
rvest 1,0
Waagen 1,4
selectr 0.4_2
sessioninfo 1.2
Form 1.4.6
shiny 1.10
sourcetools 0,1
räumlich 7.3_18
squarem 2021.1
stringi 1.8
stringr 1,5
Überleben 3.8_3
sys 3.4
teachingdemos 2,13
testthat 3.2
Tibble 3.2
tidyr 1.3
tidyselect 1.2
tidyverse 2.0
timedate 4041.110
tinytex 0.57
usethis 3.1
utf8 1.2
uuid 1.2_1
vctrs 0,6
whisker 0,4
withr 3
xfun 0,52
xml2 1.3
xopen 1,0
xtable 1.8_4
yaml 2.3
zip 2.3