‫Serverless for Apache Spark runtime 2.3

רכיבים של Spark runtime גרסה 2.3

רכיב 2.3.25
2026/02/27		 2.3.24
2026/02/20
 2.3.23
2026/02/13		 2.3.22
2026/02/06		 2.3.20
2026/01/23
‫Apache Spark 3.5.3 3.5.3 3.5.3 3.5.3 3.5.3
Cloud Storage Connector 3.1.2 3.1.2 3.1.2 3.1.2 3.1.2
BigQuery Connector 0.42.3 0.42.3 0.42.3 0.42.3 0.42.3
‫Java 17 17 17 17 17
‫Python 3.11 3.11 3.11 3.11 3.11
R 4.3 4.3 4.3 4.3 4.3
Scala 2.13 2.13 2.13 2.13 2.13

הערות:

  • זמן הריצה של 2.3 משתמש בקידוד התווים שמוגדר כברירת מחדל ב-UTF-8.

ספריות של Spark runtime 2.3

ספריות למידה, כמו TensorFlow,‏ PyTorch ו-XGBoost, ומציעות סביבה מוכנה לשימוש עבור יישומי למידת מכונה ומדע נתונים.

בקטעים הבאים מפורטות גרסאות הספרייה שזמינות בגרסת זמן הריצה של Serverless for Apache Spark‏ 2.3.

ספריות ספציפיות ל-GPU

עבור עומסי עבודה של אצווה ב-Serverless for Apache Spark שמשתמשים במכונות וירטואליות עם GPU, מנהלי ההתקנים והספריות הבאים של NVIDIA זמינים בקונטיינר Serverless for Apache Spark. אפשר להשתמש בהם כדי לבצע את המשימות הבאות:

  • האצת עומסי עבודה של אצווה ב-Spark באמצעות ספריית NVIDIA Spark Rapids
  • אימון עומסי עבודה של למידת מכונה
  • הרצת הסקה ברצף מבוזרת באמצעות Spark
שם החבילה גרסה
Spark Rapids 25.02.1
NVIDIA Driver 570.133.20
CUDA 12.9
cublas 12.9.0
cusolver 11.7.4
cupti 12.9
cusparse 12.5.9
cuDNN 9.10
NCCL 2.26

ספריות XGBoost

גרסאות החבילות הבאות של Maven זמינות בגרסה 2.3 של זמן הריצה של Serverless for Apache Spark לשימוש ב-XGBoost עם Spark ב-Java או ב-Scala.

מזהה קבוצה שם החבילה גרסה
ml.dmlc xgboost4j-gpu_2.13 2.1.4
ml.dmlc xgboost4j-spark-gpu_2.13 2.1.4

ספריות Python

הגרסאות הבאות של ספריית Python כלולות בגרסת זמן הריצה של Serverless for Apache Spark‏ 2.3.

ספריות Python ב-serverless-spark-2.2-debian-12
שם החבילה גרסה
להאיץ 1.7
bigframes 2.4
cookiecutter ‫2.6
Cython ‫3.1
dask 2025.5
מערכי נתונים 3.6
deepspeed 0.16
delta-spark ‫3.2
הערכה 0.4
fastavro ‫1.9
fastparquet 2024.11
gcsfs 2025.3
git 2.49
google-auth-oauthlib 1.2
google-cloud-aiplatform 1.94
google-cloud-bigquery 3.33
google-cloud-bigquery-storage 2.31
google-cloud-bigtable 2.31
google-cloud-container 2.56
google-cloud-datacatalog 3.27
google-cloud-dataproc ‫5.18
google-cloud-datastore ‫2.21
google-cloud-dlp 3.29
google-cloud-language 2.17
google-cloud-logging 3.12
google-cloud-monitoring 2.27
google-cloud-pubsub 2.29
google-cloud-redis ‫2.18
google-cloud-secret-manager 2.23
google-cloud-spanner 3.54
google-cloud-speech ‫2.32
google-cloud-storage ‫2.19
google-cloud-texttospeech 2.27
google-cloud-translate 3.20
google-cloud-vision 3.10
httplib2 0.22
huggingface_hub 0.31
ipyparallel 9.0
ipython-sql 0.3
ipywidgets ‫8.1
jupyter_http_over_ws 0.0
jupyterlab 4.4
jupyterlab-git 0.51
keyrings.google-artifactregistry-auth ‫1.1
langchain 0.3
lightgbm 4.6
markdown 3.8
matplotlib 3.9
nbclassic ‫1.3
nbconvert 7.16
nbdime 4.0
nltk 3.9
nodejs 22.13
numba 0.61
numpy ‫1.26
oauth2client ‫4.1
onnx 1.17
openblas 0.3
opencv ‫4.10
orc 2.0
פנדות ‫2.2
מפעל נייר ‫2.6
pyarrow 15.0
pydot 4.0
pyhive 0.7
pyiceberg 0.9
pymongo ‫4.11
pynvml ‫12.0
pytables 3.10
pytorch-gpu 2.4
regex 2024.11
בקשות ‫2.32
rtree 1.4
scikit-image 0.25
scikit-learn 1.6
scipy ‫1.13
seaborn 0.13
sentence-transformers ‫4.1
shap 0.47
spark-tensorflow-distributor 1.0
sparksql-magic 0.0.3
sqlalchemy 2.0
sympy ‫1.14
tokenizers 0.21
torcheval 0.0.7
torchvision 0.19
toree ‫0.5
טורנדו 6.5
טרנספורמציה 4.52
uritemplate ‫4.1
virtualenv 20.31
wordcloud ‫1.9
xgboost ‫2.1
ydata-profiling 4.16

ספריות R

גרסאות הספרייה הבאות של R כלולות בגרסת זמן הריצה של Serverless ל-Apache Spark‏ 2.3.

serverless-spark-2.2-debian-12 r libraries
שם החבילה גרסה
askpass 1.2
assertthat 0.2
היסבים בגרסאות מוקדמות יותר (backports) 1.5
ביט 4.6
bit64 4.6
blob 1.2
אתחול 1.3_31
חליטה 1.0_10
מטאטא 1.0
callr ‫3.7
סימן קרט 6.0_94
cellranger ‫1.1
chron 2.3_62
מחלקה 7.3_23
cli 3.6
clipr ‫0.8
אשכול ‫2.1
codetools 0.2_20
מרחב צבעים 2.1_1
commonmark ‫1.9
cpp11 ‫0.5
צבעי שעווה 1.5
curl 6.2
data.table 1.17
dbi 1.2
dbplyr 2.5
desc 1.4
devtools 2.4
תקציר 0.6
dplyr ‫1.1
שלוש נקודות 0.3
הערכה 1.0
fansi 1.0
fastmap 1.2
forcats 1.0
foreach 1.5
זר 0.8_90
fs 1.6
עתיד ‫1.49
גנריים 0.1
ggplot2 3.5
gh 1.4
glmnet 4.1_8
globals 0.18
דבק 1.8
gower 1.0
gtable 0.3
מפלט 2.5
highr 0.11
hms ‫1.1
htmltools 0.5.8
htmlwidgets 1.6
httpuv 1.6
httr 1.4
hwriter 1.3.2
ini 0.3
ipred 0.9_15
isoband 0.2
איטרטורים 1.0
jsonlite 2.0
kernsmooth 2.23_26
knitr 1.50
הוספת תוויות 0.4
מאוחר יותר 1.4
סריג 0.22_7
לבה 1.8
lifecycle 1.0
listenv 0.9
lubridate ‫1.9
magrittr 2.0
markdown 2.0
מסה 7.3_60
מטריצה 1.6_5
לשנן 2.0
mgcv 1.9_3
פנטומימה 0.13
modelmetrics 1.2.2
modelr 0.1
munsell ‫0.5
nlme 3.1_168
nnet 7.3_20
numderiv 2016.8_1
openssl ‫2.3
עמוד ‫1.10
pkgbuild 1.4
pkgconfig 2.0
pkgload 1.4
plogr 0.2
plyr 1.8
שבח 1.0
prettyunits 1.2
processx 3.8
prodlim 2025.04
התקדמות 1.2
promises ‫1.3
proto 1.0
ps ‫1.9
purrr 1.0
r6 ‫2.6
randomforest 4.7_1
rappdirs 0.3
rcmdcheck 1.4
rcolorbrewer ‪1.1_3
rcpp 1.0
rcurl 1.98_1
readr ‫2.1
readxl 1.4
מתכונים ‫1.3
מומלץ ‫4.3
משחק חוזר 2.0
שלטים 2.5
reprex ‫2.1
reshape2 1.4
rlang ‫1.1
rmarkdown 2.29
rodbc 1.3_25
roxygen2 ‫7.3
rpart ‫4.1
rprojroot 2.0
rserve ‫1.8_14
rsqlite ‫2.3
rstudioapi 0.17
rvest 1.0
משקלים 1.4
selectr 0.4_2
sessioninfo 1.2
צורה סגורה 1.4.6
מבריק ‫1.10
sourcetools 0.1
מרחבי 7.3_18
squarem 2021.1
stringi 1.8
stringr 1.5
הישרדות 3.8_3
sys 3.4
teachingdemos 2.13
testthat ‫3.2
tibble ‫3.2
tidyr ‫1.3
tidyselect 1.2
tidyverse 2.0
timedate 4041.110
tinytex 0.57
usethis ‫3.1
utf8 1.2
uuid 1.2_1
vctrs 0.6
שפם 0.4
withr 3.0
xfun 0.52
xml2 ‫1.3
xopen 1.0
xtable 1.8_4
yaml ‫2.3
מיקוד ‫2.3