"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

‫Managed Service for Apache Spark runtime 2.3

רכיבים של Spark runtime גרסה 2.3

רכיב	2.3.35 2026/06/09	2.3.33 2026/05/11	2.3.32 2026/05/03	2.3.31 2026/04/05	2.3.30 2026/03/27
‫Apache Spark	3.5.3	3.5.3	3.5.3	3.5.3	3.5.3
Cloud Storage Connector	3.1.2	3.1.2	3.1.2	3.1.2	3.1.2
BigQuery Connector	0.42.3	0.42.3	0.42.3	0.42.3	0.42.3
‫Java	17	17	17	17	17
‫Python	‫Python 3.11	‫Python 3.11	‫Python 3.11	‫Python 3.11	‫Python 3.11
R	4.3	4.3	4.3	4.3	4.3
Scala	2.13	2.13	2.13	2.13	2.13

הערות:

זמן הריצה של 2.3 משתמש בקידוד התווים שמוגדר כברירת מחדל ב-UTF-8.

ספריות של Spark runtime 2.3

ספריות למידה, כמו TensorFlow,‏ PyTorch ו-XGBoost, ומציעות סביבה מוכנה לשימוש עבור יישומים של למידת מכונה ומדע נתונים.

בקטעים הבאים מפורטות גרסאות הספריות שזמינות בגרסת זמן הריצה 2.3 של Managed Service for Apache Spark.

ספריות ספציפיות ל-GPU

עבור עומסי עבודה של עיבוד ברצף (batch processing) ב-Managed Service for Apache Spark שמשתמשים במכונות וירטואליות עם GPU, מנהלי ההתקנים והספריות הבאים של NVIDIA זמינים בקונטיינר של Managed Service for Apache Spark. אפשר להשתמש בהם כדי לבצע את המשימות הבאות:

האצת עומסי עבודה של אצווה ב-Spark באמצעות ספריית NVIDIA Spark Rapids
אימון עומסי עבודה של למידת מכונה
הרצת הסקה ברצף מבוזר באמצעות Spark

שם החבילה	גרסה
Spark Rapids	25.02.1
NVIDIA Driver	570.133.20
CUDA	12.9
cublas	12.9.0
cusolver	11.7.4
cupti	12.9
cusparse	12.5.9
cuDNN	9.10
NCCL	2.26

ספריות XGBoost

גרסאות החבילות של Maven שמפורטות בהמשך זמינות בגרסה 2.3 של זמן הריצה של Managed Service for Apache Spark, כדי להשתמש ב-XGBoost עם Spark ב-Java או ב-Scala.

מזהה קבוצה	שם החבילה	גרסה
ml.dmlc	xgboost4j-gpu_2.13	2.1.4
ml.dmlc	xgboost4j-spark-gpu_2.13	2.1.4

ספריות Python

גרסאות ספריית Python הבאות כלולות בגרסת זמן הריצה של Managed Service for Apache Spark‏ 2.3.

ספריות Python ב-serverless-spark-2.2-debian-12

שם החבילה	גרסה
להאיץ	1.7
bigframes	2.4
cookiecutter	2.6
cython	‫3.1
dask	2025.5
מערכי נתונים	3.6
deepspeed	0.16
delta-spark	‫3.2
להעריך	0.4
fastavro	‫1.9
fastparquet	2024.11
gcsfs	2025.3
‫Git	2.49
google-auth-oauthlib	1.2
google-cloud-aiplatform	1.94
google-cloud-bigquery	3.33
google-cloud-bigquery-storage	2.31
google-cloud-bigtable	2.31
google-cloud-container	2.56
google-cloud-datacatalog	3.27
google-cloud-dataproc	‫5.18
google-cloud-datastore	‫2.21
google-cloud-dlp	3.29
google-cloud-language	‫2.17
google-cloud-logging	‫3.12
google-cloud-monitoring	2.27
google-cloud-pubsub	2.29
google-cloud-redis	2.18
google-cloud-secret-manager	2.23
google-cloud-spanner	3.54
google-cloud-speech	2.32
google-cloud-storage	2.19
google-cloud-texttospeech	2.27
google-cloud-translate	3.20
google-cloud-vision	3.10
httplib2	‫0.22
huggingface_hub	0.31
ipyparallel	‫9.0
ipython-sql	0.3
ipywidgets	‫8.1
jupyter_http_over_ws	0.0
jupyterlab	4.4
jupyterlab-git	0.51
keyrings.google-artifactregistry-auth	‫1.1
langchain	0.3
lightgbm	4.6
markdown	3.8
matplotlib	3.9
nbclassic	‫1.3
nbconvert	7.16
nbdime	4.0
nltk	3.9
nodejs	‫22.13
numba	0.61
numpy	‫1.26
oauth2client	‫4.1
onnx	1.17
openblas	0.3
opencv	‫4.10
orc	2.0
פנדות	‫2.2
מפעל נייר	2.6
pyarrow	15.0
pydot	4.0
pyhive	0.7
pyiceberg	0.9
pymongo	‫4.11
pynvml	‫12.0
pytables	3.10
pytorch-gpu	2.4
regex	2024.11
בקשות	2.32
rtree	1.4
scikit-image	0.25
scikit-learn	1.6
scipy	‫1.13
seaborn	0.13
sentence-transformers	‫4.1
shap	0.47
spark-tensorflow-distributor	1.0
sparksql-magic	0.0.3
sqlalchemy	2.0
sympy	‫1.14
tokenizers	0.21
torcheval	0.0.7
torchvision	0.19
toree	‫0.5
טורנדו	6.5
טרנספורמציה	4.52
uritemplate	‫4.1
virtualenv	20.31
wordcloud	‫1.9
xgboost	‫2.1
ydata-profiling	4.16

ספריות R

הגרסאות הבאות של ספריית R כלולות בגרסת זמן הריצה של Managed Service for Apache Spark‏ 2.3.

serverless-spark-2.2-debian-12 r libraries

שם החבילה	גרסה
askpass	1.2
assertthat	0.2
היסבים בגרסאות מוקדמות יותר (backports)	‫1.5
ביט	4.6
bit64	4.6
blob	1.2
אתחול	1.3_31
חליטה	1.0_10
מטאטא	1.0
callr	‫3.7
סימן קרט	6.0_94
cellranger	‫1.1
chron	2.3_62
מחלקה	7.3_23
cli	3.6
clipr	0.8
אשכול	‫2.1
codetools	0.2_20
מרחב צבעים	2.1_1
CommonMark	‫1.9
cpp11	‫0.5
צבעי שעווה	‫1.5
curl	6.2
data.table	1.17
dbi	1.2
dbplyr	2.5
desc	1.4
devtools	2.4
תקציר	0.6
dplyr	‫1.1
שלוש נקודות	0.3
להעריך	1.0
fansi	1.0
fastmap	1.2
forcats	1.0
foreach	‫1.5
זר	0.8_90
fs	1.6
עתיד	‫1.49
גנריים	0.1
ggplot2	‫3.5
gh	1.4
glmnet	4.1_8
globals	0.18
דבק	1.8
גוור	1.0
gtable	0.3
מקום מפלט	2.5
highr	0.11
hms	‫1.1
htmltools	0.5.8
htmlwidgets	1.6
httpuv	1.6
httr	1.4
hwriter	1.3.2
ini	0.3
ipred	0.9_15
isoband	0.2
איטרטורים	1.0
jsonlite	2.0
kernsmooth	2.23_26
knitr	1.50
הוספת תוויות	0.4
מאוחר יותר	1.4
סריג	0.22_7
לבה	1.8
lifecycle	1.0
listenv	0.9
lubridate	‫1.9
magrittr	2.0
markdown	2.0
mass	7.3_60
מטריצה	1.6_5
לשנן	2.0
mgcv	1.9_3
פנטומימה	0.13
modelmetrics	1.2.2
modelr	0.1
munsell	‫0.5
nlme	3.1_168
nnet	‫7.3_20
numderiv	2016.8_1
openssl	‫2.3
עמוד	‫1.10
pkgbuild	1.4
pkgconfig	2.0
pkgload	1.4
plogr	0.2
plyr	1.8
שבח	1.0
prettyunits	1.2
processx	3.8
prodlim	2025.04
התקדמות	1.2
התחייבויות	‫1.3
proto	1.0
ps	‫1.9
purrr	1.0
r6	2.6
randomforest	4.7_1
rappdirs	0.3
rcmdcheck	1.4
rcolorbrewer	1.1_3
rcpp	1.0
rcurl	1.98_1
readr	‫2.1
readxl	1.4
מתכונים	‫1.3
מומלץ	4.3
משחק חוזר	2.0
שלטים	2.5
reprex	‫2.1
reshape2	1.4
rlang	‫1.1
rmarkdown	2.29
rodbc	1.3_25
roxygen2	‫7.3
rpart	‫4.1
rprojroot	2.0
rserve	1.8_14
rsqlite	‫2.3
rstudioapi	0.17
rvest	1.0
סולמות	1.4
selectr	0.4_2
sessioninfo	1.2
צורה	1.4.6
מבריק	‫1.10
sourcetools	0.1
מרחבי	7.3_18
squarem	2021.1
stringi	1.8
stringr	‫1.5
הישרדות	3.8_3
sys	3.4
teachingdemos	2.13
testthat	‫3.2
tibble	‫3.2
tidyr	‫1.3
tidyselect	1.2
tidyverse	2.0
timedate	4041.110
tinytex	0.57
usethis	‫3.1
utf8	1.2
uuid	1.2_1
vctrs	0.6
שפם	0.4
withr	3.0
xfun	0.52
xml2	‫1.3
xopen	1.0
xtable	‫1.8_4
yaml	‫2.3
מיקוד	‫2.3