Apache Spark용 서버리스 Spark 런타임 1.2.x

Spark 런타임 버전 1.2 구성요소

구성요소 1.2.61
2025/09/11		 1.2.61
2025/09/11
 1.2.61
2025/09/11		 1.2.60
2025/09/05		 1.2.59
2025/08/29
Apache Spark참고 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage 커넥터 3.0.3 3.0.3 3.0.3 3.0.3 3.0.3
BigQuery 커넥터 0.36.4 0.36.4 0.36.4 0.36.4 0.36.4
자바 17 17 17 17 17
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.12 2.12 2.12 2.12 2.12

참고:

1. Apache Spark용 서버리스 1.2 런타임은 UTF-8 기본 문자 인코딩을 사용합니다.

Spark 런타임 1.2 라이브러리

Apache Spark용 서버리스는 TensorFlow, PyTorch, XGBoost와 같은 인기 라이브러리를 사용하여 머신러닝 및 데이터 과학을 위한 사전 설치된 환경을 제공합니다.

다음 섹션에는 Apache Spark용 서버리스 런타임 버전 1.2에서 사용할 수 있는 라이브러리 버전이 나열되어 있습니다.

GPU 전용 라이브러리

GPU VM을 사용하는 Apache Spark용 서버리스 일괄 워크로드의 경우 Apache Spark용 서버리스 컨테이너에서 다음 NVIDIA 드라이버와 라이브러리를 사용할 수 있습니다. 이를 사용하여 다음 태스크를 수행할 수 있습니다.

패키지 이름 버전
Spark Rapids 24.04.0
NVIDIA 드라이버 550.127.05
CUDA 12.6
cublas 12.8.4
cusolver 11.7.3
cupti 12.8
cusparse 12.5.8
cuDNN 9.2
NCCL 2.22

XGBoost 라이브러리

다음 Maven 패키지 버전은 Apache Spark용 서버리스 런타임 버전 1.2에서 사용할 수 있으며, 이를 통해 Java 또는 Scala에서 Spark와 함께 XGBoost를 사용할 수 있습니다.

그룹 ID 패키지 이름 버전
ml.dmlc xgboost4j-gpu_2.12 2.0.3
ml.dmlc xgboost4j-spark-gpu_2.12 2.0.3

Python 라이브러리

다음 Python 라이브러리 버전은 Apache Spark용 서버리스 런타임 버전 1.2에 포함되어 있습니다.

serverless-spark-1.2-debian-12 Python 라이브러리
패키지 이름 버전
accelerate 0.33
bigframes 1.7
cookiecutter 2.6
cython 3.0
dask 2024년 5월
deepspeed 0.14
delta-spark 3.2
evaluate 0.4
fastavro 1.9
fastparquet 2024년 2월
gcsfs 2024년 5월
git 2.45
google-auth-oauthlib 1.2
google-cloud-aiplatform 1.60
google-cloud-bigquery 3.23
google-cloud-bigquery-storage 2.25
google-cloud-bigtable 2.23
google-cloud-container 2.45
google-cloud-datacatalog 3.19
google-cloud-dataproc 5.9
google-cloud-datastore 2.19
google-cloud-dlp 3.22
google-cloud-language 2.13
google-cloud-logging 3.10
google-cloud-monitoring 2.21
google-cloud-pubsub 2.21
google-cloud-redis 2.15
google-cloud-secret-manager 2.20
google-cloud-spanner 3.46
google-cloud-speech 2.26
google-cloud-storage 2.16
google-cloud-texttospeech 2.16
google-cloud-translate 3.15
google-cloud-vision 3.7
httplib2 0.22
huggingface_hub 0.27
ipyparallel 8.8
ipython-sql 0.3
ipywidgets 8.1
jupyter_http_over_ws 0.0
jupyterlab 4.1
jupyterlab-git 0.50
keyrings.google-artifactregistry-auth 1.1
langchain 0.2
lightgbm 4.5
markdown 3.6
matplotlib 3.8
nbclassic 1.0
nbconvert 7.16
nbdime 4.0
nltk 3.8
nodejs 20.12
numba 0.59
numpy 1.26
oauth2client 4.1
onnx 1.16
openblas 0.3
opencv 4.9
orc 2.0
pandas 2.2
papermill 2.6
pyarrow 15.0
pydot 2.0
pyhive 0.7
pymongo 4.7
pynvml 11.5
pytables 3.9
pytorch-cpu 2.3
regex 2024년 5월
요청 2.31
rtree 1.2
scikit-image 0.22
scikit-learn 1.5
scipy 1.11
seaborn 0.12
sentence-transformers 3.0
shap 0.45
spark-tensorflow-distributor 1.0
sparksql-magic= 0.0.3
sqlalchemy 2.0
sympy 1.12
tokenizers 0.19
torcheval 0.0.7
torchvision 0.18
toree 0.5
토네이도 6.4
transformers 4.43
uritemplate 4.1
virtualenv 20.26
wordcloud 1.9
xgboost 2.0
ydata-profiling 4.8

R 라이브러리

다음 R 라이브러리 버전은 Apache Spark용 서버리스 런타임 버전 1.2에 포함되어 있습니다.

serverless-spark-1.2-debian-12 r 라이브러리
패키지 이름 버전
askpass 1.2
assertthat 0.2
백포트 1.5
비트 4.0
bit64 4.0
blob 1.2
boot 1.3_30
brew 1.0_10
빗자루 1.0
callr 3.7
캐럿 6.0_94
cellranger 1.1
chron 2.3_61
클래스 7.3_22
CLI 3.6
clipr 0.8
클러스터 2.1
codetools 0.2_20
색상 공간 2.1_0
commonmark 1.9
cpp11 0.4
크레용 1.5
curl 5.1
data.table 1.15
dbi 1.2
dbplyr 2.5
내림차순 1.4
devtools 2.4
다이제스트 0.6
dplyr 1.1
생략 기호 0.3
evaluate 0.23
fansi 1.0
fastmap 1.2
forcats 1.0
foreach 1.5
외국 0.8_86
fs 1.6
future 1.33
제네릭 0.1
ggplot2 3.5
gh 1.4
glmnet 4.1_8
전역 0.16
glue 1.7
gower 1.0
gtable 0.3
haven 2.5
highr 0.10
hms 1.1
htmltools 0.5.8
htmlwidgets 1.6
httpuv 1.6
httr 1.4
hwriter 1.3.2
ini 0.3
ipred 0.9_14
isoband 0.2
반복자 1.0
jsonlite 1.8
kernsmooth 2.23_24
knitr 1.46
라벨 지정 0.4
나중에 1.3
격자 0.22_6
용암 1.7
lifecycle 1.0
listenv 0.9
lubridate 1.9
magrittr 2.0
markdown 1.12
mass 7.3_60
행렬 1.6_5
메모이제이션 2.0
mgcv 1.9_1
mime 0.12
modelmetrics 1.2.2
modelr 0.1
먼셀 0.5
nlme 3.1_164
nnet 7.3_19
numderiv 2016.8_1
openssl 2.2
pillar 1.9
pkgbuild 1.4
pkgconfig 2.0
pkgload 1.3
plogr 0.2
plyr 1.8
찬양 1.0
prettyunits 1.2
processx 3.8
prodlim 2023년 8월
progress 1.2
프라미스 1.3
proto 1.0
ps 1.7
purrr 1.0
r6 2.5
randomforest 4.7_1
rappdirs 0.3
rcmdcheck 1.4
rcolorbrewer 1.1_3
rcpp 1.0
rcurl 1.98_1
readr 2.1
readxl 1.4
레시피 1.0
다시 경기 2.0
리모컨 2.5
reprex 2.1
reshape2 1.4
rlang 1.1
rmarkdown 2.27
rodbc 1.3_23
roxygen2 7.3
rpart 4.1
rprojroot 2.0
rserve 1.8_7
rsqlite 2.3
rstudioapi 0.16
rvest 1.0
체중계 1.3
selectr 0.4_2
sessioninfo 1.2
shape 1.4.6
샤이니 1.8.1
sourcetools 0.1
공간 7.3_17
squarem 2021.1
stringi 1.8
stringr 1.5
생존 3.6_4
sys 3.4
teachingdemos 2.12
testthat 3.2.1
tibble 3.2
tidyr 1.3
tidyselect 1.2
tidyverse 2.0
timedate 4032.109
tinytex 0.51
usethis 2.2
utf8 1.2
uuid 1.2_0
vctrs 0.6
위스커 0.4
withr 3.0
xfun 0.44
xml2 1.3
xopen 1.0
xtable 1.8_4
yaml 2.3
우편번호 2.3