Sem servidor para o tempo de execução do Apache Spark 2.2.x

Componentes da versão 2.2 do tempo de execução do Spark

Componente 2.2.61
2025/09/11		 2.2.61
2025/09/11
 2.2.61
2025/09/11		 2.2.60
2025/09/05		 2.2.59
2025/08/29
Apache SparkNota 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Conector do Cloud Storage 3.0.3 3.0.3 3.0.3 3.0.3 3.0.3
Conector do BigQuery 0.36.4 0.36.4 0.36.4 0.36.4 0.36.4
Java 17 17 17 17 17
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.13 2.13 2.13 2.13 2.13

Notas:

1. O tempo de execução do 2.2 usa a codificação de carateres predefinida do UTF-8.

Bibliotecas do tempo de execução do Spark 2.2

Bibliotecas de aprendizagem, como o TensorFlow, PyTorch e XGBoost, e oferecem um ambiente pronto a usar para aplicações de aprendizagem automática e ciência de dados.

As secções seguintes listam as versões da biblioteca disponíveis na versão 2.2 do tempo de execução do Serverless para Apache Spark.

Bibliotecas específicas da GPU

Para cargas de trabalho em lote do Serverless para Apache Spark que usam VMs de GPU, o seguinte controlador e bibliotecas da NVIDIA estão disponíveis no contentor do Serverless para Apache Spark. Pode usá-las para realizar as seguintes tarefas:

  • Acelere as cargas de trabalho em lote do Spark com a biblioteca NVIDIA Spark Rapids
  • Forme cargas de trabalho de aprendizagem automática
  • Execute a inferência em lote distribuída através do Spark
Nome do Pacote Versão
Spark Rapids 24.04.0
Controlador NVIDIA 550.127.05
CUDA 12.6
cublas 12.8.4
cusolver 11.7.3
cupti 12.8.90
cusparse 12.5.8
cuDNN 9.2
NCCL 2,22

Bibliotecas XGBoost

As seguintes versões do pacote Maven estão disponíveis na versão 2.2 do tempo de execução do Serverless para Apache Spark para usar o XGBoost com o Spark em Java ou Scala.

ID do grupo Nome do Pacote Versão
ml.dmlc xgboost4j-gpu_2.13 2.1.1
ml.dmlc xgboost4j-spark-gpu_2.13 2.1.1

Bibliotecas Python

As seguintes versões da biblioteca Python estão incluídas na versão do tempo de execução do Serverless para Apache Spark 2.2.

Bibliotecas Python serverless-spark-2.2-debian-12
Nome do Pacote Versão
acelerar 0,33
bigframes 1.7
cortador de biscoitos 2.6
cython 3,0
dask 2024.5
deepspeed 0,14
delta-spark 3.2
avaliar 0,4
fastavro 1,9
fastparquet 2024.2
gcsfs 2024.5
git 2,45
google-auth-oauthlib 1.2
google-cloud-aiplatform 1,60
google-cloud-bigquery 3,23
google-cloud-bigquery-storage 2,25
google-cloud-bigtable 2,23
google-cloud-container 2,45
google-cloud-datacatalog 3,19
google-cloud-dataproc 5,9
google-cloud-datastore 2,19
google-cloud-dlp 3.22
google-cloud-language 2.13
google-cloud-logging 3.10
google-cloud-monitoring 2.21
google-cloud-pubsub 2.21
google-cloud-redis 2,15
google-cloud-secret-manager 2,20
google-cloud-spanner 3,46
google-cloud-speech 2,26
google-cloud-storage 2.16
google-cloud-texttospeech 2.16
google-cloud-translate 3,15
google-cloud-vision 3,7
httplib2 0,22
huggingface_hub 0,27
ipyparallel 8,8
ipython-sql 0.3
ipywidgets 8.1
jupyter_http_over_ws 0.0
jupyterlab 4.1
jupyterlab-git 0,50
keyrings.google-artifactregistry-auth 1.1
langchain 0.2
lightgbm 4,5
markdown 3.6
matplotlib 3,8
nbclassic 1,0
nbconvert 7.16
nbdime 4,0
nltk 3,8
nodejs 20,12
numba 0,59
numpy 1,26
oauth2client 4.1
onnx 1.16
openblas 0.3
opencv 4,9
orc 2,0
pandas 2.2
fábrica de papel 2.6
pyarrow 15,0
pydot 2,0
pyhive 0,7
pymongo 4,7
pynvml 11,5
pytables 3,9
pytorch-cpu 2.3
regex 2024.5
pedidos 2,31
rtree 1.2
scikit-image 0,22
scikit-learn 1,5
scipy 1.11
seaborn 0,12
sentence-transformers 3,0
shap 0,45
spark-tensorflow-distributor 1,0
sparksql-magic 0.0.3
sqlalchemy 2,0
sympy 1.12
analisadores de tokens 0,19
torcheval 0.0.7
torchvision 0,18
toree 0,5
tornado 6.4
transformadores 4,43
uritemplate 4.1
virtualenv 20,26
wordcloud 1,9
xgboost 2,0
ydata-profiling 4,8

Bibliotecas R

As seguintes versões da biblioteca R estão incluídas na versão do tempo de execução do Serverless para Apache Spark 2.2.

serverless-spark-2.2-debian-12 r libraries
Nome do Pacote Versão
askpass 1.2
assertthat 0.2
backports 1,5
bit 4,0
bit64 4,0
blob 1.2
arranque 1.3_30
preparar 1.0_10
vassoura 1,0
callr 3,7
acento circunflexo 6.0_94
cellranger 1.1
cron 2.3_61
classe 7.3_22
cli 3.6
clipr 0,8
cluster 2.1
codetools 0.2_20
colorspace 2.1_0
commonmark 1,9
cpp11 0,4
lápis de cera 1,5
curl 5.1
data.table 1.15
dbi 1.2
dbplyr 2.5
desc 1,4
devtools 2.4
resumo 0,6
dplyr 1.1
reticências 0.3
avaliar 0,23
fansi 1,0
fastmap 1.2
forcats 1,0
foreach 1,5
estrangeiro 0.8_86
fs 1.6
futuro 1,33
medicamentos genéricos 0,1
ggplot2 3,5
gh 1,4
glmnet 4.1_8
globals 0,16
cola 1.7
gower 1,0
gtable 0.3
refúgio 2.5
highr 0,10
hms 1.1
htmltools 0.5.8
htmlwidgets 1.6
httpuv 1.6
httr 1,4
hwriter 1.3.2
ini 0.3
ipred 0.9_14
isoband 0.2
iteradores 1,0
jsonlite 1,8
kernsmooth 2.23_24
knitr 1,46
etiquetagem 0,4
mais tarde 1.3
retículo 0.22_6
lava 1.7
ciclo de vida 1,0
listenv 0,9
lubridate 1,9
magrittr 2,0
markdown 1.12
massa 7.3_60
matriz 1.6_5
memorizar 2,0
mgcv 1.9_1
mime 0,12
modelmetrics 1.2.2
modelr 0,1
munsell 0,5
nlme 3.1_164
nnet 7.3_19
numderiv 2016.8_1
openssl 2.2
pilar 1,9
pkgbuild 1,4
pkgconfig 2,0
pkgload 1.3
plogr 0.2
plyr 1,8
elogiar 1,0
prettyunits 1.2
processx 3,8
prodlim 08/2023
progresso 1.2
promessas 1.3
proto 1,0
ps 1.7
purrr 1,0
r6 2.5
randomforest 4.7_1
rappdirs 0.3
rcmdcheck 1,4
rcolorbrewer 1.1_3
rcpp 1,0
rcurl 1.98_1
readr 2.1
readxl 1,4
receitas 1,0
rematch 2,0
controlos remotos 2.5
reprex 2.1
reshape2 1,4
rlang 1.1
rmarkdown 2,27
rodbc 1.3_23
roxygen2 7.3
rpart 4.1
rprojroot 2,0
rserve 1.8_7
rsqlite 2.3
rstudioapi 0,16
rvest 1,0
balanças 1.3
selectr 0.4_2
sessioninfo 1.2
forma 1.4.6
brilhante 1.8.1
sourcetools 0,1
espacial 7.3_17
squarem 2021.1
stringi 1,8
stringr 1,5
sobrevivência 3.6_4
sys 3.4
teachingdemos 2.12
testthat 3.2.1
tibble 3.2
tidyr 1.3
tidyselect 1.2
tidyverse 2,0
timedate 4032.109
tinytex 0,51
usethis 2.2
utf8 1.2
uuid 1.2_0
vctrs 0,6
bigode 0,4
withr 3,0
xfun 0,44
xml2 1.3
xopen 1,0
xtable 1.8_4
yaml 2.3
código postal 2.3