Ambiente de execução do Managed Service for Apache Spark 1.2

Componentes da versão 1.2 do ambiente de execução do Spark

Componente 1.2.80
2026/05/11		 1.2.79
2026/05/03
 1.2.78
2026/04/05		 1.2.77
2026/03/27		 1.2.76
2026/03/20
Apache SparkObservação 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Conector do Cloud Storage 3.0.3 3.0.3 3.0.3 3.0.3 3.0.3
Conector do BigQuery 0.36.4 0.36.4 0.36.4 0.36.4 0.36.4
Java 17 17 17 17 17
Conda 24,1 24,1 24,1 24,1 24,1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.12 2.12 2.12 2.12 2.12

Observações:

1. O ambiente de execução 1.2 do Serviço Gerenciado para Apache Spark usa a codificação de caracteres padrão UTF-8.

Bibliotecas do ambiente de execução do Spark 1.2

O Serviço gerenciado para Apache Spark oferece um ambiente pré-instalado para machine learning e ciência de dados com bibliotecas conhecidas, como TensorFlow, PyTorch e XGBoost.

As seções a seguir listam as versões de biblioteca disponíveis na versão 1.2 do ambiente de execução do Serviço Gerenciado para Apache Spark.

Bibliotecas específicas da GPU

Para cargas de trabalho em lote do Serviço Gerenciado para Apache Spark que usam VMs com GPU, o driver e as bibliotecas da NVIDIA a seguir estão disponíveis no contêiner do Serviço Gerenciado para Apache Spark. Use-os para realizar as seguintes tarefas:

  • Acelere as cargas de trabalho em lote do Spark com a biblioteca NVIDIA Spark Rapids
  • Treinar cargas de trabalho de machine learning
  • Executar inferência em lote distribuída usando o Spark
Nome do pacote Versão
Spark Rapids 24.04.0
Driver NVIDIA 550.127.05
CUDA 12.6
cublas 12.8.4
cusolver 11.7.3
cupti 12,8
cusparse 12.5.8
cuDNN 9.2
NCCL 2,22

Bibliotecas XGBoost

As seguintes versões de pacote do Maven estão disponíveis na versão do ambiente de execução 1.2 do Serviço Gerenciado para Apache Spark para usar o XGBoost com o Spark em Java ou Scala.

ID do grupo Nome do pacote Versão
ml.dmlc xgboost4j-gpu_2.12 2.0.3
ml.dmlc xgboost4j-spark-gpu_2.12 2.0.3

Bibliotecas do Python

As seguintes versões da biblioteca Python estão incluídas na versão do ambiente de execução 1.2 do Serviço Gerenciado para Apache Spark.

Bibliotecas Python serverless-spark-1.2-debian-12
Nome do pacote Versão
acelerar 0.33
bigframes 1,7
cookiecutter 2,6
cython 3.0
dask 2024.5
deepspeed 0,14
delta-spark 3.2
evaluate 0,4
fastavro 1.9
fastparquet 2024.2
gcsfs 2024.5
git 2,45
google-auth-oauthlib 1.2
google-cloud-aiplatform 1,60
google-cloud-bigquery 3,23
google-cloud-bigquery-storage 2,25
google-cloud-bigtable 2,23
google-cloud-container 2,45
google-cloud-datacatalog 3.19
google-cloud-dataproc 5,9
google-cloud-datastore 2,19
google-cloud-dlp 3,22
google-cloud-language 2,13
google-cloud-logging 3.10
google-cloud-monitoring 2,21
google-cloud-pubsub 2,21
google-cloud-redis 2.15
google-cloud-secret-manager 2,20
google-cloud-spanner 3,46
google-cloud-speech 2,26
google-cloud-storage 2,16
google-cloud-texttospeech 2,16
google-cloud-translate 3,15
google-cloud-vision 3.7
httplib2 0.22
huggingface_hub 0,27
ipyparallel 8.8
ipython-sql 0,3
ipywidgets 8.1
jupyter_http_over_ws 0,0
jupyterlab 4.1
jupyterlab-git 0,50
keyrings.google-artifactregistry-auth 1.1
langchain 0,2
lightgbm 4.5
markdown 3.6
matplotlib 3,8
nbclassic 1.0
nbconvert 7.16
nbdime 4.0
nltk 3,8
nodejs 20.12
numba 0,59
numpy 1,26
oauth2client 4.1
onnx 1.16
openblas 0,3
opencv 4.9
orc 2.0
pandas 2.2
fábrica de papel 2,6
pyarrow 15
pydot 2.0
pyhive 0,7
pymongo 4.7
pynvml 11.5
pytables 3,9
pytorch-cpu 2.3
Regex 2024.5
solicitações 2,31
rtree 1.2
scikit-image 0.22
scikit-learn 1.5
scipy 1.11
seaborn 0,12
sentence-transformers 3.0
shap 0,45
spark-tensorflow-distributor 1.0
sparksql-magic= 0.0.3
sqlalchemy 2.0
sympy 1.12
tokenizadores 0,19
torcheval 0.0.7
torchvision 0,18
toree 0,5
tornado 6,4
transformadores 4,43
uritemplate 4.1
virtualenv 20,26
wordcloud 1.9
XGBoost 2.0
ydata-profiling 4.8

Bibliotecas R

As seguintes versões da biblioteca R estão incluídas na versão do ambiente de execução 1.2 do Serviço Gerenciado para Apache Spark.

serverless-spark-1.2-debian-12 r libraries
Nome do pacote Versão
askpass 1.2
assertthat 0,2
backports 1.5
bit 4.0
bit64 4.0
blob 1.2
boot 1.3_30
preparar 1.0_10
vassoura 1.0
callr 3.7
acento circunflexo 6.0_94
cellranger 1.1
chron 2.3_61
classe 7.3_22
CLI 3.6
clipr 0,8
cluster 2.1
codetools 0.2_20
colorspace 2.1_0
commonmark 1.9
cpp11 0,4
giz de cera 1.5
curl 5.1
data.table 1.15
dbi 1.2
dbplyr 2,5
desc 1.4
devtools 2.4
resumo 0,6
dplyr 1.1
reticências 0,3
evaluate 0,23
fansi 1.0
fastmap 1.2
forcats 1.0
foreach 1.5
estrangeiro 0.8_86
fs 1.6
futuras 1,33
genéricos 0,1
ggplot2 3.5
gh 1.4
glmnet 4.1_8
globais 0,16
cola 1,7
gower 1.0
gtable 0,3
haven 2,5
highr 0,10
hms 1.1
htmltools 0.5.8
htmlwidgets 1.6
httpuv 1.6
httr 1.4
hwriter 1.3.2
ini 0,3
ipred 0.9_14
isoband 0,2
iteradores 1.0
jsonlite 1,8
kernsmooth 2.23_24
knitr 1,46
rotulagem 0,4
depois 1.3
reticulado 0.22_6
lava 1,7
lifecycle 1.0
listenv 0,9
lubridate 1.9
magrittr 2.0
markdown 1.12
massa 7.3_60
matriz 1.6_5
memoize 2.0
mgcv 1.9_1
mime 0,12
modelmetrics 1.2.2
modelr 0,1
munsell 0,5
nlme 3.1_164
nnet 7.3_19
numderiv 2016.8_1
openssl 2.2
pilar 1.9
pkgbuild 1.4
pkgconfig 2.0
pkgload 1.3
plogr 0,2
plyr 1,8
elogiar 1.0
prettyunits 1.2
processx 3,8
prodlim 2023.08
para indicar seu progresso 1.2
promete 1.3
proto 1.0
ps 1,7
purrr 1.0
r6 2,5
randomforest 4.7_1
rappdirs 0,3
rcmdcheck 1.4
rcolorbrewer 1.1_3
rcpp 1.0
rcurl 1.98_1
readr 2.1
readxl 1.4
recipes 1.0
rematch 2.0
controles remotos 2,5
reprex 2.1
reshape2 1.4
rlang 1.1
rmarkdown 2,27
rodbc 1.3_23
roxygen2 7.3
rpart 4.1
rprojroot 2.0
rserve 1.8_7
rsqlite 2.3
rstudioapi 0,16
rvest 1.0
escalas 1.3
selectr 0.4_2
sessioninfo 1.2
forma 1.4.6
brilhante 1.8.1
sourcetools 0,1
espacial 7.3_17
squarem 2021.1
stringi 1,8
stringr 1.5
sobrevivência 3.6_4
sys 3.4
teachingdemos 2,12
testthat 3.2.1
tibble 3.2
tidyr 1.3
tidyselect 1.2
tidyverse 2.0
timedate 4032.109
tinytex 0,51
usethis 2.2
utf8 1.2
uuid 1.2_0
vctrs 0,6
bigode 0,4
withr 3.0
xfun 0,44
xml2 1.3
xopen 1.0
xtable 1.8_4
yaml 2.3
zip 2.3