Servicio administrado para el tiempo de ejecución de Apache Spark 1.2

Consulta las notas de la versión de Managed Service para Apache Spark para ver los avisos más recientes sobre las actualizaciones del entorno de ejecución de Managed Service para Apache Spark.

Componentes de la versión 1.2 del entorno de ejecución de Spark

Componente	1.2.80 2026/05/11	1.2.79 2026/05/03	1.2.78 2026/04/05	1.2.77 2026/03/27	1.2.76 2026/03/20
Apache Spark^Nota 1	3.5.1	3.5.1	3.5.1	3.5.1	3.5.1
Conector de Cloud Storage	3.0.3	3.0.3	3.0.3	3.0.3	3.0.3
Conector de BigQuery	0.36.4	0.36.4	0.36.4	0.36.4	0.36.4
Java	17	17	17	17	17
Conda	24.1	24.1	24.1	24.1	24.1
Python	3.12	3.12	3.12	3.12	3.12
R	4.3	4.3	4.3	4.3	4.3
Scala	2.12	2.12	2.12	2.12	2.12

Notas:

1. El entorno de ejecución 1.2 de Managed Service para Apache Spark usa la codificación de caracteres predeterminada UTF-8.

Bibliotecas de Spark Runtime 1.2

Managed Service para Apache Spark proporciona un entorno preinstalado para el aprendizaje automático y la ciencia de datos con bibliotecas populares como TensorFlow, PyTorch y XGBoost.

En las siguientes secciones, se enumeran las versiones de las bibliotecas disponibles en la versión 1.2 del entorno de ejecución de Managed Service para Apache Spark.

Bibliotecas específicas de la GPU

Para las cargas de trabajo por lotes de Managed Service para Apache Spark que usan VMs con GPU, los siguientes controladores y bibliotecas de NVIDIA están disponibles en el contenedor de Managed Service para Apache Spark. Puedes usarlos para realizar las siguientes tareas:

• Acelera las cargas de trabajo por lotes de Spark con la biblioteca de NVIDIA Spark Rapids
• Entrena cargas de trabajo de aprendizaje automático
• Ejecuta la inferencia por lotes distribuida con Spark

Nombre del paquete	Versión
Spark Rapids	24.04.0
Controlador de NVIDIA	550.127.05
CUDA	12.6
cublas	12.8.4
cusolver	11.7.3
cupti	12.8
cusparse	12.5.8
cuDNN	9.2
NCCL	2.22

Bibliotecas de XGBoost

Las siguientes versiones de paquetes de Maven están disponibles en la versión del entorno de ejecución 1.2 de Managed Service para Apache Spark para usar XGBoost con Spark en Java o Scala.

ID del grupo	Nombre del paquete	Versión
ml.dmlc	xgboost4j-gpu_2.12	2.0.3
ml.dmlc	xgboost4j-spark-gpu_2.12	2.0.3

Nota: No puedes usar XGBoost de Spark distribuido en una carga de trabajo por lotes de Managed Service para Apache Spark que tenga habilitado el escalado automático (el comportamiento predeterminado), ya que los nodos nuevos que inician el escalamiento elástico no pueden recibir tareas nuevas y permanecen inactivos. Para usar XGBoost con una carga de trabajo por lotes, puedes establecer la propiedad spark.dynamicAllocation.enabled = false en una carga de trabajo por lotes para inhabilitar la asignación dinámica.

Bibliotecas de Python

Las siguientes versiones de la biblioteca de Python se incluyen en la versión 1.2 del entorno de ejecución de Managed Service para Apache Spark.

Nombre del paquete	Versión
acelerar	0.33
bigframes	1.7
cookiecutter	2.6
cython	3.0
dask	2024.5
deepspeed	0.14
delta-spark	3.2
evaluate	0.4
fastavro	1.9
fastparquet	2024.2
gcsfs	2024.5
git	2.45
google-auth-oauthlib	1.2
google-cloud-aiplatform	1.60
google-cloud-bigquery	3.23
google-cloud-bigquery-storage	2.25
google-cloud-bigtable	2.23
google-cloud-container	2.45
google-cloud-datacatalog	3.19
google-cloud-dataproc	5.9
google-cloud-datastore	2.19
google-cloud-dlp	3.22
google-cloud-language	2.13
google-cloud-logging	3.10
google-cloud-monitoring	2.21
google-cloud-pubsub	2.21
google-cloud-redis	2.15
google-cloud-secret-manager	2.20
google-cloud-spanner	3.46
google-cloud-speech	2.26
google-cloud-storage	2.16
google-cloud-texttospeech	2.16
google-cloud-translate	3.15
google-cloud-vision	3.7
httplib2	0.22
huggingface_hub	0.27
ipyparallel	8.8
ipython-sql	0.3
ipywidgets	8.1
jupyter_http_over_ws	0.0
jupyterlab	4.1
jupyterlab-git	0.50
keyrings.google-artifactregistry-auth	1.1
langchain	0.2
lightgbm	4.5
markdown	3.6
matplotlib	3.8
nbclassic	1.0
nbconvert	7.16
nbdime	4.0
nltk	3.8
nodejs	20.12
numba	0.59
numpy	1.26
oauth2client	4.1
onnx	1.16
openblas	0.3
opencv	4.9
orc	2.0
pandas	2.2
papelera	2.6
pyarrow	15.0
pydot	2.0
pyhive	0.7
pymongo	4.7
pynvml	11.5
pytables	3.9
pytorch-cpu	2.3
regex	2024.5
solicitudes	2.31
rtree	1.2
scikit-image	0.22
scikit-learn	1.5
scipy	1.11
seaborn	0.12
sentence-transformers	3.0
shap	0.45
spark-tensorflow-distributor	1.0
sparksql-magic=	0.0.3
sqlalchemy	2.0
sympy	1.12
tokenizadores	0.19
torcheval	0.0.7
torchvision	0.18
toree	0.5
tornado	6.4
transformadores	4.43
uritemplate	4.1
virtualenv	20.26
wordcloud	1.9
xgboost	2.0
ydata-profiling	4.8

Bibliotecas de R

Las siguientes versiones de la biblioteca de R se incluyen en la versión 1.2 del entorno de ejecución de Managed Service para Apache Spark.

Nombre del paquete	Versión
askpass	1.2
assertthat	0.2
Versiones anteriores	1.5
bit	4.0
bit64	4.0
blob	1.2
boot	1.3_30
preparar	1.0_10
escoba	1.0
callr	3.7
signo de intercalación	6.0_94
cellranger	1.1
chron	2.3_61
clase	7.3_22
CLI	3.6
clipr	0.8
clúster	2.1
codetools	0.2_20
colorspace	2.1_0
CommonMark	1.9
cpp11	0.4
crayón	1.5
curl	5.1
data.table	1.15
dbi	1.2
dbplyr	2.5
desc	1.4
devtools	2.4
resumen	0.6
dplyr	1.1
elipsis	0.3
evaluate	0.23
fansi	1.0
fastmap	1.2
forcats	1.0
foreach	1.5
extranjero	0.8_86
fs	1.6
futuras	1.33
genéricos	0.1
ggplot2	3.5
gh	1.4
glmnet	4.1_8
globals	0.16
pegamento	1.7
Gower	1.0
gtable	0.3
refugio	2.5
highr	0.10
hms	1.1
htmltools	0.5.8
htmlwidgets	1.6
httpuv	1.6
httr	1.4
hwriter	1.3.2
ini	0.3
ipred	0.9_14
isoband	0.2
iteradores	1.0
jsonlite	1.8
kernsmooth	2.23_24
knitr	1.46
etiquetado	0.4
más tarde	1.3
celosía	0.22_6
lava	1.7
lifecycle	1.0
listenv	0.9
lubridate	1.9
magrittr	2.0
markdown	1.12
masa	7.3_60
matriz	1.6_5
memoise	2.0
mgcv	1.9_1
mime	0.12
modelmetrics	1.2.2
modelr	0.1
Munsell	0.5
nlme	3.1_164
nnet	7.3_19
numderiv	2016.8_1
openssl	2.2
pilar	1.9
pkgbuild	1.4
pkgconfig	2.0
pkgload	1.3
plogr	0.2
plyr	1.8
alabanza	1.0
prettyunits	1.2
processx	3.8
prodlim	2023.08
#googlecloudcertified	1.2
promesas	1.3
protocolo	1.0
ps	1.7
purrr	1.0
r6	2.5
randomforest	4.7_1
rappdirs	0.3
rcmdcheck	1.4
rcolorbrewer	1.1_3
rcpp	1.0
rcurl	1.98_1
readr	2.1
readxl	1.4
recipes	1.0
revancha	2.0
Controles remotos	2.5
reprex	2.1
reshape2	1.4
rlang	1.1
rmarkdown	2.27
rodbc	1.3_23
roxygen2	7.3
rpart	4.1
rprojroot	2.0
rserve	1.8_7
rsqlite	2.3
rstudioapi	0.16
rvest	1.0
Balanza	1.3
selectr	0.4_2
sessioninfo	1.2
forma	1.4.6
brillante	1.8.1
sourcetools	0.1
espacial	7.3_17
cuadradom	2021.1
stringi	1.8
stringr	1.5
supervivencia	3.6_4
sys	3.4
teachingdemos	2.12
testthat	3.2.1
tibble	3.2
tidyr	1.3
tidyselect	1.2
tidyverse	2.0
timedate	4032.109
tinytex	0.51
usethis	2.2
utf8	1.2
uuid	1.2_0
vctrs	0.6
bigote	0.4
withr	3.0
xfun	0.44
xml2	1.3
xopen	1.0
xtable	1.8_4
yaml	2.3
zip	2.3