Componentes da versão 1.2 do ambiente de execução do Spark
Observações:
1. O ambiente de execução 1.2 do Serviço Gerenciado para Apache Spark usa a codificação de caracteres padrão UTF-8.
Bibliotecas do ambiente de execução 1.2 do Spark
O Serviço Gerenciado para Apache Spark oferece um ambiente pré-instalado para machine learning e ciência de dados com bibliotecas conhecidas, como TensorFlow, PyTorch e XGBoost.
As seções a seguir listam as versões de biblioteca disponíveis na
versão 1.2 do ambiente de execução do Serviço Gerenciado para Apache Spark.
Bibliotecas específicas de GPU
Para cargas de trabalho em lote do Serviço Gerenciado para Apache Spark que usam VMs de GPU, o driver e as bibliotecas NVIDIA a seguir estão disponíveis no contêiner do Serviço Gerenciado para Apache Spark. Elas podem ser usadas para realizar as seguintes tarefas:
- Acelere as cargas de trabalho em lote do Spark com a biblioteca NVIDIA cuDF para Apache Spark
- Treinar cargas de trabalho de machine learning
- Executar inferência em lote distribuída usando o Spark
| Nome do pacote | Versão |
|---|---|
| Spark cuDF | 24.04.0 |
| Driver NVIDIA | 550.127.05 |
| CUDA | 12.6 |
| cublas | 12.8.4 |
| cusolver | 11.7.3 |
| cupti | 12,8 |
| cusparse | 12.5.8 |
| cuDNN | 9.2 |
| NCCL | 2,22 |
Bibliotecas XGBoost
As seguintes versões do pacote Maven
estão disponíveis na versão 1.2 do ambiente de execução do Serviço Gerenciado para Apache Spark para usar o
XGBoost com o Spark em Java ou Scala.
| ID do grupo | Nome do pacote | Versão |
|---|---|---|
| ml.dmlc | xgboost4j-gpu_2.12 | 2.0.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 2.0.3 |
Bibliotecas do Python
As seguintes versões da biblioteca Python estão incluídas na
versão 1.2 do ambiente de execução do Serviço Gerenciado para Apache Spark.
| Nome do pacote | Versão |
|---|---|
| acelerar | 0.33 |
| bigframes | 1,7 |
| cookiecutter | 2,6 |
| cython | 3.0 |
| dask | 2024.5 |
| deepspeed | 0,14 |
| delta-spark | 3.2 |
| evaluate | 0,4 |
| fastavro | 1.9 |
| fastparquet | 2024.2 |
| gcsfs | 2024.5 |
| git | 2,45 |
| google-auth-oauthlib | 1.2 |
| google-cloud-aiplatform | 1,60 |
| google-cloud-bigquery | 3,23 |
| google-cloud-bigquery-storage | 2,25 |
| google-cloud-bigtable | 2.23 |
| google-cloud-container | 2,45 |
| google-cloud-datacatalog | 3.19 |
| google-cloud-dataproc | 5,9 |
| google-cloud-datastore | 2,19 |
| google-cloud-dlp | 3,22 |
| google-cloud-language | 2,13 |
| google-cloud-logging | 3.10 |
| google-cloud-monitoring | 2,21 |
| google-cloud-pubsub | 2,21 |
| google-cloud-redis | 2.15 |
| google-cloud-secret-manager | 2,20 |
| google-cloud-spanner | 3.46 |
| google-cloud-speech | 2,26 |
| google-cloud-storage | 2,16 |
| google-cloud-texttospeech | 2,16 |
| google-cloud-translate | 3,15 |
| google-cloud-vision | 3.7 |
| httplib2 | 0.22 |
| huggingface_hub | 0,27 |
| ipyparallel | 8.8 |
| ipython-sql | 0,3 |
| ipywidgets | 8.1 |
| jupyter_http_over_ws | 0,0 |
| jupyterlab | 4.1 |
| jupyterlab-git | 0,50 |
| keyrings.google-artifactregistry-auth | 1.1 |
| langchain | 0,2 |
| lightgbm | 4.5 |
| markdown | 3.6 |
| matplotlib | 3,8 |
| nbclassic | 1.0 |
| nbconvert | 7.16 |
| nbdime | 4.0 |
| nltk | 3,8 |
| nodejs | 20.12 |
| numba | 0,59 |
| numpy | 1,26 |
| oauth2client | 4.1 |
| onnx | 1.16 |
| openblas | 0,3 |
| opencv | 4.9 |
| orc | 2.0 |
| pandas | 2.2 |
| papermill | 2,6 |
| pyarrow | 15 |
| pydot | 2.0 |
| pyhive | 0,7 |
| pymongo | 4.7 |
| pynvml | 11.5 |
| pytables | 3,9 |
| pytorch-cpu | 2.3 |
| Regex | 2024.5 |
| solicitações | 2,31 |
| rtree | 1.2 |
| scikit-image | 0.22 |
| scikit-learn | 1.5 |
| scipy | 1.11 |
| seaborn | 0,12 |
| sentence-transformers | 3.0 |
| shap | 0,45 |
| spark-tensorflow-distributor | 1.0 |
| sparksql-magic= | 0.0.3 |
| sqlalchemy | 2.0 |
| sympy | 1.12 |
| tokenizers | 0,19 |
| torcheval | 0.0.7 |
| torchvision | 0,18 |
| toree | 0,5 |
| tornado | 6,4 |
| transformers | 4.43 |
| uritemplate | 4.1 |
| virtualenv | 20.26 |
| wordcloud | 1.9 |
| XGBoost | 2.0 |
| ydata-profiling | 4.8 |
Bibliotecas R
As seguintes versões da biblioteca R estão incluídas na
versão 1.2 do ambiente de execução do Serviço Gerenciado para Apache Spark.
| Nome do pacote | Versão |
|---|---|
| askpass | 1.2 |
| assertthat | 0,2 |
| backports | 1.5 |
| bit | 4.0 |
| bit64 | 4.0 |
| blob | 1.2 |
| boot | 1.3_30 |
| brew | 1.0_10 |
| vassoura | 1.0 |
| callr | 3.7 |
| acento circunflexo | 6.0_94 |
| cellranger | 1.1 |
| chron | 2.3_61 |
| classe | 7.3_22 |
| CLI | 3.6 |
| clipr | 0,8 |
| cluster | 2.1 |
| codetools | 0.2_20 |
| colorspace | 2.1_0 |
| commonmark | 1.9 |
| cpp11 | 0,4 |
| giz de cera | 1.5 |
| curl | 5.1 |
| data.table | 1.15 |
| dbi | 1.2 |
| dbplyr | 2,5 |
| desc | 1.4 |
| devtools | 2.4 |
| resumo | 0,6 |
| dplyr | 1.1 |
| reticências | 0,3 |
| evaluate | 0,23 |
| fansi | 1.0 |
| fastmap | 1.2 |
| forcats | 1.0 |
| foreach | 1.5 |
| estrangeiro | 0.8_86 |
| fs | 1.6 |
| futuras | 1,33 |
| generics | 0,1 |
| ggplot2 | 3.5 |
| gh | 1.4 |
| glmnet | 4.1_8 |
| globals | 0,16 |
| cola | 1,7 |
| gower | 1.0 |
| gtable | 0,3 |
| haven | 2,5 |
| highr | 0,10 |
| hms | 1.1 |
| htmltools | 0.5.8 |
| htmlwidgets | 1.6 |
| httpuv | 1.6 |
| httr | 1.4 |
| hwriter | 1.3.2 |
| ini | 0,3 |
| ipred | 0.9_14 |
| isoband | 0,2 |
| iteradores | 1.0 |
| jsonlite | 1,8 |
| kernsmooth | 2.23_24 |
| knitr | 1,46 |
| Rotulação | 0,4 |
| mais tarde | 1.3 |
| lattice | 0.22_6 |
| lava | 1,7 |
| lifecycle | 1.0 |
| listenv | 0,9 |
| lubridate | 1.9 |
| magrittr | 2.0 |
| markdown | 1.12 |
| massa | 7.3_60 |
| matriz | 1.6_5 |
| memoise | 2.0 |
| mgcv | 1.9_1 |
| mime | 0,12 |
| modelmetrics | 1.2.2 |
| modelr | 0,1 |
| munsell | 0,5 |
| nlme | 3.1_164 |
| nnet | 7.3_19 |
| numderiv | 2016.8_1 |
| openssl | 2.2 |
| pilar | 1.9 |
| pkgbuild | 1.4 |
| pkgconfig | 2.0 |
| pkgload | 1.3 |
| plogr | 0,2 |
| plyr | 1,8 |
| praise | 1.0 |
| prettyunits | 1.2 |
| processx | 3,8 |
| prodlim | 08/2023 |
| para indicar seu progresso | 1.2 |
| promete | 1.3 |
| proto | 1.0 |
| ps | 1,7 |
| purrr | 1.0 |
| r6 | 2,5 |
| randomforest | 4.7_1 |
| rappdirs | 0,3 |
| rcmdcheck | 1.4 |
| rcolorbrewer | 1.1_3 |
| rcpp | 1.0 |
| rcurl | 1.98_1 |
| readr | 2.1 |
| readxl | 1.4 |
| recipes | 1.0 |
| rematch | 2.0 |
| remotos | 2,5 |
| reprex | 2.1 |
| reshape2 | 1.4 |
| rlang | 1.1 |
| rmarkdown | 2.27 |
| rodbc | 1.3_23 |
| roxygen2 | 7.3 |
| rpart | 4.1 |
| rprojroot | 2.0 |
| rserve | 1.8_7 |
| rsqlite | 2.3 |
| rstudioapi | 0,16 |
| rvest | 1.0 |
| escalas | 1.3 |
| selectr | 0.4_2 |
| sessioninfo | 1.2 |
| forma | 1.4.6 |
| brilhante | 1.8.1 |
| sourcetools | 0,1 |
| espacial | 7.3_17 |
| squarem | 2021.1 |
| stringi | 1,8 |
| stringr | 1.5 |
| sobrevivência | 3.6_4 |
| sys | 3.4 |
| teachingdemos | 2,12 |
| testthat | 3.2.1 |
| tibble | 3.2 |
| tidyr | 1.3 |
| tidyselect | 1.2 |
| tidyverse | 2.0 |
| timedate | 4032.109 |
| tinytex | 0,51 |
| usethis | 2.2 |
| utf8 | 1.2 |
| uuid | 1.2_0 |
| vctrs | 0,6 |
| whisker | 0,4 |
| withr | 3.0 |
| xfun | 0,44 |
| xml2 | 1.3 |
| xopen | 1.0 |
| xtable | 1.8_4 |
| yaml | 2.3 |
| zip | 2.3 |