Componentes da versão 3.0 do ambiente de execução do Spark
Observações:
O ambiente de execução
3.0usa oUTF-8como codificação de caracteres padrão.Novos recursos e melhorias do ambiente de execução
3.0:- As cargas de trabalho regionais e multizonais são usadas por padrão para aumentar a capacidade de obtenção de recursos de computação.
- Inicialização mais rápida do que os tempos de execução anteriores
- Limpeza rápida de recursos que permite a liberação mais rápida de IPs da VPC após a conclusão da carga de trabalho
- As credenciais do usuário final são usadas para todas as cargas de trabalho por padrão
- Novo catálogo do Spark
bigquery, pré-configurado para interações de tabela nativa do BigQuery prontas para uso - Novos papéis do IAM específicos do Spark sem servidor
- É necessário ativar a nova API
dataprocrm.googleapis.com
Funcionalidade incompatível e descontinuada do tempo de execução do
3.0:Os ambientes de execução
3.0não são compatíveis com o Lightning Engine e a execução de consultas nativas.Os tempos de execução
3.0+ não usam buckets de preparação do Cloud Storage.O servidor de histórico persistente (PHS) está indisponível. Em vez disso, use a interface do usuário do Spark.
Os lotes do SparkR não são compatíveis. Em vez disso, use
sparklyr.As sessões do Jupyter não são compatíveis. Em vez disso, use as sessões do Spark Connect, o padrão do setor para desenvolvimento interativo do Spark.
Bibliotecas do Python
| Nome do pacote | Versão |
|---|---|
| acelerar | 1.11 |
| bigframes | 2,24 |
| cookiecutter | 2,6 |
| cuda | 12,9 |
| cudnn | 9.10 |
| cython | 3.1 |
| dask | 2025.10 |
| dataproc-spark-connect | 1.0.0 |
| dataproc-ml | 1.0.0rc1 |
| conjuntos de dados | 4.0 |
| deepspeed | 0,17 |
| delta-spark | 4.0.0 |
| evaluate | 0,4 |
| fastavro | 1.12 |
| fastparquet | 11/2024 |
| gcsfs | 2025.3 |
| git | 2,51 |
| google-auth-oauthlib | 1.2 |
| google-cloud-aiplatform | 1.121 |
| google-cloud-bigquery | 3,38 |
| google-cloud-bigquery-storage | 2,32 |
| google-cloud-bigtable | 2,34 |
| google-cloud-container | 2,59 |
| google-cloud-datacatalog | 3,27 |
| google-cloud-dataproc | 5,22 |
| google-cloud-datastore | 2,21 |
| google-cloud-dlp | 3,32 |
| google-cloud-language | 2,17 |
| google-cloud-logging | 3.12 |
| google-cloud-monitoring | 2,28 |
| google-cloud-pubsub | 2,31 |
| google-cloud-redis | 2,18 |
| google-cloud-secret-manager | 2,25 |
| google-cloud-spanner | 3,59 |
| google-cloud-speech | 2.33 |
| google-cloud-storage | 2,19 |
| google-cloud-texttospeech | 2,31 |
| google-cloud-translate | 3,21 |
| google-cloud-vision | 3.10 |
| httplib2 | 0,31 |
| huggingface_hub | 0.36 |
| ipyparallel | 9,0 |
| keyrings.google-artifactregistry-auth | 1.1 |
| langchain | 1.0 |
| lightgbm | 4.6 |
| mamba | 2.3 |
| markdown | 3,9 |
| nccl | 2,27 |
| nltk | 3,9 |
| nodejs | 24,9 |
| numba | 0.61 |
| numpy | 2.1 |
| oauth2client | 4.1 |
| onnx | 1.17 |
| openblas | 0,3 |
| opencv | 4.11 |
| orc | 2.1 |
| pandas | 2.3 |
| pyarrow | 19,0 |
| pydot | 4.0 |
| pyhive | 0,7 |
| pyiceberg | 0,10 |
| pymongo | 4,15 |
| pynvml | 13.0 |
| pytables | 3.10 |
| python | 3.12 |
| pytorch-gpu | 2,6 |
| Regex | 2025.10 |
| solicitações | 2,32 |
| rtree | 1.4 |
| scikit-image | 0,25 |
| scikit-learn | 1,7 |
| scipy | 1.15 |
| seaborn | 0,13 |
| sentence-transformers | 5.1 |
| shap | 0,48 |
| spark-tensorflow-distributor | 1.0 |
| spacy | 3,8 |
| sqlalchemy | 2.0 |
| statsforecast | 2.0 |
| sympy | 1.14 |
| tensorflow-gpu | 2,18 |
| torcheval | 0.0.7 |
| lanterna | 2,6 |
| torchvision | 0,21 |
| tornado | 6,5 |
| transformadores | 4,57 |
| uritemplate | 4.2 |
| virtualenv | 20,35 |
| wordcloud | 1.9 |
| XGBoost | 3.0.4 |
| ydata-profiling | 4.17 |