Componenti della versione 3.0 del runtime Spark
Note:
Il runtime
3.0utilizzaUTF-8come codifica dei caratteri predefinita.Nuove funzionalità e miglioramenti del runtime
3.0:- I workload regionali e multizona vengono utilizzati per impostazione predefinita per aumentare l'ottenibilità delle risorse di calcolo
- Avvio più rapido rispetto ai runtime precedenti
- Pulizia rapida delle risorse che consente il rilascio più rapido degli IP VPC dopo il completamento del carico di lavoro
- Per impostazione predefinita, le credenziali utente finale vengono utilizzate per tutti i carichi di lavoro
- Nuovo catalogo Spark
bigquerypreconfigurato per interazioni native con le tabelle BigQuery pronte all'uso - Nuovi ruoli IAM specifici per Spark Serverless
- È richiesta l'abilitazione della nuova API
dataprocrm.googleapis.com
Funzionalità non supportate e deprecate del runtime
3.0:I runtime
3.0non supportano Lightning Engine e Native Query Execution.I runtime
3.0+ non utilizzano i bucket staging di Cloud Storage.Il server di cronologia permanente (PHS) non è supportato. Utilizza invece l'interfaccia utente Spark.
I batch SparkR non sono supportati. Utilizza invece
sparklyr.Le sessioni Jupyter non sono supportate. Utilizza invece le sessioni Spark Connect, lo standard del settore per lo sviluppo interattivo di Spark.
Librerie Python
| Nome pacchetto | Versione |
|---|---|
| accelerare | 1,11 |
| bigframes | 2,24 |
| cookiecutter | 2,6 |
| cuda | 12,9 |
| cudnn | 9.10 |
| cython | 3.1 |
| dask | 2025.10 |
| dataproc-spark-connect | 1.0.0 |
| dataproc-ml | 1.0.0rc1 |
| set di dati | 4.0 |
| deepspeed | 0,17 |
| delta-spark | 4.0.0 |
| evaluate | 0,4 |
| fastavro | 1,12 |
| fastparquet | 11/2024 |
| gcsfs | 2025.3 |
| git | 2,51 |
| google-auth-oauthlib | 1.2 |
| google-cloud-aiplatform | 1,121 |
| google-cloud-bigquery | 3,38 |
| google-cloud-bigquery-storage | 2,32 |
| google-cloud-bigtable | 2.34 |
| google-cloud-container | 2,59 |
| google-cloud-datacatalog | 3.27 |
| google-cloud-dataproc | 5.22 |
| google-cloud-datastore | 2.21 |
| google-cloud-dlp | 3,32 |
| google-cloud-language | 2.17 |
| google-cloud-logging | 3,12 |
| google-cloud-monitoring | 2,28 |
| google-cloud-pubsub | 2.31 |
| google-cloud-redis | 2.18 |
| google-cloud-secret-manager | 2,25 |
| google-cloud-spanner | 3,59 |
| google-cloud-speech | 2,33 |
| google-cloud-storage | 2,19 |
| google-cloud-texttospeech | 2.31 |
| google-cloud-translate | 3.21 |
| google-cloud-vision | 3.10 |
| httplib2 | 0,31 |
| huggingface_hub | 0,36 |
| ipyparallel | 9.0 |
| keyrings.google-artifactregistry-auth | 1.1 |
| langchain | 1.0 |
| lightgbm | 4,6 |
| mamba | 2.3 |
| markdown | 3,9 |
| nccl | 2.27 |
| nltk | 3,9 |
| nodejs | 24,9 |
| numba | 0,61 |
| numpy | 2.1 |
| oauth2client | 4.1 |
| onnx | 1,17 |
| openblas | 0,3 |
| opencv | 4.11 |
| orc | 2.1 |
| panda | 2.3 |
| pyarrow | 19.0 |
| pydot | 4.0 |
| pyhive | 0,7 |
| pyiceberg | 0,10 |
| pymongo | 4.15 |
| pynvml | 13.0 |
| pytables | 3.10 |
| python | 3,12 |
| pytorch-gpu | 2,6 |
| regex | 2025.10 |
| richieste | 2,32 |
| rtree | 1.4 |
| scikit-image | 0,25 |
| scikit-learn | 1,7 |
| scipy | 1,15 |
| seaborn | 0,13 |
| sentence-transformers | 5.1 |
| shap | 0,48 |
| spark-tensorflow-distributor | 1.0 |
| spacy | 3,8 |
| sqlalchemy | 2.0 |
| statsforecast | 2.0 |
| sympy | 1,14 |
| tensorflow-gpu | 2.18 |
| torcheval | 0.0.7 |
| torcia | 2,6 |
| torchvision | 0,21 |
| tromba d'aria | 6,5 |
| trasformatori | 4,57 |
| uritemplate | 4.2 |
| virtualenv | 20,35 |
| wordcloud | 1,9 |
| xgboost | 3.0.4 |
| ydata-profiling | 4.17 |