Composants Spark 3.0
Remarques :
L'environnement d'exécution
3.0utiliseUTF-8comme encodage de caractères par défaut.Nouvelles fonctionnalités et améliorations de l'environnement d'exécution :
3.0- Les charges de travail régionales et multizones sont utilisées par défaut pour augmenter la disponibilité des ressources de calcul.
- Démarrage plus rapide que les runtimes précédents
- Nettoyage rapide des ressources qui permet de libérer plus rapidement les adresses IP du VPC une fois la charge de travail terminée
- Les identifiants de l'utilisateur final sont utilisés pour toutes les charges de travail par défaut.
- Nouveau catalogue Spark
bigquerypréconfiguré pour les interactions avec les tables natives BigQuery prêtes à l'emploi - Nouveaux rôles IAM spécifiques à Spark sans serveur
- L'activation de la nouvelle API
dataprocrm.googleapis.comest requise
Fonctionnalités non compatibles et obsolètes de l'environnement d'exécution
3.0:Les environnements d'exécution
3.0ne sont pas compatibles avec Lightning Engine ni avec l'exécution de requêtes natives.Les runtimes
3.0n'utilisent pas les buckets staging Cloud Storage.Le serveur d'historique persistant (PHS) n'est pas compatible. Utilisez plutôt l'interface utilisateur Spark.
Les lots SparkR ne sont pas acceptés. Utilisez plutôt
sparklyr.Les sessions Jupyter ne sont pas prises en charge. Utilisez plutôt les sessions Spark Connect, la norme du secteur pour le développement Spark interactif.
Bibliothèques Python
| Nom du package | Version |
|---|---|
| accélérer | 1.11 |
| bigframes | 2,24 |
| cookiecutter | 2,6 |
| cuda | 12.9 |
| cudnn | 9.10 |
| cython | 3.1 |
| dask | 2025.10 |
| dataproc-spark-connect | 1.0.0 |
| dataproc-ml | 1.0.0rc1 |
| ensembles de données | 4.0 |
| deepspeed | 0.17 |
| delta-spark | 4.0.0 |
| evaluate | 0,4 |
| fastavro | 1.12 |
| fastparquet | 11/2024 |
| gcsfs | 2025.3 |
| git | 2,51 |
| google-auth-oauthlib | 1.2 |
| google-cloud-aiplatform | 1.121 |
| google-cloud-bigquery | 3,38 |
| google-cloud-bigquery-storage | 2,32 |
| google-cloud-bigtable | 2,34 |
| google-cloud-container | 2,59 |
| google-cloud-datacatalog | 3.27 |
| google-cloud-dataproc | 5.22 |
| google-cloud-datastore | 2.21 |
| google-cloud-dlp | 3.32 |
| google-cloud-language | 2,17 |
| google-cloud-logging | 3.12 |
| google-cloud-monitoring | 2,28 |
| google-cloud-pubsub | 2,31 |
| google-cloud-redis | 2,18 |
| google-cloud-secret-manager | 2,25 |
| google-cloud-spanner | 3,59 |
| google-cloud-speech | 2.33 |
| google-cloud-storage | 2,19 |
| google-cloud-texttospeech | 2,31 |
| google-cloud-translate | 3.21 |
| google-cloud-vision | 3,10 |
| httplib2 | 0,31 |
| huggingface_hub | 0,36 |
| ipyparallel | 9 |
| keyrings.google-artifactregistry-auth | 1.1 |
| langchain | 1.0 |
| lightgbm | 4.6 |
| mamba | 2.3 |
| markdown | 3.9 |
| nccl | 2.27 |
| nltk | 3.9 |
| nodejs | 24.9 |
| numba | 0.61 |
| numpy | 2.1 |
| oauth2client | 4.1 |
| onnx | 1.17 |
| openblas | 0,3 |
| opencv | 4.11 |
| orc | 2.1 |
| pandas | 2.3 |
| pyarrow | 19 |
| pydot | 4.0 |
| pyhive | 0,7 |
| pyiceberg | 0,10 |
| pymongo | 4.15 |
| pynvml | 13 |
| pytables | 3,10 |
| python | 3.12 |
| pytorch-gpu | 2,6 |
| regex | 2025.10 |
| requêtes | 2,32 |
| rtree | 1.4 |
| scikit-image | 0,25 |
| scikit-learn | 1,7 |
| scipy | 1.15 |
| seaborn | 0,13 |
| sentence-transformers | 5.1 |
| shap | 0,48 |
| spark-tensorflow-distributor | 1.0 |
| spacy | 3.8 |
| sqlalchemy | 2.0 |
| statsforecast | 2.0 |
| sympy | 1,14 |
| tensorflow-gpu | 2,18 |
| torcheval | 0.0.7 |
| torche | 2,6 |
| torchvision | 0,21 |
| tornade | 6,5 |
| transformers | 4.57 |
| uritemplate | 4.2 |
| virtualenv | 20.35 |
| wordcloud | 1.9 |
| xgboost | 3.0.4 |
| ydata-profiling | 4.17 |