Composants Spark 3.0
Remarques :
L'environnement d'exécution
3.0utiliseUTF-8comme encodage de caractères par défaut.Nouvelles fonctionnalités et améliorations de l'environnement d'exécution
3.0:- Les charges de travail régionales et multizones sont utilisées par défaut pour augmenter la disponibilité des ressources de calcul.
- Démarrage plus rapide que les runtimes précédents
- Nettoyage rapide des ressources permettant de libérer plus rapidement les adresses IP du VPC une fois la charge de travail terminée
- Les identifiants de l'utilisateur final sont utilisés pour toutes les charges de travail par défaut
- Nouveau catalogue Spark
bigquery, préconfiguré pour les interactions avec les tables natives BigQuery prêtes à l'emploi - Nouveaux rôles IAM spécifiques à Spark sans serveur
- L'activation de la nouvelle API
dataprocrm.googleapis.comest requise
Fonctionnalités non compatibles et obsolètes de l'environnement d'exécution
3.0:- Le serveur d'historique persistant (PHS) n'est pas compatible. Utilisez plutôt l'interface utilisateur Spark.
- Les lots SparkR ne sont pas acceptés. Utilisez plutôt
sparklyr. - Les sessions Jupyter ne sont pas prises en charge. Utilisez plutôt les sessions Spark Connect, la norme du secteur pour le développement Spark interactif.
Bibliothèques Python
| Nom du package | Version |
|---|---|
| accélérer | 1.11 |
| bigframes | 2,24 |
| cookiecutter | 2,6 |
| cuda | 12.9 |
| cudnn | 9.10 |
| cython | 3.1 |
| dask | 2025.10 |
| dataproc-spark-connect | 1.0.0 |
| dataproc-ml | 1.0.0rc1 |
| ensembles de données | 4.0 |
| deepspeed | 0.17 |
| delta-spark | 4.0.0 |
| evaluate | 0,4 |
| fastavro | 1.12 |
| fastparquet | 11/2024 |
| gcsfs | 2025.3 |
| git | 2,51 |
| google-auth-oauthlib | 1.2 |
| google-cloud-aiplatform | 1.121 |
| google-cloud-bigquery | 3,38 |
| google-cloud-bigquery-storage | 2,32 |
| google-cloud-bigtable | 2,34 |
| google-cloud-container | 2,59 |
| google-cloud-datacatalog | 3.27 |
| google-cloud-dataproc | 5.22 |
| google-cloud-datastore | 2.21 |
| google-cloud-dlp | 3.32 |
| google-cloud-language | 2,17 |
| google-cloud-logging | 3.12 |
| google-cloud-monitoring | 2,28 |
| google-cloud-pubsub | 2,31 |
| google-cloud-redis | 2,18 |
| google-cloud-secret-manager | 2,25 |
| google-cloud-spanner | 3,59 |
| google-cloud-speech | 2.33 |
| google-cloud-storage | 2,19 |
| google-cloud-texttospeech | 2,31 |
| google-cloud-translate | 3.21 |
| google-cloud-vision | 3,10 |
| httplib2 | 0,31 |
| huggingface_hub | 0,36 |
| ipyparallel | 9 |
| keyrings.google-artifactregistry-auth | 1.1 |
| langchain | 1.0 |
| lightgbm | 4.6 |
| mamba | 2.3 |
| markdown | 3.9 |
| nccl | 2.27 |
| nltk | 3.9 |
| nodejs | 24.9 |
| numba | 0.61 |
| numpy | 2.1 |
| oauth2client | 4.1 |
| onnx | 1.17 |
| openblas | 0,3 |
| opencv | 4.11 |
| orc | 2.1 |
| pandas | 2.3 |
| pyarrow | 19 |
| pydot | 4.0 |
| pyhive | 0,7 |
| pyiceberg | 0,10 |
| pymongo | 4.15 |
| pynvml | 13 |
| pytables | 3,10 |
| python | 3.12 |
| pytorch-gpu | 2,6 |
| regex | 2025.10 |
| requêtes | 2,32 |
| rtree | 1.4 |
| scikit-image | 0,25 |
| scikit-learn | 1,7 |
| scipy | 1.15 |
| seaborn | 0,13 |
| sentence-transformers | 5.1 |
| shap | 0,48 |
| spark-tensorflow-distributor | 1.0 |
| spacy | 3.8 |
| sqlalchemy | 2.0 |
| statsforecast | 2.0 |
| sympy | 1,14 |
| tensorflow-gpu | 2,18 |
| torcheval | 0.0.7 |
| torche | 2,6 |
| torchvision | 0,21 |
| tornade | 6,5 |
| transformers | 4.57 |
| uritemplate | 4.2 |
| virtualenv | 20.35 |
| wordcloud | 1.9 |
| xgboost | 3.0.4 |
| ydata-profiling | 4.17 |