Componentes de la versión 3.0 del tiempo de ejecución de Spark
Notas:
El entorno de ejecución de
3.0usaUTF-8como codificación de caracteres predeterminada.Nuevas funciones y mejoras del entorno de ejecución de
3.0:- Las cargas de trabajo regionales y de varias zonas se usan de forma predeterminada para aumentar la disponibilidad de los recursos de procesamiento.
- Inicio más rápido que los tiempos de ejecución anteriores
- Limpieza rápida de recursos que permite liberar más rápido las IPs de VPC después de que se completa la carga de trabajo
- Las credenciales del usuario final se usan para todas las cargas de trabajo de forma predeterminada
- Nuevo catálogo de
bigquerySpark, preconfigurado para interacciones listas para usar con tablas nativas de BigQuery - Nuevos roles de IAM específicos de Spark sin servidores
- Se requiere la habilitación de la nueva API de
dataprocrm.googleapis.com
Funcionalidad no compatible y desaprobada del tiempo de ejecución de
3.0:Los tiempos de ejecución de
3.0no admiten Lightning Engine ni Native Query Execution.Los tiempos de ejecución de
3.0+ no usan buckets de etapa de pruebas de Cloud Storage.No se admite el servidor de historial persistente (PHS). En su lugar, usa la IU de Spark.
No se admiten los lotes de SparkR. En su lugar, usa
sparklyr.No se admiten las sesiones de Jupyter. En su lugar, usa sesiones de Spark Connect, el estándar de la industria para el desarrollo interactivo de Spark.
Bibliotecas de Python
| Nombre del paquete | Versión |
|---|---|
| acelerar | 1.11 |
| bigframes | 2.24 |
| cookiecutter | 2.6 |
| cuda | 12.9 |
| cudnn | 9.10 |
| cython | 3.1 |
| dask | 2025.10 |
| dataproc-spark-connect | 1.0.0 |
| dataproc-ml | 1.0.0rc1 |
| conjuntos de datos | 4.0 |
| deepspeed | 0.17 |
| delta-spark | 4.0.0 |
| evaluate | 0.4 |
| fastavro | 1.12 |
| fastparquet | Noviembre de 2024 |
| gcsfs | 2025.3 |
| git | 2.51 |
| google-auth-oauthlib | 1.2 |
| google-cloud-aiplatform | 1.121 |
| google-cloud-bigquery | 3.38 |
| google-cloud-bigquery-storage | 2.32 |
| google-cloud-bigtable | 2.34 |
| google-cloud-container | 2.59 |
| google-cloud-datacatalog | 3.27 |
| google-cloud-dataproc | 5.22 |
| google-cloud-datastore | 2.21 |
| google-cloud-dlp | 3.32 |
| google-cloud-language | 2.17 |
| google-cloud-logging | 3.12 |
| google-cloud-monitoring | 2.28 |
| google-cloud-pubsub | 2.31 |
| google-cloud-redis | 2.18 |
| google-cloud-secret-manager | 2.25 |
| google-cloud-spanner | 3.59 |
| google-cloud-speech | 2.33 |
| google-cloud-storage | 2.19 |
| google-cloud-texttospeech | 2.31 |
| google-cloud-translate | 3.21 |
| google-cloud-vision | 3.10 |
| httplib2 | 0.31 |
| huggingface_hub | 0.36 |
| ipyparallel | 9.0 |
| keyrings.google-artifactregistry-auth | 1.1 |
| langchain | 1.0 |
| lightgbm | 4.6 |
| mamba | 2.3 |
| markdown | 3.9 |
| nccl | 2.27 |
| nltk | 3.9 |
| nodejs | 24.9 |
| numba | 0.61 |
| numpy | 2.1 |
| oauth2client | 4.1 |
| onnx | 1.17 |
| openblas | 0.3 |
| opencv | 4.11 |
| orc | 2.1 |
| pandas | 2.3 |
| pyarrow | 19.0 |
| pydot | 4.0 |
| pyhive | 0.7 |
| pyiceberg | 0.10 |
| pymongo | 4.15 |
| pynvml | 13.0 |
| pytables | 3.10 |
| python | 3.12 |
| pytorch-gpu | 2.6 |
| regex | 2025.10 |
| solicitudes | 2.32 |
| rtree | 1.4 |
| scikit-image | 0.25 |
| scikit-learn | 1.7 |
| scipy | 1.15 |
| seaborn | 0.13 |
| sentence-transformers | 5.1 |
| shap | 0.48 |
| spark-tensorflow-distributor | 1.0 |
| spacy | 3.8 |
| sqlalchemy | 2.0 |
| statsforecast | 2.0 |
| sympy | 1.14 |
| tensorflow-gpu | 2.18 |
| torcheval | 0.0.7 |
| linterna | 2.6 |
| torchvision | 0.21 |
| tornado | 6.5 |
| transformadores | 4.57 |
| uritemplate | 4.2 |
| virtualenv | 20.35 |
| wordcloud | 1.9 |
| xgboost | 3.0.4 |
| ydata-profiling | 4.17 |