Tiempo de ejecución 3.0 de Serverless para Apache Spark

Consulta las notas de la versión de Serverless para Apache Spark para ver los avisos más recientes sobre las actualizaciones del tiempo de ejecución de Serverless para Apache Spark.

Componentes de la versión 3.0 del tiempo de ejecución de Spark

Componente	3.0.1 2026/01/09	3.0.0 2025/12/04	3.0.0-RC6 2025/10/16	3.0.0-RC5 2025/10/06	3.0.0-RC4 2025/09/11
Apache Spark	4.0.0	4.0.0	4.0.0	4.0.0	4.0.0
Conector de Cloud Storage	3.1.9	3.1.9	3.1.5	3.1.5	3.1.5
Conector de BigQuery	0.43.1-preview	0.43.1-preview	0.42.3	0.42.3	0.42.3
Java	21	21	21	21	21
Python	3.12	3.12	3.12	3.12	3.12
Scala	2.13	2.13	2.13	2.13	2.13

Notas:

• El tiempo de ejecución de 3.0 usa UTF-8 como codificación de caracteres predeterminada.

• 3.0 nuevas funciones y mejoras del tiempo de ejecución:

  • Las cargas de trabajo regionales y multizonales se usan de forma predeterminada para aumentar la disponibilidad de los recursos de computación.
  • Inicio más rápido que los entornos de ejecución anteriores
  • Limpieza rápida de recursos que permite liberar más rápido las IPs de VPC después de completar la carga de trabajo
  • Las credenciales de usuario final se usan en todas las cargas de trabajo de forma predeterminada
  • Nuevo bigquery catálogo de Spark preconfigurado para interacciones nativas con tablas de BigQuery
  • Nuevos roles de gestión de identidades y accesos específicos de Spark sin servidor
  • Es necesario habilitar la nueva API dataproc-rm.googleapis.com

• Funciones no admitidas y obsoletas del entorno de ejecución 3.0:

  • No se admite el servidor de historial persistente (PHS). En su lugar, usa la interfaz de usuario de Spark.
  • No se admiten los lotes de SparkR. En su lugar, usa sparklyr.
  • No se admiten sesiones de Jupyter. En su lugar, usa sesiones de Spark Connect, el estándar del sector para el desarrollo interactivo de Spark.

Bibliotecas de Python

Nota: No puedes usar Spark XGBoost distribuido en una carga de trabajo por lotes de Serverless para Apache Spark que tenga el autoescalado habilitado (el comportamiento predeterminado), ya que los nuevos nodos que inician el escalado elástico no pueden recibir nuevas tareas y permanecen inactivos.

Para usar XGBoost con una carga de trabajo por lotes, puedes definir la propiedad spark.dynamicAllocation.enabled = false en una carga de trabajo por lotes para inhabilitar la asignación dinámica.

Nombre del paquete	Versión
acelerar	1.11
bigframes	2,24
cookiecutter	2.6
cuda	12.9
cudnn	9.10
Cython	3.1
dask	2025.10
dataproc-spark-connect	1.0.0
dataproc-ml	1.0.0rc1
datasets	4.0
DeepSpeed	0,17
delta-spark	4.0.0
evaluate	0,4
fastavro	1.12
fastparquet	11/2024
gcsfs	2025.3
git	2,51
google-auth-oauthlib	1.2
google-cloud-aiplatform	1,121
google-cloud-bigquery	3,38
google-cloud-bigquery-storage	2.32
google-cloud-bigtable	2,34
google-cloud-container	2.59
google-cloud-datacatalog	3.27
google-cloud-dataproc	5.22
google-cloud-datastore	2.21
google-cloud-dlp	3.32
google-cloud-language	2.17
google-cloud-logging	3.12
google-cloud-monitoring	2.28
google-cloud-pubsub	2,31
google-cloud-redis	2.18
google-cloud-secret-manager	2,25
google-cloud-spanner	3,59
google-cloud-speech	2,33
google-cloud-storage	2.19
google-cloud-texttospeech	2,31
google-cloud-translate	3.21
google-cloud-vision	3.10
httplib2	0,31
huggingface_hub	0,36
ipyparallel	9,0
keyrings.google-artifactregistry-auth	1.1
langchain	1.0
lightgbm	4,6
mamba	2.3
Markdown	3.9
nccl	2,27
nltk	3.9
nodejs	24,9
numba	0,61
numpy	2.1
oauth2client	4.1
onnx	1.17
openblas	0,3
opencv	4.11
orc	2.1
pandas	2.3
pyarrow	19,0
pydot	4.0
pyhive	0,7
pyiceberg	0,10
pymongo	4.15
pynvml	13,0
pytables	3.10
python	3.12
pytorch-gpu	2.6
regex	2025.10
solicitudes	2.32
rtree	1,4
scikit-image	0,25
scikit‑learn	1,7
scipy	1,15
marítimo	0,13
sentence-transformers	5.1
shap	0,48
spark-tensorflow-distributor	1.0
espacioso	3,8
sqlalchemy	2,0
statsforecast	2,0
sympy	1,14
tensorflow-gpu	2.18
torcheval	0.0.7
Linterna	2.6
torchvision	0,21
tornado	6,5
transformadores	4,57
uritemplate	4.2
virtualenv	20,35
nube de palabras	1.9
xgboost	3.0.4
ydata-profiling	4.17