Runtime 3.0 di Serverless per Apache Spark

Consulta le note di rilascio di Serverless per Apache Spark per gli ultimi avvisi di aggiornamento del runtime di Serverless per Apache Spark.

Componenti della versione 3.0 del runtime Spark

Componente	3.0.7 2026/02/13	3.0.5 2026/02/06	3.0.4 2026/01/30	3.0.3 2026/01/23	3.0.1 2026/01/09
Apache Spark	4.0.0	4.0.0	4.0.0	4.0.0	4.0.0
Cloud Storage Connector	3.1.9	3.1.9	3.1.9	3.1.9	3.1.9
Connettore BigQuery	0.43.1-preview	0.43.1-preview	0.43.1-preview	0.43.1-preview	0.43.1-preview
Java	21	21	21	21	21
Python	3.12	3.12	3.12	3.12	3.12
Scala	2.13	2.13	2.13	2.13	2.13

Note:

• Il runtime 3.0 utilizza UTF-8 come codifica dei caratteri predefinita.

• 3.0 Nuove funzionalità e miglioramenti del runtime:

  • I workload regionali e multizona vengono utilizzati per impostazione predefinita per aumentare l'ottenibilità delle risorse di calcolo
  • Avvio più rapido rispetto ai runtime precedenti
  • Pulizia rapida delle risorse che consente il rilascio più rapido degli IP VPC dopo il completamento del carico di lavoro
  • Per impostazione predefinita, le credenziali utente finale vengono utilizzate per tutti i carichi di lavoro
  • Nuovo catalogo Spark bigquery preconfigurato per interazioni native con le tabelle BigQuery pronte all'uso
  • Nuovi ruoli IAM specifici per Spark Serverless
  • È richiesta la nuova abilitazione dell'API dataprocrm.googleapis.com

• Funzionalità non supportate e deprecate del runtime 3.0:

  • Persistent History Server (PHS) non è supportato. Utilizza invece la UI di Spark.
  • I batch SparkR non sono supportati. Utilizza invece sparklyr.
  • Le sessioni Jupyter non sono supportate. Utilizza invece le sessioni Spark Connect, lo standard del settore per lo sviluppo interattivo di Spark.

Librerie Python

Nota: non puoi utilizzare Spark XGBoost distribuito in un workload batch di Serverless per Apache Spark con la scalabilità automatica attivata (il comportamento predefinito) perché i nuovi nodi che avviano la scalabilità elastica non possono ricevere nuove attività e rimangono inattivi.

Per utilizzare XGBoost con un carico di lavoro batch, puoi impostare la proprietà spark.dynamicAllocation.enabled = false su un carico di lavoro batch per disattivare l'allocazione dinamica.

Nome pacchetto	Versione
accelerare	1,11
bigframes	2,24
cookiecutter	2,6
cuda	12,9
cudnn	9.10
cython	3.1
dask	2025.10
dataproc-spark-connect	1.0.0
dataproc-ml	1.0.0rc1
set di dati	4.0
deepspeed	0,17
delta-spark	4.0.0
evaluate	0,4
fastavro	1,12
fastparquet	11/2024
gcsfs	2025.3
git	2,51
google-auth-oauthlib	1.2
google-cloud-aiplatform	1,121
google-cloud-bigquery	3,38
google-cloud-bigquery-storage	2,32
google-cloud-bigtable	2,34
google-cloud-container	2,59
google-cloud-datacatalog	3.27
google-cloud-dataproc	5.22
google-cloud-datastore	2.21
google-cloud-dlp	3.32
google-cloud-language	2.17
google-cloud-logging	3,12
google-cloud-monitoring	2,28
google-cloud-pubsub	2.31
google-cloud-redis	2.18
google-cloud-secret-manager	2,25
google-cloud-spanner	3,59
google-cloud-speech	2,33
google-cloud-storage	2,19
google-cloud-texttospeech	2.31
google-cloud-translate	3.21
google-cloud-vision	3.10
httplib2	0,31
huggingface_hub	0,36
ipyparallel	9.0
keyrings.google-artifactregistry-auth	1.1
langchain	1.0
lightgbm	4,6
mamba	2.3
markdown	3,9
nccl	2,27
nltk	3,9
nodejs	24,9
numba	0,61
numpy	2.1
oauth2client	4.1
onnx	1,17
openblas	0,3
opencv	4.11
orc	2.1
panda	2.3
pyarrow	19.0
pydot	4.0
pyhive	0,7
pyiceberg	0,10
pymongo	4.15
pynvml	13.0
pytables	3.10
python	3,12
pytorch-gpu	2,6
regex	2025.10
richieste	2,32
rtree	1.4
scikit-image	0,25
scikit-learn	1,7
scipy	1,15
seaborn	0,13
sentence-transformers	5.1
shap	0,48
spark-tensorflow-distributor	1.0
spacy	3,8
sqlalchemy	2.0
statsforecast	2.0
sympy	1,14
tensorflow-gpu	2.18
torcheval	0.0.7
torcia	2,6
torchvision	0,21
tromba d'aria	6,5
trasformatori	4,57
uritemplate	4.2
virtualenv	20,35
wordcloud	1,9
xgboost	3.0.4
ydata-profiling	4.17