Serverless for Apache Spark-Laufzeit 3.0

Die neuesten Hinweise zu Laufzeitupdates für Serverless for Apache Spark finden Sie in den Versionshinweisen zu Serverless for Apache Spark.

Spark-Laufzeitversion 3.0-Komponenten

Komponente	3.0.7 2026/02/13	3.0.5 2026/02/06	3.0.4 2026/01/30	3.0.3 2026/01/23	3.0.1 2026/01/09
Apache Spark	4.0.0	4.0.0	4.0.0	4.0.0	4.0.0
Cloud Storage-Connector	3.1.9	3.1.9	3.1.9	3.1.9	3.1.9
BigQuery-Connector	0.43.1-preview	0.43.1-preview	0.43.1-preview	0.43.1-preview	0.43.1-preview
Java	21	21	21	21	21
Python	3.12	3.12	3.12	3.12	3.12
Scala	2.13	2.13	2.13	2.13	2.13

Hinweise:

• Die 3.0-Laufzeit verwendet UTF-8 als Standardzeichencodierung.

• Neue Funktionen und Verbesserungen in der 3.0-Laufzeit:

  • Regionale und multizonale Arbeitslasten werden standardmäßig verwendet, um die Verfügbarkeit von Rechenressourcen zu erhöhen.
  • Schnellerer Start als bei früheren Runtimes
  • Schnelles Bereinigen von Ressourcen, sodass VPC-IPs nach Abschluss der Arbeitslast schneller freigegeben werden können
  • Standardmäßig werden Anmeldedaten für Endnutzer für alle Arbeitslasten verwendet.
  • Neuer bigquery-Spark-Katalog, der für die sofortige Interaktion mit nativen BigQuery-Tabellen vorkonfiguriert ist
  • Neue IAM-Rollen speziell für Spark Serverless
  • Neue dataprocrm.googleapis.com API-Aktivierung erforderlich

• 3.0-Laufzeitumgebung nicht unterstützt und eingestellte Funktionen:

  • Der Persistent History Server (PHS) wird nicht unterstützt. Verwenden Sie stattdessen die Spark-Benutzeroberfläche.
  • SparkR-Batches werden nicht unterstützt. Verwenden Sie stattdessen sparklyr.
  • Jupyter-Sitzungen werden nicht unterstützt. Verwenden Sie stattdessen Spark Connect-Sitzungen, den Branchenstandard für die interaktive Spark-Entwicklung.

Python-Bibliotheken

Hinweis :Sie können den verteilten Spark-XGBoost-Algorithmus nicht für eine Serverless for Apache Spark-Batcharbeitslast mit aktiviertem Autoscaling (Standardverhalten) verwenden, da neue Knoten, die mit dem elastischen Skalieren beginnen, keine neuen Aufgaben empfangen können und im Leerlauf bleiben.

Wenn Sie XGBoost mit einer Batch-Arbeitslast verwenden möchten, können Sie die Eigenschaft spark.dynamicAllocation.enabled = false für eine Batch-Arbeitslast festlegen, um die dynamische Zuweisung zu deaktivieren.

Paketname	Version
beschleunigen	1.11
bigframes	2,24
cookiecutter	2,6
cuda	12.9
cudnn	9.10
cython	3.1
dask	2025.10
dataproc-spark-connect	1.0.0
dataproc-ml	1.0.0rc1
Datasets	4,0
deepspeed	0,170
delta-spark	4.0.0
evaluate	0,4
fastavro	1.12
fastparquet	November 2024
gcsfs	2025.3
git	2.51
google-auth-oauthlib	1.2
google-cloud-aiplatform	1.121
google-cloud-bigquery	3,38
google-cloud-bigquery-storage	2,32
google-cloud-bigtable	2,34
google-cloud-container	2,59
google-cloud-datacatalog	3.27
google-cloud-dataproc	5.22
google-cloud-datastore	2.21
google-cloud-dlp	3.32
google-cloud-language	2,17
google-cloud-logging	3.12
google-cloud-monitoring	2,28
google-cloud-pubsub	2,31
google-cloud-redis	2,18
google-cloud-secret-manager	2,25
google-cloud-spanner	3,59
google-cloud-speech	2.33
google-cloud-storage	2,19
google-cloud-texttospeech	2,31
google-cloud-translate	3.21
google-cloud-vision	3,10
httplib2	0,31
huggingface_hub	0,36
ipyparallel	9,0
keyrings.google-artifactregistry-auth	1.1
langchain	1,0
lightgbm	4.6
mamba	2.3
Markdown	3,9
nccl	2.27
nltk	3,9
nodejs	24.9
numba	0,61
numpy	2.1
oauth2client	4.1
onnx	1.17
openblas	0,3
opencv	4.11
orc	2.1
pandas	2.3
pyarrow	19,0
pydot	4,0
pyhive	0,7
pyiceberg	0,10
pymongo	4.15
pynvml	13.0
pytables	3,10
Python	3.12
pytorch-gpu	2,6
regex	2025.10
Anfragen	2,32
rtree	1,4
scikit-image	0,25
scikit-learn	1,7
scipy	1,15
seaborn	0,13
sentence-transformers	5.1
shap	0,48
spark-tensorflow-distributor	1,0
spacy	3,8
sqlalchemy	2.0
statsforecast	2.0
sympy	1,14
tensorflow-gpu	2,18
torcheval	0.0.7
Fackel	2,6
torchvision	0,21
Tornado	6.5
transformers	4.57
uritemplate	4.2
virtualenv	20,350
wordcloud	1.9
xgboost	3.0.4
ydata-profiling	4.17