Runtime Serverless for Apache Spark 3.0

Lihat catatan rilis Serverless for Apache Spark untuk mengetahui pemberitahuan update runtime Serverless for Apache Spark terbaru.

Komponen Spark runtime versi 3.0

Komponen	3.0.7 2026/02/13	3.0.5 2026/02/06	3.0.4 2026/01/30	3.0.3 2026/01/23	3.0.1 2026/01/09
Apache Spark	4.0.0	4.0.0	4.0.0	4.0.0	4.0.0
Cloud Storage Connector	3.1.9	3.1.9	3.1.9	3.1.9	3.1.9
Konektor BigQuery	0.43.1-preview	0.43.1-preview	0.43.1-preview	0.43.1-preview	0.43.1-preview
Java	21	21	21	21	21
Python	3.12	3.12	3.12	3.12	3.12
Scala	2.13	2.13	2.13	2.13	2.13

Catatan:

• Runtime 3.0 menggunakan UTF-8 sebagai encoding karakter default.

• Fitur dan peningkatan baru runtime 3.0:

  • Workload regional dan multi-zona digunakan secara default untuk meningkatkan ketersediaan resource komputasi
  • Startup lebih cepat daripada runtime sebelumnya
  • Pembersihan resource cepat yang memungkinkan pelepasan IP VPC lebih cepat setelah penyelesaian beban kerja
  • Kredensial pengguna akhir digunakan untuk semua workload secara default
  • Katalog Spark bigquery baru, yang telah dikonfigurasi sebelumnya untuk interaksi tabel native BigQuery langsung
  • Peran IAM khusus Spark Serverless baru
  • Pengaktifan API dataprocrm.googleapis.com baru diperlukan

• Fungsi runtime 3.0 yang tidak didukung dan tidak digunakan lagi:

  • Persistent History Server (PHS) tidak didukung. Sebagai gantinya, gunakan UI Spark.
  • Batch SparkR tidak didukung. Sebagai gantinya, gunakan sparklyr.
  • Sesi Jupyter tidak didukung. Sebagai gantinya, gunakan sesi Spark Connect, standar industri untuk pengembangan Spark interaktif.

Library Python

Catatan: Anda tidak dapat menggunakan XGBoost Spark terdistribusi pada beban kerja batch Serverless for Apache Spark yang mengaktifkan penskalaan otomatis (perilaku default) karena node baru yang memulai penskalaan elastis tidak dapat menerima tugas baru dan tetap tidak ada aktivitas.

Untuk menggunakan XGBoost dengan workload batch, Anda dapat menetapkan properti spark.dynamicAllocation.enabled = false pada workload batch untuk menonaktifkan alokasi dinamis.

Nama Paket	Versi
mempercepat	1,11
bigframes	2.24
cookiecutter	2.6
cuda	12.9
cudnn	9.10
cython	3.1
dask	2025.10
dataproc-spark-connect	1.0.0
dataproc-ml	1.0.0rc1
datasets	4.0
deepspeed	0,17
delta-spark	4.0.0
evaluate	0,4
fastavro	1.12
fastparquet	2024.11
gcsfs	2025.3
git	2,51
google-auth-oauthlib	1,2
google-cloud-aiplatform	1.121
google-cloud-bigquery	3,38
google-cloud-bigquery-storage	2,32
google-cloud-bigtable	2,34
google-cloud-container	2,59
google-cloud-datacatalog	3.27
google-cloud-dataproc	5,22
google-cloud-datastore	2.21
google-cloud-dlp	3,32
google-cloud-language	2,17
google-cloud-logging	3.12
google-cloud-monitoring	2,28
google-cloud-pubsub	2,31
google-cloud-redis	2,18
google-cloud-secret-manager	2.25
google-cloud-spanner	3,59
google-cloud-speech	2,33
google-cloud-storage	2.19
google-cloud-texttospeech	2,31
google-cloud-translate	3.21
google-cloud-vision	3,10
httplib2	0,31
huggingface_hub	0,36
ipyparallel	9.0
keyrings.google-artifactregistry-auth	1.1
langchain	1.0
lightgbm	4.6
mamba	2.3
markdown	3.9
nccl	2,27
nltk	3.9
nodejs	24,9
numba	0,61
numpy	2.1
oauth2client	4.1
onnx	1.17
openblas	0,3
opencv	4.11
orc	2.1
pandas	2.3
pyarrow	19.0
pydot	4.0
pyhive	0,7
pyiceberg	0,10
pymongo	4,15
pynvml	13.0
pytables	3,10
python	3.12
pytorch-gpu	2.6
regex	2025.10
permintaan	2,32
rtree	1.4
scikit-image	0,25
scikit-learn	1,7
scipy	1,15
seaborn	0,13
sentence-transformers	5.1
shap	0,48
spark-tensorflow-distributor	1.0
spacy	3.8
sqlalchemy	2.0
statsforecast	2.0
sympy	1,14
tensorflow-gpu	2,18
torcheval	0.0.7
senter	2.6
torchvision	0,21
tornado	6.5
transformer	4,57
uritemplate	4.2
virtualenv	20.35
wordcloud	1.9
xgboost	3.0.4
ydata-profiling	4,17