Managed Service untuk runtime Apache Spark 3.0

Lihat catatan rilis Managed Service untuk Apache Spark untuk mengetahui pemberitahuan update runtime Managed Service untuk Apache Spark terbaru.

Komponen Spark runtime versi 3.0

Komponen	3.0.13 2026/03/27	3.0.12 2026/03/20	3.0.11 2026/03/13	3.0.10 2026/03/06	3.0.9 2026/02/27
Apache Spark	4.0.1	4.0.1	4.0.0	4.0.0	4.0.0
Cloud Storage Connector	3.1.9	3.1.9	3.1.9	3.1.9	3.1.9
Konektor BigQuery	0.44.0	0.44.0	0.43.1-preview	0.43.1-preview	0.43.1-preview
Java	21	21	21	21	21
Python	3.12	3.12	3.12	3.12	3.12
Scala	2.13	2.13	2.13	2.13	2.13

Catatan:

• Runtime 3.0 menggunakan UTF-8 sebagai encoding karakter default.

• Fitur dan peningkatan baru runtime 3.0:

  • Workload regional dan multi-zona digunakan secara default untuk meningkatkan ketersediaan resource komputasi
  • Startup lebih cepat daripada runtime sebelumnya
  • Pembersihan resource cepat yang memungkinkan pelepasan IP VPC lebih cepat setelah penyelesaian beban kerja
  • Kredensial pengguna akhir digunakan untuk semua workload secara default
  • Katalog Spark bigquery baru, yang telah dikonfigurasi sebelumnya untuk interaksi tabel native BigQuery yang siap digunakan
  • Peran IAM khusus Spark Serverless baru
  • Pengaktifan API dataprocrm.googleapis.com baru diperlukan

• Fungsi yang tidak didukung dan tidak digunakan lagi di runtime 3.0:

  • Runtime 3.0 tidak mendukung Lightning Engine dan Eksekusi Kueri Native.

  • Runtime 3.0+ tidak menggunakan bucket staging Cloud Storage.

  • Persistent History Server (PHS) tidak didukung. Sebagai gantinya, gunakan UI Spark.

  • Batch SparkR tidak didukung. Sebagai gantinya, gunakan sparklyr.

  • Sesi Jupyter tidak didukung. Sebagai gantinya, gunakan sesi Spark Connect, standar industri untuk pengembangan Spark interaktif.

Library Python

Catatan: Anda tidak dapat menggunakan XGBoost Spark terdistribusi pada workload batch Managed Service for Apache Spark yang mengaktifkan penskalaan otomatis (perilaku default) karena node baru yang memulai penskalaan elastis tidak dapat menerima tugas baru dan tetap tidak aktif.

Untuk menggunakan XGBoost dengan workload batch, Anda dapat menetapkan properti spark.dynamicAllocation.enabled = false pada workload batch untuk menonaktifkan alokasi dinamis.

Nama Paket	Versi
mempercepat	1,11
bigframes	2.24
cookiecutter	2.6
cuda	12.9
cudnn	9.10
cython	3.1
dask	2025.10
dataproc-spark-connect	1.0.0
dataproc-ml	1.0.0rc1
datasets	4.0
deepspeed	0,17
delta-spark	4.0.0
evaluate	0,4
fastavro	1.12
fastparquet	2024.11
gcsfs	2025.3
git	2,51
google-auth-oauthlib	1,2
google-cloud-aiplatform	1.121
google-cloud-bigquery	3,38
google-cloud-bigquery-storage	2,32
google-cloud-bigtable	2.34
google-cloud-container	2,59
google-cloud-datacatalog	3.27
google-cloud-dataproc	5,22
google-cloud-datastore	2.21
google-cloud-dlp	3,32
google-cloud-language	2,17
google-cloud-logging	3.12
google-cloud-monitoring	2,28
google-cloud-pubsub	2,31
google-cloud-redis	2,18
google-cloud-secret-manager	2.25
google-cloud-spanner	3,59
google-cloud-speech	2,33
google-cloud-storage	2.19
google-cloud-texttospeech	2,31
google-cloud-translate	3.21
google-cloud-vision	3,10
httplib2	0,31
huggingface_hub	0,36
ipyparallel	9.0
keyrings.google-artifactregistry-auth	1.1
langchain	1.0
lightgbm	4.6
mamba	2.3
markdown	3.9
nccl	2,27
nltk	3.9
nodejs	24,9
numba	0,61
numpy	2.1
oauth2client	4.1
onnx	1.17
openblas	0,3
opencv	4.11
orc	2.1
pandas	2.3
pyarrow	19.0
pydot	4.0
pyhive	0,7
pyiceberg	0,10
pymongo	4,15
pynvml	13.0
pytables	3,10
python	3.12
pytorch-gpu	2.6
regex	2025.10
permintaan	2,32
rtree	1.4
scikit-image	0,25
scikit-learn	1,7
scipy	1,15
seaborn	0,13
sentence-transformers	5.1
bentuk	0,48
spark-tensorflow-distributor	1.0
spacy	3.8
sqlalchemy	2.0
statsforecast	2.0
sympy	1,14
tensorflow-gpu	2,18
torcheval	0.0.7
senter	2.6
torchvision	0,21
tornado	6.5
transformer	4,57
uritemplate	4.2
virtualenv	20.35
wordcloud	1.9
xgboost	3.0.4
ydata-profiling	4,17