Versi image rilis 2.3.x

Komponen	2.3.37-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/09/30	2.3.36-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/09/04	2.3.35-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/08/19	2.3.34-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/07/15	2.3.33-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/06/30
Tindakan inisialisasi ^Apache Atlas	2.2.0	2.2.0	2.2.0	2.2.0	2.2.0
Komponen opsional ^Apache Flink	1.17.0	1.17.0	1.17.0	1.17.0	1.17.0
Apache Hadoop ^diinstal	3.3.6	3.3.6	3.3.6	3.3.6	3.3.6
Apache Hive ^diinstal	3.1.3	3.1.3	3.1.3	3.1.3	3.1.3
Apache Hive WebHCat ^komponen opsional	3.1.3	3.1.3	3.1.3	3.1.3	3.1.3
Komponen opsional ^Apache Hudi	0.15.0	0.15.0	0.15.0	0.15.0	0.15.0
Komponen opsional ^Apache Iceberg	1.6.1	1.6.1	1.6.1	1.6.1	1.6.1
Tindakan inisialisasi ^Apache Kafka	3.1.0	3.1.0	3.1.0	3.1.0	3.1.0
Komponen opsional ^Apache Pig	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT
Apache Spark ^diinstal	3.5.3	3.5.3	3.5.3	3.5.3	3.5.3
Tindakan inisialisasi ^Apache Sqoop	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT
Apache Tez ^diinstal	0.10.2	0.10.2	0.10.2	0.10.2	0.10.2
Konektor BigQuery ^diinstal	0.42.3	0.42.3	0.42.3	0.42.3	0.42.3
konektor Cloud Storage ^diinstal	3.1.13	3.1.13	3.1.13	3.1.13	3.1.13
Conscrypt ^diinstal	2.5.2	2.5.2	2.5.2	2.5.2	2.5.2
Komponen opsional ^Delta Lake	3.2.1	3.2.1	3.2.1	3.2.1	3.2.1
Docker ^komponen opsional	28.1	28.1	28.1	28.1	28.1
Tindakan inisialisasi ^Hue	4.11.0	4.11.0	4.11.0	4.11.0	4.11.0
Java ^diinstal	11	11	11	11	11
Notebook JupyterLab ^komponen opsional	3.6	3.6	3.6	3.6	3.6
Oozie ^Oozie	5.2.1	5.2.1	5.2.1	5.2.1	5.2.1
Python ^terinstal	micromamba 2.0.5 dengan Python 3.11	micromamba 2.0.5 dengan Python 3.11	micromamba 2.0.5 dengan Python 3.11	micromamba 2.0.5 dengan Python 3.11	micromamba 2.0.5 dengan Python 3.11
R ^diinstal	R 4.3	R 4.3	R 4.3	R 4.3	R 4.3
Komponen opsional ^Ranger	2.4.0	2.4.0	2.4.0	2.4.0	2.4.0
Scala ^diinstal	2.12.18	2.12.18	2.12.18	2.12.18	2.12.18
Solr ^komponen opsional	9.4.1	9.4.1	9.4.1	9.4.1	9.4.1
Trino ^Trino	432	432	432	432	432
Notebook Zeppelin ^komponen opsional	0.10.1	0.10.1	0.10.1	0.10.1	0.10.1
Zookeeper ^komponen opsional	3.9.5	3.9.5	3.9.5	3.9.5	3.9.5

Catatan:

• Versi 2.3 adalah image ringan yang hanya berisi komponen inti, sehingga mengurangi eksposur terhadap Common Vulnerabilities and Exposures (CVE). Untuk persyaratan kepatuhan keamanan yang lebih tinggi, gunakan versi image 2.3atau yang lebih baru, saat membuat cluster Managed Service untuk Apache Spark.

• Jika Anda memilih untuk menginstal komponen opsional saat membuat cluster Managed Service untuk Apache Spark dengan image 2.3, komponen tersebut akan didownload dan diinstal selama pembuatan cluster. Hal ini dapat meningkatkan waktu startup cluster. Untuk menghindari penundaan ini, Anda dapat membuat image kustom dengan komponen opsional yang telah diinstal sebelumnya. Hal ini dilakukan dengan menjalankan generate_custom_image.py dengan flag --optional-components.

  Catatan: Anda harus menentukan komponen opsional yang ingin diinstal saat membuat cluster. Untuk mengetahui informasi selengkapnya, lihat Menambahkan komponen opsional.
  Contoh berikut menunjukkan perintah Google Cloud CLI untuk membuat cluster dengan komponen opsional:

  gcloud dataproc clusters create CLUSTER_NAME
      --optional-components=COMPONENT_NAME \
      ... other flags
  

• Versi image 2.3.32, 2.3.36, dan yang lebih baru tidak memiliki saluran Conda yang telah dikonfigurasi sebelumnya. Paket tidak dapat diinstal menggunakan Conda kecuali jika saluran dikonfigurasi secara manual selama inisialisasi cluster. Selain itu, cluster versi image 2.3 yang memiliki saluran Conda yang telah dikonfigurasi sebelumnya, termasuk versi image 2.3.35 dan yang lebih lama, tetapi tidak termasuk 2.3.32, tidak dapat digunakan setelah 25 Agustus 2026.

  • Anda mungkin perlu menghapus dan mengganti cluster yang ada. Setelah 25 Agustus 2026, cluster yang sudah ada yang dibuat dengan image yang memiliki saluran Conda yang telah dikonfigurasi sebelumnya, meskipun tugas cluster tidak menggunakan Conda untuk menginstal paket, harus dihapus dan diganti dengan cluster baru yang dibuat atau dibuat ulang dengan image yang tidak memiliki saluran Conda yang telah dikonfigurasi sebelumnya.

• Komponen opsional berikut didukung dalam image 2.3 non-arm:

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Hudi
  • Apache Iceberg
  • Apache Pig
  • Delta Lake
  • Docker
  • Notebook JupyterLab
  • Ranger
  • Solr
  • Trino
  • Notebook Zeppelin
  • Zookeeper

• Image 2.3.x-*-arm hanya mendukung komponen yang telah diinstal sebelumnya dan komponen opsional berikut. Komponen opsional 2.3 lainnya dan semua tindakan inisialisasi tidak didukung:

  • Apache Hive WebHCat
  • Apache Pig (dimulai dengan 2.3.22-ubuntu22-arm)
  • Docker
  • Notebook Zeppelin
  • Zookeeper (diinstal di cluster ketersediaan tinggi; komponen opsional di cluster lain)

• Lightning Engine dan Eksekusi Kueri Native di ARM: Didukung di image 2.3-ubuntu22-arm.

• yarn.nodemanager.recovery.enabled dan Logging Audit HDFS diaktifkan secara default di image 2.3.

• micromamba, bukan conda di versi image sebelumnya, diinstal sebagai bagian dari penginstalan Python.

• Versi Apache Iceberg: Di image 2.3, Apache Iceberg tersedia dalam versi 1.6.1 dan 1.10. Versi defaultnya adalah 1.6.1. Mulai dari versi image 2.3.35, cluster 2.3 yang dibuat dengan Lightning Engine yang diaktifkan menggunakan Iceberg versi 1.10 secara default. Untuk menentukan versi Iceberg di cluster 2.3, tetapkan properti cluster dataproc:dataproc.iceberg.version ke 1.10 (atau 1.6) selama pembuatan cluster.

• Masalah penginstalan Docker dan Zeppelin:

  • Penginstalan akan gagal jika cluster tidak memiliki akses internet publik. Sebagai solusinya, buat cluster yang menggunakan image kustom dengan komponen opsional yang telah diinstal sebelumnya. Anda dapat melakukannya dengan menjalankan generate_custom_image.py dengan flag --optional-components.
  • Penginstalan dapat gagal jika cluster disematkan ke versi image sub-minor yang lebih lama: Paket diinstal sesuai permintaan dari repositori OSS publik, dan paket mungkin tidak tersedia di upstream untuk mendukung penginstalan. Sebagai solusinya, buat cluster yang menggunakan image kustom dengan komponen opsional yang telah diinstal sebelumnya di image kustom. Untuk melakukannya, jalankan generate_custom_image.py dengan flag --optional-components.

• Kalkulator resource default untuk YARN telah diubah dari DefaultResourceCalculator menjadi DominantResourceCalculator, yang menggunakan konsep resource dominan untuk menentukan alokasi resource, seperti alokasi Memori dan CPU. Perubahan ini memengaruhi Autoscaler, yang melakukan penskalaan berdasarkan penggunaan resource dominan cluster.

Komponen machine learning (ML) image versi 2.3

Image 2.3-ml-ubuntu Managed Service untuk Apache Spark memperluas image dasar 2.3 dengan software khusus ML. Versi ini mendukung komponen opsional image 2.3 dan fitur 2.3 lainnya, serta menambahkan versi komponen yang tercantum di bagian berikut.

Library khusus GPU

Untuk tugas Managed Service untuk Apache Spark yang menggunakan VM GPU, driver dan library NVIDIA berikut tersedia dalam image 2.3-ml-ubuntu. Anda dapat menggunakannya untuk menyelesaikan tugas-tugas berikut:

• Percepat workload batch Spark dengan library NVIDIA cuDF untuk Apache Spark
• Melatih workload machine learning
• Menjalankan inferensi batch terdistribusi menggunakan Spark

Nama Paket	Versi
Spark cuDF	25.04.0
Driver NVIDIA	Ubuntu 22.04 LTS Dipercepat dengan driver NVIDIA versi 570
CUDA	12.6.3
cublas	12.6.4
cusolver	11.7.1
cupti	12.6.80
cusparse	12.5.4
cuDNN	9.10.1
NCCL	2.27.5

Library XGBoost

Versi paket Maven berikut tersedia di image 2.3-ml-ubuntu agar Anda dapat menggunakan XGBoost dengan Spark di Java atau Scala.

ID Grup	Nama Paket	Versi
ml.dmlc	xgboost4j-gpu_2.12	2.1.1
ml.dmlc	xgboost4j-spark-gpu_2.12	2.1.1

Catatan: Anda tidak dapat menggunakan Spark XGBoost terdistribusi pada tugas Managed Service untuk Apache Spark yang memiliki penskalaan otomatis (perilaku default) karena node baru yang memulai penskalaan elastis tidak dapat menerima tugas baru dan tetap tidak ada aktivitas. Untuk menggunakan XGBoost dengan workload batch, Anda dapat menetapkan properti spark.dynamicAllocation.enabled = false pada tugas Managed Service untuk Apache Spark guna menonaktifkan alokasi dinamis.

Library Python

Image 2.3-ml-ubuntu berisi library berikut, yang mendukung berbagai tahap dalam siklus proses ML.

Paket	Versi
mempercepat	1.8.1
conda	23.11.0
cookiecutter	2.5.0
curl	8.12.1
cython	3.0.12
dask	2023.12.1
datasets	3.6.0
deepspeed	0.17.2
delta-spark	3.2.0
evaluate	0.4.5
fastavro	1.9.7
fastparquet	2023.10.1
fiona	1.10.0
gateway-provisioners[yarn]	0.4.0
gcsfs	2023.12.2.post1
google-auth-oauthlib	1.2.2
google-cloud-aiplatform	1.88.0
google-cloud-bigquery[pandas]	3.31.0
google-cloud-bigquery-storage	2.30.0
google-cloud-bigtable	2.30.1
google-cloud-container	2.56.1
google-cloud-datacatalog	3.26.1
google-cloud-dataproc	5.18.1
google-cloud-datastore	2.21.0
google-cloud-language	2.17.2
google-cloud-logging	3.11.4
google-cloud-monitoring	2.27.2
google-cloud-pubsub	2.29.1
google-cloud-redis	2.18.1
google-cloud-spanner	3.53.0
google-cloud-speech	2.32.0
google-cloud-storage	2.19.0
google-cloud-texttospeech	2.25.1
google-cloud-translate	3.20.3
google-cloud-vision	3.10.2
huggingface_hub	0.33.1
httplib2	0.22.0
ipyparallel	8.6.1
ipython-sql	0.3.9
ipywidgets	8.1.7
jupyter_contrib_nbextensions	0.7.0
jupyter_http_over_ws	0.0.8
jupyter_kernel_gateway	2.5.2
jupyter_server	1.24.0
jupyterhub	4.1.6
jupyterlab	3.6.8
jupyterlab-git	0.44.0
jupyterlab_widgets	3.0.15
koala	0.22.0
langchain	0.3.26
lightgbm	4.6.0
markdown	3.5.2
matplotlib	3.8.4
mlflow	3.1.1
nbconvert	7.14.2
nbdime	3.2.1
nltk	3.9.1
notebook	6.5.7
numba	0.58.1
numpy	1.26.4
oauth2client	4.1.3
onnx	1.17.0
openblas	0.3.25
opencv	4.11.0
orc	2.1.1
pandas	2.1.4
pandas-profiling	3.0.0
papermill	2.4.0
pyarrow	16.1.0
pydot	2.0.0
pyhive	0.7.0
pynvml	12.0.0
pysal	23,7
pytables	3.9.2
python	3.11
regex	25 Desember 2023
permintaan	2.32.2
requests-kerberos	0.12.0
rtree	1.1.0
scikit-image	0.22.0
scikit-learn	1.5.2
scipy	1.11.4
seaborn	0.13.2
sentence-transformers	5.0.0
setuptools	79.0.1
shap	0.48.0
shapely	2.1.1
spacy	3.8.7
spark-tensorflow-distributor	1.0.0
spyder	5.5.6
sqlalchemy	2.0.41
sympy	1.13.3
tensorflow	2.18.0
tokenizer	0.21.4.dev0
toree	0.5.0
torch	2.6.0
torch-model-archiver	0.11.1
torcheval	0.0.7
tornado	6.4.2
torchvision	0.21.0
traitlets	5.14.3
transformers	4.53.1
uritemplate	4.1.1
virtualenv	20.26.6
wordcloud	1.9.4
xgboost	2.1.4

Library R

Versi library R berikut disertakan dalam image 2.3-ml-ubuntu.

Nama Paket	Versi
r-ggplot2	3.4.4
r-irkernel	1.3.2
r-rcurl	1,98-1,16
r-recommended	4.3