Versi image rilis 3.0.x

Komponen	3.0.2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/09/04	3.0.1-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/08/19	3.0.0-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/07/15	3.0.0-RC2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/05/03	3.0.0-RC1-debian12/ -ubuntu24/ -rocky9 2025/09/08
Apache Flink ^komponen opsional	2.2.0	2.2.0	2.2.0
Apache Hadoop ^terinstal	3.5.0	3.5.0	3.5.0	3.5.0	3.4.1
Apache Hive ^terinstal	4.2.0	4.2.0	4.2.0	4.2.0	4.1.0
Apache Hive WebHCat ^komponen opsional	4.2.0	4.2.0	4.2.0
Apache Iceberg ^komponen opsional	1.11.0	1.11.0	1.11.0
Apache Hudi ^komponen opsional	1.2.0
Tindakan inisialisasi Apache Kafka	3.9.2	3.9.2	3.9.2
Apache Pig ^komponen opsional	0.18.0	0.18.0	0.18.0	0.18.0-SNAPSHOT
Apache Ranger ^komponen opsional	2.8.0	2.8.0
Apache Spark ^terinstal	4.1.2	4.1.2	4.1.2	4.1.1	4.0.0
Apache Solr ^komponen opsional	9.10.1	9.10.1	9.10.1	9.7.0
Apache Tez ^terinstal	0.10.5	0.10.5	0.10.5	0.10.5	0.10.5
Komponen opsional ^Apache Zeppelin Notebook	0.12.0	0.12.0	0.12.0
Apache Zookeeper ^komponen opsional	3.9.5	3.9.5	3.9.5	3.9.3
Konektor BigQuery ^terinstal	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview
konektor Cloud Storage ^terinstal	4.0.4	3.1.13	3.1.13	3.1.13	3.1.6
Conscrypt ^diinstal	2.6	2.6	2.6	2.6
Delta Lake ^komponen opsional	4.2.0	4.2.0
Docker ^komponen opsional	28.1	28.1	28.1
Java ^terinstal	21	21	21	21	17
Komponen opsional ^JupyterLab Notebook	4.5.7	4.5.7	4.5.7
Python ^terinstal	Pixi 0.76.0 dengan Python 3.12	Pixi 0.67.1 dengan Python 3.12	Pixi 0.67.1 dengan Python 3.12	Pixi 0.67.1 dengan Python 3.11	micromamba 2.0.5 dengan Python 3.11
R ^terpasang	R 4.5	R 4.5	R 4.5	R 4.5	R 4.3
Scala ^terinstal	2.13.17	2.13.17	2.13.17	2.13.17	2.13.14
Trino ^komponen opsional	480	480	480

Batasan

• Metastore dengan Hive 4.2: Versi image 3.0 tidak mendukung BigQuery Metastore, BigLake Metastore, atau Dataproc Metastore dengan Hive 4.2 (kueri Hive langsung menggunakan metastore ini tidak didukung).

• Delta Lake dengan Hive: Delta Lake 4.x, yang disertakan dalam versi image Managed Service untuk Apache Spark 3.0, tidak mendukung Hive (kueri pada tabel Delta Lake 4.2 tidak dapat dieksekusi di Hive).

• Iceberg dengan Hive: Versi image Managed Service untuk Apache Spark 3.0 mencakup Hive 4.2, yang mendukung Iceberg melalui katalog REST Iceberg.

• Cluster GPU: Semua versi image 3.0 kecuali 3.0-ml-ubuntu mengaktifkan cgroups V2. Karena YARN tidak mendukung penemuan GPU saat cgroups V2 diaktifkan, Anda harus menggunakan image 3.0-ml-ubuntu saat membuat cluster dengan GPU.

Catatan:

• Versi 3.0 adalah image ringan yang hanya berisi komponen inti, sehingga mengurangi eksposur terhadap Common Vulnerabilities and Exposures (CVE). Untuk persyaratan kepatuhan keamanan yang lebih tinggi, gunakan versi image 2.3atau yang lebih baru saat membuat cluster Managed Service untuk Apache Spark.

• Jika Anda memilih untuk menginstal komponen opsional saat membuat cluster Managed Service untuk Apache Spark dengan image 3.0, komponen tersebut akan didownload dan diinstal selama pembuatan cluster. Hal ini dapat meningkatkan waktu startup cluster. Untuk menghindari penundaan ini, Anda dapat membuat image kustom dengan komponen opsional yang sudah diinstal sebelumnya. Hal ini dapat dilakukan dengan menjalankan generate_custom_image.py dengan tanda --optional-components.

  Catatan: Anda harus menentukan komponen opsional yang ingin diinstal saat membuat cluster. Untuk mengetahui informasi selengkapnya, lihat Menambahkan komponen opsional.
  Contoh berikut menunjukkan perintah Google Cloud CLI untuk membuat cluster dengan komponen opsional:

  gcloud dataproc clusters create CLUSTER_NAME
      --optional-components=COMPONENT_NAME \
      ... other flags
  

• Komponen opsional berikut didukung dalam image 3.0:

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Iceberg
  • Apache Pig
  • Apache Ranger
  • Apache Solr
  • Notebook Apache Zeppelin
  • Apache Zookeeper
  • Delta Lake
  • Docker
  • Notebook JupyterLab
  • Trino

• yarn.nodemanager.recovery.enabled dan HDFS Audit Logging diaktifkan secara default di image 3.0.

• Pixi diinstal sebagai bagian dari penginstalan Python dan digunakan untuk menginstal paket Python, bukan Conda.

• Kalkulator resource default untuk YARN telah diubah dari DefaultResourceCalculator menjadi DominantResourceCalculator, yang menggunakan konsep resource dominan untuk menentukan alokasi resource, seperti alokasi Memori dan CPU. Perubahan ini memengaruhi Autoscaler, yang menskalakan berdasarkan penggunaan resource dominan cluster.

• Mulai dari versi image 3.0, saat Anda membuat cluster tanpa menentukan jenis mesin untuk node cluster, Managed Service untuk Apache Spark akan menentukan node dengan daftar jenis mesin VM fleksibel yang diberi peringkat, seperti daftar jenis mesin seri N4, N2, dan E2 yang diberi peringkat, dengan daftar yang dioptimalkan untuk ketersediaan resource.