Versi image rilis 3.0.x

Komponen	3.0.3-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/09/30	3.0.2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/09/04	3.0.1-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/08/19	3.0.0-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/07/15	3.0.0-RC2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/05/03
Apache Flink ^komponen opsional	2.2.0	2.2.0	2.2.0	2.2.0
Apache Hadoop ^terinstal	3.5.0	3.5.0	3.5.0	3.5.0	3.5.0
Apache Hive ^diinstal	4.2.0	4.2.0	4.2.0	4.2.0	4.2.0
Apache Hive WebHCat ^komponen opsional	4.2.0	4.2.0	4.2.0	4.2.0
Apache Iceberg ^komponen opsional	1.11.0	1.11.0	1.11.0	1.11.0
Apache Hudi ^komponen opsional	1.2.0	1.2.0
Tindakan inisialisasi ^Apache Kafka	3.9.2	3.9.2	3.9.2	3.9.2
Komponen opsional ^Apache Pig	0.18.0	0.18.0	0.18.0	0.18.0	0.18.0-SNAPSHOT
Komponen opsional ^Apache Ranger	2.8.0	2.8.0	2.8.0
Apache Spark ^terinstal	4.1.2	4.1.2	4.1.2	4.1.2	4.1.1
Apache Solr ^komponen opsional	9.10.1	9.10.1	9.10.1	9.10.1	9.7.0
Apache Tez ^terinstal	0.10.5	0.10.5	0.10.5	0.10.5	0.10.5
Komponen opsional Notebook Apache Zeppelin	0.12.0	0.12.0	0.12.0	0.12.0
Apache Zookeeper ^komponen opsional	3.9.5	3.9.5	3.9.5	3.9.5	3.9.3
Konektor BigQuery ^terinstal	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview
konektor Cloud Storage ^terinstal	4.0.4	4.0.4	3.1.13	3.1.13	3.1.13
Conscrypt ^diinstal	2.6	2.6	2.6	2.6	2.6
Delta Lake ^komponen opsional	4.2.0	4.2.0	4.2.0
Docker ^komponen opsional	28.1	28.1	28.1	28.1
Java ^terinstal	21	21	21	21	21
Komponen opsional ^Notebook JupyterLab	4.5.7	4.5.7	4.5.7	4.5.7
Python ^terinstal	Pixi 0.76.0 dengan Python 3.12	Pixi 0.76.0 dengan Python 3.12	Pixi 0.67.1 dengan Python 3.12	Pixi 0.67.1 dengan Python 3.12	Pixi 0.67.1 dengan Python 3.11
R ^diinstal	R 4,5	R 4.5	R 4,5	R 4,5	R 4,5
Scala ^diinstal	2.13.17	2.13.17	2.13.17	2.13.17	2.13.17
Trino ^Trino	480	480	480	480

Batasan

• Metastore dengan Hive 4.2: Versi image 3.0 tidak mendukung BigQuery Metastore, BigLake Metastore, atau Dataproc Metastore dengan Hive 4.2 (kueri Hive langsung menggunakan metastore ini tidak didukung).

• Delta Lake dengan Hive: Delta Lake 4.x, yang disertakan dalam versi image Managed Service untuk Apache Spark 3.0, tidak mendukung Hive (kueri pada tabel Delta Lake 4.2 tidak dapat dieksekusi di Hive).

• Iceberg dengan Hive: Versi image Managed Service untuk Apache Spark 3.0 mencakup Hive 4.2, yang mendukung Iceberg melalui katalog REST Iceberg.

• Cluster GPU: Semua versi image 3.0 kecuali 3.0-ml-ubuntu mengaktifkan cgroups V2. Karena YARN tidak mendukung penemuan GPU saat cgroups V2 diaktifkan, Anda harus menggunakan image 3.0-ml-ubuntu saat membuat cluster dengan GPU.

Catatan:

• Versi 3.0 adalah image ringan yang hanya berisi komponen inti, sehingga mengurangi eksposur terhadap Common Vulnerabilities and Exposures (CVE). Untuk persyaratan kepatuhan keamanan yang lebih tinggi, gunakan versi image 2.3atau yang lebih baru, saat membuat cluster Managed Service untuk Apache Spark.

• Jika Anda memilih untuk menginstal komponen opsional saat membuat cluster Managed Service untuk Apache Spark dengan image 3.0, komponen tersebut akan didownload dan diinstal selama pembuatan cluster. Hal ini dapat meningkatkan waktu startup cluster. Untuk menghindari penundaan ini, Anda dapat membuat image kustom dengan komponen opsional yang sudah diinstal sebelumnya. Hal ini dilakukan dengan menjalankan generate_custom_image.py dengan flag --optional-components.

  Catatan: Anda harus menentukan komponen opsional yang ingin diinstal saat membuat cluster. Untuk mengetahui informasi selengkapnya, lihat Menambahkan komponen opsional.
  Contoh berikut menunjukkan perintah Google Cloud CLI untuk membuat cluster dengan komponen opsional:

  gcloud dataproc clusters create CLUSTER_NAME
      --optional-components=COMPONENT_NAME \
      ... other flags
  

• Komponen opsional berikut didukung dalam image 3.0:

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Iceberg
  • Apache Pig
  • Apache Ranger
  • Apache Solr
  • Notebook Apache Zeppelin
  • Apache Zookeeper
  • Delta Lake
  • Docker
  • Notebook JupyterLab
  • Trino

• yarn.nodemanager.recovery.enabled dan HDFS Audit Logging diaktifkan secara default di image 3.0.

• Pixi diinstal sebagai bagian dari penginstalan Python dan digunakan untuk menginstal paket Python, bukan Conda.

• Kalkulator resource default untuk YARN telah diubah dari DefaultResourceCalculator menjadi DominantResourceCalculator, yang menggunakan konsep resource dominan untuk menentukan alokasi resource, seperti alokasi Memori dan CPU. Perubahan ini memengaruhi Penskala Otomatis, yang melakukan penskalaan berdasarkan penggunaan resource dominan cluster.

• Mulai dari versi image 3.0, saat Anda membuat cluster tanpa menentukan jenis mesin untuk node cluster, Managed Service untuk Apache Spark akan menentukan node dengan daftar berperingkat jenis mesin VM fleksibel, seperti daftar berperingkat jenis mesin seri N4, N2, dan E2, dengan daftar yang dioptimalkan untuk ketersediaan resource.