Versi image rilis 4.0.x

Komponen 4.0.0-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/11/19




Komponen opsional
Apache Flink
2.2.0
Apache Gluten
diinstal
1.6
Apache Hadoop
terinstal
3.5.0
Apache Hive
diinstal
4.2.0
Komponen opsional
Apache Hive WebHCat
4.2.0
Komponen opsional
Apache Iceberg
1.12.0
Tindakan inisialisasi
Apache Kafka
3.9.2
Komponen opsional
Apache Pig
0.18.0
Komponen opsional
Apache Ranger
2.8.0
Apache Spark
terinstal
4.2.0
Komponen opsional
Apache Solr
9.10.1
Apache Tez
diinstal
0.10.5
Komponen opsional
Apache Zeppelin Notebook
0.12.0
Komponen opsional
Apache Zookeeper
3.9.5
Konektor BigQuery
diinstal
0.46.0
konektor Cloud Storage
diinstal
4.0.7
Conscrypt
diinstal
2,6
Komponen opsional
Delta Lake
4.4.0
Docker
komponen opsional
28.1
Java
diinstal
25
Komponen opsional
Notebook JupyterLab
4.6.6
Python
diinstal
Pixi 0.76.0 dengan Python 3.13
R
diinstal
R 4.5
Scala
diinstal
2.13.17
Trino
Trino
480

Fitur dan Peningkatan Baru

  • Jenis mesin VM fleksibel: Mulai dari versi image 4.0, saat Anda membuat cluster tanpa menentukan jenis mesin untuk node cluster, Managed Service untuk Apache Spark akan menentukan node dengan daftar peringkat jenis mesin VM fleksibel, seperti daftar peringkat jenis mesin seri N4, N2, dan E2, dengan daftar yang dioptimalkan untuk ketersediaan resource.

Batasan

  • Apache Hudi: Apache Hudi tidak didukung di image versi 4.0.

  • Metastore dengan Hive 4.2: Image version 4.0 tidak mendukung BigQuery Metastore, BigLake Metastore, atau Dataproc Metastore dengan Hive 4.2 (kueri Hive langsung yang menggunakan metastore ini tidak didukung).

  • Delta Lake dengan Hive: Delta Lake 4.x, yang disertakan dalam Managed Service untuk Apache Spark versi image 4.0, tidak mendukung Hive (kueri pada tabel Delta Lake 4.4 tidak dapat dieksekusi di Hive).

Catatan:

  • Versi Java: Versi image 4.0 menyertakan Java 25 untuk workload Spark. Java 21 disertakan untuk kompatibilitas mundur.

  • Pemfilteran properti Iceberg Spark: Pada cluster 4.0 standar, jika komponen iceberg opsional dihilangkan, ekstensi sesi Iceberg dan katalog default akan otomatis difilter dari spark-defaults.conf selama aktivasi cluster.

  • Cluster GPU: Semua versi image 4.0 kecuali 4.0-ml-ubuntu mengaktifkan cgroups V2. Karena YARN tidak mendukung penemuan GPU saat cgroups V2 diaktifkan, Anda harus menggunakan image 4.0-ml-ubuntu saat membuat cluster dengan GPU.

  • Versi 4.0 adalah image ringan yang hanya berisi komponen inti, sehingga mengurangi eksposur terhadap Common Vulnerabilities and Exposures (CVE). Untuk persyaratan kepatuhan keamanan yang lebih tinggi, gunakan image versi 2.3 atau yang lebih baru saat membuat cluster Managed Service untuk Apache Spark.

  • Komponen opsional yang telah diinstal sebelumnya: Komponen opsional berikut telah diinstal sebelumnya dalam image 4.0 dan diaktifkan jika Anda menyertakannya selama pembuatan cluster:

    • Apache Iceberg
    • Delta Lake

    Anda harus menentukan komponen opsional yang ingin diinstal saat membuat cluster. Untuk mengetahui informasi selengkapnya, lihat Menambahkan komponen opsional.
    Contoh berikut menunjukkan perintah Google Cloud CLI untuk membuat cluster dengan komponen opsional:

    gcloud dataproc clusters create CLUSTER_NAME
        --optional-components=COMPONENT_NAME \
        ... other flags
    

  • Kalkulator resource default untuk YARN telah diubah dari DefaultResourceCalculator menjadi DominantResourceCalculator, yang menggunakan konsep resource dominan untuk menentukan alokasi resource, seperti alokasi Memori dan CPU. Perubahan ini memengaruhi Autoscaler, yang melakukan penskalaan berdasarkan penggunaan resource dominan cluster.