Versi image rilis 3.0.x

Komponen 3.0.0-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/07/15		 3.0.0-RC2-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/05/03		 3.0.0-RC1-debian12/
-ubuntu24/
-rocky9
2025/09/08

Apache Flink
komponen opsional		 2.2.0 2.2.0
Apache Hadoop
diinstal		 3.5.0 3.5.0 3.4.1
Apache Hive
diinstal		 4.2.0 4.2.0 4.1.0
Apache Hive WebHCat
komponen opsional		 4.2.0 4.2.0
**Apache Iceberg**
komponen opsional		 1.11.0
**Apache Kafka**
tindakan inisialisasi		 3.9.2 3.9.2
**Apache Pig**
komponen opsional		 0.18.0 0.18.0-SNAPSHOT
Apache Ranger
komponen opsional		 2.8.0
Apache Spark
diinstal		 4.1.2 4.1.1 4.0.0
**Apache Solr**
komponen opsional		 9.10.1 9.10.1 9.7.0
Apache Tez
diinstal		 0.10.5 0.10.5 0.10.5
Notebook Apache Zeppelin
komponen opsional		 0.12.0 0.12.0
Apache Zookeeper
komponen opsional		 3.9.5 3.9.5 3.9.3
Konektor BigQuery
diinstal		 0.44.1-Preview 0.44.1-Preview
Konektor Cloud Storage
diinstal		 3.1.13 3.1.13 3.1.6
**Conscrypt**
diinstal		 2.6 2.6 2.6
**Delta Lake**
komponen opsional		 4.2.0
**Docker**
komponen opsional		 28.1 28.1
Java
diinstal		 21 21 17
Notebook JupyterLab
komponen opsional		 4.5.7 4.5.7
Python
diinstal		 Pixi 0.67.1 dengan Python 3.12 Pixi 0.67.1 dengan Python 3.11 micromamba 2.0.5 dengan Python 3.11
R
diinstal		 R 4.5 R 4.5 R 4.3
Scala
diinstal		 2.13.17 2.13.17 2.13.14
Trino
komponen opsional		 480 480

Batasan

  • Lightning Engine: Versi image 3.0 tidak mendukung Lightning Engine.

  • Metastore dengan Hive 4.2: Versi image 3.0 tidak mendukung BigQuery Metastore, BigLake Metastore, atau Dataproc Metastore dengan Hive 4.2 (kueri Hive langsung menggunakan metastore ini tidak didukung).

  • Delta Lake dengan Hive: Delta Lake 4.x, yang disertakan dalam versi image Managed Service untuk Apache Spark 3.0, tidak mendukung Hive (kueri pada tabel Delta Lake 4.2 tidak dapat dijalankan di Hive).

  • Iceberg dengan Hive: Versi image Managed Service untuk Apache Spark 3.0 menyertakan Hive 4.2, yang mendukung Iceberg melalui katalog REST Iceberg.

  • Cluster GPU: Semua versi image 3.0, kecuali 3.0-ml-ubuntu, mengaktifkan cgroups V2. Karena YARN tidak mendukung penemuan GPU saat cgroups V2 diaktifkan, Anda harus menggunakan image 3.0-ml-ubuntu saat membuat cluster dengan GPU.

  • Hudi: Versi image 3.0 tidak mendukung Apache Hudi.

Catatan:

  • Versi 3.0 adalah image ringan yang hanya berisi komponen inti, sehingga mengurangi eksposur terhadap Common Vulnerabilities and Exposures (CVE). Untuk persyaratan kepatuhan keamanan yang lebih tinggi, gunakan versi image 2.3 atau yang lebih baru, saat membuat cluster Managed Service untuk Apache Spark.

  • Jika Anda memilih untuk menginstal komponen opsional saat membuat cluster Managed Service untuk Apache Spark dengan image 3.0, komponen tersebut akan di download dan diinstal selama pembuatan cluster. Hal ini dapat meningkatkan waktu startup cluster. Untuk menghindari penundaan ini, Anda dapat membuat image kustom dengan komponen opsional yang sudah diinstal sebelumnya. Hal ini dapat dilakukan dengan menjalankan generate_custom_image.py dengan tanda --optional-components.

  • Komponen opsional berikut didukung dalam image 3.0:

    • Apache Flink
    • Apache Hive WebHCat
    • Apache Iceberg
    • Apache Pig
    • Apache Ranger
    • Apache Solr
    • Notebook Apache Zeppelin
    • Apache Zookeeper
    • Delta Lake
    • Docker
    • Notebook JupyterLab
    • Trino

  • yarn.nodemanager.recovery.enabled dan HDFS Audit Logging diaktifkan secara default dalam image 3.0.

  • Pixi diinstal sebagai bagian dari penginstalan Python dan digunakan untuk menginstal paket Python, bukan Conda.

  • Kalkulator resource default untuk YARN telah diubah dari DefaultResourceCalculator menjadi DominantResourceCalculator, yang menggunakan konsep resource dominan untuk menentukan alokasi resource, seperti alokasi Memori dan CPU. Perubahan ini memengaruhi Autoscaler, yang melakukan penskalaan berdasarkan penggunaan resource dominan cluster.

  • Mulai versi image 3.0, saat Anda membuat cluster tanpa menentukan jenis mesin untuk node cluster, Managed Service untuk Apache Spark akan menentukan node dengan daftar jenis mesin VM fleksibel yang diberi peringkat, seperti daftar jenis mesin seri N4, N2, dan E2 yang diberi peringkat, dengan daftar yang dioptimalkan untuk ketersediaan resource.