Release-Image-Versionen 3.0.x

Komponente	3.0.0-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/07/15	3.0.0-RC2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/05/03	3.0.0-RC1-debian12/ -ubuntu24/ -rocky9 2025/09/08
Apache Flink ^optionale Komponente	2.2.0	2.2.0
Apache Hadoop ^installiert	3.5.0	3.5.0	3.4.1
Apache Hive ^installiert	4.2.0	4.2.0	4.1.0
Apache Hive WebHCat ^optionale Komponente	4.2.0	4.2.0
Apache Iceberg ^optionale Komponente	1.11.0
Apache Kafka ^Initialisierungsaktion	3.9.2	3.9.2
Apache Pig ^optionale Komponente	0.18.0	0.18.0-SNAPSHOT
Apache Ranger ^optionale Komponente	2.8.0
Apache Spark ^installiert	4.1.2	4.1.1	4.0.0
Apache Solr ^optionale Komponente	9.10.1	9.10.1	9.7.0
Apache Tez ^installiert	0.10.5	0.10.5	0.10.5
Apache Zeppelin Notebook ^optionale Komponente	0.12.0	0.12.0
Apache Zookeeper ^optionale Komponente	3.9.5	3.9.5	3.9.3
BigQuery Connector ^installiert	0.44.1-Preview	0.44.1-Preview
Cloud Storage-Connector ^installiert	3.1.13	3.1.13	3.1.6
Conscrypt ^installiert	2.6	2.6	2.6
Delta Lake ^optionale Komponente	4.2.0
Docker ^optionale Komponente	28.1	28.1
Java ^installed	21	21	17
JupyterLab Notebook ^optionale Komponente	4.5.7	4.5.7
Python ^installiert	Pixi 0.67.1 mit Python 3.12	Pixi 0.67.1 mit Python 3.11	micromamba 2.0.5 mit Python 3.11
R ^installiert	R 4.5	R 4.5	R 4.3
Scala ^installiert	2.13.17	2.13.17	2.13.14
Trino ^optionale Komponente	480	480

Beschränkungen

• Lightning Engine:Die Image-Version 3.0 unterstützt Lightning Engine nicht.

• Metastores mit Hive 4.2:Die Image-Version 3.0 unterstützt BigQuery Metastore, BigLake Metastore oder Dataproc Metastore mit Hive 4.2 nicht. Direkte Hive-Abfragen mit diesen Metastores werden nicht unterstützt.

• Delta Lake mit Hive:Delta Lake 4.x, das in der Managed Service for Apache Spark-Image-Version 3.0 enthalten ist, unterstützt Hive nicht. Abfragen für Delta Lake 4.2-Tabellen können nicht in Hive ausgeführt werden.

• Iceberg mit Hive:Die Image-Version 3.0 von Managed Service for Apache Spark enthält Hive 4.2, das Iceberg über den Iceberg-REST-Katalog unterstützt.

• GPU-Cluster:Alle 3.0-Image-Versionen außer 3.0-ml-ubuntu ermöglichen cgroups V2. Da YARN die GPU-Erkennung nicht unterstützt, wenn cgroups V2 aktiviert ist, müssen Sie das 3.0-ml-ubuntu-Image verwenden, wenn Sie Cluster mit GPUs erstellen.

• Hudi:Die Image-Version 3.0 unterstützt Apache Hudi nicht.

Hinweise:

• Version 3.0 ist ein schlankes Image, das nur Kernkomponenten enthält. Dadurch wird das Risiko von Common Vulnerabilities and Exposures (CVEs) verringert. Wenn Sie höhere Sicherheitsanforderungen erfüllen müssen, verwenden Sie beim Erstellen eines Managed Service for Apache Spark-Clusters die Image-Version 2.3 oder höher.

• Wenn Sie beim Erstellen eines Managed Service for Apache Spark-Clusters mit dem 3.0-Image optionale Komponenten installieren, werden diese während der Clustererstellung heruntergeladen und installiert. Dadurch kann sich die Startzeit des Clusters verlängern. Um diese Verzögerung zu vermeiden, können Sie ein benutzerdefiniertes Image mit den vorinstallierten optionalen Komponenten erstellen. Dazu führen Sie generate_custom_image.py mit dem Flag --optional-components aus.

  Hinweis :Sie müssen die optionalen Komponenten angeben, die Sie installieren möchten, wenn Sie den Cluster erstellen. Weitere Informationen finden Sie unter Optionale Komponenten hinzufügen.
  Im folgenden Beispiel sehen Sie den Google Cloud CLI-Befehl zum Erstellen eines Clusters mit optionalen Komponenten:

  gcloud dataproc clusters create CLUSTER_NAME
      --optional-components=COMPONENT_NAME \
      ... other flags
  

• Die folgenden optionalen Komponenten werden in 3.0-Images unterstützt:

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Iceberg
  • Apache Pig
  • Apache Ranger
  • Apache Solr
  • Apache Zeppelin-Notebook
  • Apache Zookeeper
  • Delta Lake
  • Docker
  • JupyterLab-Notebook
  • Trino

• yarn.nodemanager.recovery.enabled und HDFS-Audit-Logging sind in Version 3.0-Images standardmäßig aktiviert.

• Pixi wird als Teil der Python-Installation installiert und zum Installieren von Python-Paketen anstelle von Conda verwendet.

• Der Standardressourcenrechner für YARN wurde von DefaultResourceCalculator zu DominantResourceCalculator geändert. Dieser verwendet das Konzept der dominanten Ressource, um die Ressourcenzuweisung zu bestimmen, z. B. die Zuweisung von Arbeitsspeicher und CPU. Diese Änderung wirkt sich auf Autoscaler aus, das auf der Grundlage der dominanten Ressourcennutzung des Clusters skaliert wird.

• Ab der Imageversion 3.0 wird bei der Erstellung eines Clusters ohne Angabe eines Maschinentyps für einen Clusterknoten der Knoten mit einer sortierten Liste flexibler VM-Maschinentypen angegeben, z. B. eine sortierte Liste von Maschinentypen der Serien N4, N2 und E2. Die Liste ist für die Ressourcenverfügbarkeit optimiert.