Release-Image-Versionen 3.0.x

Komponente	3.0.2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/09/04	3.0.1-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/08/19	3.0.0-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/07/15	3.0.0-RC2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/05/03	3.0.0-RC1-debian12/ -ubuntu24/ -rocky9 2025/09/08
Apache Flink ^optionale Komponente	2.2.0	2.2.0	2.2.0
**Apache Hadoop** ^installiert	3.5.0	3.5.0	3.5.0	3.5.0	3.4.1
**Apache Hive** ^installiert	4.2.0	4.2.0	4.2.0	4.2.0	4.1.0
Apache Hive WebHCat ^optionale Komponente	4.2.0	4.2.0	4.2.0
**Apache Iceberg** ^optionale Komponente	1.11.0	1.11.0	1.11.0
**Apache Hudi** ^optionale Komponente	1.2.0
**Apache Kafka** ^Initialisierungsaktion	3.9.2	3.9.2	3.9.2
**Apache Pig** ^optionale Komponente	0.18.0	0.18.0	0.18.0	0.18.0-SNAPSHOT
**Apache Ranger** ^optionale Komponente	2.8.0	2.8.0
Apache Spark ^installiert	4.1.2	4.1.2	4.1.2	4.1.1	4.0.0
**Apache Solr** ^optionale Komponente	9.10.1	9.10.1	9.10.1	9.7.0
**Apache Tez** ^installiert	0.10.5	0.10.5	0.10.5	0.10.5	0.10.5
**Apache Zeppelin-Notebook** ^optionale Komponente	0.12.0	0.12.0	0.12.0
Apache ZooKeeper ^optionale Komponente	3.9.5	3.9.5	3.9.5	3.9.3
BigQuery-Connector ^installiert	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview
**Cloud Storage-Connector** ^installiert	4.0.4	3.1.13	3.1.13	3.1.13	3.1.6
**Conscrypt** ^installiert	2.6	2.6	2.6	2.6
**Delta Lake** ^optionale Komponente	4.2.0	4.2.0
Docker ^optionale Komponente	28.1	28.1	28.1
Java ^installiert	21	21	21	21	17
**JupyterLab-Notebook** ^optionale Komponente	4.5.7	4.5.7	4.5.7
Python ^installiert	Pixi 0.76.0 mit Python 3.12	Pixi 0.67.1 mit Python 3.12	Pixi 0.67.1 mit Python 3.12	Pixi 0.67.1 mit Python 3.11	micromamba 2.0.5 mit Python 3.11
R ^installiert	R 4.5	R 4.5	R 4.5	R 4.5	R 4.3
Scala ^installiert	2.13.17	2.13.17	2.13.17	2.13.17	2.13.14
Trino ^optionale Komponente	480	480	480

Beschränkungen

• Metastores mit Hive 4.2:Die Image-Version 3.0 unterstützt weder BigQuery Metastore noch BigLake Metastore oder Dataproc Metastore mit Hive 4.2 (direkte Hive-Abfragen mit diesen Metastores werden nicht unterstützt).

• Delta Lake mit Hive:Delta Lake 4.x, das in der Managed Service for Apache Spark-Image-Version 3.0 enthalten ist, unterstützt Hive nicht (Abfragen für Delta Lake 4.2-Tabellen können nicht in Hive ausgeführt werden).

• Iceberg mit Hive:Die Managed Service for Apache Spark-Image-Version 3.0 enthält Hive 4.2, das Iceberg über den Iceberg REST-Katalog unterstützt.

• GPU-Cluster: In allen 3.0 Image-Versionen außer 3.0-ml-ubuntu ist cgroups V2 aktiviert. Da YARN die GPU-Erkennung nicht unterstützt, wenn cgroups V2 aktiviert ist, müssen Sie das Image 3.0-ml-ubuntu verwenden, wenn Sie Cluster mit GPUs erstellen.

Hinweise:

• Version 3.0 ist ein schlankes Image, das nur Kernkomponenten enthält. Dadurch wird das Risiko von häufig vorkommenden Sicherheitslücken (Common Vulnerabilities and Exposures, CVEs) verringert. Wenn Sie höhere Sicherheitsanforderungen erfüllen müssen, verwenden Sie beim Erstellen eines Managed Service for Apache Spark-Clusters die Image-Version 2.3 oder höher.

• Wenn Sie beim Erstellen eines Managed Service for Apache Spark-Clusters mit dem Image 3.0 optionale Komponenten installieren, werden diese während der Clustererstellung heruntergeladen und installiert. Dadurch kann sich die Startzeit des Clusters verlängern. Um diese Verzögerung zu vermeiden, können Sie ein benutzerdefiniertes Image mit den vorinstallierten optionalen Komponenten erstellen. Dazu führen Sie generate_custom_image.py mit dem --optional-components Flag aus.

  Hinweis: Sie müssen die optionalen Komponenten angeben, die Sie installieren möchten, wenn Sie den Cluster erstellen. Weitere Informationen finden Sie unter Optionale Komponenten hinzufügen.
  Das folgende Beispiel zeigt den Google Cloud CLI-Befehl zum Erstellen eines Clusters mit optionalen Komponenten:

  gcloud dataproc clusters create CLUSTER_NAME
      --optional-components=COMPONENT_NAME \
      ... other flags
  

• Die folgenden optionalen Komponenten werden in 3.0-Images unterstützt:

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Iceberg
  • Apache Pig
  • Apache Ranger
  • Apache Solr
  • Apache Zeppelin-Notebook
  • Apache ZooKeeper
  • Delta Lake
  • Docker
  • JupyterLab-Notebook
  • Trino

• yarn.nodemanager.recovery.enabled und HDFS Audit Logging sind in 3.0-Images standardmäßig aktiviert.

• Pixi wird im Rahmen der Python Installation installiert und zum Installieren von Python-Paketen anstelle von Conda verwendet.

• Der Standardressourcenrechner für YARN wurde von DefaultResourceCalculator in DominantResourceCalculatorgeändert, der das Konzept der dominanten Ressource verwendet, um die Ressourcenzuweisung zu bestimmen, z. B. die Speicher- und CPU-Zuweisung. Diese Änderung wirkt sich auf die automatische Skalierung aus, die auf der dominanten Ressourcennutzung des Clusters basiert.

• Ab der Image-Version 3.0 gibt Managed Service for Apache Spark, wenn Sie einen Cluster erstellen, ohne einen Maschinentyp für einen Clusterknoten anzugeben, den Knoten mit einer Rangliste flexibler VM-Maschinentypen an, z. B. eine Rangliste von Maschinentypen der Serien N4, N2 und E2. Die Liste ist für die Ressourcenverfügbarkeit optimiert.