Image-Versionen für Release 4.0.x

Komponente 4.0.0-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/11/19




Apache Flink
optionale Komponente
2.2.0
Apache Gluten
installiert
1.6
Apache Hadoop
installiert
3.5.0
Apache Hive
installiert
4.2.0
Apache Hive WebHCat
optionale Komponente
4.2.0
Apache Iceberg
optionale Komponente
1.12.0
Apache Kafka
Initialisierungsaktion
3.9.2
Apache Pig
Optionale Komponente
0.18.0
Apache Ranger
optionale Komponente
2.8.0
Apache Spark
installiert
4.2.0
Apache Solr
Optionale Komponente
9.10.1
Apache Tez
installiert
0.10.5
Apache Zeppelin Notebook
optionale Komponente
0.12.0
Apache Zookeeper
Optionale Komponente
3.9.5
BigQuery Connector
installiert
0.46.0
Cloud Storage-Connector
installiert
4.0.7
Conscrypt
installiert
2.6
Delta Lake
Optionale Komponente
4.4.0
Docker
optionale Komponente
28.1
Java
installiert
25
JupyterLab Notebook
optionale Komponente
4.6.6
Python
installiert
Pixi 0.76.0 mit Python 3.13
R
installiert
R 4.5
Scala
installiert
2.13.17
Trino
480

Neue Funktionen und Verbesserungen

  • Flexible VM-Maschinentypen: Ab Image-Version 4.0 gibt Managed Service for Apache Spark beim Erstellen eines Clusters ohne Angabe eines Maschinentyps für einen Clusterknoten den Knoten mit einer Rangliste von flexiblen VM-Maschinentypen an, z. B. eine Rangliste von Maschinentypen der Serien N4, N2 und E2, wobei die Liste für die Ressourcenverfügbarkeit optimiert ist.

Beschränkungen

  • Apache Hudi: Apache Hudi wird in der Image-Version 4.0 nicht unterstützt.

  • Metastores mit Hive 4.2: Die Image-Version 4.0 unterstützt BigQuery Metastore, BigLake Metastore oder Dataproc Metastore mit Hive 4.2 nicht (direkte Hive-Abfragen mit diesen Metastores werden nicht unterstützt).

  • Delta Lake mit Hive: Delta Lake 4.x, das in der Image-Version 4.0 von Managed Service for Apache Spark enthalten ist, unterstützt Hive nicht. Abfragen für Delta Lake 4.4-Tabellen können nicht in Hive ausgeführt werden.

Hinweise:

  • Java-Versionen: Die Image-Version 4.0 enthält Java 25 für Spark-Arbeitslasten. Java 21 ist aus Gründen der Abwärtskompatibilität enthalten.

  • Filterung von Iceberg-Spark-Properties: Wenn auf Standard-4.0-Clustern die optionale Komponente iceberg weggelassen wird, werden Iceberg-Sitzungserweiterungen und Standardkataloge während der Clusteraktivierung automatisch aus spark-defaults.conf herausgefiltert.

  • GPU-Cluster: Alle 4.0-Image-Versionen außer 4.0-ml-ubuntu aktivieren cgroups V2. Da YARN die GPU-Erkennung nicht unterstützt, wenn cgroups V2 aktiviert ist, müssen Sie das Image 4.0-ml-ubuntu verwenden, wenn Sie Cluster mit GPUs erstellen.

  • Version 4.0 ist ein schlankes Image, das nur Kernkomponenten enthält. Dadurch wird die Anfälligkeit für gängige Sicherheitslücken (Common Vulnerabilities and Exposures, CVEs) reduziert. Wenn Sie höhere Anforderungen an die Sicherheitscompliance haben, verwenden Sie beim Erstellen eines Managed Service for Apache Spark-Clusters die Image-Version 2.3 oder höher.

  • Vorinstallierte optionale Komponenten: Die folgenden optionalen Komponenten sind in 4.0-Images vorinstalliert und werden aktiviert, wenn Sie sie bei der Clustererstellung einbeziehen:

    • Apache Iceberg
    • Delta Lake

    Sie müssen die optionalen Komponenten angeben, die Sie beim Erstellen eines Clusters installieren möchten. Weitere Informationen finden Sie unter Optionale Komponenten hinzufügen.
    Das folgende Beispiel zeigt den Google Cloud CLI-Befehl zum Erstellen eines Clusters mit optionalen Komponenten:

    gcloud dataproc clusters create CLUSTER_NAME
        --optional-components=COMPONENT_NAME \
        ... other flags
    

  • Der Standard-Ressourcenrechner für YARN wurde von DefaultResourceCalculator in DominantResourceCalculator geändert. Dieser verwendet das Konzept der dominanten Ressource, um die Ressourcenzuweisung zu bestimmen, z. B. die Speicher- und CPU-Zuweisung. Diese Änderung wirkt sich auf Autoscaler aus, der anhand der dominanten Ressourcennutzung des Clusters skaliert.