Neue Funktionen und Verbesserungen
- Flexible VM-Maschinentypen: Ab Image-Version
4.0gibt Managed Service for Apache Spark beim Erstellen eines Clusters ohne Angabe eines Maschinentyps für einen Clusterknoten den Knoten mit einer Rangliste von flexiblen VM-Maschinentypen an, z. B. eine Rangliste von Maschinentypen der Serien N4, N2 und E2, wobei die Liste für die Ressourcenverfügbarkeit optimiert ist.
Beschränkungen
Apache Hudi: Apache Hudi wird in der Image-Version
4.0nicht unterstützt.Metastores mit Hive 4.2: Die Image-Version
4.0unterstützt BigQuery Metastore, BigLake Metastore oder Dataproc Metastore mit Hive 4.2 nicht (direkte Hive-Abfragen mit diesen Metastores werden nicht unterstützt).Delta Lake mit Hive: Delta Lake
4.x, das in der Image-Version4.0von Managed Service for Apache Spark enthalten ist, unterstützt Hive nicht. Abfragen für Delta Lake 4.4-Tabellen können nicht in Hive ausgeführt werden.
Hinweise:
Java-Versionen: Die Image-Version
4.0enthält Java 25 für Spark-Arbeitslasten. Java 21 ist aus Gründen der Abwärtskompatibilität enthalten.Filterung von Iceberg-Spark-Properties: Wenn auf Standard-4.0-Clustern die optionale Komponente
icebergweggelassen wird, werden Iceberg-Sitzungserweiterungen und Standardkataloge während der Clusteraktivierung automatisch ausspark-defaults.confherausgefiltert.GPU-Cluster: Alle
4.0-Image-Versionen außer4.0-ml-ubuntuaktivierencgroups V2. Da YARN die GPU-Erkennung nicht unterstützt, wenncgroups V2aktiviert ist, müssen Sie das Image4.0-ml-ubuntuverwenden, wenn Sie Cluster mit GPUs erstellen.Version
4.0ist ein schlankes Image, das nur Kernkomponenten enthält. Dadurch wird die Anfälligkeit für gängige Sicherheitslücken (Common Vulnerabilities and Exposures, CVEs) reduziert. Wenn Sie höhere Anforderungen an die Sicherheitscompliance haben, verwenden Sie beim Erstellen eines Managed Service for Apache Spark-Clusters die Image-Version2.3oder höher.Vorinstallierte optionale Komponenten: Die folgenden optionalen Komponenten sind in 4.0-Images vorinstalliert und werden aktiviert, wenn Sie sie bei der Clustererstellung einbeziehen:
- Apache Iceberg
- Delta Lake
Sie müssen die optionalen Komponenten angeben, die Sie beim Erstellen eines Clusters installieren möchten. Weitere Informationen finden Sie unter Optionale Komponenten hinzufügen.
Das folgende Beispiel zeigt den Google Cloud CLI-Befehl zum Erstellen eines Clusters mit optionalen Komponenten:gcloud dataproc clusters create CLUSTER_NAME --optional-components=COMPONENT_NAME \ ... other flags
Der Standard-Ressourcenrechner für YARN wurde von DefaultResourceCalculator in DominantResourceCalculator geändert. Dieser verwendet das Konzept der dominanten Ressource, um die Ressourcenzuweisung zu bestimmen, z. B. die Speicher- und CPU-Zuweisung. Diese Änderung wirkt sich auf Autoscaler aus, der anhand der dominanten Ressourcennutzung des Clusters skaliert.