Bekannte Probleme und Beschränkungen der Image-Version 2.2 :
In Clustern mit der Image-Version 2.2 sind keine Legacy-Agents installiert. Die Standardeinstellungen für den Monitoring-Agent sind nur verfügbar, wenn der Ops-Agent installiert ist. Hinweis: OSS-Messwerte und -Logging sind für Managed Service for Apache Spark-Komponenten verfügbar.
Logging oder Monitoring für Drittanbieteranwendungen sind nicht verfügbar es sei denn, der Ops-Agent ist installiert.
Hinweise :
2.2.x-*-armImages unterstützen nur die vorinstallierten Komponenten und die folgenden optionalen Komponenten. Die anderen optionalen Komponenten der Version 2.2 und alle Initialisierungsaktionen werden nicht unterstützt:- Apache Hive WebHCat
- Apache Pig (ab
2.2.75-ubuntu22-arm) - Docker
- Zeppelin
- Zookeeper (in Clustern mit hoher Verfügbarkeit installiert; optionale Komponente in anderen Clustern)
Der Quellcode für die Bibliotheken des Images 2.2, die unter wechselseitigen und eingeschränkten Lizenzen lizenziert sind, ist unter
/usr/local/share/google/managed-spark/third-party-sourcesauf den VMs des Managed Service for Apache Spark-Clusters verfügbar.Die folgenden Hudi-Prozeduren funktionieren bekanntermaßen nicht in einer Hudi-Tabelle, die durch das Cloud Storage-Dateisystem gesichert wird:
run_clusteringrun_compaction
Der Standardressourcenrechner für YARN wurde von DefaultResourceCalculator in DominantResourceCalculatorgeändert, der das Konzept der dominanten Ressource verwendet, um die Ressourcenzuweisung zu bestimmen, z. B. die Speicher- und CPU-Zuweisung. Diese Änderung wirkt sich auf die automatische Skalierungaus, die auf der Grundlage der dominanten Ressourcennutzung des Clusters skaliert.
Apache Iceberg-Version: In 2.2-Images ist Apache Iceberg in den Versionen
1.6.1und1.10verfügbar. Die Standardversion ist1.6.1. Wenn Sie die Iceberg-Version in einem beliebigen 2.2-Cluster angeben möchten, legen Sie das Clusterattributdataproc:dataproc.iceberg.versionwährend der Clustererstellung auf1.10(oder1.6) fest.Die
2.2.85und höher Image-Versionen haben keine vorkonfigurierten Conda-Channels. Pakete können mit Conda nur installiert werden, wenn Channels während der Clusterinitialisierung manuell konfiguriert werden. Außerdem können Cluster mit der Image-Version2.2mit vorkonfigurierten Conda-Channels, einschließlich2.2.84und früherer Image-Versionen, nach dem 25. August 2026 nicht mehr verwendet werden.- Möglicherweise müssen Sie vorhandene Cluster löschen und ersetzen. Nach dem 25. August 2026, müssen vorhandene Cluster, die mit Images mit vorkonfigurierten Conda-Channels erstellt wurden, gelöscht und durch neue Cluster ersetzt werden, die mit Images ohne vorkonfigurierte Conda-Channels erstellt oder neu erstellt wurden. Das gilt auch dann, wenn in Clusterjobs keine Pakete mit Conda installiert werden.