Bekannte Probleme und Einschränkungen der Image-Version 2.2:
Legacy-Agents sind in Clustern mit Image-Version 2.2 nicht installiert. monitoring-agent-defaults sind nur verfügbar, wenn der Ops-Agent installiert ist. Hinweis: OSS-Messwerte und -Logging sind für Dataproc-Komponenten verfügbar.
Logging oder Monitoring für Drittanbieteranwendungen sind nur verfügbar, wenn der Ops-Agent installiert ist.
Hinweise:
2.2.x-*-arm
-Images unterstützen nur die vorinstallierten Komponenten und die folgenden optionalen Komponenten. Die anderen optionalen Komponenten von Version 2.2 und alle Initialisierungsaktionen werden nicht unterstützt:- Apache Hive WebHCat
- Docker
- Zeppelin
- Zookeeper (in Hochverfügbarkeitsclustern installiert; optionale Komponente in anderen Clustern)
Der Quellcode für Image 2.2-Bibliotheken, die unter reziproken und eingeschränkten Lizenzen lizenziert sind, ist auf Dataproc-Cluster-VMs unter dem Pfad
/usr/local/share/google/dataproc/third-party-sources
verfügbar.Die folgenden Hudi-Prozeduren funktionieren nicht für eine Hudi-Tabelle, die vom Cloud Storage-Dateisystem unterstützt wird:
run_clustering
run_compaction
Der Standardressourcenrechner für YARN wurde von DefaultResourceCalculator zu DominantResourceCalculator geändert. Dieser verwendet das Konzept der dominanten Ressource, um die Ressourcenzuweisung zu bestimmen, z. B. die Zuweisung von Arbeitsspeicher und CPU. Diese Änderung wirkt sich auf Autoscaler aus, das auf der Grundlage der dominanten Ressourcennutzung des Clusters skaliert wird.