Problemas y limitaciones conocidos de la versión de imagen 2.2:
Los agentes heredados no están instalados en los clústeres de la versión de imagen 2.2. Los valores predeterminados de monitoring-agent no están disponibles, a menos que esté instalado el Agente de operaciones. Nota: Las métricas y el registro de OSS están disponibles para los componentes de Managed Service para Apache Spark.
El registro o la supervisión de aplicaciones de terceros no están disponibles a menos que esté instalado el Agente de operaciones.
Notas:
Las imágenes
2.2.x-*-armsolo admiten los componentes preinstalados y los siguientes componentes opcionales. No se admiten los otros componentes opcionales de la versión 2.2 ni todas las acciones de inicialización:- Apache Hive WebHCat
- Apache Pig (a partir de
2.2.75-ubuntu22-arm) - Docker
- Zeppelin
- Zookeeper (instalado en clústeres de alta disponibilidad; componente opcional en otros clústeres)
El código fuente de las bibliotecas de la imagen 2.2 con licencia recíproca y restringida está disponible en la ruta de acceso
/usr/local/share/google/managed-spark/third-party-sourcesen las VMs del clúster de Managed Service para Apache Spark.Se sabe que los siguientes procedimientos de Hudi no funcionan en una tabla de Hudi respaldada por el sistema de archivos de Cloud Storage:
run_clusteringrun_compaction
La calculadora de recursos predeterminada para YARN cambió de DefaultResourceCalculator a DominantResourceCalculator, que usa el concepto de recurso dominante para determinar la asignación de recursos, como la asignación de memoria y CPU. Este cambio afecta al escalador automático, que se ajusta según el uso de recursos dominantes del clúster.
Versión de Apache Iceberg: En las imágenes 2.2, Apache Iceberg está disponible en las versiones
1.6.1y1.10. La versión predeterminada es1.6.1. Para especificar la versión de Iceberg en cualquier clúster 2.2, establece la propiedad del clústerdataproc:dataproc.iceberg.versionen1.10(o1.6) durante la creación del clúster.Las versiones de imagen
2.2.85y posteriores no tienen canales de Conda preconfigurados. No se pueden instalar paquetes con Conda, a menos que los canales se configuren de forma manual durante la inicialización del clúster. Además, los clústeres de la versión de imagen2.2que tienen canales de Conda preconfigurados, incluidas las versiones de imagen2.2.84y anteriores, no se pueden usar después del 25 de agosto de 2026.- Es posible que debas borrar y reemplazar los clústeres existentes. Después del 25 de agosto de 2026, los clústeres existentes que se crearon con imágenes que tienen canales de Conda preconfigurados, incluso si los trabajos del clúster no usan Conda para instalar paquetes, se deben borrar y reemplazar por clústeres nuevos creados o recreados con imágenes que no tengan canales de Conda preconfigurados.