Nuevas funciones y mejoras
- Tipos de máquinas de VMs flexibles: A partir de la versión de imagen
4.0, cuando creas un clúster sin especificar un tipo de máquina para un nodo del clúster, Managed Service para Apache Spark especifica el nodo con una lista clasificada de tipos de máquinas de VM flexibles, como una lista clasificada de tipos de máquinas de las series N4, N2 y E2, con la lista optimizada para la disponibilidad de recursos.
Limitaciones
Apache Hudi: Apache Hudi no es compatible con la versión de imagen
4.0.Almacenes de metadatos con Hive 4.2: La versión de imagen
4.0no admite BigQuery Metastore, BigLake Metastore ni Dataproc Metastore con Hive 4.2 (no se admiten las consultas directas de Hive con estos almacenes de metadatos).Delta Lake con Hive: Delta Lake
4.x, que se incluye en la versión de imagen4.0de Managed Service para Apache Spark, no admite Hive (las consultas en tablas de Delta Lake 4.4 no se pueden ejecutar en Hive).
Notas:
Versiones de Java: La versión de imagen
4.0incluye Java 25 para las cargas de trabajo de Spark. Java 21 se incluye para la retrocompatibilidad.Filtrado de propiedades de Iceberg Spark: En los clústeres estándar 4.0, si se omite el componente opcional
iceberg, las extensiones de sesión de Iceberg y los catálogos predeterminados se filtran automáticamente despark-defaults.confdurante la activación del clúster.Clústeres de GPU: Todas las versiones de imagen de
4.0, excepto4.0-ml-ubuntu, habilitancgroups V2. Dado que YARN no admite la detección de GPU cuandocgroups V2está habilitado, debes usar la imagen4.0-ml-ubuntucuando crees clústeres con GPU.La versión
4.0es una imagen ligera que solo contiene componentes principales, lo que reduce la exposición a vulnerabilidades y exposiciones comunes (CVE). Para cumplir con requisitos de seguridad más estrictos, usa la versión de imagen2.3o una posterior cuando crees un clúster de Managed Service para Apache Spark.Componentes opcionales preinstalados: Los siguientes componentes opcionales están preinstalados en las imágenes 4.0 y se activan si los incluyes durante la creación del clúster:
- Apache Iceberg
- Delta Lake
Debes especificar los componentes opcionales que deseas instalar cuando creas un clúster. Para obtener más información, consulta Agrega componentes opcionales.
En el siguiente ejemplo, se muestra el comando de Google Cloud CLI para crear un clúster con componentes opcionales:gcloud dataproc clusters create CLUSTER_NAME --optional-components=COMPONENT_NAME \ ... other flags
La calculadora de recursos predeterminada para YARN se cambió de DefaultResourceCalculator a DominantResourceCalculator, que usa el concepto de recurso dominante para determinar la asignación de recursos, como la asignación de memoria y CPU. Este cambio afecta al escalador automático, que escala según el uso de recursos dominante del clúster.