Versiones de imágenes de la versión 4.0.x

Componente 4.0.0-debian13/
-ubuntu24/
-ml-ubuntu24/
-rocky9
2026/11/19




Apache Flink
componente opcional
2.2.0
Apache Gluten
instalado
1.6
Apache Hadoop
instalado
3.5.0
Apache Hive
instalado
4.2.0
Componente opcional de
Apache Hive WebHCat
4.2.0
Componente opcional
de Apache Iceberg
1.12.0
Acción de inicialización de
Apache Kafka
3.9.2
Componente opcional de Apache Pig
0.18.0
Componente opcional de Apache Ranger
2.8.0
Apache Spark
instalado
4.2.0
Componente opcional
Apache Solr
9.10.1
Apache Tez
instalado
0.10.5
Componente opcional
de Apache Zeppelin Notebook
0.12.0
Componente opcional
Apache ZooKeeper
3.9.5
Conector de BigQuery
instalado
0.46.0
Conector de Cloud Storage
instalado
4.0.7
Conscrypt
instalado
2.6
Componente opcional
Delta Lake
4.4.0
Docker
componente opcional
28.1
Java
instalado
25
Componente opcional de
Notebook de JupyterLab
4.6.6
Python
instalado
Pixi 0.76.0 con Python 3.13
R
instalado
R 4.5
Scala
instalado
2.13.17
Trino
componente opcional
480

Nuevas funciones y mejoras

  • Tipos de máquinas de VMs flexibles: A partir de la versión de imagen 4.0, cuando creas un clúster sin especificar un tipo de máquina para un nodo del clúster, Managed Service para Apache Spark especifica el nodo con una lista clasificada de tipos de máquinas de VM flexibles, como una lista clasificada de tipos de máquinas de las series N4, N2 y E2, con la lista optimizada para la disponibilidad de recursos.

Limitaciones

  • Apache Hudi: Apache Hudi no es compatible con la versión de imagen 4.0.

  • Almacenes de metadatos con Hive 4.2: La versión de imagen 4.0 no admite BigQuery Metastore, BigLake Metastore ni Dataproc Metastore con Hive 4.2 (no se admiten las consultas directas de Hive con estos almacenes de metadatos).

  • Delta Lake con Hive: Delta Lake 4.x, que se incluye en la versión de imagen 4.0 de Managed Service para Apache Spark, no admite Hive (las consultas en tablas de Delta Lake 4.4 no se pueden ejecutar en Hive).

Notas:

  • Versiones de Java: La versión de imagen 4.0 incluye Java 25 para las cargas de trabajo de Spark. Java 21 se incluye para la retrocompatibilidad.

  • Filtrado de propiedades de Iceberg Spark: En los clústeres estándar 4.0, si se omite el componente opcional iceberg, las extensiones de sesión de Iceberg y los catálogos predeterminados se filtran automáticamente de spark-defaults.conf durante la activación del clúster.

  • Clústeres de GPU: Todas las versiones de imagen de 4.0, excepto 4.0-ml-ubuntu, habilitan cgroups V2. Dado que YARN no admite la detección de GPU cuando cgroups V2 está habilitado, debes usar la imagen 4.0-ml-ubuntu cuando crees clústeres con GPU.

  • La versión 4.0 es una imagen ligera que solo contiene componentes principales, lo que reduce la exposición a vulnerabilidades y exposiciones comunes (CVE). Para cumplir con requisitos de seguridad más estrictos, usa la versión de imagen 2.3 o una posterior cuando crees un clúster de Managed Service para Apache Spark.

  • Componentes opcionales preinstalados: Los siguientes componentes opcionales están preinstalados en las imágenes 4.0 y se activan si los incluyes durante la creación del clúster:

    • Apache Iceberg
    • Delta Lake

    Debes especificar los componentes opcionales que deseas instalar cuando creas un clúster. Para obtener más información, consulta Agrega componentes opcionales.
    En el siguiente ejemplo, se muestra el comando de Google Cloud CLI para crear un clúster con componentes opcionales:

    gcloud dataproc clusters create CLUSTER_NAME
        --optional-components=COMPONENT_NAME \
        ... other flags
    

  • La calculadora de recursos predeterminada para YARN se cambió de DefaultResourceCalculator a DominantResourceCalculator, que usa el concepto de recurso dominante para determinar la asignación de recursos, como la asignación de memoria y CPU. Este cambio afecta al escalador automático, que escala según el uso de recursos dominante del clúster.