Versões de imagem de lançamento 3.0.x

Componente	3.0.0-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/07/15	3.0.0-RC2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/05/03	3.0.0-RC1-debian12/ -ubuntu24/ -rocky9 2025/09/08
**Apache Flink** ^componente opcional	2.2.0	2.2.0
**Apache Hadoop** ^instalado	3.5.0	3.5.0	3.4.1
**Apache Hive** ^instalado	4.2.0	4.2.0	4.1.0
Apache Hive WebHCat ^componente opcional	4.2.0	4.2.0
**Apache Iceberg** ^componente opcional	1.11.0
**Apache Kafka** ^ação de inicialização	3.9.2	3.9.2
**Apache Pig** ^componente opcional	0.18.0	0.18.0-SNAPSHOT
**Apache Ranger** ^componente opcional	2.8.0
Apache Spark ^instalado	4.1.2	4.1.1	4.0.0
**Apache Solr** ^componente opcional	9.10.1	9.10.1	9.7.0
Apache Tez ^instalado	0.10.5	0.10.5	0.10.5
Notebook Apache Zeppelin ^componente opcional	0.12.0	0.12.0
**Apache Zookeeper** ^componente opcional	3.9.5	3.9.5	3.9.3
Conector do BigQuery ^instalado	0.44.1-Preview	0.44.1-Preview
Cloud Storage Connector ^instalado	3.1.13	3.1.13	3.1.6
**Conscrypt** ^instalado	2,60	2,60	2,60
**Delta Lake** ^componente opcional	4.2.0
**Docker** ^componente opcional	28.1	28.1
Java ^instalado	21	21	17
Notebook JupyterLab ^componente opcional	4.5.7	4.5.7
**Python** ^instalado	Pixi 0.67.1 com Python 3.12	Pixi 0.67.1 com Python 3.11	micromamba 2.0.5 com Python 3.11
R ^instalado	R 4.5	R 4.5	R 4.3
Scala ^instalado	2.13.17	2.13.17	2.13.14
Trino ^componente opcional	480	480

Limitações

• Lightning Engine:a versão de imagem 3.0 não oferece suporte ao Lightning Engine.

• Metastores com o Hive 4.2:a versão de imagem 3.0 não oferece suporte ao BigQuery Metastore, ao BigLake Metastore ou ao Dataproc Metastore com o Hive 4.2 (consultas diretas do Hive usando esses metastores não são aceitas).

• Delta Lake com o Hive:o Delta Lake 4.x, incluído na versão de imagem 3.0 do Serviço Gerenciado para Apache Spark, não oferece suporte ao Hive (consultas em tabelas do Delta Lake 4.2 não podem ser executadas no Hive).

• Iceberg com o Hive:a versão de imagem 3.0 do Serviço Gerenciado para Apache Spark inclui o Hive 4.2, que oferece suporte ao Iceberg pelo catálogo REST do Iceberg.

• Clusters de GPU: todas as versões de imagem 3.0, exceto 3.0-ml-ubuntu, ativam cgroups V2. Como o YARN não oferece suporte à descoberta de GPU quando cgroups V2 está ativado, use a imagem 3.0-ml-ubuntu ao criar clusters com GPUs.

• Hudi:a versão de imagem 3.0 não oferece suporte ao Apache Hudi.

Observações:

• A versão 3.0 é uma imagem leve que contém apenas componentes principais, reduzindo a exposição a vulnerabilidades e exposições comuns (CVEs). Para requisitos de conformidade de segurança mais altos, use a versão de imagem 2.3 ou mais recente ao criar um cluster do Serviço Gerenciado para Apache Spark.

• Se você optar por instalar componentes opcionais ao criar um cluster do Serviço Gerenciado para Apache Spark com a imagem 3.0, eles serão baixados e instalados durante a criação do cluster. Isso pode aumentar o tempo de inicialização do cluster. Para evitar esse atraso, crie uma imagem personalizada com os componentes opcionais pré-instalados. Isso é feito executando generate_custom_image.py com a --optional-components flag.

  Observação: especifique os componentes opcionais que você quer instalar ao criar o cluster. Para mais informações, consulte Adicionar componentes opcionais.
  O exemplo a seguir mostra o comando da Google Cloud CLI para criar um cluster com componentes opcionais:

  gcloud dataproc clusters create CLUSTER_NAME
      --optional-components=COMPONENT_NAME \
      ... other flags
  

• Os seguintes componentes opcionais são compatíveis com imagens 3.0:

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Iceberg
  • Apache Pig
  • Apache Ranger
  • Apache Solr
  • Notebook Apache Zeppelin
  • Apache Zookeeper
  • Delta Lake
  • Docker
  • Notebook JupyterLab
  • Trino

• yarn.nodemanager.recovery.enabled e o registro de auditoria do HDFS são ativados por padrão em imagens 3.0.

• Pixi é instalado como parte da instalação do Python e é usado para instalar pacotes do Python em vez do Conda.

• A calculadora de recursos padrão para YARN foi alterada de DefaultResourceCalculator para DominantResourceCalculator, que usa o conceito de recurso dominante para determinar a alocação de recursos, como memória e CPU. Essa mudança afeta o escalonador automático, que é escalonado com base no uso de recursos dominantes do cluster.

• A partir da versão de imagem 3.0, ao criar um cluster sem especificar um tipo de máquina para um nó de cluster, o Serviço Gerenciado para Apache Spark especifica o nó com uma lista classificada de tipos de máquinas de VM flexíveis, como uma lista classificada de tipos de máquinas das séries N4, N2 e E2, com a lista otimizada para disponibilidade de recursos.