Novos recursos e melhorias
- Tipos de máquina de VM flexíveis: a partir da versão de imagem
4.0, quando você cria um cluster sem especificar um tipo de máquina para um nó de cluster, o Serviço Gerenciado para Apache Spark especifica o nó com uma lista classificada de tipos de máquina de VM flexíveis, como uma lista classificada de tipos de máquina das séries N4, N2 e E2, com a lista otimizada para disponibilidade de recursos.
Limitações
Apache Hudi: o Apache Hudi não é compatível com a versão de imagem
4.0.Metastores com o Hive 4.2: a versão de imagem
4.0não é compatível com o BigQuery Metastore, o BigLake Metastore ou o Dataproc Metastore com o Hive 4.2 (consultas diretas do Hive que usam esses metastores não são compatíveis).Delta Lake com Hive: o Delta Lake
4.x, que está incluído na versão de imagem4.0do Serviço Gerenciado para Apache Spark, não é compatível com o Hive (não é possível executar consultas em tabelas do Delta Lake 4.4 no Hive).
Observações:
Versões do Java: a versão de imagem
4.0inclui o Java 25 para cargas de trabalho do Spark. O Java 21 está incluído para compatibilidade com versões anteriores.Filtragem de propriedades do Iceberg Spark: em clusters padrão 4.0, se o componente opcional
icebergfor omitido, as extensões de sessão do Iceberg e os catálogos padrão serão filtrados automaticamente despark-defaults.confdurante a ativação do cluster.Clusters de GPU: todas as versões de imagem do
4.0, exceto4.0-ml-ubuntu, ativam ocgroups V2. Como o YARN não é compatível com a descoberta de GPU quandocgroups V2está ativado, use a imagem4.0-ml-ubuntuao criar clusters com GPUs.A versão
4.0é uma imagem leve que contém apenas componentes principais, reduzindo a exposição a vulnerabilidades e exposições comuns (CVEs). Para requisitos de conformidade de segurança mais altos, use a versão de imagem2.3ou mais recente ao criar um cluster do Serviço Gerenciado para Apache Spark.Componentes opcionais pré-instalados: os componentes opcionais a seguir são pré-instalados em imagens 4.0 e ativados se você os incluir durante a criação do cluster:
- Apache Iceberg
- Delta Lake
É preciso especificar os componentes opcionais que você quer instalar ao criar um cluster. Para mais informações, consulte Adicionar componentes opcionais.
O exemplo a seguir mostra o comando da Google Cloud CLI para criar um cluster com componentes opcionais:gcloud dataproc clusters create CLUSTER_NAME --optional-components=COMPONENT_NAME \ ... other flags
A calculadora de recursos padrão do YARN foi alterada de DefaultResourceCalculator para DominantResourceCalculator, que usa o conceito de recurso dominante para determinar a alocação de recursos, como memória e CPU. Essa mudança afeta o escalonador automático, que é escalonado com base no uso de recursos dominante do cluster.