Nuove funzionalità e miglioramenti
- Tipi di macchine VM flessibili: a partire dalla versione immagine
4.0, quando crei un cluster senza specificare un tipo di macchina per un nodo del cluster, Managed Service for Apache Spark specifica il nodo con un elenco classificato di tipi di macchine VM flessibili, ad esempio un elenco classificato di tipi di macchine delle serie N4, N2 ed E2, con l'elenco ottimizzato per la disponibilità delle risorse.
Limitazioni
Apache Hudi: Apache Hudi non è supportato nella versione immagine
4.0.Metastore con Hive 4.2: la versione immagine
4.0non supporta BigQuery Metastore, BigLake Metastore o Dataproc Metastore con Hive 4.2 (le query Hive dirette che utilizzano questi metastore non sono supportate).Delta Lake con Hive: Delta Lake
4.x, incluso nella versione immagine di Managed Service for Apache Spark4.0, non supporta Hive (le query sulle tabelle Delta Lake 4.4 non possono essere eseguite su Hive).
Note:
Versioni di Java: la versione immagine
4.0include Java 25 per i workload Spark. Java 21 è incluso per la compatibilità con le versioni precedenti.Filtro delle proprietà Iceberg Spark: sui cluster standard 4.0, se il componente facoltativo
icebergviene omesso, le estensioni della sessione Iceberg e i cataloghi predefiniti vengono filtrati automaticamente daspark-defaults.confdurante l'attivazione del cluster.Cluster GPU: tutte le versioni immagine
4.0, ad eccezione di4.0-ml-ubuntu, abilitanocgroups V2. Poiché YARN non supporta il rilevamento delle GPU quandocgroups V2è abilitato, devi utilizzare l'immagine4.0-ml-ubuntuquando crei cluster con GPU.La versione
4.0è un'immagine leggera che contiene solo i componenti principali, riducendo l'esposizione alle vulnerabilità ed esposizioni comuni (CVE). Per requisiti di conformità alla sicurezza più elevati, utilizza la versione immagine2.3o successiva quando crei un cluster Managed Service for Apache Spark.Componenti facoltativi preinstallati: i seguenti componenti facoltativi sono preinstallati nelle immagini 4.0 e vengono attivati se li includi durante la creazione del cluster:
- Apache Iceberg
- Delta Lake
Devi specificare i componenti facoltativi che vuoi installare quando crei un cluster. Per saperne di più, consulta Aggiungi componenti facoltativi.
L'esempio seguente mostra il comando Google Cloud CLI per la creazione di un cluster con componenti facoltativi:gcloud dataproc clusters create CLUSTER_NAME --optional-components=COMPONENT_NAME \ ... other flags
Il calcolatore delle risorse predefinito per YARN è stato modificato da DefaultResourceCalculator a DominantResourceCalculator, che utilizza il concetto di risorsa dominante per determinare l'allocazione delle risorse, ad esempio l'allocazione di memoria e CPU. Questa modifica influisce sul gestore della scalabilità automatica, che scala in base all'utilizzo delle risorse dominanti del cluster.