Versioni immagine release 3.0.x

Componente	3.0.0-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/07/15	3.0.0-RC2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/05/03	3.0.0-RC1-debian12/ -ubuntu24/ -rocky9 2025/09/08
^Componente facoltativo	2.2.0	2.2.0
Apache Hadoop ^installato	3.5.0	3.5.0	3.4.1
**Apache Hive** ^installato	4.2.0	4.2.0	4.1.0
^Componente facoltativo **Apache Hive WebHCat**	4.2.0	4.2.0
Componente facoltativoApache Iceberg	1.11.0
Azione di inizializzazione	3.9.2	3.9.2
^Componente facoltativo	0.18.0	0.18.0-SNAPSHOT
Apache Ranger^Componente facoltativo	2.8.0
Apache Spark ^installato	4.1.2	4.1.1	4.0.0
Componente facoltativo**Apache Solr**	9.10.1	9.10.1	9.7.0
Apache Tez ^installato	0.10.5	0.10.5	0.10.5
^Componente facoltativo	0.12.0	0.12.0
Apache Zookeeper ^Componente facoltativo	3.9.5	3.9.5	3.9.3
Connettore BigQuery ^installato	0.44.1-Preview	0.44.1-Preview
Connettore Cloud Storage ^installato	3.1.13	3.1.13	3.1.6
**Conscrypt** ^installato	2.6	2.6	2.6
Componente facoltativo ^**Delta Lake**	4.2.0
Componente facoltativo**Docker**	28.1	28.1
Java ^installato	21	21	17
Componente facoltativo ^**JupyterLab Notebook**	4.5.7	4.5.7
**Python** ^installato	Pixi 0.67.1 con Python 3.12	Pixi 0.67.1 con Python 3.11	micromamba 2.0.5 con Python 3.11
R ^installato	R 4.5	R 4.5	R 4.3
Scala ^installato	2.13.17	2.13.17	2.13.14
Trino ^Trino	480	480

Limitazioni

• Lightning Engine: la versione dell'immagine 3.0 non supporta Lightning Engine.

• Metastore con Hive 4.2: la versione dell'immagine 3.0 non supporta BigQuery Metastore, BigLake Metastore o Dataproc Metastore con Hive 4.2 (le query Hive dirette che utilizzano questi metastore non sono supportate).

• Delta Lake con Hive: Delta Lake 4.x, incluso nella versione dell'immagine 3.0 di Managed Service for Apache Spark, non supporta Hive (le query sulle tabelle Delta Lake 4.2 non possono essere eseguite su Hive).

• Iceberg con Hive: la versione dell'immagine 3.0 di Managed Service for Apache Spark include Hive 4.2, che supporta Iceberg tramite il catalogo REST di Iceberg.

• Cluster GPU: tutte le versioni dell'immagine 3.0, ad eccezione di 3.0-ml-ubuntu, abilitano cgroups V2. Poiché YARN non supporta il rilevamento della GPU quando cgroups V2 è abilitato, devi utilizzare l'immagine 3.0-ml-ubuntu quando crei cluster con GPU.

• Hudi: la versione dell'immagine 3.0 non supporta Apache Hudi.

Note:

• La versione 3.0 è un'immagine leggera che contiene solo i componenti principali, riducendo l'esposizione a vulnerabilità ed esposizioni comuni (CVE). Per requisiti di conformità alla sicurezza più elevati, utilizza la versione dell'immagine 2.3 o successive quando crei un cluster Managed Service for Apache Spark.

• Se scegli di installare componenti facoltativi quando crei un cluster Managed Service for Apache Spark con 3.0 immagine, questi verranno scaricati e installati durante la creazione del cluster. Ciò potrebbe aumentare il tempo di avvio del cluster. Per evitare questo ritardo, puoi creare un 'immagine personalizzata con i componenti facoltativi preinstallati. Per farlo, esegui generate_custom_image.py con il --optional-components flag.

  Nota: devi specificare i componenti facoltativi che vuoi installare quando crei il cluster. Per maggiori informazioni, consulta Aggiungere componenti facoltativi.
  L'esempio seguente mostra il comando Google Cloud CLI per creare un cluster con componenti facoltativi:

  gcloud dataproc clusters create CLUSTER_NAME
      --optional-components=COMPONENT_NAME \
      ... other flags
  

• Nelle immagini 3.0 sono supportati i seguenti componenti facoltativi:

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Iceberg
  • Apache Pig
  • Apache Ranger
  • Apache Solr
  • Apache Zeppelin Notebook
  • Apache Zookeeper
  • Delta Lake
  • Docker
  • JupyterLab Notebook
  • Trino

• yarn.nodemanager.recovery.enabled e l'audit logging HDFS sono abilitati per impostazione predefinita nelle immagini 3.0.

• Pixi viene installato come parte dell'installazione di Python e viene utilizzato per installare i pacchetti Python anziché Conda.

• Il calcolatore di risorse predefinito per YARN è stato modificato da DefaultResourceCalculator a DominantResourceCalculator, che utilizza il concetto di risorsa dominante per determinare l'allocazione delle risorse, ad esempio l'allocazione di memoria e CPU. Questa modifica influisce su Autoscaler, che esegue la scalabilità in base all'utilizzo della risorsa dominante del cluster.

• A partire dalla versione dell'immagine 3.0, quando crei un cluster senza specificare un tipo di macchina per un nodo del cluster, Managed Service for Apache Spark specifica il nodo con un elenco classificato di tipi di macchine VM flessibili, ad esempio un elenco classificato di tipi di macchine delle serie N4, N2 ed E2, con l'elenco ottimizzato per la disponibilità delle risorse.