Versioni immagine release 3.0.x

Componente	3.0.3-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/09/30	3.0.2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/09/04	3.0.1-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/08/19	3.0.0-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/07/15	3.0.0-RC2-debian13/ -ubuntu24/ -ml-ubuntu24/ -rocky9 2026/05/03
Componente facoltativo ^Apache Flink	2.2.0	2.2.0	2.2.0	2.2.0
Apache Hadoop ^installato	3.5.0	3.5.0	3.5.0	3.5.0	3.5.0
Apache Hive ^installato	4.2.0	4.2.0	4.2.0	4.2.0	4.2.0
Apache Hive WebHCat ^componente facoltativo	4.2.0	4.2.0	4.2.0	4.2.0
Apache Iceberg ^componente facoltativo	1.11.0	1.11.0	1.11.0	1.11.0
Apache Hudi ^componente facoltativo	1.2.0	1.2.0
Azione di inizializzazione ^Apache Kafka	3.9.2	3.9.2	3.9.2	3.9.2
Apache Pig ^componente facoltativo	0.18.0	0.18.0	0.18.0	0.18.0	0.18.0-SNAPSHOT
Apache Ranger ^componente facoltativo	2.8.0	2.8.0	2.8.0
Apache Spark ^installato	4.1.2	4.1.2	4.1.2	4.1.2	4.1.1
Componente facoltativo ^Apache Solr	9.10.1	9.10.1	9.10.1	9.10.1	9.7.0
Apache Tez ^installato	0.10.5	0.10.5	0.10.5	0.10.5	0.10.5
Blocco note Apache Zeppelin ^componente facoltativo	0.12.0	0.12.0	0.12.0	0.12.0
Apache Zookeeper ^componente facoltativo	3.9.5	3.9.5	3.9.5	3.9.5	3.9.3
Connettore BigQuery ^installato	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview	0.44.1-Preview
connettore Cloud Storage ^installato	4.0.4	4.0.4	3.1.13	3.1.13	3.1.13
Conscrypt ^installato	2.6	2.6	2.6	2.6	2,6
Delta Lake ^componente facoltativo	4.2.0	4.2.0	4.2.0
Docker ^componente facoltativo	28,1	28.1	28.1	28.1
Java ^installato	21	21	21	21	21
Componente facoltativo ^Blocco note JupyterLab	4.5.7	4.5.7	4.5.7	4.5.7
Python ^installato	Pixi 0.76.0 con Python 3.12	Pixi 0.76.0 con Python 3.12	Pixi 0.67.1 con Python 3.12	Pixi 0.67.1 con Python 3.12	Pixi 0.67.1 con Python 3.11
R ^installato	R 4.5	R 4.5	R 4.5	R 4.5	R 4.5
Scala ^installato	2.13.17	2.13.17	2.13.17	2.13.17	2.13.17
Trino ^componente facoltativo	480	480	480	480

Limitazioni

• Metastore con Hive 4.2: la versione dell'immagine 3.0 non supporta BigQuery Metastore, BigLake Metastore o Dataproc Metastore con Hive 4.2 (le query Hive dirette che utilizzano questi metastore non sono supportate).

• Delta Lake con Hive:Delta Lake 4.x, incluso nella versione dell'immagine di Managed Service for Apache Spark 3.0, non supporta Hive (le query sulle tabelle Delta Lake 4.2 non possono essere eseguite su Hive).

• Iceberg con Hive:la versione dell'immagine di Managed Service for Apache Spark 3.0 include Hive 4.2, che supporta Iceberg tramite il catalogo REST di Iceberg.

• Cluster GPU: tutte le versioni immagine 3.0, ad eccezione di 3.0-ml-ubuntu, abilitano cgroups V2. Poiché YARN non supporta il rilevamento delle GPU quando è abilitato cgroups V2, devi utilizzare l'immagine 3.0-ml-ubuntu quando crei cluster con GPU.

Note:

• La versione 3.0 è un'immagine leggera che contiene solo i componenti principali, riducendo l'esposizione a vulnerabilità ed esposizioni comuni (CVE). Per requisiti di conformità di sicurezza più elevati, utilizza la versione immagine 2.3 o successiva quando crei un cluster Managed Service for Apache Spark.

• Se scegli di installare componenti facoltativi durante la creazione di un cluster Managed Service for Apache Spark con l'immagine 3.0, questi verranno scaricati e installati durante la creazione del cluster. Ciò potrebbe aumentare il tempo di avvio del cluster. Per evitare questo ritardo, puoi creare un'immagine personalizzata con i componenti facoltativi preinstallati. A questo scopo, esegui generate_custom_image.py con il flag --optional-components.

  Nota: devi specificare i componenti facoltativi che vuoi installare quando crei il cluster. Per maggiori informazioni, vedi Aggiungere componenti facoltativi.
  Il seguente esempio mostra il comando Google Cloud CLI per creare un cluster con componenti facoltativi:

  gcloud dataproc clusters create CLUSTER_NAME
      --optional-components=COMPONENT_NAME \
      ... other flags
  

• I seguenti componenti facoltativi sono supportati nelle immagini 3.0:

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Iceberg
  • Apache Pig
  • Apache Ranger
  • Apache Solr
  • Notebook Apache Zeppelin
  • Apache Zookeeper
  • Delta Lake
  • Docker
  • Notebook JupyterLab
  • Trino

• yarn.nodemanager.recovery.enabled e la registrazione degli audit log HDFS sono abilitati per impostazione predefinita nelle immagini 3.0.

• Pixi viene installato nell'ambito dell'installazione di Python e viene utilizzato per installare i pacchetti Python anziché Conda.

• Il calcolatore delle risorse predefinito per YARN è stato modificato da DefaultResourceCalculator a DominantResourceCalculator, che utilizza il concetto di risorsa dominante per determinare l'allocazione delle risorse, come l'allocazione di memoria e CPU. Questa modifica influisce su Autoscaler, che esegue lo scale in base all'utilizzo delle risorse dominante del cluster.

• A partire dalla versione immagine 3.0, quando crei un cluster senza specificare un tipo di macchina per un nodo del cluster, Managed Service for Apache Spark specifica il nodo con un elenco classificato di tipi di macchine VM flessibili, ad esempio un elenco classificato di tipi di macchine delle serie N4, N2 ed E2, con l'elenco ottimizzato per la disponibilità delle risorse.