Versioni immagine release 2.3.x

Componente	2.3.37-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/09/30	2.3.36-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/09/04	2.3.35-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/08/19	2.3.34-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/07/15	2.3.33-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/06/30
Azione di inizializzazione ^Apache Atlas	2.2.0	2.2.0	2.2.0	2.2.0	2.2.0
Componente facoltativo ^Apache Flink	1.17.0	1.17.0	1.17.0	1.17.0	1.17.0
Apache Hadoop ^installato	3.3.6	3.3.6	3.3.6	3.3.6	3.3.6
Apache Hive ^installato	3.1.3	3.1.3	3.1.3	3.1.3	3.1.3
Componente facoltativo ^Apache Hive WebHCat	3.1.3	3.1.3	3.1.3	3.1.3	3.1.3
Componente facoltativo ^Apache Hudi	0.15.0	0.15.0	0.15.0	0.15.0	0.15.0
Componente facoltativo ^Apache Iceberg	1.6.1	1.6.1	1.6.1	1.6.1	1.6.1
Azione di inizializzazione ^Apache Kafka	3.1.0	3.1.0	3.1.0	3.1.0	3.1.0
Componente facoltativo ^Apache Pig	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT
Apache Spark ^installato	3.5.3	3.5.3	3.5.3	3.5.3	3.5.3
Azione di inizializzazione ^Apache Sqoop	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT
Apache Tez ^installato	0.10.2	0.10.2	0.10.2	0.10.2	0.10.2
Connettore BigQuery ^installato	0.42.3	0.42.3	0.42.3	0.42.3	0.42.3
Connettore Cloud Storage ^installato	3.1.13	3.1.13	3.1.13	3.1.13	3.1.13
Conscrypt ^installato	2.5.2	2.5.2	2.5.2	2.5.2	2.5.2
Delta Lake ^componente facoltativo	3.2.1	3.2.1	3.2.1	3.2.1	3.2.1
Docker ^componente facoltativo	28,1	28,1	28,1	28,1	28,1
Azione di inizializzazione ^Hue	4.11.0	4.11.0	4.11.0	4.11.0	4.11.0
Java ^installato	11	11	11	11	11
Componente facoltativo ^Blocco note JupyterLab	3,6	3,6	3,6	3,6	3,6
Oozie ^Oozie	5.2.1	5.2.1	5.2.1	5.2.1	5.2.1
Python ^installato	micromamba 2.0.5 con Python 3.11	micromamba 2.0.5 con Python 3.11	micromamba 2.0.5 con Python 3.11	micromamba 2.0.5 con Python 3.11	micromamba 2.0.5 con Python 3.11
R ^installato	R 4.3	R 4.3	R 4.3	R 4.3	R 4.3
Componente facoltativo ^Ranger	2.4.0	2.4.0	2.4.0	2.4.0	2.4.0
Scala ^installato	2.12.18	2.12.18	2.12.18	2.12.18	2.12.18
Solr ^Solr	9.4.1	9.4.1	9.4.1	9.4.1	9.4.1
Trino ^Trino	432	432	432	432	432
Componente facoltativo ^Notebook Zeppelin	0.10.1	0.10.1	0.10.1	0.10.1	0.10.1
Zookeeper ^componente facoltativo	3.9.5	3.9.5	3.9.5	3.9.5	3.9.5

Note:

• La versione 2.3 è un'immagine leggera che contiene solo i componenti principali, riducendo l'esposizione a vulnerabilità ed esposizioni comuni (CVE). Per requisiti di conformità di sicurezza più elevati, utilizza la versione immagine 2.3 o successiva quando crei un cluster Managed Service for Apache Spark.

• Se scegli di installare componenti facoltativi durante la creazione di un cluster Managed Service for Apache Spark con l'immagine 2.3, questi verranno scaricati e installati durante la creazione del cluster. Questo potrebbe aumentare il tempo di avvio del cluster. Per evitare questo ritardo, puoi creare un'immagine personalizzata con i componenti facoltativi preinstallati. A questo scopo, esegui generate_custom_image.py con il flag --optional-components.

  Nota: devi specificare i componenti facoltativi che vuoi installare quando crei il cluster. Per saperne di più, consulta Aggiungi componenti facoltativi.
  L'esempio seguente mostra il comando Google Cloud CLI per la creazione di un cluster con componenti facoltativi:

  gcloud dataproc clusters create CLUSTER_NAME
      --optional-components=COMPONENT_NAME \
      ... other flags
  

• Le versioni immagine 2.3.32, 2.3.36 e successive non hanno canali Conda preconfigurati. I pacchetti non possono essere installati utilizzando Conda, a meno che i canali non vengano configurati manualmente durante l'inizializzazione del cluster. Inoltre, i cluster con versione immagine 2.3 che hanno canali Conda preconfigurati, incluse le versioni immagine 2.3.35 e precedenti, ma escluse le versioni 2.3.32, non possono essere utilizzati dopo il 25 agosto 2026.

  • Potresti dover eliminare e sostituire i cluster esistenti. Dopo il 25 agosto 2026, i cluster esistenti creati con immagini che hanno canali Conda preconfigurati, anche se i job del cluster non utilizzano Conda per installare i pacchetti, devono essere eliminati e sostituiti con nuovi cluster creati o ricreati con immagini che non hanno canali Conda preconfigurati.

• I seguenti componenti facoltativi sono supportati nelle immagini 2.3 non ARM:

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Hudi
  • Apache Iceberg
  • Apache Pig
  • Delta Lake
  • Docker
  • Notebook JupyterLab
  • Ranger
  • Solr
  • Trino
  • Notebook Zeppelin
  • Zookeeper

• Le immagini 2.3.x-*-arm supportano solo i componenti preinstallati e i seguenti componenti facoltativi. Gli altri componenti facoltativi della versione 2.3 e tutte le azioni di inizializzazione non sono supportati:

  • Apache Hive WebHCat
  • Apache Pig (a partire da 2.3.22-ubuntu22-arm)
  • Docker
  • Notebook Zeppelin
  • Zookeeper (installato nei cluster ad alta affidabilità; componente facoltativo in altri cluster)

• Lightning Engine ed esecuzione di query native su ARM: supportati sulle immagini 2.3-ubuntu22-arm.

• yarn.nodemanager.recovery.enabled e l'audit logging HDFS sono abilitati per impostazione predefinita nelle immagini 2.3.

• micromamba, anziché conda nelle versioni precedenti dell'immagine, viene installato nell'ambito dell'installazione di Python.

• Versione di Apache Iceberg: nelle immagini 2.3, Apache Iceberg è disponibile nelle versioni 1.6.1 e 1.10. La versione predefinita è 1.6.1. A partire dalla versione immagine 2.3.35, i cluster 2.3 creati con Lightning Engine abilitato utilizzano la versione Iceberg 1.10 per impostazione predefinita. Per specificare la versione di Iceberg su qualsiasi cluster 2.3, imposta la proprietà del cluster dataproc:dataproc.iceberg.version su 1.10 (o 1.6) durante la creazione del cluster.

• Problemi di installazione di Docker e Zeppelin:

  • L'installazione non va a buon fine se il cluster non ha accesso a internet pubblico. Come soluzione alternativa, crea un cluster che utilizzi un'immagine personalizzata con componenti facoltativi preinstallati. Per farlo, esegui generate_custom_image.py con il flag --optional-components.
  • L'installazione può non riuscire se il cluster è bloccato su una versione immagine secondaria precedente: i pacchetti vengono installati on demand dai repository OSS pubblici e un pacchetto potrebbe non essere disponibile upstream per supportare l'installazione. Come soluzione alternativa, crea un cluster che utilizzi un'immagine personalizzata con componenti facoltativi preinstallati nell'immagine personalizzata. Per farlo, esegui generate_custom_image.py con il flag --optional-components.

• Il calcolatore delle risorse predefinito per YARN è stato modificato da DefaultResourceCalculator a DominantResourceCalculator, che utilizza il concetto di risorsa dominante per determinare l'allocazione delle risorse, ad esempio l'allocazione di memoria e CPU. Questa modifica influisce sul gestore della scalabilità automatica, che scala in base all'utilizzo delle risorse dominanti del cluster.

Componenti di machine learning (ML) della versione immagine 2.3

L'immagine 2.3-ml-ubuntu di Managed Service for Apache Spark estende l'immagine di base 2.3 con software specifico per il ML. Supporta i componenti facoltativi dell'immagine 2.3 e altre funzionalità della versione 2.3, oltre ad aggiungere le versioni dei componenti elencate nelle sezioni seguenti.

Librerie specifiche per GPU

Per i job Managed Service for Apache Spark che utilizzano VM GPU, nell'immagine 2.3-ml-ubuntu sono disponibili il driver e le librerie NVIDIA seguenti. Puoi utilizzarli per eseguire le seguenti attività:

• Accelera i workload batch Spark con la libreria NVIDIA cuDF per Apache Spark
• Addestra i workload di machine learning
• Esegui l'inferenza batch distribuita utilizzando Spark

Nome pacchetto	Versione
Spark cuDF	25.04.0
Driver NVIDIA	Ubuntu 22.04 LTS Accelerated con il driver NVIDIA versione 570
CUDA	12.6.3
cublas	12.6.4
cusolver	11.7.1
cupti	12.6.80
cusparse	12.5.4
cuDNN	9.10.1
NCCL	2.27.5

Librerie XGBoost

Le seguenti versioni del pacchetto Maven sono disponibili nell'immagine 2.3-ml-ubuntu per consentirti di utilizzare XGBoost con Spark in Java o Scala.

ID gruppo	Nome pacchetto	Versione
ml.dmlc	xgboost4j-gpu_2.12	2.1.1
ml.dmlc	xgboost4j-spark-gpu_2.12	2.1.1

Nota: non puoi utilizzare Spark XGBoost distribuito su un job di Managed Service for Apache Spark con la scalabilità automatica (il comportamento predefinito) perché i nuovi nodi che avviano la scalabilità elastica non possono ricevere nuove attività e rimangono inattivi. Per utilizzare XGBoost con un workload batch, puoi impostare la proprietà spark.dynamicAllocation.enabled = false su un job Managed Service for Apache Spark per disattivare l'allocazione dinamica.

Librerie Python

L'immagine 2.3-ml-ubuntu contiene le seguenti librerie, che supportano diverse fasi del ciclo di vita del ML.

Pacchetto	Versione
accelerate	1.8.1
conda	23.11.0
cookiecutter	2.5.0
curl	8.12.1
cython	3.0.12
dask	1/12/2023
set di dati	3.6.0
deepspeed	0.17.2
delta-spark	3.2.0
evaluate	0.4.5
fastavro	1.9.7
fastparquet	1/10/2023
fiona	1.10.0
gateway-provisioners[yarn]	0.4.0
gcsfs	2023.12.2.post1
google-auth-oauthlib	1.2.2
google-cloud-aiplatform	1.88.0
google-cloud-bigquery[pandas]	3.31.0
google-cloud-bigquery-storage	2.30.0
google-cloud-bigtable	2.30.1
google-cloud-container	2.56.1
google-cloud-datacatalog	3.26.1
google-cloud-dataproc	5.18.1
google-cloud-datastore	2.21.0
google-cloud-language	2.17.2
google-cloud-logging	3.11.4
google-cloud-monitoring	2.27.2
google-cloud-pubsub	2.29.1
google-cloud-redis	2.18.1
google-cloud-spanner	3.53.0
google-cloud-speech	2.32.0
google-cloud-storage	2.19.0
google-cloud-texttospeech	2.25.1
google-cloud-translate	3.20.3
google-cloud-vision	3.10.2
huggingface_hub	0.33.1
httplib2	0.22.0
ipyparallel	8.6.1
ipython-sql	0.3.9
ipywidgets	8.1.7
jupyter_contrib_nbextensions	0.7.0
jupyter_http_over_ws	0.0.8
jupyter_kernel_gateway	2.5.2
jupyter_server	1.24.0
jupyterhub	4.1.6
jupyterlab	3.6.8
jupyterlab-git	0.44.0
jupyterlab_widgets	3.0.15
koala	0.22.0
langchain	0.3.26
lightgbm	4.6.0
markdown	3.5.2
matplotlib	3.8.4
mlflow	3.1.1
nbconvert	7.14.2
nbdime	3.2.1
nltk	3.9.1
notebook	6.5.7
numba	0.58.1
numpy	1.26.4
oauth2client	4.1.3
onnx	1.17.0
openblas	0.3.25
opencv	4.11.0
orc	2.1.1
pandas	2.1.4
pandas-profiling	3.0.0
cartiera	2.4.0
pyarrow	16.1.0
pydot	2.0.0
pyhive	0.7.0
pynvml	12.0.0
pysal	23,7
pytables	3.9.2
python	3.11
regex	25/12/2023
richieste	2.32.2
requests-kerberos	0.12.0
rtree	1.1.0
scikit-image	0.22.0
scikit-learn	1.5.2
scipy	1.11.4
seaborn	0.13.2
sentence-transformers	5.0.0
setuptools	79.0.1
shap	0.48.0
shapely	2.1.1
spacy	3.8.7
spark-tensorflow-distributor	1.0.0
spyder	5.5.6
sqlalchemy	2.0.41
sympy	1.13.3
tensorflow	2.18.0
tokenizzatori	0.21.4.dev0
toree	0.5.0
torch	2.6.0
torch-model-archiver	0.11.1
torcheval	0.0.7
tromba d'aria	6.4.2
torchvision	0.21.0
traitlets	5.14.3
Transformers	4.53.1
uritemplate	4.1.1
virtualenv	20.26.6
wordcloud	1.9.4
xgboost	2.1.4

Librerie R

Le seguenti versioni della libreria R sono incluse nell'immagine 2.3-ml-ubuntu.

Nome pacchetto	Versione
r-ggplot2	3.4.4
r-irkernel	1.3.2
r-rcurl	1.98-1.16
r-recommended	4.3