Release-Image-Versionen 2.3.x

Komponente	2.3.37-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/09/30	2.3.36-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/09/04	2.3.35-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/08/19	2.3.34-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/07/15	2.3.33-debian12/ -ubuntu22/ -ubuntu22-arm/ -ml-ubuntu22/ -rocky9 2026/06/30
Apache Atlas ^Initialisierungsaktion	2.2.0	2.2.0	2.2.0	2.2.0	2.2.0
Apache Flink ^optionale Komponente	1.17.0	1.17.0	1.17.0	1.17.0	1.17.0
Apache Hadoop ^installiert	3.3.6	3.3.6	3.3.6	3.3.6	3.3.6
Apache Hive ^installiert	3.1.3	3.1.3	3.1.3	3.1.3	3.1.3
Apache Hive WebHCat ^optionale Komponente	3.1.3	3.1.3	3.1.3	3.1.3	3.1.3
Apache Hudi ^Optionale Komponente	0.15.0	0.15.0	0.15.0	0.15.0	0.15.0
Apache Iceberg ^Optionale Komponente	1.6.1	1.6.1	1.6.1	1.6.1	1.6.1
Apache Kafka ^Initialisierungsaktion	3.1.0	3.1.0	3.1.0	3.1.0	3.1.0
Apache Pig ^optionale Komponente	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT	0.18.0-SNAPSHOT
Apache Spark ^installiert	3.5.3	3.5.3	3.5.3	3.5.3	3.5.3
Apache Sqoop ^Initialisierungsaktion	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT	1.5.0-SNAPSHOT
Apache Tez ^installiert	0.10.2	0.10.2	0.10.2	0.10.2	0.10.2
BigQuery Connector ^installiert	0.42.3	0.42.3	0.42.3	0.42.3	0.42.3
Cloud Storage-Connector ^installiert	3.1.13	3.1.13	3.1.13	3.1.13	3.1.13
Conscrypt ^installiert	2.5.2	2.5.2	2.5.2	2.5.2	2.5.2
Delta Lake ^Optionale Komponente	3.2.1	3.2.1	3.2.1	3.2.1	3.2.1
Docker ^optionale Komponente	28.1	28.1	28.1	28.1	28.1
Hue ^Initialisierungsaktion	4.11.0	4.11.0	4.11.0	4.11.0	4.11.0
Java ^installiert	11	11	11	11	11
JupyterLab Notebook ^optionale Komponente	3.6	3.6	3.6	3.6	3.6
Oozie ^Initialisierungsaktion	5.2.1	5.2.1	5.2.1	5.2.1	5.2.1
Python ^installiert	micromamba 2.0.5 mit Python 3.11	micromamba 2.0.5 mit Python 3.11	micromamba 2.0.5 mit Python 3.11	micromamba 2.0.5 mit Python 3.11	micromamba 2.0.5 mit Python 3.11
R ^installiert	R 4.3	R 4.3	R 4.3	R 4.3	R 4.3
Ranger ^optionale Komponente	2.4.0	2.4.0	2.4.0	2.4.0	2.4.0
Scala ^installiert	2.12.18	2.12.18	2.12.18	2.12.18	2.12.18
Solr ^optionale Komponente	9.4.1	9.4.1	9.4.1	9.4.1	9.4.1
Trino ^Optionale Komponente	432	432	432	432	432
^Optionale Zeppelin NotebookKomponente	0.10.1	0.10.1	0.10.1	0.10.1	0.10.1
Zookeeper ^optionale Komponente	3.9.5	3.9.5	3.9.5	3.9.5	3.9.5

Hinweise:

• Version 2.3 ist ein schlankes Image, das nur Kernkomponenten enthält, wodurch die Anfälligkeit für Common Vulnerabilities and Exposures (CVEs) reduziert wird. Wenn Sie höhere Anforderungen an die Sicherheitscompliance haben, verwenden Sie beim Erstellen eines Managed Service for Apache Spark-Clusters die Image-Version 2.3 oder höher.

• Wenn Sie beim Erstellen eines Managed Service for Apache Spark-Clusters mit dem Image 2.3 optionale Komponenten installieren, werden diese während der Clustererstellung heruntergeladen und installiert. Dies kann die Startzeit des Clusters erhöhen. Um diese Verzögerung zu vermeiden, können Sie ein benutzerdefiniertes Image mit den vorinstallierten optionalen Komponenten erstellen. Dazu führen Sie generate_custom_image.py mit dem Flag --optional-components aus.

  Hinweis: Sie müssen die optionalen Komponenten, die Sie installieren möchten, beim Erstellen des Clusters angeben. Weitere Informationen finden Sie unter Optionale Komponenten hinzufügen.
  Das folgende Beispiel zeigt den Google Cloud CLI-Befehl zum Erstellen eines Clusters mit optionalen Komponenten:

  gcloud dataproc clusters create CLUSTER_NAME
      --optional-components=COMPONENT_NAME \
      ... other flags
  

• Die Image-Versionen 2.3.32, 2.3.36 und höher haben keine vorkonfigurierten Conda-Kanäle. Pakete können nur mit Conda installiert werden, wenn die Channels während der Clusterinitialisierung manuell konfiguriert werden. Außerdem können Cluster mit der Image-Version 2.3, die vorkonfigurierte Conda-Kanäle haben, einschließlich der Image-Versionen 2.3.35 und früher, aber ohne 2.3.32, nach dem 25. August 2026 nicht mehr verwendet werden.

  • Möglicherweise müssen Sie vorhandene Cluster löschen und ersetzen. Nach dem 25. August 2026 müssen vorhandene Cluster, die mit Images mit vorkonfigurierten Conda-Kanälen erstellt wurden, gelöscht und durch neue Cluster ersetzt werden, die mit Images ohne vorkonfigurierte Conda-Kanäle erstellt oder neu erstellt wurden. Dies gilt auch, wenn Clusterjobs Conda nicht zum Installieren von Paketen verwenden.

• Die folgenden optionalen Komponenten werden in Nicht-ARM-2.3-Images unterstützt:

  • Apache Flink
  • Apache Hive WebHCat
  • Apache Hudi
  • Apache Iceberg
  • Apache Pig
  • Delta Lake
  • Docker
  • JupyterLab-Notebook
  • Ranger
  • Solr
  • Trino
  • Zeppelin-Notebook
  • Zookeeper

• 2.3.x-*-arm-Images unterstützen nur die vorinstallierten Komponenten und die folgenden optionalen Komponenten. Die anderen optionalen 2.3-Komponenten und alle Initialisierungsaktionen werden nicht unterstützt:

  • Apache Hive WebHCat
  • Apache Pig (ab 2.3.22-ubuntu22-arm)
  • Docker
  • Zeppelin-Notebook
  • Zookeeper (in Hochverfügbarkeitsclustern installiert; optionale Komponente in anderen Clustern)

• Lightning Engine und Ausführung nativer Abfragen auf ARM: Unterstützt auf 2.3-ubuntu22-arm-Images.

• yarn.nodemanager.recovery.enabled und HDFS-Audit-Logging sind in 2.3-Images standardmäßig aktiviert.

• micromamba wird im Rahmen der Python-Installation installiert, anstelle von conda in früheren Image-Versionen.

• Apache Iceberg-Version: In 2.3-Images ist Apache Iceberg in den Versionen 1.6.1 und 1.10 verfügbar. Die Standardversion ist 1.6.1. Ab Image-Version 2.3.35 verwenden 2.3-Cluster, die mit aktivierter Lightning Engine erstellt wurden, standardmäßig Iceberg-Version 1.10. Wenn Sie die Iceberg-Version für einen 2.3-Cluster angeben möchten, legen Sie die Cluster-Property dataproc:dataproc.iceberg.version beim Erstellen des Clusters auf 1.10 (oder 1.6) fest.

• Probleme bei der Docker- und Zeppelin-Installation:

  • Die Installation schlägt fehl, wenn der Cluster keinen öffentlichen Internetzugang hat. Als Behelfslösung können Sie einen Cluster erstellen, der ein benutzerdefiniertes Image mit vorinstallierten optionalen Komponenten verwendet. Führen Sie dazu generate_custom_image.py mit dem Flag --optional-components aus.
  • Die Installation kann fehlschlagen, wenn der Cluster an eine ältere Sub-Minor-Image-Version angepinnt ist: Pakete werden bei Bedarf aus öffentlichen OSS-Repositories installiert und ein Paket ist möglicherweise nicht Upstream verfügbar, um die Installation zu unterstützen. Erstellen Sie als Behelfslösung einen Cluster, der ein benutzerdefiniertes Image mit optionalen Komponenten verwendet, die im benutzerdefinierten Image vorinstalliert sind. Führen Sie dazu generate_custom_image.py mit dem Flag --optional-components aus.

• Der Standard-Ressourcenrechner für YARN wurde von DefaultResourceCalculator in DominantResourceCalculator geändert. Dieser verwendet das Konzept der dominanten Ressource, um die Ressourcenzuweisung zu bestimmen, z. B. die Speicher- und CPU-Zuweisung. Diese Änderung wirkt sich auf Autoscaler aus, der basierend auf der dominanten Ressourcennutzung des Clusters skaliert.

Image-Version 2.3 – Komponenten für maschinelles Lernen (ML)

Das Managed Service for Apache Spark-Image 2.3-ml-ubuntu erweitert das Basis-Image 2.3 um ML-spezifische Software. Sie unterstützt optionale Komponenten von Image 2.3 und andere Funktionen von Version 2.3 und fügt die in den folgenden Abschnitten aufgeführten Komponentenversionen hinzu.

GPU-spezifische Bibliotheken

Für Managed Service for Apache Spark-Jobs, die GPU-VMs verwenden, sind die folgenden NVIDIA-Treiber und -Bibliotheken im Image 2.3-ml-ubuntu verfügbar. Sie können sie für die folgenden Aufgaben verwenden:

• Spark-Batcharbeitslasten mit der NVIDIA cuDF for Apache Spark-Bibliothek beschleunigen
• Arbeitslasten für maschinelles Lernen trainieren
• Verteilte Batchinferenz mit Spark ausführen

Paketname	Version
Spark cuDF	25.04.0
NVIDIA-Treiber	Ubuntu 22.04 LTS beschleunigt mit NVIDIA-Treiberversion 570
CUDA	12.6.3
cublas	12.6.4
cusolver	11.7.1
cupti	12.6.80
cusparse	12.5.4
cuDNN	9.10.1
NCCL	2.27.5

XGBoost-Bibliotheken

Die folgenden Maven-Paketversionen sind im Image 2.3-ml-ubuntu verfügbar, damit Sie XGBoost mit Spark in Java oder Scala verwenden können.

Gruppen-ID	Paketname	Version
ml.dmlc	xgboost4j-gpu_2.12	2.1.1
ml.dmlc	xgboost4j-spark-gpu_2.12	2.1.1

Hinweis: Sie können verteiltes Spark XGBoost nicht für einen Managed Service for Apache Spark-Job verwenden, für den Autoscaling (Standardverhalten) aktiviert ist, da neue Knoten, die elastisches Skalieren starten, keine neuen Aufgaben empfangen können und inaktiv bleiben. Wenn Sie XGBoost mit einer Batcharbeitslast verwenden möchten, können Sie die Property spark.dynamicAllocation.enabled = false für einen Managed Service for Apache Spark-Job festlegen, um die dynamische Zuordnung zu deaktivieren.

Python-Bibliotheken

Das Image 2.3-ml-ubuntu enthält die folgenden Bibliotheken, die verschiedene Phasen im ML-Lebenszyklus unterstützen.

Paket	Version
beschleunigen	1.8.1
conda	23.11.0
cookiecutter	2.5.0
curl	8.12.1
cython	3.0.12
dask	2023.12.1
Datasets	3.6.0
deepspeed	0.17.2
delta-spark	3.2.0
evaluate	0.4.5
fastavro	1.9.7
fastparquet	2023.10.1
fiona	1.10.0
gateway-provisioners[yarn]	0.4.0
gcsfs	2023.12.2.post1
google-auth-oauthlib	1.2.2
google-cloud-aiplatform	1.88.0
google-cloud-bigquery[pandas]	3.31.0
google-cloud-bigquery-storage	2.30.0
google-cloud-bigtable	2.30.1
google-cloud-container	2.56.1
google-cloud-datacatalog	3.26.1
google-cloud-dataproc	5.18.1
google-cloud-datastore	2.21.0
google-cloud-language	2.17.2
google-cloud-logging	3.11.4
google-cloud-monitoring	2.27.2
google-cloud-pubsub	2.29.1
google-cloud-redis	2.18.1
google-cloud-spanner	3.53.0
google-cloud-speech	2.32.0
google-cloud-storage	2.19.0
google-cloud-texttospeech	2.25.1
google-cloud-translate	3.20.3
google-cloud-vision	3.10.2
huggingface_hub	0.33.1
httplib2	0.22.0
ipyparallel	8.6.1
ipython-sql	0.3.9
ipywidgets	8.1.7
jupyter_contrib_nbextensions	0.7.0
jupyter_http_over_ws	0.0.8
jupyter_kernel_gateway	2.5.2
jupyter_server	1.24.0
jupyterhub	4.1.6
jupyterlab	3.6.8
jupyterlab-git	0.44.0
jupyterlab_widgets	3.0.15
Koalas	0.22.0
langchain	0.3.26
lightgbm	4.6.0
markdown	3.5.2
matplotlib	3.8.4
mlflow	3.1.1
nbconvert	7.14.2
nbdime	3.2.1
nltk	3.9.1
Notebook	6.5.7
numba	0.58.1
numpy	1.26.4
oauth2client	4.1.3
onnx	1.17.0
openblas	0.3.25
opencv	4.11.0
orc	2.1.1
pandas	2.1.4
pandas-profiling	3.0.0
Papierfabrik	2.4.0
pyarrow	16.1.0
pydot	2.0.0
pyhive	0.7.0
pynvml	12.0.0
pysal	23,7
pytables	3.9.2
Python	3.11
regex	25.12.2023
Anfragen	2.32.2
requests-kerberos	0.12.0
rtree	1.1.0
scikit-image	0.22.0
scikit-learn	1.5.2
scipy	1.11.4
seaborn	0.13.2
sentence-transformers	5.0.0
setuptools	79.0.1
shap	0.48.0
shapely	2.1.1
spacy	3.8.7
spark-tensorflow-distributor	1.0.0
spyder	5.5.6
sqlalchemy	2.0.41
sympy	1.13.3
tensorflow	2.18.0
Tokenizer	0.21.4.dev0
toree	0.5.0
Taschenlampe	2.6.0
torch-model-archiver	0.11.1
torcheval	0.0.7
Tornado	6.4.2
torchvision	0.21.0
traitlets	5.14.3
transformers	4.53.1
uritemplate	4.1.1
virtualenv	20.26.6
wordcloud	1.9.4
xgboost	2.1.4

R-Bibliotheken

Die folgenden R-Bibliotheksversionen sind im Image 2.3-ml-ubuntu enthalten.

Paketname	Version
r-ggplot2	3.4.4
r-irkernel	1.3.2
r-rcurl	1.98-1.16
r-recommended	4.3