2.3 中的重要更改：
版本
2.3是一种仅包含核心组件的轻量级映像，可减少常见漏洞和披露 (CVE) 的风险。如果安全合规性要求较高，请在创建 Dataproc 集群时使用映像版本2.3或更高版本。如果您选择在创建使用
2.3映像的 Dataproc 集群时安装可选组件，这些组件将在集群创建期间下载并安装。这可能会增加集群启动时间。为避免此延迟，您可以创建预安装了可选组件的自定义映像。这是通过运行带有--optional-components标志的generate_custom_image.py来实现的。
备注
非 ARM 2.3 映像支持以下可选组件：
- Apache Flink
- Apache Hive WebHCat
- Apache Hudi
- Apache Iceberg
- Apache Pig
- Delta Lake
- Docker
- JupyterLab 笔记本
- Ranger
- Solr
- Trino
- Zeppelin 笔记本
- ZooKeeper
2.3.x-*-arm映像仅支持预安装的组件和以下可选组件。不支持其他 2.3 可选组件和所有初始化操作：- Apache Hive WebHCat
- Docker
- Zeppelin 笔记本
- Zookeeper（安装在高可用性集群中；在其他集群中为可选组件）
yarn.nodemanager.recovery.enabled和 HDFS 审核日志记录在 2.3 版映像中默认处于启用状态。micromamba（而不是先前映像版本中的conda）作为 Python 安装的一部分进行安装。Docker 和 Zeppelin 安装问题：
- 如果集群没有公共互联网访问权限，则安装会失败。一种解决方法是，创建一个使用预安装了可选组件的自定义映像的集群。为此，您可以运行带有
--optional-components标志的generate_custom_image.py。 - 如果集群固定到较旧的次要映像版本，安装可能会失败：软件包会根据需要从公共 OSS 代码库安装，而上游可能没有可用于支持安装的软件包。
一种解决方法是，创建一个使用自定义映像的集群，并在该自定义映像中预安装可选组件。为此，请运行带有
--optional-components标志的generate_custom_image.py。
- 如果集群没有公共互联网访问权限，则安装会失败。一种解决方法是，创建一个使用预安装了可选组件的自定义映像的集群。为此，您可以运行带有
YARN 的默认资源计算器已从 DefaultResourceCalculator 更改为 DominantResourceCalculator，后者使用主要资源概念来确定资源分配，例如内存和 CPU 分配。此更改会影响自动扩缩器，该扩缩器会根据集群的主要资源使用情况进行扩缩。
映像版本 2.3 机器学习 (ML) 组件
Dataproc 2.3-ml-ubuntu 映像通过添加机器学习专用软件来扩展 2.3 基础映像。它支持 2.3 映像可选组件和其他 2.3 功能，并添加了以下部分中列出的组件版本。
GPU 专用库
对于使用 GPU 虚拟机的 Dataproc 作业，2.3-ml-ubuntu 映像中提供了以下 NVIDIA 驱动程序和库。您可以使用这些工具完成以下任务：
- 使用 NVIDIA Spark Rapids 库加速 Spark 批处理工作负载
- 训练机器学习工作负载
- 使用 Spark 运行分布式批量推理
| 软件包名称 | 版本 |
|---|---|
| Spark Rapids | 25.04.0 |
| NVIDIA 驱动程序 | Ubuntu 22.04 LTS 加速版搭配 NVIDIA 驱动程序版本 550 |
| CUDA | 12.6.3 |
| cublas | 12.6.4 |
| cusolver | 11.7.1 |
| cupti | 12.6.80 |
| cusparse | 12.5.4 |
| cuDNN | 9.10.1 |
| NCCL | 2.27.5 |
XGBoost 库
2.3-ml-ubuntu 映像中提供了以下 Maven 软件包版本，可让您在 Java 或 Scala 中将 XGBoost 与 Spark 搭配使用。
| 群组 ID | 软件包名称 | 版本 |
|---|---|---|
| ml.dmlc | xgboost4j-gpu_2.12 | 2.1.1 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 2.1.1 |
Python 库
2.3-ml-ubuntu 映像包含以下库，这些库支持机器学习生命周期的不同阶段。
| 软件包 | 版本 |
|---|---|
| accelerate | 1.8.1 |
| conda | 23.11.0 |
| cookiecutter | 2.5.0 |
| curl | 8.12.1 |
| cython | 3.0.12 |
| dask | 2023.12.1 |
| datasets | 3.6.0 |
| deepspeed | 0.17.2 |
| delta-spark | 3.2.0 |
| evaluate | 0.4.5 |
| fastavro | 1.9.7 |
| fastparquet | 2023.10.1 |
| fiona | 1.10.0 |
| gateway-provisioners[yarn] | 0.4.0 |
| gcsfs | 2023.12.2.post1 |
| google-auth-oauthlib | 1.2.2 |
| google-cloud-aiplatform | 1.88.0 |
| google-cloud-bigquery[pandas] | 3.31.0 |
| google-cloud-bigquery-storage | 2.30.0 |
| google-cloud-bigtable | 2.30.1 |
| google-cloud-container | 2.56.1 |
| google-cloud-datacatalog | 3.26.1 |
| google-cloud-dataproc | 5.18.1 |
| google-cloud-datastore | 2.21.0 |
| google-cloud-language | 2.17.2 |
| google-cloud-logging | 3.11.4 |
| google-cloud-monitoring | 2.27.2 |
| google-cloud-pubsub | 2.29.1 |
| google-cloud-redis | 2.18.1 |
| google-cloud-spanner | 3.53.0 |
| google-cloud-speech | 2.32.0 |
| google-cloud-storage | 2.19.0 |
| google-cloud-texttospeech | 2.25.1 |
| google-cloud-translate | 3.20.3 |
| google-cloud-vision | 3.10.2 |
| huggingface_hub | 0.33.1 |
| httplib2 | 0.22.0 |
| ipyparallel | 8.6.1 |
| ipython-sql | 0.3.9 |
| ipywidgets | 8.1.7 |
| jupyter_contrib_nbextensions | 0.7.0 |
| jupyter_http_over_ws | 0.0.8 |
| jupyter_kernel_gateway | 2.5.2 |
| jupyter_server | 1.24.0 |
| jupyterhub | 4.1.6 |
| jupyterlab | 3.6.8 |
| jupyterlab-git | 0.44.0 |
| jupyterlab_widgets | 3.0.15 |
| koalas | 0.22.0 |
| langchain | 0.3.26 |
| lightgbm | 4.6.0 |
| markdown | 3.5.2 |
| matplotlib | 3.8.4 |
| mlflow | 3.1.1 |
| nbconvert | 7.14.2 |
| nbdime | 3.2.1 |
| nltk | 3.9.1 |
| 笔记本 | 6.5.7 |
| numba | 0.58.1 |
| numpy | 1.26.4 |
| oauth2client | 4.1.3 |
| onnx | 1.17.0 |
| openblas | 0.3.25 |
| opencv | 4.11.0 |
| orc | 2.1.1 |
| pandas | 2.1.4 |
| pandas-profiling | 3.0.0 |
| papermill | 2.4.0 |
| pyarrow | 16.1.0 |
| pydot | 2.0.0 |
| pyhive | 0.7.0 |
| pynvml | 12.0.0 |
| pysal | 23.7 |
| pytables | 3.9.2 |
| Python | 3.11 |
| regex | 2023.12.25 |
| 请求 | 2.32.2 |
| requests-kerberos | 0.12.0 |
| rtree | 1.1.0 |
| scikit-image | 0.22.0 |
| scikit-learn | 1.5.2 |
| scipy | 1.11.4 |
| seaborn | 0.13.2 |
| sentence-transformers | 5.0.0 |
| setuptools | 79.0.1 |
| shap | 0.48.0 |
| shapely | 2.1.1 |
| spacy | 3.8.7 |
| spark-tensorflow-distributor | 1.0.0 |
| spyder | 5.5.6 |
| sqlalchemy | 2.0.41 |
| sympy | 1.13.3 |
| tensorflow | 2.18.0 |
| tokenizers | 0.21.4.dev0 |
| toree | 0.5.0 |
| torch | 2.6.0 |
| torch-model-archiver | 0.11.1 |
| torcheval | 0.0.7 |
| 龙卷风 | 6.4.2 |
| torchvision | 0.21.0 |
| traitlets | 5.14.3 |
| transformers | 4.53.1 |
| uritemplate | 4.1.1 |
| virtualenv | 20.26.6 |
| wordcloud | 1.9.4 |
| xgboost | 2.1.4 |
R 库
2.3-ml-ubuntu 映像中包含以下 R 库版本。
| 软件包名称 | 版本 |
|---|---|
| r-ggplot2 | 3.4.4 |
| r-irkernel | 1.3.2 |
| r-rcurl | 1.98-1.16 |
| r-recommended | 4.3 |