2.3 の重要な変更点:
バージョン
2.3は、コア コンポーネントのみを含む軽量イメージであり、共通脆弱性識別子（CVE）への露出を減らします。セキュリティ コンプライアンスの要件が高い場合は、Dataproc クラスタの作成時にイメージ バージョン2.3以降を使用します。2.3イメージで Dataproc クラスタを作成するときにオプション コンポーネントのインストールを選択すると、クラスタの作成中にダウンロードされてインストールされます。これにより、クラスタの起動時間が長くなる可能性があります。この遅延を回避するには、オプション コンポーネントがプリインストールされたカスタム イメージを作成します。これは、--optional-componentsフラグを指定してgenerate_custom_image.pyを実行することで実現できます。
メモ
非 arm 2.3 イメージでは、次のオプション コンポーネントがサポートされています。
- Apache Flink
- Apache Hive WebHCat
- Apache Hudi
- Apache Iceberg
- Apache Pig
- Delta Lake
- Docker
- JupyterLab ノートブック
- Ranger
- Solr
- Trino
- Zeppelin ノートブック
- Zookeeper
2.3.x-*-armイメージは、プリインストールされたコンポーネントと次のオプション コンポーネントのみをサポートします。その他の 2.3 オプション コンポーネントとすべての初期化アクションはサポートされていません。- Apache Hive WebHCat
- Docker
- Zeppelin ノートブック
- Zookeeper（高可用性クラスタにインストール済み。他のクラスタではオプション コンポーネント）
2.3 イメージでは、
yarn.nodemanager.recovery.enabledと HDFS 監査ロギングがデフォルトで有効になっています。以前のイメージ バージョンの
condaではなく、micromambaが Python のインストールの一部としてインストールされます。Docker と Zeppelin のインストールに関する問題:
- クラスタに公共のインターネット アクセスがない場合、インストールは失敗します。回避策として、オプション コンポーネントがプリインストールされたカスタム イメージを使用するクラスタを作成します。これを行うには、
--optional-componentsフラグを指定してgenerate_custom_image.pyを実行します。 - クラスタが古いサブマイナー イメージ バージョンに固定されている場合、インストールが失敗する可能性があります。パッケージは公開 OSS リポジトリからオンデマンドでインストールされますが、インストールをサポートするパッケージがアップストリームで利用できない可能性があります。回避策として、カスタム イメージにオプション コンポーネントがプリインストールされたカスタム イメージを使用するクラスタを作成します。これを行うには、
--optional-componentsフラグを指定してgenerate_custom_image.pyを実行します。
- クラスタに公共のインターネット アクセスがない場合、インストールは失敗します。回避策として、オプション コンポーネントがプリインストールされたカスタム イメージを使用するクラスタを作成します。これを行うには、
YARN のデフォルトのリソース計算ツールが DefaultResourceCalculator から DominantResourceCalculator に変更されました。これは、メモリや CPU の割り当てなどのリソース割り当てを決定するために、支配的なリソースの概念を使用します。この変更は、クラスタの主なリソース使用量に基づいてスケーリングする Autoscaler に影響します。
イメージ バージョン 2.3 の ML コンポーネント
Dataproc 2.3-ml-ubuntu イメージは、ML 固有のソフトウェアで 2.3 ベースイメージを拡張します。2.3 イメージのオプション コンポーネントとその他の 2.3 機能がサポートされ、次のセクションに記載されているコンポーネント バージョンが追加されます。
GPU 固有のライブラリ
GPU VM を使用する Dataproc ジョブの場合、2.3-ml-ubuntu イメージで次の NVIDIA ドライバとライブラリを使用できます。これらを使用して、次のタスクを実行できます。
- NVIDIA Spark Rapids ライブラリを使用して Spark バッチ ワークロードを高速化する
- ML ワークロードをトレーニングする
- Spark を使用して分散バッチ推論を実行する
| パッケージ名 | バージョン |
|---|---|
| Spark Rapids | 25.04.0 |
| NVIDIA ドライバ | NVIDIA ドライバ バージョン 570 を搭載した Ubuntu 22.04 LTS Accelerated |
| CUDA | 12.6.3 |
| cublas | 12.6.4 |
| cusolver | 11.7.1 |
| cupti | 12.6.80 |
| cusparse | 12.5.4 |
| cuDNN | 9.10.1 |
| NCCL | 2.27.5 |
XGBoost ライブラリ
次の Maven パッケージ バージョンは 2.3-ml-ubuntu イメージで使用できます。これにより、Java または Scala で Spark を使用して XGBoost を使用できます。
| グループ ID | パッケージ名 | バージョン |
|---|---|---|
| ml.dmlc | xgboost4j-gpu_2.12 | 2.1.1 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 2.1.1 |
Python ライブラリ
2.3-ml-ubuntu イメージには、ML ライフサイクルのさまざまなステージをサポートする次のライブラリが含まれています。
| パッケージ | バージョン |
|---|---|
| accelerate | 1.8.1 |
| conda | 23.11.0 |
| cookiecutter | 2.5.0 |
| curl | 8.12.1 |
| cython | 3.0.12 |
| dask | 2023.12.1 |
| datasets | 3.6.0 |
| deepspeed | 0.17.2 |
| delta-spark | 3.2.0 |
| evaluate | 0.4.5 |
| fastavro | 1.9.7 |
| fastparquet | 2023.10.1 |
| fiona | 1.10.0 |
| gateway-provisioners[yarn] | 0.4.0 |
| gcsfs | 2023.12.2.post1 |
| google-auth-oauthlib | 1.2.2 |
| google-cloud-aiplatform | 1.88.0 |
| google-cloud-bigquery[pandas] | 3.31.0 |
| google-cloud-bigquery-storage | 2.30.0 |
| google-cloud-bigtable | 2.30.1 |
| google-cloud-container | 2.56.1 |
| google-cloud-datacatalog | 3.26.1 |
| google-cloud-dataproc | 5.18.1 |
| google-cloud-datastore | 2.21.0 |
| google-cloud-language | 2.17.2 |
| google-cloud-logging | 3.11.4 |
| google-cloud-monitoring | 2.27.2 |
| google-cloud-pubsub | 2.29.1 |
| google-cloud-redis | 2.18.1 |
| google-cloud-spanner | 3.53.0 |
| google-cloud-speech | 2.32.0 |
| google-cloud-storage | 2.19.0 |
| google-cloud-texttospeech | 2.25.1 |
| google-cloud-translate | 3.20.3 |
| google-cloud-vision | 3.10.2 |
| huggingface_hub | 0.33.1 |
| httplib2 | 0.22.0 |
| ipyparallel | 8.6.1 |
| ipython-sql | 0.3.9 |
| ipywidgets | 8.1.7 |
| jupyter_contrib_nbextensions | 0.7.0 |
| jupyter_http_over_ws | 0.0.8 |
| jupyter_kernel_gateway | 2.5.2 |
| jupyter_server | 1.24.0 |
| jupyterhub | 4.1.6 |
| jupyterlab | 3.6.8 |
| jupyterlab-git | 0.44.0 |
| jupyterlab_widgets | 3.0.15 |
| koalas | 0.22.0 |
| langchain | 0.3.26 |
| lightgbm | 4.6.0 |
| markdown | 3.5.2 |
| matplotlib | 3.8.4 |
| mlflow | 3.1.1 |
| nbconvert | 7.14.2 |
| nbdime | 3.2.1 |
| nltk | 3.9.1 |
| notebook | 6.5.7 |
| numba | 0.58.1 |
| numpy | 1.26.4 |
| oauth2client | 4.1.3 |
| onnx | 1.17.0 |
| openblas | 0.3.25 |
| opencv | 4.11.0 |
| orc | 2.1.1 |
| pandas | 2.1.4 |
| pandas-profiling | 3.0.0 |
| papermill | 2.4.0 |
| pyarrow | 16.1.0 |
| pydot | 2.0.0 |
| pyhive | 0.7.0 |
| pynvml | 12.0.0 |
| pysal | 23.7 |
| pytables | 3.9.2 |
| python | 3.11 |
| regex | 2023.12.25 |
| requests | 2.32.2 |
| requests-kerberos | 0.12.0 |
| rtree | 1.1.0 |
| scikit-image | 0.22.0 |
| scikit-learn | 1.5.2 |
| scipy | 1.11.4 |
| seaborn | 0.13.2 |
| sentence-transformers | 5.0.0 |
| setuptools | 79.0.1 |
| shap | 0.48.0 |
| shapely | 2.1.1 |
| spacy | 3.8.7 |
| spark-tensorflow-distributor | 1.0.0 |
| spyder | 5.5.6 |
| sqlalchemy | 2.0.41 |
| sympy | 1.13.3 |
| tensorflow | 2.18.0 |
| tokenizers | 0.21.4.dev0 |
| toree | 0.5.0 |
| torch | 2.6.0 |
| torch-model-archiver | 0.11.1 |
| torcheval | 0.0.7 |
| tornado | 6.4.2 |
| torchvision | 0.21.0 |
| traitlets | 5.14.3 |
| transformers | 4.53.1 |
| uritemplate | 4.1.1 |
| virtualenv | 20.26.6 |
| wordcloud | 1.9.4 |
| xgboost | 2.1.4 |
R ライブラリ
2.3-ml-ubuntu イメージには、次の R ライブラリ バージョンが含まれています。
| パッケージ名 | バージョン |
|---|---|
| r-ggplot2 | 3.4.4 |
| r-irkernel | 1.3.2 |
| r-rcurl | 1.98-1.16 |
| r-recommended | 4.3 |