AI、ML、HPC のワークロードでは、追加のソフトウェア パッケージを含み、最適なパフォーマンスを実現するように調整されたカスタム イメージの作成が必要になることがよくあります。Advanced Compute Images を使用して、AI/ML ワークロードまたは HPC ワークロード用に最適化された環境を設定できるようになりました。
Advanced Compute Images は、AI/ML および HPC インフラストラクチャ用の標準化されたイメージ スタックを提供します。これらのイメージを使用すると、AI/ML および HPC ワークロード用の独自のカスタム イメージを手動で構築する必要がなくなります。
利点
Advanced Compute Images には、次の利点があります。
- AI/ML または HPC ワークロードに対応したコンピューティング インスタンスがデフォルトで用意されている。密結合の AI/ML ワークロードや HPC ワークロードの場合、パフォーマンスを手動で調整する必要はありません。インスタンスの再起動を管理する必要も、Slurm エージェントをインストールする必要も、 Google Cloud の最新のアップデートを使用して最新の状態に更新する必要もありません。
- 一貫性があり、再現可能なパフォーマンス。イメージの標準化により、一貫性のある再現可能なアプリケーション レベルのパフォーマンスが得られます。
Advanced Compute Images の機能
Advanced Compute Images には、AI/ML ワークロードと HPC ワークロードの実行をサポートする複数の構成レイヤが含まれています。
- オペレーティング システムの構成: 自動更新の無効化、HPC 最適化 ulimit の設定、カーネル sysctl パラメータのチューニング、SELinux などのセキュリティ設定の構成が含まれます。
- ネットワーク チューニング: マルチキュー サービスの有効化など、ネットワーク チューニングに必要なスクリプトが含まれています。
- Google Cloud integration: Google Cloud CLI と Ops エージェントをインストールして構成します。
- コンテナ ツール: 次のコンテナ関連のソフトウェアをすべてインストールして構成します。
- Docker
- NVIDIA Container Toolkit (バージョン 1.19.0-1)
- NVIDIA Enroot
- NVIDIA Pyxis
- NVIDIA: 次のツールをインストールします。
MPI: Message Passing Interface(MPI)ライブラリをインストールします。Ubuntu ベースのイメージと Rocky Linux ベースのイメージの両方に Open MPI をインストールします。Rocky Linux ベースのイメージの場合は、プリインストールされたスクリプトを使用して Intel MPI ライブラリをインストールして構成することもできます。
sudo google_install_intelmpi --impi_2021 --install_dir=PATH_INSTALL_MPI
Slurm: Slurm クラスタノードの作成に必要なコア コンポーネントをインストールします。これには次のものが含まれます。
- Slurm バイナリ(バージョン 25.11)
- 認証用の Munge
- プロセス管理用の PMIx
- JSON Web Token(JWT)ライブラリ(
libjwt)
ファイル システム クライアント: Cloud Storage FUSE、NFS ユーティリティ(
nfs-utils)、Lustre クライアントなど、さまざまなファイル システムにアクセスするためのクライアントサイド ツールをインストールします。デベロッパー ツール: 次のような一般的な開発ツールチェーンとデバッグ ツールチェーン、ユーティリティをインストールします。
環境管理: 環境管理ツール(主に Lmod)をインストールして構成し、モジュール コマンドをユーザーが使用できるようにするために必要なプロファイル スクリプトを設定します。
RDMA: 次の CPU(Rocky Linux ベース)イメージにリモート ダイレクト メモリ アクセス(RDMA)ドライバとパッケージをインストールします。
rdma-coreと開発ライブラリlibfabricperftestkmod-idpf-irdma- サポートされているコンピューティング最適化マシンタイプ用の Intel Ethernet RDMA ドライバinfiniband-diags、libibverbs、librdmacmユーティリティ
サポートされているハードウェアとイメージ ファミリー
ACI は、次の 2 つの主要なハードウェア プラットフォームをサポートしています。
CPU(HPC): CPU ワークロードをサポートし、次の特性を備えています。
- コンピューティング負荷の高いワークロード向けに最適化されている
- Rocky Linux 9 をサポート
- Cloud RDMA をサポートする RDMA ドライバとユーティリティが付属している
- Open MPI や構成可能な Intel MPI などの MPI ライブラリが事前に統合されている
GPU(AI/ML/HPC): GPU ワークロードをサポートし、次の特性を備えています。
- NVIDIA アクセラレータ向けに最適化されている
- Ubuntu LTS 22.04 と Ubuntu LTS 24.04 をサポート
- CUDA と NVIDIA ドライバが事前に統合されている
- GPU 間通信用の MRDMA をサポートする RDMA ドライバとユーティリティを含める
- AI、ML、HPC ワークロードに適している
- Cluster Toolkit で A4X、A4、A3 Ultra マシンタイプの Slurm クラスタ ブループリントをデプロイするときに、デフォルトのイメージはインストールされますか?
| ハードウェア | OS | オーケストレーター | 機能 | アーキテクチャ | サポートされているマシンシリーズ | イメージ ファミリー |
|---|---|---|---|---|---|---|
| CPU | Rocky Linux 9 | なし |
|
AMD x86_64 | C2D、H3、H4D | aci-cpu-rocky-linux-9-amd64 |
| CPU | Rocky Linux 8 | なし |
|
AMD x86_64 | C2D、H3、H4D | aci-cpu-rocky-linux-8-amd64 |
| CPU | Rocky Linux 9 | Slurm 25.11 |
|
AMD x86_64 | C2D、H3、H4D | aci-cpu-rocky-linux-9-slurm-2511-amd64 |
| GPU | Ubuntu LTS 24.04 | Slurm 25.11 |
|
AMD x86_64 | A3 Ultra、A4 | aci-gpu-u2404-slurm-2511-cuda-130-nvidia-580-amd64 |
| GPU | Ubuntu LTS 24.04 | Slurm 25.11 |
|
Arm64 | A4X | aci-gpu-u2404-slurm-2511-cuda-130-nvidia-580-arm64 |
| GPU | Ubuntu LTS 24.04 | Slurm 26.05 |
|
AMD x86_64 | A3 Ultra、A4 | aci-gpu-u2404-slurm-2605-cuda-132-nvidia-595-amd64 |
| GPU | Ubuntu LTS 24.04 | Slurm 26.05 |
|
Arm64 | A4X | aci-gpu-u2404-slurm-2605-cuda-132-nvidia-595-arm64 |
| GPU | Ubuntu LTS 24.04 | なし |
|
AMD x86_64 | A3 Ultra、A4 | aci-gpu-u2404-cuda-130-nvidia-580-amd64 |
| GPU | Ubuntu LTS 22.04 | Slurm 25.11 |
|
AMD x86_64 | A3 Ultra、A4 | aci-gpu-u2204-slurm-2511-cuda-130-nvidia-580-amd64 |
| GPU | Ubuntu LTS 22.04 | なし |
|
AMD x86_64 | A3 Ultra、A4 | aci-gpu-u2204-cuda-130-nvidia-580-amd64 |
プリインストールされているパッケージ(または RPM)
高度なコンピューティング イメージには、さまざまなツール、ライブラリ、ドライバ、パッケージがプリインストールされています。イメージにインストールされているもののリストを確認するには、そのイメージのマニフェスト ファイルを参照してください。
マニフェスト ファイルは /usr/share/google/manifest.txt にあります。
イメージ ファミリーのライフサイクル フェーズとサポート
Advanced Compute イメージのすべてのファミリは、セキュリティ、安定性、予測可能なメンテナンス スケジュールを確保するために、標準化されたライフサイクルに従います。ライフサイクルの各フェーズで、イメージ ファミリーには次のいずれかのサポート ステータスが設定されます。
- サポート対象:
- 重要なセキュリティ アップデートとバグの修正を受け取る
- Cloud カスタマーケアを通じてサポートされます。
- コンピューティング インスタンスの作成に使用できます。
- サポート対象外:
- 重要なセキュリティ アップデートやバグの修正が提供されなくなります。
- 新機能はありません。
- Cloud カスタマーケアではサポートされていません。
- コンピューティング インスタンスの作成には使用できません。
Advanced Compute Images ファミリーのライフサイクルは、次の 4 つのフェーズで構成されています。
| ライフサイクルのフェーズ | サポート状況 | 説明と影響 |
|---|---|---|
| 有効 | サポート対象 | 新しいデプロイに推奨されます。リリース日から 12 か月間、イメージ ファミリーは完全にサポートされます。重要なセキュリティ アップデートとバグ修正を受け取ります。 |
| 非推奨(EOS 日付) | サポート対象外 | サポートされているイメージ ファミリーに移行することをおすすめします。アクティブ フェーズの終了後、約 6 か月間はイメージ ファミリーが非推奨になります。新機能やパッチはリリースされません。このイメージ ファミリーを使用するインスタンスを作成すると、 Google Cloud コンソールと Google Cloud CLI の警告が表示されます。 |
| 廃止 | サポート対象外 | 非推奨フェーズが終了すると、イメージ ファミリーは廃止されます。このイメージ ファミリーを使用してコンピューティング インスタンスを作成することはできなくなります。既存のコンピューティング インスタンスは引き続き実行されますが、Slurm コントローラとの互換性が失われる可能性があります。 |
| 削除 | サポート対象外 | イメージ ファミリーが廃止されてから 3 か月後に、基盤となる Advanced Compute Images イメージ リソースが完全に削除されます。既存のコンピューティング インスタンスは引き続き実行されますが、Slurm コントローラとの互換性の問題や脆弱性のリスクがあります。 |
イメージ ファミリーのサポート終了日について詳しくは、サポートされているハードウェアとイメージ ファミリーをご覧ください。
料金
高度なコンピューティング イメージは、追加料金なしで利用できます。Advanced Compute Images は Compute Engine 上で実行されるため、vCPU、GPU、TPU、ディスク、メモリなどの Compute Engine リソースに対する課金が発生する場合があります。詳細については、Compute Engine の料金をご覧ください。
次のステップ
- Advanced Compute Images を使用してインスタンスを作成する
Advanced Compute Images を使用してターンキー Slurm クラスタ ブループリントをデプロイする方法を確認する。