このドキュメントでは、AI Hypercomputer で AI ワークロードのクラスタを作成する方法の概要について説明します。具体的には、このドキュメントでは、クラスタを起動する際のプロセスと選択について説明します。手動評価の代わりに、 Google Cloud コンソールで Gemini にプロンプトを表示して、ワークロードと予算の消費オプションを比較できます。詳細については、Compute Advisor を使用して AI インフラストラクチャを設計するをご覧ください。
このドキュメントは、モデルのトレーニングや推論など、AI ワークロードと ML ワークロードで一般的に使用される用語に精通していることを前提としています。また、デプロイの最適なマシンタイプと容量のニーズを特定する必要がある特定の AI ワークロード（基盤モデルの事前トレーニング、ファインチューニング、推論など）を特定していることも前提としています。
クラスタを起動する
クラスタの起動には次の手順が含まれます。
- ワークロードを特定してマシンタイプを選択する
- 使用オプションを選択して容量を取得する
- デプロイ オプションを選択する
- オーケストレーターを選択する
- オペレーティング システムとクラスタ イメージを選択する
- クラスタを作成する
- ワークロードのストレージをプロビジョニングする
ワークロードを特定してマシンタイプを選択する
AI ワークロードのマシンタイプを選択します。AI Hypercomputer は、クラスタ化された GPU と汎用 GPU の両方のクラスタ作成をサポートしています。
選択する際は、ワークロードの要件を特定し、推奨されるマシンタイプと GPU タイプと照合します。
- クラスタ化された GPU: 基盤モデルの事前トレーニング、大規模モデルのファインチューニング、複数のホストにわたる推論など、大規模で高性能なワークロードに最適です。
- 汎用 GPU: 主流の推論とサービング、検索拡張生成（RAG）、費用対効果の高い小規模から中規模のモデルのトレーニングとファインチューニングに最適です。
ワークロードを推奨マシンタイプに一致させるには、次の表を使用します。
| GPU のタイプ | ワークロードまたはユースケース | 推奨マシンタイプ |
|---|---|---|
| クラスタ化された GPU | 複数のホストにわたる基盤モデルの事前トレーニングと推論 | A4X Max（NVIDIA GB300）*、A4X（NVIDIA GB200）* |
| 大規模モデルのトレーニング、ファインチューニング、推論 | A4（NVIDIA B200）、A3 Ultra（NVIDIA H200 141 GB） | |
| メインストリーム モデルの推論とファインチューニング | A3 Mega（NVIDIA H100 80 GB）、A3 High（NVIDIA H100 80 GB） | |
| 汎用 GPU | 高スループットのエッジ サービングと推論 | A3 Edge（NVIDIA H100 80 GB） |
| 高パフォーマンスのシングルノード サービングと小規模なファインチューニング | A2（NVIDIA A100） | |
| コスト最適化されたエントリーレベルの推論 | G4（NVIDIA RTX PRO 6000）、N1（NVIDIA T4 または V100） | |
| メインストリームの推論、RAG、小規模から中規模のモデルのトレーニング | G2（NVIDIA L4） |
各マシンシリーズの詳細については、GPU アクセラレータについてをご覧ください。
使用オプションを選択して容量を取得する
GPU リソースの使用オプションは、選択したマシンタイプと、汎用 GPU を使用するかクラスタ GPU を使用するかに応じて選択します。
汎用 GPU の使用オプション
| 使用オプション | 対象 | 最適な用途 | リクエスト方法 |
|---|---|---|---|
| オンデマンド | すべての汎用 GPU。 | 容量の保証を必要としないワークロード。 | コンピューティング インスタンスまたはクラスタを作成し、標準プロビジョニング モデルを指定します。手順については、VM インスタンスを作成するをご覧ください。 ヒント: 一般的な GPU 容量を取得できる可能性を高めるには、Flex Start または Spot を使用します。 |
| 標準予約と標準の将来の予約 | すべての汎用 GPU。 | 容量の保証がすぐに必要なワークロード（標準予約）または特定の将来の日付に必要なワークロード（標準の将来の予約）。 | オンデマンド予約または将来の予約リクエストを作成します。手順については、容量を予約するをご覧ください。 |
| Flex Start | A4X Max と A4X を除くすべての GPU マシンタイプ。 | 最大 7 日間続く有効期間の短い高密度クラスタを必要とするワークロード。高密度リソース割り当てと、サポートされているマシンタイプで最大 53% の割引を提供します。それ以外の場合は、標準のオンデマンド料金が適用されます。 | Compute Engine、Cluster Director、Cluster Toolkit、または GKE を使用してリクエストを作成します。リソースは使用可能になり次第プロビジョニングされます（開始時間はすぐにはなりません）。手順については、容量を取得するをご覧ください。 |
| Spot | A4X Max と A4X を除くすべての GPU マシンタイプ。 | フォールト トレラント、バッチ、または有効期間が短いワークロード。割引率が最も高い（61 ～ 90%）が、コンピューティング リソースはいつでもプリエンプトされる可能性がある。 | Spot プロビジョニング モデルを使用して、インスタンスまたはノードプールをすぐに作成します。手順については、容量を取得するをご覧ください。 |
クラスタ化された GPU の使用オプション
| 使用オプション | 対象 | 最適な用途 | リクエスト方法 |
|---|---|---|---|
| AI Hypercomputer の将来の予約 | すべてのクラスタ化された GPU と A3 Edge マシンタイプ。 | 基盤モデルの事前トレーニングや、複数のホストにわたる基盤モデルの推論など、長期間にわたって安定性が必要なワークロード。リソースの密度が高い割り当てと、vCPU と GPU の最大 53% の割引を提供します。 | 将来の開始日時について、Google アカウント チームを通じて容量をリクエストします。 |
| カレンダー モードの将来の予約 | A4X Max と A4X を除くすべてのクラスタ化された GPU。 | 最大 90 日間実行され、安定性を必要とするワークロード（モデルの事前トレーニングやファインチューニングなど）。リソースの密度が高い割り当てと最大 53% の割引を提供します。 | 将来の日時でセルフサービス予約リクエストを作成します。 Google Cloud がリクエストを承認する必要があります。手順については、容量を予約するをご覧ください。 |
| Flex Start | A4X Max と A4X を除くすべての GPU マシンタイプ。 | 最大 7 日間続く有効期間の短い高密度クラスタを必要とするワークロード。高密度のリソース割り当てと、サポートされているマシンタイプで最大 53% の割引が適用されます。それ以外の場合は、標準のオンデマンド料金が適用されます。 | Compute Engine、Cluster Director、Cluster Toolkit、または GKE を使用してリクエストを作成します。リソースは、使用可能になり次第プロビジョニングされます（開始時間はすぐではありません）。手順については、容量を取得するをご覧ください。 |
| Spot | A4X Max と A4X を除くすべての GPU マシンタイプ。 | フォールト トレラント、バッチ、または有効期間が短いワークロード。最大の割引（61 ～ 90%）が適用されますが、コンピューティング リソースはいつでもプリエンプトされる可能性があります。 | Spot プロビジョニング モデルを使用して、インスタンスまたはノードプールをすぐに作成します。手順については、容量を取得するをご覧ください。 |
デプロイ オプションを選択する
クラスタのデプロイに必要な制御レベルに応じて、次のオプションから選択します。
- 高度に管理されたデプロイ: マネージド サービスは、コンピューティング、ネットワーキング、ストレージ リソースの設定、オーケストレーション、構成を自動化します。
- 管理が少なく、より細かい制御のデプロイ: VM、カスタム環境、オーケストレーション レイヤを手動で作成して管理します。
高度な管理
高度に管理されたデプロイ オプションでは、コンピューティング、ネットワーキング、ストレージ リソースのセットアップとオーケストレーションが自動化されるため、クラスタ管理の運用オーバーヘッドが削減されます。インフラストラクチャをデプロイして構成するには、Cluster Director、Cluster Toolkit、または GKE を使用します。
Cluster Director: クラスタの複雑なセットアップと構成を自動化するGoogle Cloud プロダクト。クラスタのコンピューティング、ネットワーキング、ストレージ リソースの構成を支援し、パフォーマンスの最大化とダウンタイムの最小化を実現します。Cluster Director は、クラスタの管理オーバーヘッドを回避し、ワークロードの実行に集中したい IT 管理者と AI 研究者を対象としています。
Cluster Toolkit: Google が提供するオープンソース ツール。GKE または Compute Engine のクラスタ構成とデプロイを簡素化します。事前定義されたブループリントを使用して、Slurm を使用する A4 マシンタイプなどの一般的な構成をデプロイします。ブループリントを変更して、デプロイとソフトウェア スタックをカスタマイズできます。
GKE: マネージド Kubernetes サービスとオープンソース コンテナ オーケストレーション プラットフォーム。GKE には、自動スケーリングや高可用性などの機能があります。また、コンテナ化されたアプリケーションのオーケストレーション、専用ハードウェアのサポート、 Google Cloudエコシステムとの互換性も備えているため、AI ワークロードや ML ワークロードのデプロイと管理に適しています。GKE クラスタは、GKE を直接使用するか、Cluster Toolkit を使用してデプロイできます。
管理が少なく、より細かい制御
クラスタとクラスタにインストールされているソフトウェアをより詳細に制御するには、マネージド Compute Engine インスタンス グループ（MIG）を使用するか、インスタンスを一括作成して Compute Engine クラスタを作成します。次に、必要な主要なソフトウェアをインスタンスに手動でインストールします。
オーケストレーターを選択する
オーケストレーターは、クラスタの管理を自動化します。オーケストレーターを使用すると、クラスタ内の各コンピューティング インスタンスを管理する必要がなくなります。Slurm や GKE などのオーケストレーターは、ジョブのキューイング、リソース割り当て、自動スケーリング（GKE の場合）、その他の日常的なクラスタ管理タスクなどを処理します。
Slurm: Slurm は、HPC、AI、ML ワークロードで一般的に使用されるオープンソースのオーケストレーターです。マネージド Slurm エクスペリエンスには、Cluster Director を使用できます。Slurm をネイティブに使用するには、Cluster Toolkit（クラスタに Slurm を自動的にインストールするクラスタ ブループリントを提供）を使用するか、Compute Engine クラスタに Slurm を手動でインストールします。
GKE: GKE は、オープンソースのコンテナ オーケストレーション プラットフォームである Kubernetes をベースに構築されたマネージド サービスです。GKE は、コンテナ化されたアプリケーションのオーケストレーション、専用ハードウェアのサポート、 Google Cloudエコシステムでの位置付けにより、AI ワークロードや ML ワークロードのデプロイと管理に最適です。GKE クラスタは、GKE を直接使用するか、Cluster Toolkit を使用してデプロイできます。
独自のオーケストレーターを使用する: 他のオーケストレーターを使用するには、Compute Engine クラスタを使用します。Compute Engine クラスタの作成は、 Google Cloudで提供される最も管理されていないオプションです。この選択は、インスタンスの設定、メンテナンス、更新を行う責任をユーザーが負うことを意味します。
オペレーティング システム イメージを選択する
使用するイメージは、使用している GPU インフラストラクチャ（クラスタ化された GPU または汎用 GPU）と、クラスタのデプロイ方法（GKE、Slurm、Compute Engine）によって異なります。GKE クラスタの場合は、Container-Optimized OS を使用します。Compute Engine クラスタと Slurm クラスタの場合は、GPU などのアクセラレータ用に最適化されたオペレーティング システム イメージを選択します。また、ワークロードの Deep Learning Software Layer（DLSL）コンテナ イメージを選択することもできます。
詳細については、AI Hypercomputer イメージをご覧ください。
GKE クラスタのイメージ
GKE クラスタを作成するには、Standard モードと Autopilot モードの両方でデフォルトのコンテナ OS イメージを使用します。ただし、標準モードでは、Ubuntu などの他の使用可能なイメージを使用することもできます。
Cluster Toolkit を使用してクラスタをデプロイする場合は、コンテナ OS イメージのみを使用できます。これは、クラスタ ブループリントに組み込まれているイメージであるためです。各ノードイメージの詳細については、GKE ドキュメントのノードイメージをご覧ください。
GKE には、NVIDIA CUDA や NCCL などのパッケージと、PyTorch などの ML フレームワークをインストールするディープ ラーニング ソフトウェア レイヤ（DLSL）コンテナ イメージも用意されています。これにより、ディープ ラーニング ワークロードですぐに使用できる環境が提供されます。これらの事前構築済みの DLSL コンテナ イメージは、GKE クラスタでシームレスに動作することがテストされ、検証されています。
Compute Engine クラスタの OS イメージ
AI Hypercomputer には、Compute Engine を使用して AI と ML のワークロードを実行するように最適化されたイメージが用意されています。最もよく使用する OS を選択してください。
- Rocky Linux 9 アクセラレータ
- Rocky Linux 8 アクセラレータ
- Ubuntu 24.04 LTS アクセラレータ
- Ubuntu 22.04 LTS アクセラレータ
Cluster Toolkit を使用している場合、これらのアクセラレータ イメージは Cluster Toolkit ブループリントにすでにバンドルされています。これは、Cluster Toolkit が Ubuntu LTS アクセラレータ OS イメージを拡張するカスタム イメージを作成するためです。
各 OS イメージの詳細については、Compute Engine ドキュメントのオペレーティング システムの詳細をご覧ください。
クラスタを作成する
クラスタ作成プロセスを確認し、ワークロードの予備的な決定を行ったら、次のいずれかのオプションを使用してクラスタを作成します。
- GKE クラスタを作成します。
- Slurm クラスタを作成します。
- VM インスタンスを作成する（単一、一括、MIG）
ワークロードのストレージをプロビジョニングする
パフォーマンス、費用、ストレージ アーキテクチャの要件に基づいて、プロビジョニングするストレージ サービスを選択します。