このドキュメントでは、小規模なプロトタイピング、リアルタイム推論、大規模な分散トレーニングなど、ライフサイクル ステージに基づいて、AI と ML のワークロードに最適なアクセラレータ インフラストラクチャを特定します。AI Hypercomputer は、アクセラレータ サービスを一般的な GPU とクラスタ化された GPU の 2 つのカテゴリに分類します。
GPU インフラストラクチャ
AI Hypercomputer には、2 つの異なるカテゴリの GPU が用意されています。各カテゴリには、システムがライフサイクル イベントを処理し、メンテナンスを管理し、ワークロードのネットワーキングを最適化する方法を決定する、個別の管理モデルがあります。
一般的な GPU 管理モデル
一般的な GPU 管理モデルは、リソースの独立性と高可用性を優先するワークロード向けに設計されています。このモデルでは、標準の Google Cloud 管理プレーンが使用されるため、Compute Engine または GKE をすでに使用しているチームにとって使い慣れたエクスペリエンスが提供されます。
メンテナンス: 非同期。個々のインスタンスは個別に更新されます。マルチノード サービング フリートでは、1 つのノードのメンテナンス イベントが他のノードの可用性に影響しないため、ジョブ全体を停止することなく、トラフィックを正常なノードにリダイレクトできます。
主なユースケース: リアルタイム推論、モデル提供、小規模なプロトタイピング、スーパーコンピューティング規模を必要としない開発環境など、主流のタスクに推奨されます。
一般的な GPU マシンシリーズ
次のマシンシリーズは一般的な GPU です。
- 1、2、または 4 個の GPU を搭載した A3 High
- A3 Edge
- A2
- G4
- G2
- N1+T4
- N1+V100
一般的な GPU マシンの技術情報については、GPU マシンタイプをご覧ください。
クラスタ化された GPU 管理モデル
クラスタ化された GPU 管理モデルは、大規模な分散トレーニング用に設計されたスーパーコンピューティング クラスの環境です。リソースは、クラスタ化された GPU スタックを使用して、単一の密結合システムとして管理されます。
メンテナンス: 調整済み。このモデルは、密結合されたワークロードをサポートするためにメンテナンス イベントを調整します。分散トレーニングでは、同期メンテナンスを使用できます。この場合、更新はすべてのノードに同時に適用されます。このアプローチにより、ノードの再起動によるジョブの停止を防ぎ、グッドプットを最大化します。このモデルでは、90 日間のメンテナンス通知も提供されます。
主なユースケース: 数兆個のパラメータを持つエクサスケール基盤モデルのトレーニングや、創薬やタンパク質フォールディングなどの複雑なハイ パフォーマンス コンピューティング（HPC）シミュレーションの実行用に設計されています。
クラスタ化された GPU マシンシリーズ
次のマシンシリーズはクラスタ化された GPU です。
- A5X
- A4X Max
- A4X
- A4
- A3 Ultra
- A3 Mega
- 8 個の GPU を搭載した A3 High
各クラスタ化された GPU マシンの技術情報については、GPU マシンタイプをご覧ください。
機能マトリックス
一般的な GPU 管理モデルとクラスタ化された GPU 管理モデルの技術的特性と運用特性を比較します。
| 特性 | 一般的な GPU 管理モデル | クラスタ化された GPU 管理モデル |
|---|---|---|
| 主なユースケース: | 推論、モデル提供、プロトタイピング、開発 | 大規模な分散トレーニングと HPC |
| メンテナンス | 非同期: 独立したノードの更新により、ジョブを停止することなくトラフィックをリダイレクトできます。 | 調整済み: クラスタ全体で調整された（同期された）更新をサポートし、ノードの同期を維持してグッドプットを最大化します。 |
| ターゲット ハードウェア | A3 High（1、2、4 GPU）、A3 Edge、G4、G2、A2、N1+T4、N1+V100 | A5X、A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High（8 GPU） |
| ネットワーキング | gVNIC インターフェースを介した標準 VPC ネットワーキング（複数の VPC で GPUDirect-TCPX を使用する A3 Edge を除く） | 特殊な低レイテンシ ファブリック（RDMA、RoCE、TCPX、NVIDIA NVLink） |
| 管理スタック | 標準 Google Cloud プレーン（Compute Engine または GKE） | 専用の管理スタック（Cluster Director など） |
| 信頼性 | Standard ノードの自動修復と Pod レベルの稼働時間 | 専門的なリソースと復旧スイート |
判断マトリックス
次のマトリックスを使用して、特定のワークロードの目的に適したハードウェア ファミリーを特定します。
| ワークロードに次のものが含まれる場合... | 推奨される GPU インフラストラクチャ | 推奨されるマシンシリーズ |
|---|---|---|
| プロトタイピングと開発 | 一般的な GPU | A3 High（1、2、4 個の GPU）、A3 Edge、A2、G4、G2、N1+T4、N1+V100 |
| リアルタイム推論（1,000 億未満のパラメータ） | 一般的な GPU | A3 High（1、2、4 個の GPU）、A3 Edge、A2、G4、G2、N1+T4、N1+V100 |
| 複数の GPU での推論 | クラスタ化された GPU | A4、A3 Ultra、A3 Mega、A3 High（8 GPU） |
| 大規模なトレーニングと推論 | クラスタ化された GPU | A4、A3 Ultra、A3 Mega、A3 High（8 GPU） |
| 大規模なトレーニング（5,000 億以上のパラメータ）と分散推論 | クラスタ化された GPU | A5X、A4X Max、A4X、A4 |
モデル アーキテクチャをハードウェアに直接マッピングする詳細なディシジョン ツリーについては、アクセラレータを選択するをご覧ください。
これらの主要な基準を確立したら、オーケストレーション プラットフォームを選択します。この選択は、オペレーティング システムとドライバの自動管理またはきめ細かい制御に対するチームの好みによって異なります。
次のステップ
- オーケストレーターとデプロイ オプションを選択するには、オーケストレーターとデプロイ オプションを選択するをご覧ください。
- 推論ワークロードをデプロイする場合や、大規模なトレーニングを実行する場合は、AI Hypercomputer のチュートリアルをご覧ください。
- システムの効率を最適化するには、グッドプット最適化レシピをご覧ください。