AI Hypercomputer は、AI と ML のワークロードをサポートするように最適化された統合型スーパーコンピューティング システムです。これは、 Google Cloudの AI インフラストラクチャの統合ポートフォリオであり、パフォーマンスが最適化されたハードウェア、オープン ソフトウェア、柔軟な消費モデルを探索、構成、デプロイするための単一のエントリ ポイントを提供します。
AI Hypercomputer には、システムレベルの設計とベスト プラクティスが組み込まれており、プロトタイピングや開発から大規模なトレーニングやリアルタイム サービングまで、AI 開発ライフサイクル全体の効率を高めます。
システム アーキテクチャ
AI Hypercomputer は、これら 3 つのコンポーネントを垂直統合して、実際の ML の生産性の指標であるグッドプットを最大化します。
- パフォーマンス最適化インフラストラクチャ: アクセラレータ（NVIDIA GPU
と Google Cloud TPU）、ネットワーキング、ストレージ リソースを提供します。
- GPU: システムがライフサイクル イベントとメンテナンスを処理する方法で分類されます。
- 汎用 GPU: 非同期メンテナンスで独立したコンピューティング単位数として管理されるインフラストラクチャ。
- クラスタ化された GPU: 同期されたメンテナンスで緊密に結合された単一のシステムとして管理される高パフォーマンス クラスタ。
- TPU: 大規模な行列演算を実行するように設計されたハードウェアを使用し、より大きなモデルとバッチサイズに対応するオンチップの高帯域幅メモリ（HBM）を備えています。TPU はスライスと呼ばれるグループに接続することで、コードをほとんど変更することなくワークロードをスケールアップできます。TPU インフラストラクチャについては、Cloud TPU ドキュメントをご覧ください。
- GPU: システムがライフサイクル イベントとメンテナンスを処理する方法で分類されます。
- オープン ソフトウェア: ML フレームワーク（PyTorch、JAX、TensorFlow）とオーケストレーション プラットフォームの最適化されたバージョンを提供します。アクセラレータをデプロイして管理するには、次のオプションから選択します。
- コンテナ ネイティブな自動スケーリングのための Google Kubernetes Engine
- Cluster Director を介した Slurm
- Cluster Toolkit ブループリント
- 使用量オプション: ワークロードのニーズに基づいて柔軟なプロビジョニング オプションを提供します。
- Flex Start VM、Spot VM、予約: さまざまなワークロードに対応する柔軟なオプションを提供します。
- Dynamic Workload Scheduler: 大規模なトレーニング用に、相互接続されたノードのブロック全体のアトミック プロビジョニングを提供します。
利点
- 高いパフォーマンスとグッドプット: スケジューリング レイヤとランタイム レイヤを最適化してグッドプットを最大化し、アクセラレータが生産的な計算に費やす時間を増やし、システム オーバーヘッドに費やす時間を減らします。
- 信頼性の統合: 特殊な信頼性機能にアクセスできます。
- クラスタ化された GPU: 自動化されたハードウェアの健全性モニタリングと事前対応型のノード置換が含まれます。
- 汎用 GPU: 標準のGoogle Cloud ノード自動修復を使用して、サービング フリートの Pod レベルの稼働時間を維持します。
- 最適化されたストレージ: Google Cloud Managed Lustre や Cloud Storage Rapid などの高スループット ストレージ サービスを使用して、I/O ボトルネックを解消します。
ユースケース
AI Hypercomputer は、次のユースケースのニーズを満たします。
| ユースケース | サンプルのワークロード |
|---|---|
| 大規模な AI / ML ワークロード |
|
| 推論とモデル提供 |
|
| プロトタイピングと開発 |
|