詳細
次のドキュメントでは、対応するトピックに関連する用語について詳しく説明しています。
用語
次の用語は AI Hypercomputer に適用されます。
アクセラレータ
汎用プロセッサよりも効率的に ML ワークロードなどの特定のタスクを実行するように設計された、GPU や TPU などの特殊なハードウェア デバイス。
ブロック
相互接続されたサブブロックのコレクション。ブロック内では、どの GPU にもネットワーク ファブリックを介して到達できるため、分散トレーニング タスクで超低レイテンシの通信が保証されます。
クラスタ
高速ファブリックで結合された相互接続ブロックのコレクション。ノンブロッキングの東西ネットワーク ファブリックにより、パフォーマンスや帯域幅のボトルネックが発生することなく、数千の GPU にわたって大規模なトレーニング ジョブをスケーリングできます。
クラスタ化された GPU
A4X、A4、A3 Ultra、A3 Mega、A3 High（8 個の GPU）などの GPU のマシン ファミリーのカテゴリ。クラスタ化された GPU を使用すると、チームは特殊なネットワーキング ファブリックと同期されたメンテナンスを使用して、相互接続された数千のアクセラレータを単一の密結合システムとしてデプロイしてスケーリングできます。コンピューティング、メモリ、高速ネットワーキングの同期を必要とするワークロードに最適です。一般的なユースケースには、数兆個のパラメータを使用した基盤モデルの事前トレーニング、フロンティア モデルのモデル提供、創薬のシミュレーションなどがあります。
緊急メンテナンス
緊急メンテナンスと呼ばれることもあります。ハードウェア、ソフトウェア、セキュリティに関する重大な問題が原因で発生した予定外のメンテナンス イベント。サポートされているアクセラレータ マシンタイプの場合、緊急メンテナンスでは、即時の停止ではなく事前通知が提供されます。この通知により、システムが VM を終了する前に、ワークロードを正常にドレインし、必要に応じて修復をトリガーする時間を確保できます。
汎用 GPU
G2、G4、A2、N1+T4、A3 Edge などの GPU マシン ファミリーのカテゴリ。汎用 GPU を使用すると、チームは完全な運用上の自律性を備えた NVIDIA アクセラレータをデプロイしてスケーリングできます。これにより、連携されたスーパーコンピューティング クラスタのアーキテクチャの複雑さを回避できます。高可用性、セルフサービス プロビジョニング、独立したスケーリングを優先するワークロードに最適です。一般的なユースケースには、リアルタイム推論、RAG、プロトタイピング、小規模から中規模のモデル トレーニングなどがあります。
ネットワーク ファブリック
ネットワーク ファブリックは、クラスタ内のすべてのブロックと Google Cloud サービスに高帯域幅で低レイテンシの接続を提供します。Jupiter は、ソフトウェア定義ネットワーキングと光回路スイッチを使用してネットワークを進化させ、パフォーマンスを最適化する Google のデータセンター ネットワーク アーキテクチャです。
ノードまたはホスト
データセンター内の単一の物理サーバーマシン。各ホストには、アクセラレータなどのコンピューティング リソースが関連付けられています。これらのコンピューティング リソースの数と構成は、マシン ファミリーによって異なります。Compute Engine インスタンスは物理ホスト上にプロビジョニングされます。
NVLink ドメイン
NVLink ドメイン（サブブロックとも呼ばれます）は、A4X Max マシンと A4X マシンの容量のコア単位です。NVLink ドメインは、マルチノード NVLink システムで接続された 18 個の A4X Max インスタンスまたは A4X インスタンス（72 個の GPU）で構成されます。
サブブロック
単一の物理ラック上にあるホストのグループと関連する接続ハードウェア。A4X Max マシンと A4X マシンのコンテキストでは、サブブロックは NVLink ドメインとも呼ばれます。
スーパーブロック
データセンター内の相互接続されたマシンの物理的なグループ。マシンをスーパーブロック内に配置することで、緊密に結合されたトレーニング ワークロードの実行に必要なネットワーク スループットとミリ秒未満のレイテンシを実現できます。