クラスタ化された GPU は、大規模な分散トレーニング、マルチホスト推論、複雑なハイ パフォーマンス コンピューティング（HPC）タスクを優先する AI と ML のワークロード向けに最適化されています。
クラスタ化された GPU を使用すると、チームは専用のネットワーキング ファブリックと同期メンテナンスを使用して、相互接続された数千のアクセラレータを単一の密結合システムとしてデプロイ、スケーリングできます。極めて高いコンピューティング、メモリ、高速ネットワーキングの同期を必要とするワークロードに最適です。一般的なユースケースには、数兆個のパラメータを持つ基盤モデルの事前トレーニング、フロンティア モデルのモデル提供、創薬のシミュレーションなどがあります。
クラスタ化された GPU の主な特性
- 同期メンテナンス: Google Cloud は、クラスタ内のすべてのノードを同時に更新し、単一ノードの再起動によってジョブが停止するのを防ぎます。
- 自動ヘルス モニタリング: システムは、ストラグラーをプロアクティブに特定し、ハードウェア障害やサイレント データ破損をモニタリングします。
- プロアクティブなノード交換: システムは、パフォーマンスの低い VM を強制排除し、スペアプールから正常なマシンに再スケジュールします。
- レール整列型トポロジ: レール整列型トポロジは、GPU 間トラフィックを標準のホスト通信から分離し、大規模なマルチノード調整でジッターのないパフォーマンスを確保します。
- 高度なプロトコル: これらのマシンシリーズは、GPUDirect RDMA（RoCE ベース）などの高帯域幅相互接続をサポートしています。
クラスタ化された GPU ファミリーと技術仕様
次の表で、プレミアム クラスタ化された GPU マシンシリーズのワークロードとハードウェア仕様を確認します。エクサスケール トレーニングには、A4X または A3 Ultra シリーズを使用します。
A4X Max シリーズと A4X シリーズ
大規模なエクサスケール基盤モデルをトレーニングする場合や、非常に複雑なベアメタル ハイ パフォーマンス コンピューティング（HPC）シミュレーションを実行する場合は、A4X Max または A4X マシンシリーズを使用します。これらのシリーズには、NVIDIA GB300 Grace Blackwell Ultra Superchip が搭載されており、極めて高いコンピューティング要件とメモリ要件に対応できます。
A4X Max（ベアメタル）
A4X Max マシンタイプは、NVIDIA GB300 Grace Blackwell Ultra Superchip（nvidia-gb300）を使用しており、基盤モデルのトレーニングとサービングに最適です。A4X Max マシンタイプは、ベアメタル インスタンスとして使用できます。
A4X Max は、NVIDIA GB300 NVL72 に基づくエクサスケール プラットフォームです。各マシンには、Arm Neoverse V2 コアの NVIDIA Grace CPU を搭載した 2 つのソケットがあります。これらの CPU は、高速チップ間（NVLink-C2C）通信対応の 4 つの NVIDIA B300 Blackwell GPU に接続されています。マシンタイプの制限事項については、A4X Max と A4X の制限事項をご覧ください。
| マシンタイプ | vCPU 数 | インスタンスのメモリ（GB） | アタッチされたローカル SSD（GiB） | 物理 NIC の数 | 最大ネットワーク帯域幅（Gbps） | NVIDIA GB300 GPU の数 | GPU メモリ（GB HBM3e） |
|---|---|---|---|---|---|---|---|
a4x-maxgpu-4g-metal |
144 | 960 | 12,000 | 6 | 3,600 | 4 | 1,116 |
上記の表には、次の注意事項が適用されます。
- vCPU 数: vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
- 最大ネットワーク帯域幅: 最大下り（外向き）帯域幅は指定された数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅の詳細については、ネットワーク帯域幅をご覧ください。
- GPU メモリ: GPU メモリは GPU デバイスのメモリで、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、グラフィックを多用するワークロードの高帯域幅の需要に対応するように設計されています。
A4X
A4X マシンタイプは、NVIDIA GB200 Grace Blackwell Superchip（nvidia-gb200）を使用しており、基盤モデルのトレーニングとサービングに最適です。
A4X は、NVIDIA GB200 NVL72 に基づくエクサスケール プラットフォームです。各マシンには、Arm Neoverse V2 コアの NVIDIA Grace CPU を搭載した 2 つのソケットがあります。これらの CPU は、高速チップ間（NVLink-C2C）通信対応の 4 つの NVIDIA B200 Blackwell GPU に接続されています。マシンタイプの制限事項については、A4X Max と A4X の制限事項をご覧ください。
| マシンタイプ | vCPU 数 | インスタンスのメモリ（GB） | アタッチされたローカル SSD（GiB） | 物理 NIC の数 | 最大ネットワーク帯域幅（Gbps） | NVIDIA GB200 GPU の数 | GPU メモリ（GB HBM3e） |
|---|---|---|---|---|---|---|---|
a4x-highgpu-4g |
140 | 884 | 12,000 | 6 | 2,000 | 4 | 744 |
上記の表には、次の注意事項が適用されます。
- vCPU 数: vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
- 最大ネットワーク帯域幅: 最大下り（外向き）帯域幅は指定された数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅の詳細については、ネットワーク帯域幅をご覧ください。
- GPU メモリ: GPU メモリは GPU デバイスのメモリで、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、グラフィックを多用するワークロードの高帯域幅の需要に対応するように設計されています。
A4 シリーズ
大規模な並列処理スケールを必要とする最先端の基盤モデルをトレーニングすることが目標の場合は、A4 マシンシリーズを使用して処理時間を最適化し、ハードウェア スループットを最大化します。
A4 マシンタイプには、NVIDIA B200 Blackwell GPU（nvidia-b200）が割り当てられており、基盤モデルのトレーニングとサービングに最適です。マシンタイプの制限事項については、A4 の制限事項をご覧ください。
| マシンタイプ | vCPU 数 | インスタンスのメモリ（GB） | アタッチされたローカル SSD（GiB） | 物理 NIC の数 | 最大ネットワーク帯域幅（Gbps） | NVIDIA B200 Blackwell GPU の数 | GPU メモリ（GB HBM3e） |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
224 | 3,968 | 12,000 | 10 | 3,600 | 8 | 1,440 |
上記の表には、次の注意事項が適用されます。
- vCPU 数: vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
- 最大ネットワーク帯域幅: 最大下り（外向き）帯域幅は指定された数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅の詳細については、ネットワーク帯域幅をご覧ください。
- GPU メモリ: GPU メモリは GPU デバイスのメモリで、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、グラフィックを多用するワークロードの高帯域幅の需要に対応するように設計されています。
A3 シリーズ（Ultra、Mega、8 個の GPU を搭載した High）
大規模な分散トレーニングを実行する必要がある場合や、大規模なデータセット テーブルを使用して複数のホストにフロンティア モデルを提供する必要がある場合は、A3 マシンシリーズを使用してホスト間のネットワーク レイテンシを最小限に抑えます。
A3 Ultra
| マシンタイプ | vCPU 数 | インスタンスのメモリ（GB） | アタッチされたローカル SSD（GiB） | 物理 NIC の数 | 最大ネットワーク帯域幅（Gbps） | NVIDIA H200 GPU の数 | GPU メモリ（GB HBM3e） |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
224 | 2,952 | 12,000 | 10 | 3,600 | 8 | 1128 |
A3 Mega
| マシンタイプ | vCPU 数 | インスタンスのメモリ（GB） | アタッチされたローカル SSD（GiB） | 物理 NIC の数 | 最大ネットワーク帯域幅（Gbps） | NVIDIA H100 GPU の数 | GPU メモリ（GB HBM3） |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
208 | 1,872 | 6,000 | 9 | 1,800 | 8 | 640 |
A3 High
| マシンタイプ | vCPU 数 | インスタンスのメモリ（GB） | アタッチされたローカル SSD（GiB） | 物理 NIC の数 | 最大ネットワーク帯域幅（Gbps） | NVIDIA H100 GPU の数 | GPU メモリ（GB HBM3） |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1,500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3,000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1,872 | 6,000 | 5 | 1,000 | 8 | 640 |
上記の表には、次の注意事項が適用されます。
- vCPU 数: vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
- 最大ネットワーク帯域幅: 最大下り（外向き）帯域幅は指定された数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅の詳細については、ネットワーク帯域幅をご覧ください。
- GPU メモリ: GPU メモリは GPU デバイスのメモリで、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、グラフィックを多用するワークロードの高帯域幅の需要に対応するように設計されています。
容量の取得
クラスタ化された GPU のコンピューティング容量を取得するには、ハイ パフォーマンス アクセラレータの需要と供給を管理するための調整が必要です。これらのリソースは、専用のネットワーキング ファブリック内に物理的に配置されているため、マネージド ワークフローを介してリクエストする必要があります。
容量は、アカウント チームを通じて予約するか、将来の予約と Dynamic Workload Scheduler を使用して予約できます。
次のステップ
- 容量を取得する方法については、使用オプションをご覧ください。
- インフラストラクチャの要件を評価するには、インフラストラクチャを選択するをご覧ください。
- ネットワーク トポロジを計画するには、クラスタ化された環境の GPU ネットワーキング要件をご覧ください。
- コンピューティング リソースを予約するには、容量を予約するをご覧ください。