汎用 GPU の概要

汎用 GPU は、運用の柔軟性、リソースの独立性、費用対効果を優先する AI と機械学習（ML）のワークロード向けに最適化されています。

一般的な GPU を使用すると、チームは NVIDIA アクセラレータを完全に自律的にデプロイしてスケーリングできます。これにより、調整されたスーパーコンピューティング クラスタのアーキテクチャの複雑さを回避できます。高可用性、セルフサービス プロビジョニング、独立したスケーリングを優先するワークロードに最適です。一般的なユースケースには、リアルタイム推論、RAG、プロトタイピング、小規模から中規模のモデル トレーニングなどがあります。

汎用 GPU の主な特徴

  • 運用の柔軟性: 標準の GKE（Autopilot と Standard）インターフェースと Compute Engine インターフェースを使用してリソースを管理し、デプロイとスケーリングを簡素化できます。
  • 高可用性: Google Cloud は個々のインスタンスを個別に更新して、1 つのノードの更新が他のノードの可用性に影響しないようにします。これにより、ロードバランサは、サービス提供フリートを停止することなくトラフィックをリダイレクトできます。
  • ネットワーキングの簡素化: ワークロードは、標準の Virtual Private Cloud（VPC）サービスと Google Virtual NIC（gVNIC）インターフェースを介した標準の TCP/IP を使用して、複雑なハードウェア レベルのファブリックを排除します。
  • コストの最適化: フォールト トレラントな研究に Spot VM を使用すると、標準のオンデマンド料金と比較して最大 90% のコスト削減を実現できます。
  • セルフサービス取得: アカウント チームが管理するワークフローを必要とせずに、標準の予約とオンデマンド リクエストを通じて容量を直接取得できます。

一般的な GPU ファミリーと技術仕様

General GPU マシンシリーズのワークロードとハードウェア仕様を確認します。高スループットのサービングには、A3 Edge シリーズを使用します。

A3 シリーズ（1、2、または 4 個の GPU を搭載した High、Edge）

A3 High（1、2、または 4 個の GPU）

高いパフォーマンスを必要とするが、8 GPU の同期クラスタ全体を必要としない推論ワークロードまたは標準トレーニング ワークロードを実行する場合は、1、2、または 4 個の GPU が接続された A3 High マシンシリーズを使用します。

A3 High マシンタイプには NVIDIA H100 SXM GPU が搭載されており、大規模なモデル推論とモデルのファインチューニングの両方に適しています。マシンタイプの制限事項については、A3 High の制限事項をご覧ください。

マシンタイプ vCPU 数 インスタンスのメモリ（GB） アタッチされたローカル SSD（GiB） 物理 NIC の数 最大ネットワーク帯域幅（Gbps） NVIDIA H100 GPU の数 GPU メモリ（GB HBM3）
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1,500 1 50 2 160
a3-highgpu-4g 104 936 3,000 1 100 4 320
a3-highgpu-8g 208 1,872 6,000 5 1,000 8 640

上記の表には、次の注意事項が適用されます。

  • vCPU 数: vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
  • 最大ネットワーク帯域幅: 最大下り（外向き）帯域幅は指定された数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅の詳細については、ネットワーク帯域幅をご覧ください。
  • GPU メモリ: GPU メモリは GPU デバイスのメモリで、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、グラフィックを多用するワークロードの高帯域幅の需要に対応するように設計されています。

A3 Edge

調整されたクラスタ ファブリックを使用せずに、複数のホストで高スループットの分散推論ワークロードを実行している場合は、A3 Edge シリーズを使用して、標準のバーチャル プライベート ネットワークでのデプロイを簡素化します。

A3 Edge マシンタイプには NVIDIA H100 SXM GPU が搭載されており、サービング専用に設計されています。限定されたリージョン セットで使用できます。マシンタイプの制限事項については、A3 Edge の制限事項をご覧ください。

マシンタイプ vCPU 数 インスタンスのメモリ（GB） アタッチされたローカル SSD（GiB） 物理 NIC の数 最大ネットワーク帯域幅（Gbps） NVIDIA H100 GPU の数 GPU メモリ（GB HBM3）
a3-edgegpu-8g 208 1,872 6,000 5 600（asia-south1 と northamerica-northeast2）または 400（その他のすべての A3 Edge リージョン） 8 640

A2 シリーズ（Standard、Ultra）

高性能な単一ノードモデルのサービングや小規模なモデルのファインチューニングを行う必要がある場合は、A2 マシンシリーズを使用して専用の NVIDIA A100 GPU リソースにアクセスします。

A2 Ultra

マシンタイプ vCPU 数 インスタンスのメモリ（GB） アタッチされたローカル SSD（GiB） 最大ネットワーク帯域幅（Gbps） NVIDIA A100 80 GB GPU の数 GPU メモリ（GB HBM2e）
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1,500 50 4 320
a2-ultragpu-8g 96 1,360 3,000 100 8 640

上記の表には、次の注意事項が適用されます。

  • vCPU 数: vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
  • 最大ネットワーク帯域幅: 最大下り（外向き）帯域幅は指定された数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅の詳細については、ネットワーク帯域幅をご覧ください。
  • GPU メモリ: GPU メモリは GPU デバイスのメモリで、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、グラフィックを多用するワークロードの高帯域幅の需要に対応するように設計されています。

A2 標準

マシンタイプ vCPU 数 インスタンスのメモリ（GB） サポート対象のローカル SSD 最大ネットワーク帯域幅（Gbps） NVIDIA A100 40 GB GPU の数 GPU メモリ（GB HBM2）
a2-highgpu-1g 12 85 はい 24 1 40
a2-highgpu-2g 24 170 はい 32 2 80
a2-highgpu-4g 48 340 はい 50 4 160
a2-highgpu-8g 96 680 はい 100 8 320
a2-megagpu-16g 96 1,360 はい 100 16 640

上記の表には、次の注意事項が適用されます。

  • vCPU 数: vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
  • 最大ネットワーク帯域幅: 最大下り（外向き）帯域幅は指定された数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅の詳細については、ネットワーク帯域幅をご覧ください。
  • GPU メモリ: GPU メモリは GPU デバイスのメモリで、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、グラフィックを多用するワークロードの高帯域幅の需要に対応するように設計されています。

G4 シリーズ

費用対効果の高いエントリーレベルの推論ワークロードや標準的なグラフィック レンダリング ワークロードが必要な場合は、NVIDIA RTX PRO 6000 GPU を搭載した G4 マシンシリーズを使用します。

G4 マシンタイプは、 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU（nvidia-rtx-pro-6000）を使用し、NVIDIA Omniverse シミュレーション ワークロード、グラフィックを多用するアプリケーション、動画のコード変換、仮想デスクトップに適しています。また、G4 マシンタイプは、A シリーズのマシンタイプと比較して、単一ホストの推論とモデル チューニングを実行するための低コストのソリューションを実現します。

G4 インスタンスの作成時に Titanium SSD ディスクを追加することもできます。アタッチできるディスクの数については、複数のローカル SSD ディスクを選択する必要があるマシンタイプをご覧ください。マシンタイプの制限事項については、G4 の制限事項をご覧ください。

マシンタイプ vCPU 数 インスタンスのメモリ（GB） サポートされている最大 Titanium SSD（GiB） 物理 NIC の数 最大ネットワーク帯域幅（Gbps） NVIDIA RTX PRO 6000 GPU の数 GPU メモリ（GB GDDR7）
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1,500 1 50 1 96
g4-standard-96 96 360 3,000 1 100 2 192
g4-standard-192 192 720 6,000 1 200 4 384
g4-standard-384 384 1,440 12,000 2 400 8 768

*GPU メモリは GPU デバイスで利用可能なメモリで、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、機械学習（ML）やグラフィックを多用するワークロードなど、高速化されたワークロードの高帯域幅の需要に対応するように設計されています。

G2 シリーズ

主流のリアルタイム推論アプリケーションまたは検索拡張生成（RAG）パイプラインをデプロイする場合は、G2 マシンシリーズを使用して、NVIDIA L4 GPU でパフォーマンスと費用対効果のバランスを取ります。

マシンタイプ vCPU 数 デフォルトのインスタンス メモリ（GB） カスタム インスタンス メモリ範囲（GB） サポート対象の最大ローカル SSD（GiB） 最大ネットワーク帯域幅（Gbps） NVIDIA L4 GPU の数 GPU メモリ（GB GDDR6）
g2-standard-4 4 16 16～32 375 10 1 24
g2-standard-8 8 32 32～54 375 16 1 24
g2-standard-12 12 48 48～54 375 16 1 24
g2-standard-16 16 64 54～64 375 32 1 24
g2-standard-24 24 96 96～108 750 32 2 48
g2-standard-32 32 128 96～128 375 32 1 24
g2-standard-48 48 192 192～216 1,500 50 4 96
g2-standard-96 96 384 384～432 3,000 100 8 192

上記の表には、次の注意事項が適用されます。

  • vCPU 数: vCPU は、利用可能な CPU プラットフォームのいずれかで単一のハードウェア ハイパースレッドとして実装されます。
  • 最大ネットワーク帯域幅: 最大下り（外向き）帯域幅は指定された数を超えることはできません。実際の下り（外向き）帯域幅は、宛先 IP アドレスやその他の要因によって異なります。ネットワーク帯域幅の詳細については、ネットワーク帯域幅をご覧ください。
  • GPU メモリ: GPU メモリは GPU デバイスのメモリで、データの一時的な保存に使用できます。これはインスタンスのメモリとは別のものであり、グラフィックを多用するワークロードの高帯域幅の需要に対応するように設計されています。

N1 シリーズ（NVIDIA T4 または V100）

コスト重視のテストや、低同時実行のエントリレベルの推論の実行を優先する場合は、N1 マシンシリーズを使用して NVIDIA T4 または V100 GPU をアタッチします。

NVIDIA T4

アクセラレータ タイプ NVIDIA T4 GPU の数 GPU メモリ（GB GDDR6） vCPU 数 インスタンスのメモリ（GB） サポート対象のローカル SSD
nvidia-tesla-t4 または nvidia-tesla-t4-vws 1 16 1～48 1～312 ○
nvidia-tesla-t4 または nvidia-tesla-t4-vws 2 32 1～48 1～312 ○
nvidia-tesla-t4 または nvidia-tesla-t4-vws 4 64 1～96 1～624 ○

NVIDIA V100

アクセラレータ タイプ NVIDIA V100 GPU の数 GPU メモリ（GB HBM2） vCPU 数 インスタンスのメモリ（GB） サポート対象のローカル SSD
nvidia-tesla-v100 1 16 1～12 1～78 はい（us-east1-c を除く）
nvidia-tesla-v100 2 32 1～24 1～156 はい（us-east1-c を除く）
nvidia-tesla-v100 4 64 1～48 1～312 はい（us-east1-c を除く）
nvidia-tesla-v100 8 128 1～96 1～624 はい（us-east1-c を除く）

容量の取得

一般的な GPU アクセラレータは、標準のセルフサービス プロビジョニングを使用します。容量は、標準予約、オンデマンド リクエスト、Spot VM を使用して取得できます。オンデマンド容量は在庫切れになる可能性があるため、可能な限り Spot VM または Flex Start を使用してください。

次のステップ