コンピューティング リソース

Gemini Enterprise Agent Platform トレーニング クラスタに関心をお持ちの場合は、営業担当者にお問い合わせください。

Gemini Enterprise Agent Platform トレーニング クラスタは、さまざまなワークロードに対応するために、さまざまなマシンタイプをサポートしています。クラスタ ノードプールを構成するときに、次のオプションから選択できます。

アクセラレータ最適化マシンタイプ

マシンタイプ GPU ノードあたりの GPU 数
a4x-highgpu-4g NVIDIA GB200 4
a4-highgpu-8g NVIDIA B200 8
a3-ultragpu-8g NVIDIA H200 8
a3-megagpu-8g NVIDIA H100 8
a3-highgpu-8g NVIDIA H100 8
g4-standard-48 NVIDIA RTX PRO 6000 Blackwell 1
g4-standard-96 NVIDIA RTX PRO 6000 Blackwell 2
g4-standard-192 NVIDIA RTX PRO 6000 Blackwell 4
g4-standard-384 NVIDIA RTX PRO 6000 Blackwell 8

CPU マシンタイプと HPC マシンタイプ

マシンタイプ 説明
N2 ファミリー: n2-standard-*、n2-highmem-*、n2-highcpu-* データの前処理、ジョブ オーケストレーション、アクセラレータを必要としないその他の作業用の汎用ノード。N2 は Slurm ログインノードでもサポートされています。
N4 ファミリー: n4-standard-*、n4-highmem-*、n4-highcpu-* N2 と同じワークロード用の汎用ノード。Slurm ログインノードに N4 を使用することもできます。N4 は、Hyperdisk Balanced(hyperdisk-balanced)ブートディスクのみをサポートしています。boot_disk.boot_disk_type を設定しない場合、hyperdisk-balanced が使用されます。
N4D ファミリー: n4d-standard-*、n4d-highmem-*、n4d-highcpu-* N2 と同じワークロード用の汎用 AMD EPYC ノード。N4D は Slurm ログインノードでもサポートされています。N4D は、Google Cloud Hyperdisk Balanced(hyperdisk-balanced)ブートディスクのみをサポートしています。これは、boot_disk.boot_disk_type が設定されていない場合のデフォルトです。
C4 ファミリー: c4-standard-*、c4-highmem-*、c4-highcpu-* コンピューティング負荷の高い前処理、オーケストレーション、CPU ワークロード用の汎用ノード。C4 は Slurm ログインノードでもサポートされています。C4 は、Google Cloud Hyperdisk Balanced(hyperdisk-balanced)ブートディスクのみをサポートしています。これは、boot_disk.boot_disk_type が設定されていない場合のデフォルトです。-lssd バリアントと -metal バリアントはサポートされていません。
C4D ファミリー: c4d-standard-*、c4d-highmem-*、c4d-highcpu-* コンピューティング負荷の高い前処理、オーケストレーション、CPU ワークロード用の汎用 AMD EPYC ノード。C4D は、Google Cloud Hyperdisk Balanced(hyperdisk-balanced)ブートディスクのみをサポートしています。これは、boot_disk.boot_disk_type が設定されていない場合のデフォルトです。-lssd バリアントと -metal バリアントはサポートされていません。
C4A ファミリー: c4a-standard-*、c4a-highmem-*、c4a-highcpu-* Arm ベース(Axion)ノード。Slurm ログインノードでのみサポートされ、コンピューティング ノードプールも Arm ベースのクラスタでのみサポートされます。-lssd バリアントと -metal バリアントはサポートされていません。
H4D ファミリー: h4d-standard-*、h4d-highmem-* RDMA ネットワーキングを備えた HPC 最適化ノード。密結合のシミュレーション ワークロードと前処理ワークロード向け。

C4A ログインノード

C4A ログインノードは Arm ベースであり、すべてのコンピューティング ノードプールも Arm ベースであるクラスタ(A4X など)でのみサポートされます。C4A ログインノードと x86 コンピューティング ノードプール(N2 や A3 など)をペアリングするクラスタは、作成時に拒否されます。

ログインノードとコンピューティング ノードは同じアーキテクチャを共有しているため、ログインノードでビルドしたバイナリとコンテナ イメージは、送信先のコンピューティング ノードで実行されます。

C4A は、デフォルトの hyperdisk-balanced ブートディスクのみをサポートしています。

A4X マシンタイプ

Gemini Enterprise Agent Platform トレーニング クラスタは、NVIDIA GB200 NVL72 ラックスケール アーキテクチャに基づくエクサスケール プラットフォームである A4X アクセラレータ最適化マシンタイプ(a4x-highgpu-4g)をサポートしています。

アーキテクチャの比較

次の表に、A4X ファミリーと他のアクセラレータ最適化ファミリーのハードウェアの基本的な違いを示します。

機能 A4X(a4x-highgpu-4g) A3 / A4H
CPU アーキテクチャ ARM X86
GPU 数 ノードあたり 4 個の GPU ノードあたり 8 個の GPU
予約タイプ All Capacity モード マネージド モード
プレースメント ポリシー 厳格(最小) フレキシブル

A4X 固有のガイドライン

  • A4X ノードプールの VM 数は 18 の倍数(18、36、54 など)にする必要があります。これは、A4X の容量が NVLink ドメインと呼ばれる固定の共有不可能な 18 ノードのブロックでプロビジョニングされるために必要です。これらのドメインは厳格なコンパクト プレースメント ポリシーに縛られており、部分的に割り当てられたブロックを他のクラスタで使用することはできません。
  • A4X ノードの ARM ベースのアーキテクチャにより、トレーニング ワークロードに 2 つの重要な変更を加える必要があります。
    • ARM 互換イメージを使用する: すべてのトレーニング ジョブで、ARM アーキテクチャ用にビルドされたコンテナ イメージを使用する必要があります。
    • 4 つの GPU に適応する: 各 A4X ノードで使用可能な 4 つの GPU を正しく認識して使用するように、分散トレーニング ロジックを更新する必要があります。
  • ホスト障害報告プロセスとダウンタイム ホストに障害があると報告する場合は、次の復元プロセスに注意してください。
    • スタンバイ容量なし: システムは、インスタント ノードの交換にスタンバイ スペアプールを使用しません。
    • 修復ベースの復元: 基盤となる物理ホストが修復されるまで、ノードは使用できません。
    • 長期間のダウンタイム: この修理プロセスには通常 3 ~ 14 日かかります。

容量のプロビジョニング

適切なプロビジョニング モデルを選択することは、費用、速度、リソースの可用性のバランスを取るうえで非常に重要です。次のプロビジョニング オプションをご覧ください。

  • RESERVATION: 事前に作成した特定の Compute Engine 予約からノードを割り当てます。このモデルは容量を確保できるため、需要の高いリソースに推奨されます。

  • FLEX_START: Dynamic Workload Scheduler を使用してジョブをキューに登録します。リクエストされたコンピューティング リソースが使用可能になると、ジョブは自動的に開始されます。予約を必要とせずに、柔軟な開始時間を設定できます。

  • SPOT: Spot VM を使用してノードプールをプロビジョニングします。これは最も費用対効果の高いオプションですが、VM は随時プリエンプトされる可能性があるため、フォールト トレラントでサービス中断を処理できるワークロードにのみ使用する必要があります。

  • ON_DEMAND: これは CPU 専用ノードプールのデフォルト オプションであり、数が足りているマシンタイプに最適です。予測可能な従量課金制による標準 VM インスタンスを提供します。

選択する際は、次のガイダンスを参考にしてください。

  • 需要の高い GPU リソース(A3 や A4 など)の場合: RESERVATION モデルを強くおすすめします。これにより、重要なトレーニング ジョブに必要な容量に専用でアクセスできます。

  • バーストまたは柔軟なワークロードの場合: FLEX_START または SPOT を検討してください。FLEX_START は、リソースが使用可能になるまでジョブをキューに登録します。一方、SPOT は、プリエンプションを処理できるフォールト トレラント ジョブのコストを大幅に削減します。

  • 数が十分に足りているマシンタイプの場合: ON_DEMAND モデルが推奨されます。数が足りており、すぐに利用できるマシンタイプにはこのモデルを使用します。

共有予約を使用する(省略可)

ローカル予約ではなく共有予約を使用する場合は、クラスタを作成する前に追加の手順を行う必要があります。

Gemini Enterprise Agent Platform トレーニング クラスタで共有予約を使用する前に、共有予約を使用する VM を手動で作成して、共有予約が機能することを確認してください。この VM の作成が成功した場合は、次のステップに進みます。クラスタ作成の構成で、projects/RESERVATION_HOST_PROJECT_ID/zones/RESERVATION_ZONE/reservations/RESERVATION_NAME の形式の予約名を使用します。

次のステップ

トレーニング クラスタのコンピューティング オプションとプロビジョニング オプションを選択したら、クラスタを作成し、クラスタでワークロードを実行できます。