Gemini Enterprise Agent Platform トレーニング クラスタは、さまざまなワークロードに対応するために、さまざまなマシンタイプをサポートしています。クラスタ ノードプールを構成するときに、次のオプションから選択できます。
アクセラレータ最適化マシンタイプ
| マシンタイプ | GPU | ノードあたりの GPU 数 |
|---|---|---|
a4x-highgpu-4g |
NVIDIA GB200 | 4 |
a4-highgpu-8g |
NVIDIA B200 | 8 |
a3-ultragpu-8g |
NVIDIA H200 | 8 |
a3-megagpu-8g |
NVIDIA H100 | 8 |
a3-highgpu-8g |
NVIDIA H100 | 8 |
g4-standard-48 |
NVIDIA RTX PRO 6000 Blackwell | 1 |
g4-standard-96 |
NVIDIA RTX PRO 6000 Blackwell | 2 |
g4-standard-192 |
NVIDIA RTX PRO 6000 Blackwell | 4 |
g4-standard-384 |
NVIDIA RTX PRO 6000 Blackwell | 8 |
CPU マシンタイプと HPC マシンタイプ
| マシンタイプ | 説明 |
|---|---|
N2 ファミリー: n2-standard-*、n2-highmem-*、n2-highcpu-* |
データの前処理、ジョブ オーケストレーション、アクセラレータを必要としないその他の作業用の汎用ノード。N2 は Slurm ログインノードでもサポートされています。 |
N4 ファミリー: n4-standard-*、n4-highmem-*、n4-highcpu-* |
N2 と同じワークロード用の汎用ノード。Slurm ログインノードに N4 を使用することもできます。N4 は、Hyperdisk Balanced(hyperdisk-balanced)ブートディスクのみをサポートしています。boot_disk.boot_disk_type を設定しない場合、hyperdisk-balanced が使用されます。 |
N4D ファミリー: n4d-standard-*、n4d-highmem-*、n4d-highcpu-* |
N2 と同じワークロード用の汎用 AMD EPYC ノード。N4D は Slurm ログインノードでもサポートされています。N4D は、Google Cloud Hyperdisk Balanced(hyperdisk-balanced)ブートディスクのみをサポートしています。これは、boot_disk.boot_disk_type が設定されていない場合のデフォルトです。 |
C4 ファミリー: c4-standard-*、c4-highmem-*、c4-highcpu-* |
コンピューティング負荷の高い前処理、オーケストレーション、CPU ワークロード用の汎用ノード。C4 は Slurm ログインノードでもサポートされています。C4 は、Google Cloud Hyperdisk Balanced(hyperdisk-balanced)ブートディスクのみをサポートしています。これは、boot_disk.boot_disk_type が設定されていない場合のデフォルトです。-lssd バリアントと -metal バリアントはサポートされていません。 |
C4D ファミリー: c4d-standard-*、c4d-highmem-*、c4d-highcpu-* |
コンピューティング負荷の高い前処理、オーケストレーション、CPU ワークロード用の汎用 AMD EPYC ノード。C4D は、Google Cloud Hyperdisk Balanced(hyperdisk-balanced)ブートディスクのみをサポートしています。これは、boot_disk.boot_disk_type が設定されていない場合のデフォルトです。-lssd バリアントと -metal バリアントはサポートされていません。 |
C4A ファミリー: c4a-standard-*、c4a-highmem-*、c4a-highcpu-* |
Arm ベース(Axion)ノード。Slurm ログインノードでのみサポートされ、コンピューティング ノードプールも Arm ベースのクラスタでのみサポートされます。-lssd バリアントと -metal バリアントはサポートされていません。 |
H4D ファミリー: h4d-standard-*、h4d-highmem-* |
RDMA ネットワーキングを備えた HPC 最適化ノード。密結合のシミュレーション ワークロードと前処理ワークロード向け。 |
C4A ログインノード
C4A ログインノードは Arm ベースであり、すべてのコンピューティング ノードプールも Arm ベースであるクラスタ(A4X など)でのみサポートされます。C4A ログインノードと x86 コンピューティング ノードプール(N2 や A3 など)をペアリングするクラスタは、作成時に拒否されます。
ログインノードとコンピューティング ノードは同じアーキテクチャを共有しているため、ログインノードでビルドしたバイナリとコンテナ イメージは、送信先のコンピューティング ノードで実行されます。
C4A は、デフォルトの hyperdisk-balanced ブートディスクのみをサポートしています。
A4X マシンタイプ
Gemini Enterprise Agent Platform トレーニング クラスタは、NVIDIA GB200 NVL72 ラックスケール アーキテクチャに基づくエクサスケール プラットフォームである A4X アクセラレータ最適化マシンタイプ(a4x-highgpu-4g)をサポートしています。
アーキテクチャの比較
次の表に、A4X ファミリーと他のアクセラレータ最適化ファミリーのハードウェアの基本的な違いを示します。
| 機能 | A4X(a4x-highgpu-4g) | A3 / A4H |
|---|---|---|
| CPU アーキテクチャ | ARM | X86 |
| GPU 数 | ノードあたり 4 個の GPU | ノードあたり 8 個の GPU |
| 予約タイプ | All Capacity モード | マネージド モード |
| プレースメント ポリシー | 厳格(最小) | フレキシブル |
A4X 固有のガイドライン
- A4X ノードプールの VM 数は 18 の倍数(18、36、54 など)にする必要があります。これは、A4X の容量が NVLink ドメインと呼ばれる固定の共有不可能な 18 ノードのブロックでプロビジョニングされるために必要です。これらのドメインは厳格なコンパクト プレースメント ポリシーに縛られており、部分的に割り当てられたブロックを他のクラスタで使用することはできません。
- A4X ノードの ARM ベースのアーキテクチャにより、トレーニング ワークロードに 2 つの重要な変更を加える必要があります。
- ARM 互換イメージを使用する: すべてのトレーニング ジョブで、ARM アーキテクチャ用にビルドされたコンテナ イメージを使用する必要があります。
- 4 つの GPU に適応する: 各 A4X ノードで使用可能な 4 つの GPU を正しく認識して使用するように、分散トレーニング ロジックを更新する必要があります。
- ホスト障害報告プロセスとダウンタイム
ホストに障害があると報告する場合は、次の復元プロセスに注意してください。
- スタンバイ容量なし: システムは、インスタント ノードの交換にスタンバイ スペアプールを使用しません。
- 修復ベースの復元: 基盤となる物理ホストが修復されるまで、ノードは使用できません。
- 長期間のダウンタイム: この修理プロセスには通常 3 ~ 14 日かかります。
容量のプロビジョニング
適切なプロビジョニング モデルを選択することは、費用、速度、リソースの可用性のバランスを取るうえで非常に重要です。次のプロビジョニング オプションをご覧ください。
RESERVATION: 事前に作成した特定の Compute Engine 予約からノードを割り当てます。このモデルは容量を確保できるため、需要の高いリソースに推奨されます。FLEX_START: Dynamic Workload Scheduler を使用してジョブをキューに登録します。リクエストされたコンピューティング リソースが使用可能になると、ジョブは自動的に開始されます。予約を必要とせずに、柔軟な開始時間を設定できます。SPOT: Spot VM を使用してノードプールをプロビジョニングします。これは最も費用対効果の高いオプションですが、VM は随時プリエンプトされる可能性があるため、フォールト トレラントでサービス中断を処理できるワークロードにのみ使用する必要があります。ON_DEMAND: これは CPU 専用ノードプールのデフォルト オプションであり、数が足りているマシンタイプに最適です。予測可能な従量課金制による標準 VM インスタンスを提供します。
選択する際は、次のガイダンスを参考にしてください。
需要の高い GPU リソース(A3 や A4 など)の場合:
RESERVATIONモデルを強くおすすめします。これにより、重要なトレーニング ジョブに必要な容量に専用でアクセスできます。バーストまたは柔軟なワークロードの場合:
FLEX_STARTまたはSPOTを検討してください。FLEX_STARTは、リソースが使用可能になるまでジョブをキューに登録します。一方、SPOTは、プリエンプションを処理できるフォールト トレラント ジョブのコストを大幅に削減します。数が十分に足りているマシンタイプの場合:
ON_DEMANDモデルが推奨されます。数が足りており、すぐに利用できるマシンタイプにはこのモデルを使用します。
共有予約を使用する(省略可)
ローカル予約ではなく共有予約を使用する場合は、クラスタを作成する前に追加の手順を行う必要があります。
Gemini Enterprise Agent Platform トレーニング クラスタで共有予約を使用する前に、共有予約を使用する VM を手動で作成して、共有予約が機能することを確認してください。この VM の作成が成功した場合は、次のステップに進みます。クラスタ作成の構成で、projects/RESERVATION_HOST_PROJECT_ID/zones/RESERVATION_ZONE/reservations/RESERVATION_NAME の形式の予約名を使用します。
次のステップ
トレーニング クラスタのコンピューティング オプションとプロビジョニング オプションを選択したら、クラスタを作成し、クラスタでワークロードを実行できます。
- Compute Engine 予約を作成する:
RESERVATIONモデルは、GPU などの需要の高いリソースの割り当てに使用されます。Compute Engine で新しい予約を作成して必要なリソースへの専用アクセスを取得する方法を学びます。 - トレーニング クラスタを作成する: 学習した構成を手順ガイドに沿って適用し、Agent Platform API または
gcloudを使用して最初の永続トレーニング クラスタを作成します。 - クラスタにトレーニング ジョブを送信する: クラスタがアクティブになったら、次のステップとしてワークロードを実行します。永続クラスタをターゲットとする
CustomJobを送信して実行します。 - コードを分散トレーニング用に調整する: マルチノード クラスタを最大限に活用するには、トレーニング コードを分散環境用に調整します。