ほとんどのクラスタ管理機能は、予約バインド容量（予約バインド プロビジョニング モデルを使用するインフラストラクチャ。クラスタ化された GPU マシンタイプのみをサポート）でのみサポートされます。他のプロビジョニング モデルを使用する容量では、次のクラスタ管理機能のみを使用できます。
AI インフラストラクチャ リソースのコロケーション
A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High（8 GPU）などのクラスタ化された GPU を使用する場合は、Compute Engine ができるだけ近くにプロビジョニングするホストマシンをリクエストできます。これらのマシンには次の機能があります。
Compute Engine は、マシンをリソースのブロックとしてプロビジョニングします。
動的 ML ネットワーク ファブリックにより、マシンが相互接続されます。
このリソース構成により、ネットワーク ホップが最小限に抑えられ、ネットワーク レイテンシが最小限になるように最適化されます。Compute Engine が高密度で割り当てるアクセラレータ最適化マシンのブロックをデプロイするには、次のオプションを使用します。
次のいずれかを行う場合は、リソースを互いに密に割り当てる必要があります。
同じ AI Hypercomputer の将来の予約またはカレンダー モードの将来の予約を使用するリソースを作成します。
サイズ変更リクエストを使用するマネージド インスタンス グループ（MIG）をデプロイし、同じリクエストでリソースを作成します。
リソースが、最大距離値を指定する同じコンパクト プレースメント ポリシーまたはワークロード ポリシーを使用するように指定します。具体的には、リソースはポリシーの最大距離値で指定された距離に配置されていればよいことになります。
次のいずれかを行うと、リソースはベスト エフォート型の可用性に基づいて、必要に応じて相互に高密度で割り当てられます。
Flex Start VM の同じリクエストでリソースを作成します。
リソースが、最大距離を指定していない同じコンパクト プレースメント ポリシーまたはワークロード ポリシーを使用するように指定します。
クラスタ トポロジを考慮した配置
クラスタ化された GPU を作成すると、ノードレベルとクラスタレベルでトポロジ情報を取得できます。この情報は、次の操作に役立ちます。
ネットワーク レイテンシをさらに最小限に抑えるように、アプリケーションまたはワークロードの設計を調整する。
相互に頻繁に通信するインスタンスのネットワーク レイテンシとパフォーマンスの問題を理解し、トラブルシューティングする。この問題は、インスタンスが予期せず離れた場所に配置されている場合に発生することがあります。
具体的には、トポロジ情報は次のようにサポートされます。
トポロジ情報は、予約バインド容量で最適に機能します。これは、予約のトポロジを表示するために必要です。
Spot VM の場合、トポロジ情報は、マシンがコンパクト プレースメント ポリシーまたはワークロード ポリシーを使用している場合にのみ表示されます。
詳しくは以下をご覧ください。
- インスタンスと Slurm クラスタについては、コンピューティング インスタンスのトポロジを表示するをご覧ください。
- GKE クラスタの場合は、GKE ノード トポロジを表示するとトポロジを考慮したスケジューリング（TAS）で GKE ワークロードをスケジュールするをご覧ください。
クラスタの運用モード
予約バインド容量を予約してコンピューティング インスタンスまたはクラスタを作成する場合、予約するマシンタイプによって、インスタンスのクラスタのオペレーション モードが決まります。このモードは、ホストエラーまたは障害のあるホストの報告後にインスタンスがどのように動作するかを指定します。インスタンスで使用可能なオペレーション モードは、マネージド モードです。このモードでは、Compute Engine が障害のあるマシンを自動的に置き換えますが、インスタンスの再起動に必要なリソースを確保するために、予約容量の一部が保持されます。または、予約済みの容量全体にアクセスできますが、障害と計画メンテナンスの管理はお客様の責任となる全容量モード。
詳細については、予約のオペレーション モードをご覧ください。
クラスタのメンテナンスのスケジュール設定と制御
リソース ブロックでトポロジを考慮したスケジューリングを使用して、クラスタ化された GPU のメンテナンスを制御します。この機能により、アップグレードが同期され、ワークロードのホストイベントに対する復元力を高め、中断を最小限に抑えることができます。このアプローチは、ワークロードのグッドプットの向上に役立ちます。
メンテナンス イベントを完全に制御するために、次の機能を使用できます。
メンテナンスのスケジュール設定のタイプ
予約バインド容量を予約してコンピューティング インスタンスまたはクラスタ化された GPU のクラスタを作成する際に、インスタンスが実行されるインフラストラクチャを Compute Engine がどのように維持するかを定義できます。インスタンスに使用するマシンタイプに基づいて、インスタンス間のメンテナンスの同期（グループ化）または異なるメンテナンス スケジュール（個別）を選択できます。
詳細については、メンテナンスのスケジューリング タイプをご覧ください。
ホストイベントを管理する
クラスタ化された GPU を作成してワークロードを開始したら、アラートを設定し、インスタンスまたは予約済みブロックのメンテナンスがスケジュール設定、開始、完了されたときに通知を受け取ることができます。また、スケジュール設定された時刻より前に、インスタンスまたは予約済みブロックのメンテナンスを表示して、必要に応じて手動で開始することもできます。これらのオプションを使用すると、ワークロードのダウンタイムを事前に制御して最小限に抑えることができます。
詳しくは以下をご覧ください。
クラスタ モニタリングと診断ツール
モニタリングとトラブルシューティングのために、クラスタ化された GPU マシンタイプには、予約済み容量に対して次のサービスが含まれています。
VM の健全性の低下の予測: 次の 5 時間以内に健全性が低下する可能性のある VM を特定するのに役立ちます。
Faulty host reporting。個々のホストマシンに関する問題を報告するために使用できます。
Cloud Monitoring 指標のサポート。ネットワークと GPU のパフォーマンスをモニタリングできます。