このドキュメントでは、マネージド インスタンス グループ(MIG)でワークロード ポリシーを使用する場合に適用される要件と制限事項について説明します。デフォルトでは、Compute Engine インスタンスの場所はゾーンを指定するだけで管理します。ワークロード ポリシーを使用すると、ゾーン内のコンピューティング インスタンスの物理的な配置とトポロジを定義できます。このアプローチでは、たとえば、コンピューティング インスタンスを互いに近い場所に配置することで、インスタンス間のネットワーク レイテンシを最小限に抑えることができます。
ワークロード ポリシーは、A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High(8 個の GPU)、または H4D インスタンスを使用する MIG にのみ適用できます。A4X Max インスタンスまたは A4X インスタンスを使用している場合は、テスト目的で単一のコンピューティング インスタンスを作成する場合を除き、ワークロード ポリシーが必要です。サポートされている他のマシンシリーズでは、ワークロード ポリシーは省略可能です。
他のマシンシリーズを使用するコンピューティング インスタンスの配置を制御するには、プレースメント ポリシーを使用します。
ワークロード ポリシーについて
以降のセクションでは、ワークロード ポリシーのユースケースと、ワークロード ポリシーの作成時に指定するプロパティについて説明します。
コンピューティング インスタンスの配置とトポロジを管理する
ワークロード ポリシーを作成して MIG に適用すると、ワークロード ポリシーは次のことを実現するのに役立ちます。
互いに近いコンピューティング インスタンスを作成する: 容量が使用可能な場合、Compute Engine は互いに近いコンピューティング インスタンスを作成します。それ以外の場合、Compute Engine はリクエストされたコンピューティング インスタンスの一部またはすべてを作成しません。
コンピューティング インスタンスのトポロジを可視化する: 高スループット(
HIGH_THROUGHPUT)タイプのワークロード ポリシーを MIG に適用し、MIG がコンピューティング インスタンスを作成すると、コンピューティング インスタンスの相互の位置を確認できます。この情報は、ネットワーク レイテンシを最小限に抑え、エラーのトラブルシューティングを行うのに役立ちます。詳細については、Compute Engine インスタンスのトポロジを表示するをご覧ください。
同じワークロード ポリシーを複数の MIG に適用できます。この場合、Compute Engine は各 MIG に個別に配置ルールを適用します。
次のセクションでは、ワークロード ポリシーを作成するときに指定する必要があるプロパティについて説明します。
ワークロード ポリシーのプロパティを構成する
ワークロード ポリシーを作成するときは、次のプロパティを指定する必要があります。
ワークロード タイプ(
type): このフィールドは、クラスタのハイレベルな目標を定義します。指定できるのはHIGH_THROUGHPUTのみです。これは、通信を高速化するために、コンピューティング インスタンスをできるだけ近くに配置するように Compute Engine に指示します。MIG 内のコンピューティング インスタンスで使用するマシンシリーズに基づいて、次のいずれかのプロパティを必要に応じて指定できます。
アクセラレータ トポロジ(
acceleratorTopology): このプロパティは、専用のアクセラレータ間ネットワーク構成を使用する複数の A4X Max インスタンスまたは A4X インスタンスで実行される分散ワークロードで高いパフォーマンスを実現するのに役立ちます。詳細については、アクセラレータ トポロジ プロパティをご覧ください。最大トポロジ距離(
maxTopologyDistance): このプロパティは、A4、A3 Ultra、A3 Mega、A3 High(8 個の GPU)、または H4D インスタンスを作成するための最も厳しい物理境界(同じブロックやサブブロックなど)を定義します。リソースの可用性エラーにより Compute Engine がこの厳しい上限を満たせない場合、リクエストされたコンピューティング インスタンスの一部またはすべてが作成されません。詳細については、最大トポロジ距離プロパティをご覧ください。
アクセラレータ トポロジのプロパティ
大規模な非ブロッキング ネットワーク パフォーマンスを実現するために、Compute Engine は A4X Max インスタンスと A4X インスタンスをブロックとサブブロックの物理階層に編成します。
A4X Max インスタンスまたは A4X インスタンスを使用して MIG を作成するには、アクセラレータ トポロジ(acceleratorTopology)プロパティを指定するワークロード ポリシーを MIG に適用する必要があります。このプロパティは、コンピューティング インスタンスのスライスの物理ネットワーク構成を定義します。スライスは、分散 AI ワークロードまたは ML ワークロードに最大スループットを提供する単一の大規模なアクセラレータとして機能します。
次の表に、ワークロード ポリシーでサポートされているアクセラレータ トポロジの値と、それらの値がサポートするマシンシリーズを示します。
| アクセラレータ トポロジの値 | 説明 | サポートされているマシンシリーズ | コンピューティング インスタンスの最大数 |
|---|---|---|---|
1x72 |
Compute Engine は、コンピューティング インスタンスを 18 個のコンピューティング インスタンスの密に割り当てられたサブブロックに編成します。合計で 72 個の GPU があります。各サブブロックには独自の MIG が必要であるため、MIG ごとに最大 18 個のコンピューティング インスタンスを作成できます。フルブロックは 25 個の MIG で構成され、合計 450 個のコンピューティング インスタンスが含まれます。 | A4X Max と A4X | 18 |
A4X Max インスタンスと A4X インスタンスの詳細については、A4X Max マシンシリーズと A4X マシンシリーズをご覧ください。
トポロジの最大距離プロパティ
ワークロード ポリシーを作成して MIG に適用すると、Compute Engine はコンピューティング インスタンスをできるだけ近づけて作成しようとします。ゾーン内の最大近接性が必要な場合は、トポロジの最大距離(maxTopologyDistance)プロパティを指定することをおすすめします。最大トポロジ距離値は、同じクラスタ、ブロック、またはサブブロックに A4、A3 Ultra、A3 Mega、A3 High(8 個の GPU)、または H4D インスタンスを作成することを指定します。
次の表に、最大トポロジ距離値と、その値がサポートするマシンシリーズを示します。
| トポロジの最大距離値 | 説明 | サポートされているマシンシリーズ | コンピューティング インスタンスの最大数 |
|---|---|---|---|
| 未指定(非推奨) | Compute Engine は、コンピューティング インスタンスをできるだけ近い位置にベスト エフォートで配置しますが、ゾーン内のコンピューティング インスタンス間の最大距離は保証されません。 | A4、A3 Ultra、A3 Mega、A3 High(8 個の GPU)、H4D | 1,500 |
CLUSTER |
Compute Engine は、クラスタ内の隣接するブロックにコンピューティング インスタンスを作成します。 | A4 と H4D | 1,500 |
BLOCK |
Compute Engine は、同じブロックにコンピューティング インスタンスを作成します。 | A4、A3 Ultra、A3 Mega、A3 High(8 個の GPU)、H4D |
|
SUBBLOCK |
Compute Engine は、同じサブブロックにコンピューティング インスタンスを作成し、ネットワーク レイテンシを可能な限り最小限に抑えます。 | A4、A3 Ultra、H4D | 22 |
料金
MIG へのワークロード ポリシーの作成、削除、適用に関連する追加費用は発生しません。
制限事項
MIG のワークロード ポリシーには、次の制限が適用されます。
ワークロード ポリシーを既存の MIG に適用したり、そのワークロード ポリシーを変更したりできるのは、MIG にコンピューティング インスタンスがない場合のみです。
ワークロード ポリシーは、次のマシンタイプとプロビジョニング モデルの組み合わせを使用するコンピューティング インスタンスを含む MIG にのみ適用できます。
マシンシリーズ プロビジョニング モデル A4、A3 Ultra、H4D Flex Start A4、A3 Ultra、A3 Mega、A3 High(8 個の GPU)、H4D スポット A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High(8 個の GPU)、H4D 予約で制限 ワークロード ポリシーをリージョン MIG に適用できるのは、MIG が次の分配ターゲット形状を使用している場合のみです。
ターゲット サイズを指定した MIG の場合:
ANYまたはANY_SINGLE_ZONEMIG のサイズ変更リクエストの場合:
ANY_SINGLE_ZONE
ワークロード ポリシーは、作成後に更新することはできません。
MIG でワークロード ポリシーを使用している場合、2 番目のインスタンス テンプレートを構成することはできません。
ワークロード ポリシーとプレースメント ポリシーを同時に使用することはできません。
次のステップ
MIG 用のワークロード ポリシーを作成する方法を確認する。
ワークロード ポリシーを表示する方法を学習する。