MIG 内の TPU インスタンス

マネージド インスタンス グループ（MIG）は、VM のコレクションの作成、構成、ライフサイクル管理を自動化します。MIG には、自動修復とリージョン（マルチゾーン）デプロイによる高可用性、変動する負荷に対応する自動スケーリング、アプリケーションのローリング アップデートの簡素化などのメリットがあります。詳細については、マネージド インスタンス グループをご覧ください。

MIG を使用して、TPU バージョン v5p、v6e、TPU7x の TPU VM を作成して管理できます。単一の TPU VM、独立した TPU VM（単一ホストスライスとも呼ばれます）、相互接続された TPU VM（マルチホストスライスとも呼ばれます）を使用して MIG を作成できます。

単一ホストの MIG の各スライスには、最大 1 つの TPU VM があります。MIG 内の TPU VM は、チップ間相互接続（ICI）リンクで接続されていません。

マルチホスト スライスには、ICI リンクで相互接続された複数の TPU VM が含まれています。

単一ホスト TPU スライスを使用する MIG

複数の独立した TPU インスタンスを持つマネージド インスタンス グループ（MIG）を作成すると、複数の個別の TPU VM を必要とするワークロードに役立ちますが、分散ワークロードのために ICI リンクで相互接続する必要はありません。次に例を示します。

  • 推論サービング: MIG 内の各 VM は、推論リクエストを個別に処理できます。MIG を使用すると、需要に基づいてサービング インスタンスの数をスケーリングし、グループとして管理できます。
  • 並列独立タスク: MIG を使用すると、単一の TPU VM で並列実行できる、多くの小規模な独立したトレーニング ジョブやその他の計算を管理できます。
  • 管理: MIG には次の機能があります。
    • デプロイ: インスタンス テンプレートを 1 回定義し、MIG を使用して複数の同一の TPU VM を作成します。
    • スケーラビリティ: MIG のサイズを変更して、TPU VM の数を調整します。
    • ローリング アップデート: 制御された方法で、すべての VM のソフトウェアまたはマシンタイプを更新します。
  • 費用対効果: 大規模な TPU スライスのフルパワーや相互接続性を必要としないタスクでは、複数の小規模な独立した TPU スライスを使用する方が費用対効果が高くなります。

詳細については、単一ホスト TPU スライスを使用して MIG を作成するをご覧ください。

マルチホスト スライスを使用する MIG

独立した TPU スライスのグループとは異なり、マルチホスト スライス用に構成された MIG は、ICI リンクを介して密結合された TPU VM のセットを管理します。これにより、単一の論理 TPU スライスが作成されます。

メリットとパフォーマンス

マルチホスト TPU スライスの MIG は、集中的な ML ワークロードに必要なスケールとパフォーマンスを提供します。

  • 分散トレーニング: 機械学習モデルのトレーニングでは、単一の TPU VM が提供できるよりも多くの TPU パワーが必要になることがよくあります。大規模な TPU スライスでは、多くの TPU チップと VM に計算が分散され、ICI リンクによってそれらの間の高速通信が可能になります。これはトレーニングのパフォーマンスにとって重要です。
  • 高い相互接続帯域幅: ICI ネットワークは、標準のデータセンター ネットワーク（DCN）よりも、スライス内の TPU チップ間の帯域幅が広く、レイテンシが低くなります。これは、大規模なモデル トレーニングで一般的な同期オペレーションに不可欠です。

アトミックなライフサイクル オペレーション

相互接続されたトポロジの整合性を確保するため、MIG はライフサイクル全体を通じてスライス全体を分割不可能な単一のユニットとして管理します。

  • 作成: スライス内のすべての VM がまとめてプロビジョニングされます。リクエストされたトポロジ全体に十分な正常な相互接続容量がない場合、スライスは作成されません。
  • 削除: MIG はスライス全体を単位として削除します。
  • サイズ変更: サイズ変更は、0 からフルスライス サイズへのスケーリング、またはフルスライス サイズから 0 へのスケーリングに制限されます。マルチ VM スライスのサイズを部分的に変更することはできません。

設定要件

マルチホスト MIG を構成するには、物理相互接続トポロジと個々のインスタンス プロパティの両方を定義する必要があります。

  • ワークロード ポリシー: accelerator-topology パラメータ（4x4、8x8、4x4x4 など）を使用してワークロード ポリシーを指定する必要があります。これにより、インスタンスを相互接続された単一のスライスとして扱うように MIG が構成されます。トポロジの詳細については、システム アーキテクチャをご覧ください。
  • インスタンス テンプレート: スライス内の各 VM のマシンタイプ、ディスク イメージ、その他の設定などのプロパティを定義します。

スライスの可用性と障害復旧

MIG を使用してマルチホスト TPU スライスを作成する場合、障害復旧の動作は、使用するプロビジョニング モデルと予約モードによって異なります。

  • MIG がオンデマンド、Flex Start、または予約（すべての容量モードの予約を除く）を使用する場合。このシナリオでは、Compute Engine がスライス復元プロセスを自動的に管理します。ホストまたは ICI の障害が発生すると、スライスは REACTIVATING 状態に移行します。スライス内のすべての VM が REPAIRING 状態に移行します。ただし、必ずしもすべての VM が同時に移行するわけではありません。Compute Engine は、正常な容量で VM を一緒に再起動することで、スライスを自動的に復元します。

  • MIG が Spot プロビジョニング モデルを使用する場合。このシナリオでは、スライスの回収プロセスを管理する責任があります。Spot VM のプリエンプションが発生すると、Compute Engine はスライス内のすべてのインスタンスを終了します。スライスは FAILED 状態に移行し、VM は TERMINATED 状態に移行します。失敗した状態から復元するには、スライスを手動で再作成する必要があります。

  • MIG が All Capacity モードの予約を使用する場合。このシナリオでは、スライス復元プロセスの管理を担当します。障害が発生すると、スライスは FAILED 状態に移行します。この場合、手動でスライスを再作成する必要があります。

    All Capacity モードの動作は、次の要素にも依存します。

    • ホスト障害または障害のある VM の報告。影響を受ける VM は REPAIRING 状態に移行します。基盤となるハードウェアが修正されると、VM は RUNNING 状態に戻ります。
    • 緊急メンテナンスが予定されています。メンテナンス イベントを手動で開始すると、VM は RUNNING 状態から REPAIRING 状態に移行します。メンテナンスが完了すると、VM は RUNNING 状態に戻ります。
    • ICI 障害。VM は RUNNING 状態のままですが、スライスの状態は FAILED 状態に移行します。

Spot VM のプリエンプションまたは All Capacity モードでの障害発生後にスライスを再作成するには、次のいずれかを行う必要があります。

  • MIG を削除して再作成します。
  • MIG のサイズを 0 に変更してから、必要なサイズに増やします。

インスタンスの中断からの障害復旧

TPU インスタンスを削除または停止した場合、またはオペレーティング システム内からインスタンスを停止した場合、スライスは FAILED 状態に移行します。このシナリオでは、スライスを再作成するまで、スライスは FAILED 状態のままになります。スライスを再作成するには、MIG を削除して再作成するか、MIG のサイズを 0 に変更してからサイズを増やす必要があります。

スライスの状態の詳細については、TPU スライスのステータスを表示するをご覧ください。

制限事項

以降のセクションでは、TPU VM を使用して MIG を作成する場合の制限事項について説明します。

インスタンス テンプレートの制限事項

TPU マシンタイプを指定するインスタンス テンプレートには、次の制限があります。

  • 予約にバインドされたプロビジョニング モデルを使用する場合は、インスタンスの終了アクションを削除に設定する必要があります。

  • TPU は、明示的にターゲット設定された予約のみを使用できます。

  • プレースメント ポリシーは指定できません。

  • 次の場合、自動再起動を無効にしないでください。

    • 標準、Flex Start、または予約にバインドされたプロビジョニング モデル（All Capacity モードを含む）を使用するマルチホスト スライス。

    • All Capacity モードで予約にバインドされたプロビジョニング モデルを使用する単一ホスト。

  • Spot プロビジョニング モデルを使用する場合は、自動再起動を有効にしないでください。

MIG の制限事項

TPU を使用する MIG には次の制限があります。

  • ライフサイクル オペレーション: TPU インスタンスを停止、起動、再開、一時停止することはできません。再起動が必要な構成を変更する場合や、課金を停止する場合は、インスタンスを削除する必要があります。

  • リージョン MIG ゾーンの分散: ターゲット分配形態を ANY_SINGLE_ZONE に設定する必要があります。

  • MIG での構成の更新:

    • 定義されたアクセラレータ トポロジにより、マルチホスト TPU スライスを形成する MIG を更新することはできません。
    • 単一ホスト TPU スライスを形成する MIG を更新するには、自動または選択的な方法を使用します。ただし、単一ホスト TPU スライスの更新では、再起動（RESTART）アクションはサポートされていません。再起動が必要で、許可されている最も大がかりなアクションが置換（REPLACE）の場合、アップデータはインスタンスを置換します。それ以外の場合、更新は失敗し、エラーが返されます。

  • マルチホスト TPU スライスを形成する MIG には、次の制限も適用されます。

    • ターゲット サイズ ポリシー: ターゲット サイズ ポリシーモードを BULK に設定する必要があります。このモードを設定すると、変更できません。

    • ターゲット サイズ: バルクモードでは、ターゲット サイズを 0 またはアクセラレータ トポロジの形成に必要なインスタンス数に設定できます。

    • ワークロード ポリシー: アクセラレータ トポロジが定義されているワークロード ポリシーを指定する必要があります。ワークロード ポリシーを設定すると、MIG からポリシーを変更または削除することはできません。

    • MIG によって開始された修復: defaultActionOnFailure フィールドを DO_NOTHING に設定して、MIG によって開始された修復をオフにする必要があります。この構成では、MIG は障害が発生したインスタンスに対してアクションを行いません。Compute Engine は、同じスライス内のすべてのインスタンスを正常な容量で再起動することで、障害が発生したインスタンスを自動的に復元します。

  • サポートされていない機能: TPU を使用する MIG は、次の機能をサポートしていません。

次のステップ