MIG 中的 TPU 執行個體

代管執行個體群組 (MIG) 可自動建立、設定及管理一組 VM 的生命週期。MIG 具備多項優勢，例如透過自動修復和區域 (多可用區) 部署提供高可用性、自動調度資源以處理變動負載，以及簡化應用程式的滾動式更新。詳情請參閱「代管執行個體群組」。

您可以使用 MIG，建立及管理 TPU 版本 v5p、v6e 和 TPU7x 的 TPU VM。您可以建立含有單一 TPU VM、獨立 TPU VM (也稱為單一主機切片) 的 MIG，以及含有互連 TPU VM (也稱為多主機切片) 的 MIG。

單主機 MIG 中的每個切片最多只有一個 TPU VM。MIG 中的 TPU VM 未透過晶片間互連 (ICI) 連結連線。

多主機配量包含多個 TPU VM，這些 VM 透過 ICI 連結互連。

具備單主機 TPU 配量的 MIG

建立含有多個獨立 TPU 執行個體的代管執行個體群組 (MIG)，適合需要多個獨立 TPU VM，但不需要透過 ICI 連結互連來處理分散式工作負載的工作負載。例如：

  • 推論服務：MIG 中的每個 VM 都能獨立處理推論要求。MIG 可讓您根據需求調度提供服務的執行個體數量，並以群組形式管理。
  • 平行獨立工作：MIG 可讓您管理許多小型獨立訓練工作，或其他可在單一 TPU VM 上平行執行的運算作業。
  • 管理：MIG 提供下列功能：
    • 部署：定義執行個體範本一次，然後使用 MIG 建立多個相同的 TPU VM。
    • 擴充性：調整 MIG 大小，即可變更 TPU VM 數量。
    • 滾動式更新：以可控的方式更新所有 VM 的軟體或機器類型。
  • 成本效益：如果工作不需要大型 TPU 切片的完整效能或互連功能，使用多個較小、獨立的 TPU 切片可能更具成本效益。

詳情請參閱「建立具備單一主機 TPU slice 的 MIG」。

具備多主機配量的 MIG

與獨立 TPU 配量群組不同，為多主機配量設定的 MIG 會管理一組透過 ICI 連結緊密耦合的 TPU VM。這會建立單一邏輯 TPU 配量。

優點和效能

多主機 TPU 切片的 MIG 可提供密集機器學習工作負載所需的規模和效能。

  • 分散式訓練：訓練機器學習模型時，所需的 TPU 運算能力通常超過單一 TPU VM 所能提供。較大的 TPU 配量會將運算作業分配至多個 TPU 晶片和 VM，並透過 ICI 連結在兩者之間快速通訊。這對訓練成效至關重要。
  • 高互連頻寬：與標準資料中心網路 (DCN) 相比，ICI 網路在配量中的 TPU 晶片之間提供更高的頻寬和更低的延遲。這對大型模型訓練中常見的同步作業至關重要。

不可分割的生命週期作業

為確保互連拓撲的完整性，MIG 會在整個生命週期中，將整個切片視為不可分割的單一單位管理。

  • 建立：切片中的所有 VM 會一併佈建。如果整個要求的拓撲沒有足夠的健康互連容量，就不會建立切片。
  • 刪除：MIG 會以整個切片為單位刪除。
  • 調整大小：調整大小僅限於從 0 縮放到完整切片大小，或從完整切片大小縮小到 0。您無法只調整多 VM 切片的部分大小。

設定需求

如要設定多主機 MIG，必須定義實體互連拓撲和個別執行個體屬性。

  • 工作負載政策：您必須使用 accelerator-topology 參數指定工作負載政策 (例如 4x4、8x8 或 4x4x4)。這會將 MIG 設為將執行個體視為單一互連切片。如要瞭解拓撲，請參閱「系統架構」。
  • 執行個體範本：定義配量中各個 VM 的屬性，例如機型、磁碟映像檔和其他設定。

配量可用性和故障復原

使用 MIG 建立多主機 TPU 配量時，故障復原行為取決於您使用的佈建模式和預留模式：

  • MIG 使用隨選、彈性啟動或預留項目 (不含「所有容量」模式預留項目)。在這種情況下，Compute Engine 會自動管理切片復原程序。如果主機或 ICI 故障，切片會轉換為 REACTIVATING 狀態。切片中的所有 VM 都會轉換為 REPAIRING 狀態，但不一定會同時轉換。Compute Engine 接著會自動復原切片，方法是在狀況良好的容量上，一併重新啟動 VM。

  • MIG 採用 Spot 佈建模式。在這種情況下，您必須負責管理切片復原程序。如果發生 Spot VM 搶占，Compute Engine 會終止切片中的所有執行個體。slice 會轉換為 FAILED 狀態，VM 則會轉換為 TERMINATED 狀態。如要從失敗狀態復原，您必須手動重新建立切片。

  • MIG 在「所有容量」模式下使用預留項目。在這種情況下，您必須負責管理切片復原程序。如果發生失敗，切片會轉換為 FAILED 狀態，您必須手動重新建立切片。

    「所有容量」模式的行為進一步取決於下列因素：

    • 主機故障或回報 VM 故障。受影響的 VM 會轉換為 REPAIRING 狀態。基礎硬體修復後，VM 會回到 RUNNING 狀態。
    • 即將進行緊急維護。手動啟動維護事件時，VM 會從 RUNNING 轉換為 REPAIRING 狀態。維護作業完成後，VM 會返回 RUNNING 狀態。
    • ICI 失敗。VM 會維持在 RUNNING 狀態，但切片狀態會轉換為 FAILED 狀態。

如要在 Spot VM 先占或「所有容量」模式失敗後重新建立切片，請務必執行下列任一操作：

  • 刪除並重新建立 MIG。
  • 將 MIG 大小調整為 0，然後增加至所需大小。

從執行個體中斷復原

如果您刪除或停止 TPU 執行個體，或從作業系統中停止執行個體，則切片會轉換為 FAILED 狀態。在這種情況下，切片會維持在 FAILED 狀態，直到您重新建立切片為止。如要重新建立切片，您必須刪除並重新建立 MIG，或將 MIG 大小調整為 0，然後增加大小。

如要進一步瞭解 Slice 狀態，請參閱「查看 TPU Slice 的狀態」。

限制

以下各節說明使用 TPU VM 建立 MIG 的限制。

執行個體範本的限制

指定 TPU 機型的執行個體範本有下列限制：

  • 使用取決於預留項目的佈建模式時，必須將執行個體終止動作設為刪除。

  • TPU 只能使用明確指定的預留項目。

  • 您無法指定配置政策。

  • 在下列情況下，請勿停用自動重新啟動功能：

    • 使用標準、彈性啟動或預留項目繫結佈建模式 (包括「所有容量」模式) 的多主機切片。

    • 在「所有容量」模式中，使用取決於預留項目佈建模式的單一主機。

  • 使用 Spot 佈建模式時，不得啟用自動重新啟動功能。

MIG 的限制

具備 TPU 的 MIG 有下列限制：

  • 生命週期作業：您無法停止、啟動、繼續或暫停 TPU 執行個體。如要變更需要重新啟動的設定，或停止產生費用，請刪除執行個體。

  • 區域性 MIG 可用區分配：您必須將目標分配型態設為 ANY_SINGLE_ZONE。

  • MIG 中的設定更新：

    • 您無法更新因定義的加速器拓撲而形成多主機 TPU 切片的 MIG。
    • 您可以使用自動或選擇性方法，更新構成單一主機 TPU slice 的 MIG。不過，單一主機 TPU slice 的更新不支援重新啟動 (RESTART) 動作。如果必須重新啟動，且允許的最具破壞性動作是取代 (REPLACE)，更新工具就會取代執行個體；否則，更新嘗試會失敗並顯示錯誤。

  • 如果 MIG 構成多主機 TPU 配量，則也適用下列限制：

    • 目標大小政策：您必須將目標大小政策模式設為 BULK。設定後即無法變更。

    • 目標大小：在大量模式中，您可以將目標大小設為 0，或設定形成加速器拓撲所需的執行個體數量。

    • 工作負載政策：您必須指定已定義加速器拓撲的工作負載政策。設定工作負載政策後，就無法變更或從 MIG 移除政策。

    • MIG 啟動的修復作業：您必須將 defaultActionOnFailure 欄位設為 DO_NOTHING，關閉 MIG 啟動的修復作業。在這種設定下，MIG 不會對失敗的執行個體採取任何動作。Compute Engine 會在狀況良好的容量上重新啟動相同配量中的所有執行個體，自動復原失敗的執行個體。

  • 不支援的功能：搭載 TPU 的 MIG 不支援下列功能：

後續步驟