MIG 中的 TPU 实例

托管式实例组 (MIG) 可自动创建、配置和管理一组虚拟机的生命周期。MIG 具有诸多优势，例如通过自动修复和区域（多可用区）部署实现高可用性、通过自动伸缩来处理可变负载，以及简化应用的滚动更新。如需了解详情，请参阅托管式实例组。

您可以使用 MIG 为 TPU 版本 v5p、v6e 和 TPU7x 创建和管理 TPU 虚拟机。 您可以创建具有单个 TPU 虚拟机、独立 TPU 虚拟机（也称为单主机切片）的 MIG，以及具有互连 TPU 虚拟机（也称为多主机切片）的 MIG。

单主机 MIG 中的每个切片最多有一个 TPU 虚拟机。MIG 中的 TPU 虚拟机未通过芯片间互连 (ICI) 链路连接。

多主机切片包含多个通过 ICI 链路互连的 TPU 虚拟机。

具有单主机 TPU 切片的 MIG

创建包含多个独立 TPU 实例的代管式实例组 (MIG) 有助于处理需要多个单独 TPU 虚拟机但不需要通过 ICI 链接互连以处理分布式工作负载的工作负载。例如：

  • 推理服务：MIG 中的每个虚拟机都可以独立处理推理请求。借助 MIG，您可以根据需求扩缩服务实例的数量，并将其作为一个组进行管理。
  • 并行独立任务：MIG 提供了一种方法来管理许多小型、独立的训练作业或其他计算，这些作业或计算可以在单个 TPU 虚拟机上并行运行。
  • 管理：MIG 提供以下功能：
    • 部署：定义一次实例模板，然后使用 MIG 创建多个相同的 TPU 虚拟机。
    • 可扩缩性：通过调整 MIG 的大小来调整 TPU 虚拟机数量。
    • 滚动更新：以可控方式更新所有虚拟机中的软件或机器类型。
  • 经济高效：对于不需要大型 TPU 切片的全部算力或互连性的任务，使用多个较小的独立 TPU 切片可能更具成本效益。

如需了解详情，请参阅创建具有单主机 TPU 切片的 MIG。

具有多主机切片的 MIG

与独立 TPU 切片组不同，为多主机切片配置的 MIG 管理一组通过 ICI 链路紧密耦合的 TPU 虚拟机。这会创建一个逻辑 TPU 切片。

优势和性能

适用于多主机 TPU 切片的 MIG 可提供密集型机器学习工作负载所需的规模和性能。

  • 分布式训练：训练机器学习模型通常需要比单个 TPU 虚拟机所能提供的 TPU 算力更多的算力。较大的 TPU 切片会将计算分布在多个 TPU 芯片和虚拟机上，而 ICI 链路可实现它们之间的快速通信。这对于训练性能至关重要。
  • 高互连带宽：与标准数据中心网络 (DCN) 相比，ICI 网络在切片中的 TPU 芯片之间提供更高的带宽和更低的延迟时间。这对于大型模型训练中常见的同步操作至关重要。

原子生命周期操作

为确保互连拓扑的完整性，MIG 会在整个生命周期内将整个切片作为一个不可分割的单元进行管理。

  • 创建：切片中的所有虚拟机都会一起预配。如果整个请求的拓扑没有足够的健康、互连容量，则不会创建切片。
  • 删除：MIG 会将整个切片作为一个单元进行删除。
  • 调整大小：调整大小仅限于从 0 扩容到完整切片大小，或从完整切片大小缩减回 0。您无法部分调整多虚拟机切片的大小。

配置要求

配置多主机 MIG 需要同时定义物理互连拓扑和各个实例属性。

  • 工作负载政策：您必须使用 accelerator-topology 参数指定工作负载政策（例如 4x4、8x8 或 4x4x4）。这会将 MIG 配置为将实例视为单个互连切片。如需了解拓扑，请参阅系统架构。
  • 实例模板：为切片中的每个虚拟机定义机器类型、磁盘映像和其他设置等属性。

Slice 可用性和故障恢复

使用 MIG 创建多主机 TPU 切片时，故障恢复行为取决于您使用的预配模型和预留模式：

  • 当 MIG 使用按需预留、灵活启动预留或预留（不包括“所有容量”模式预留）时。在这种情况下，Compute Engine 会自动管理切片恢复过程。如果发生主机或 ICI 故障，切片会转换为 REACTIVATING 状态。切片中的所有虚拟机都会转换为 REPAIRING 状态，但不一定同时转换。然后，Compute Engine 会通过在健康容量上一起重启虚拟机来自动恢复切片。

  • MIG 使用 Spot 预配模型时。在这种情况下，您负责管理切片恢复流程。如果发生 Spot 虚拟机抢占，Compute Engine 会终止切片中的所有实例。切片会转换为 FAILED 状态，虚拟机也会转换为 TERMINATED 状态。如需从失败状态中恢复，您需要手动重新创建切片。

  • MIG 使用全容量模式下的预留。在这种情况下，您需要负责管理切片恢复流程。如果发生故障，切片会转换为 FAILED 状态，您需要手动重新创建切片。

    全容量模式下的行为还取决于以下因素：

    • 主机故障或报告的虚拟机故障。受影响的虚拟机将转换为 REPAIRING 状态。底层硬件修复后，虚拟机将转换回 RUNNING 状态。
    • 即将进行的紧急维护。当您手动启动维护事件时，虚拟机会从 RUNNING 状态转换为 REPAIRING 状态。维护完成后，虚拟机将恢复为 RUNNING 状态。
    • ICI 故障。虚拟机仍处于 RUNNING 状态，但切片状态会转换为 FAILED 状态。

如需在 Spot 虚拟机被抢占或在“所有容量”模式下发生故障后重新创建切片，您必须执行以下操作之一：

  • 删除并重新创建 MIG。
  • 将 MIG 的大小调整为 0，然后将其增加到所需的大小。

从实例中断中恢复故障

如果您删除或停止 TPU 实例，或者从操作系统内停止实例，则切片会转换为 FAILED 状态。在这种情况下，切片会保持 FAILED 状态，直到您重新创建切片。如需重新创建切片，您必须删除并重新创建 MIG，或者将 MIG 的大小调整为 0，然后增加其大小。

如需详细了解切片状态，请参阅查看 TPU 切片的状态。

限制

以下部分介绍了使用 TPU 虚拟机创建 MIG 的限制。

实例模板的限制

指定 TPU 机器类型的实例模板具有以下限制：

  • 使用受预留约束的预配模型时，您必须将实例终止操作设置为删除。

  • TPU 只能使用明确针对的预留。

  • 您无法指定布置政策。

  • 在以下情况下，您不得停用自动重启：

    • 使用标准、灵活启动或受预留约束的预配模型（包括全容量模式）的多主机切片。

    • 在全容量模式下使用受预留约束的预配模型的单主机。

  • 使用 Spot 预配模型时，不得启用自动重启。

MIG 的限制

具有 TPU 的 MIG 存在以下限制：

  • 生命周期操作：您无法停止、启动、恢复或暂停 TPU 实例。如需更改需要重启的配置或停止产生费用，您必须删除实例。

  • 区域级 MIG 可用区分布：您必须将目标分布形状设置为 ANY_SINGLE_ZONE。

  • MIG 中的配置更新：

    • 由于定义的加速器拓扑，您无法更新构成多主机 TPU 切片的 MIG。
    • 您可以使用自动或选择性方法更新形成单主机 TPU 切片的 MIG。但是，单主机 TPU 切片的更新不支持重启 (RESTART) 操作。如果需要重启，并且允许的最具中断性的操作是替换 (REPLACE)，则更新程序将替换实例；否则，更新尝试将失败并报错。

  • 对于构成多主机 TPU 切片的 MIG，还存在以下限制：

    • 目标大小政策：您必须将目标大小政策模式设置为 BULK。此模式一经设置便无法更改。

    • 目标大小：在批量模式下，您可以将目标大小设置为 0 或形成加速器拓扑所需的实例数。

    • 工作负载政策：您必须指定一个定义了加速器拓扑的工作负载政策。设置工作负载政策后，您无法更改或从 MIG 中移除该政策。

    • MIG 发起的修复：您必须通过将 defaultActionOnFailure 字段设置为 DO_NOTHING 来关闭 MIG 发起的修复。在此配置中，MIG 不会对失败的实例执行任何操作。Compute Engine 会通过在正常容量上重启同一切片中的所有实例来自动恢复故障实例。

  • 不支持的功能：具有 TPU 的 MIG 不支持以下功能：

后续步骤