为 MIG 创建工作负载政策

本文档介绍了如何为具有 A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU）或 H4D Compute Engine 实例的托管式实例组 (MIG) 创建工作负载政策。如需为多主机 TPU 切片创建工作负载政策，请参阅创建具有多主机 TPU 切片的 MIG。

借助工作负载政策，您可以为 MIG 中的 Compute Engine 实例指定放置位置或拓扑。例如，您可以使用工作负载政策将计算实例布置得更近，从而最大限度地缩短人工智能 (AI)、机器学习 (ML) 或高性能计算 (HPC) 工作负载的网络延迟时间。如需详细了解在创建工作负载政策时遵循的要求和限制，请参阅关于工作负载政策。

准备工作

  • 如果您尚未设置身份验证，请进行设置。身份验证用于验证您的身份，以便访问 Google Cloud 服务和 API。如需从本地开发环境运行代码或示例，您可以通过选择以下选项之一向 Compute Engine 进行身份验证：

    选择标签页以了解您打算如何使用本页面上的示例：

    gcloud

    1. 安装 Google Cloud CLI。 安装完成后，运行以下命令来初始化 Google Cloud CLI： 

      gcloud init

      如果您使用的是外部身份提供方 (IdP)，则必须先使用联合身份登录 gcloud CLI。

  • 设置默认区域和可用区。

    • REST

    如需在本地开发环境中使用本页面上的 REST API 示例，请使用您提供给 gcloud CLI 的凭证。

      安装 Google Cloud CLI。

      如果您使用的是外部身份提供方 (IdP)，则必须先使用联合身份登录 gcloud CLI。

    如需了解详情，请参阅 Google Cloud 身份验证文档中的使用 REST 时进行身份验证。

所需的角色

如需获得创建工作负载政策并将其应用于 MIG 所需的权限，请让您的管理员为您授予项目的 Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) IAM 角色。 如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

此预定义角色包含创建工作负载政策并将其应用于 MIG 所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

若要创建工作负载政策并将其应用于 MIG，您需要具备以下权限：

  • 创建工作负载政策：针对项目的 compute.resourcePolicies.create 权限

您也可以使用自定义角色或其他预定义角色来获取这些权限。

创建工作负载政策

如需创建工作负载政策，请根据 MIG 中的计算实例所使用的机器系列，使用以下方法之一：

为 A4X Max 或 A4X 实例创建工作负载政策

如果您将工作负载政策应用于 MIG 中的 A4X Max 或 A4X 实例，则必须在创建政策时指定加速器拓扑值。此操作有助于工作负载实现大规模、无阻塞的网络性能。

如需为 A4X Max 或 A4X 实例创建工作负载政策，请选择以下选项之一：

gcloud

如需为 A4X Max 或 A4X 实例创建工作负载政策，请将 gcloud compute resource-policies create workload-policy 命令与 --accelerator-topology=1x72 标志结合使用：

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --accelerator-topology=1x72 \
    --type=high-throughput \
    --region=REGION

替换以下内容：

  • WORKLOAD_POLICY_NAME：工作负载政策的名称。

  • REGION：要用于创建工作负载政策的区域。指定要创建 MIG 的区域，以及提供您要使用的机器类型的区域。如需查看提供 A4X Max 或 A4X 机器类型的区域，请参阅可用区域和可用区。

REST

如需为 A4X Max 或 A4X 实例创建工作负载政策，请向 resourcePolicies.insert 方法发出 POST 请求。在请求正文中，添加设置为 1x72 的 acceleratorTopology 字段：

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "acceleratorTopology": "1x72",
    "type": "HIGH_THROUGHPUT"
  }
}

替换以下内容：

  • PROJECT_ID：要在其中创建工作负载政策的项目的 ID。

  • REGION：要用于创建工作负载政策的区域。指定要创建 MIG 的区域，以及提供您要使用的机器类型的区域。如需查看提供 A4X Max 或 A4X 机器类型的区域，请参阅可用区域和可用区。

  • WORKLOAD_POLICY_NAME：工作负载政策的名称。

为 A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU）或 H4D 实例创建工作负载政策

如果您想将工作负载政策应用于 MIG 中的 A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU）或 H4D 实例，建议您在创建政策时指定最大拓扑距离值。此操作有助于确保您的计算实例更紧密地放置在一起。不过，您指定的布置越紧凑，您要在其中创建计算实例的可用区中可用的资源就越少。

如需为 A4、A3 Ultra、A3 Mega 或 A3 High（8 个 GPU）实例创建工作负载政策，请选择以下选项之一：

gcloud

如需创建工作负载政策，请使用 gcloud compute resource-policies create workload-policy 命令。根据您希望 MIG 中的计算实例有多接近，在命令中添加以下标志：

  • 如需尽力将计算实例布置得彼此靠近，请添加 --type=high-throughput 标志：

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • 如需进一步控制计算实例的放置位置，请添加 --max-topology-distance 和 --type=high-throughput 标志：

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --type=high-throughput \
    --region=REGION

替换以下内容：

  • WORKLOAD_POLICY_NAME：工作负载政策的名称。

  • REGION：要用于创建工作负载政策的区域。指定要创建 MIG 的区域，以及提供您要使用的机器类型的区域。如需查看可以使用 GPU 的机器类型所在的区域，请参阅可用区域和可用区。

  • TOPOLOGY_DISTANCE：拓扑距离上限。较短的距离上限可能会降低实现虚拟机可用性的可能性。请指定以下某个值：

    • 如需将 A4 或 H4D 实例放置在同一集群中，请执行以下操作：CLUSTER

    • 如需将 A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU）或 H4D 实例放置在同一块中，请执行以下操作：BLOCK

    • 如需将 A4、A3 Ultra 或 H4D 实例布置在同一子区块中，请执行以下操作：SUBBLOCK

REST

如需创建工作负载政策，请向 resourcePolicies.insert 方法发出 POST 请求。根据您希望在 MIG 中放置计算实例的紧凑程度，在请求正文中添加以下字段：

  • 如需尽力将计算实例布置得彼此靠近，请在请求正文中添加 type 字段：

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "type": "HIGH_THROUGHPUT"
  }
}

  • 如需进一步控制计算实例的放置位置，请在请求正文中添加 maxTopologyDistance 和 type 字段：

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "maxTopologyDistance": "TOPOLOGY_DISTANCE",
    "type": "HIGH_THROUGHPUT"
  }
}

替换以下内容：

  • PROJECT_ID：要在其中创建工作负载政策的项目的 ID。

  • REGION：要用于创建工作负载政策的区域。指定要创建 MIG 的区域，以及提供您要使用的机器类型的区域。如需查看可以使用 GPU 的机器类型所在的区域，请参阅可用区域和可用区。

  • WORKLOAD_POLICY_NAME：工作负载政策的名称。

  • TOPOLOGY_DISTANCE：拓扑距离上限。较短的距离上限可能会降低实现虚拟机可用性的可能性。请指定以下某个值：

    • 如需将 A4 或 H4D 实例放置在同一集群中，请执行以下操作：CLUSTER

    • 如需将 A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU）或 H4D 实例放置在同一块中，请执行以下操作：BLOCK

    • 如需将 A4、A3 Ultra 或 H4D 实例布置在同一子区块中，请执行以下操作：SUBBLOCK

后续步骤