创建具有多主机 Cloud TPU 切片的 MIG

本文档介绍如何创建具有多宿主 TPU 切片的代管式实例组 (MIG)。

前提条件

完成以下前提条件：

  1. 按照为 TPU 设置项目中的说明为 TPU 创建项目。
  2. 按照规划资源中的说明确定您的 TPU 要求。

创建具有多主机 TPU 切片的 MIG

  1. 创建一个实例模板。
  2. 创建工作负载政策。
  3. 创建 MIG。

创建实例模板

用于创建实例模板的命令取决于您使用的消费选项：按需、竞价型、受预留约束或灵活启动。如需详细了解使用选项，请参阅规划 TPU 资源。

为按需 TPU 虚拟机创建实例模板

以下命令会使用按需付费选项创建实例模板：

gcloud

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
  --machine-type=MACHINE_TYPE \
  --maintenance-policy=TERMINATE \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "INSTANCE_TEMPLATE_NAME",
    "properties": {
      "machineType": "MACHINE_TYPE",
      "scheduling": {
        "onHostMaintenance": "TERMINATE"
      },
      "disks": [
        {
          "boot": true,
          "initializeParams": {
            "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
          }
        }
      ],
      "networkInterfaces": [
        {
          "network": "global/networks/default"
        }
      ]
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates"

替换以下占位符：

  • PROJECT_ID：您的 Google Cloud 项目的 ID。
  • INSTANCE_TEMPLATE_NAME：实例模板的名称。
  • MACHINE_TYPE：TPU 虚拟机的机器类型，例如 ct6e-standard-8t。
  • IMAGE_FAMILY：TPU 虚拟机的操作系统映像系列。如果您想安装特定版本的操作系统，请使用 --image 标志。如需详细了解操作系统映像，请参阅操作系统映像。
  • IMAGE_PROJECT：包含操作系统映像的项目。 对于 TPU 映像，此值为 ubuntu-os-accelerator-images。

为 TPU Spot 虚拟机创建实例模板

以下命令会使用抢占式实例消耗选项创建实例模板：

gcloud

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
  --machine-type=MACHINE_TYPE \
  --maintenance-policy=TERMINATE \
  --instance-termination-action=STOP \
  --provisioning-model=SPOT \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "INSTANCE_TEMPLATE_NAME",
    "properties": {
      "machineType": "MACHINE_TYPE",
      "disks": [
        {
          "boot": true,
          "initializeParams": {
            "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
          }
        }
      ],
      "scheduling": {
        "onHostMaintenance": "TERMINATE",
        "provisioningModel": "SPOT",
        "instanceTerminationAction": "STOP"
      },
      "networkInterfaces": [
        {
          "network": "global/networks/default"
        }
      ]
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates"

替换以下占位符：

  • PROJECT_ID：您的 Google Cloud 项目的 ID。
  • INSTANCE_TEMPLATE_NAME：实例模板的名称。
  • MACHINE_TYPE：TPU 虚拟机的机器类型，例如 ct6e-standard-8t。
  • IMAGE_FAMILY：TPU 虚拟机的操作系统映像系列。如果您想安装特定版本的操作系统，请使用 --image 标志。如需详细了解操作系统映像，请参阅操作系统映像。
  • IMAGE_PROJECT：包含操作系统映像的项目。 对于 TPU 映像，此值为 ubuntu-os-accelerator-images。

为与 TPU 预留绑定的虚拟机创建实例模板

以下命令会使用受预留约束的消费选项创建实例模板：

gcloud

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
  --machine-type=MACHINE_TYPE \
  --maintenance-policy=TERMINATE \
  --instance-termination-action=DELETE \
  --reservation-affinity=specific \
  --provisioning-model=reservation-bound \
  --reservation=RESERVATION_NAME \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "INSTANCE_TEMPLATE_NAME",
    "properties": {
      "machineType": "MACHINE_TYPE",
      "disks": [
        {
          "boot": true,
          "initializeParams": {
            "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
          }
        }
      ],
      "scheduling": {
        "onHostMaintenance": "TERMINATE",
        "provisioningModel": "RESERVATION_BOUND",
        "instanceTerminationAction": "DELETE"
      },
      "reservationAffinity": {
        "consumeReservationType": "SPECIFIC_RESERVATION",
        "key": "compute.googleapis.com/reservation-name",
        "values": [
          "RESERVATION_NAME"
        ]
      },
      "networkInterfaces": [
        {
          "network": "global/networks/default"
        }
      ]
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates"

替换以下占位符：

  • PROJECT_ID：您的 Google Cloud 项目的 ID。
  • INSTANCE_TEMPLATE_NAME：实例模板的名称。
  • MACHINE_TYPE：TPU 虚拟机的机器类型，例如 ct6e-standard-8t。
  • RESERVATION_NAME：要使用的特定预留的名称。
  • IMAGE_FAMILY：TPU 虚拟机的操作系统映像系列。如果您想安装特定版本的操作系统，请使用 --image 标志。如需详细了解操作系统映像，请参阅操作系统映像。
  • IMAGE_PROJECT：包含操作系统映像的项目。 对于 TPU 映像，此值为 ubuntu-os-accelerator-images。

为 TPU 灵活启动型虚拟机创建实例模板

以下命令使用灵活启动消耗选项创建实例模板：

gcloud

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --instance-termination-action=DELETE \
    --provisioning-model=FLEX_START \
    --max-run-duration=DURATION \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "INSTANCE_TEMPLATE_NAME",
    "properties": {
      "machineType": "MACHINE_TYPE",
      "disks": [
        {
          "boot": true,
          "initializeParams": {
            "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
          }
        }
      ],
      "scheduling": {
        "onHostMaintenance": "TERMINATE",
        "provisioningModel": "FLEX_START",
        "instanceTerminationAction": "DELETE",
        "maxRunDuration": {
          "seconds": "DURATION"
        }
      },
      "networkInterfaces": [
        {
          "network": "global/networks/default"
        }
      ]
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates"

替换以下占位符：

  • PROJECT_ID：您的 Google Cloud 项目的 ID。
  • INSTANCE_TEMPLATE_NAME：实例模板的名称。
  • MACHINE_TYPE：TPU 虚拟机的机器类型，例如 ct6e-standard-8t。
  • DURATION：TPU 虚拟机可运行的最长时长。对于 REST，请以秒数指定此值（例如，3600 表示 1 小时，604800 表示 7 天）。
  • IMAGE_FAMILY：TPU 虚拟机的操作系统映像系列。如果您想安装特定版本的操作系统，请使用 --image 标志。如需详细了解操作系统映像，请参阅操作系统映像。
  • IMAGE_PROJECT：包含操作系统映像的项目。 对于 TPU 映像，此值为 ubuntu-os-accelerator-images。

创建工作负载政策

您必须使用 accelerator-topology 参数（例如 4x4、8x8 或 4x4x4）创建工作负载政策。加速器拓扑会将 MIG 配置为将实例视为一个相互连接的切片。

以下命令会为特定拓扑创建工作负载政策：

gcloud

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
  --type=high-throughput \
  --accelerator-topology=TOPOLOGY \
  --region=REGION

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "WORKLOAD_POLICY_NAME",
    "workloadPolicy": {
      "type": "HIGH_THROUGHPUT",
      "acceleratorTopology": "TOPOLOGY"
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies"

替换以下占位符：

  • PROJECT_ID：您的 Google Cloud 项目的 ID。
  • WORKLOAD_POLICY_NAME：工作负载政策的名称。
  • TOPOLOGY：TPU 虚拟机的拓扑，例如 4x4x8。如需详细了解每个 TPU 版本的拓扑，请参阅系统架构。
  • REGION：工作负载政策的区域。

创建 MIG

如需创建包含多主机 TPU 切片的可用区级 MIG，请使用以下命令：

gcloud

gcloud compute instance-groups managed create MIG_NAME \
   --size=MIG_SIZE \
   --target-size-policy-mode=bulk \
   --template=INSTANCE_TEMPLATE_URL \
   --zone=ZONE \
   --default-action-on-vm-failure=do-nothing \
   --workload-policy=WORKLOAD_POLICY_URL

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "MIG_NAME",
    "targetSize": MIG_SIZE,
    "targetSizePolicy": {
      "mode": "BULK"
    },
    "instanceTemplate": "INSTANCE_TEMPLATE_URL",
    "instanceLifecyclePolicy": {
      "defaultActionOnFailure": "DO_NOTHING"
    },
    "resourcePolicies": {
      "workloadPolicy": "WORKLOAD_POLICY_URL"
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers"

替换以下占位符：

  • PROJECT_ID：您的 Google Cloud 项目的 ID。
  • MIG_NAME：MIG 的名称。
  • MIG_SIZE：MIG 的大小。
  • INSTANCE_TEMPLATE_URL：您要用于在 MIG 中创建实例的实例模板的网址。网址可以包含实例模板的 ID 或名称。请指定以下某个值：
    • 对于区域级实例模板：projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • 对于全球实例模板：INSTANCE_TEMPLATE_ID
  • ZONE：MIG 的可用区。
  • WORKLOAD_POLICY_URL：您要用于在 MIG 中创建实例的工作负载政策的网址。例如：projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME。

如需创建包含多主机 TPU 切片的区域级 MIG，请使用以下命令：

gcloud

gcloud compute instance-groups managed create MIG_NAME \
   --size=MIG_SIZE \
   --target-size-policy-mode=bulk \
   --template=INSTANCE_TEMPLATE_URL \
   --region=REGION \
   --default-action-on-vm-failure=do-nothing \
   --workload-policy=WORKLOAD_POLICY_URL \
   --target-distribution-shape=any-single-zone \
   --instance-redistribution-type=none

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "MIG_NAME",
    "targetSize": MIG_SIZE,
    "targetSizePolicy": {
      "mode": "BULK"
    },
    "instanceTemplate": "INSTANCE_TEMPLATE_URL",
    "instanceLifecyclePolicy": {
      "defaultActionOnFailure": "DO_NOTHING"
    },
    "resourcePolicies": {
      "workloadPolicy": "WORKLOAD_POLICY_URL"
    },
    "distributionPolicy": {
      "targetShape": "ANY_SINGLE_ZONE"
    },
    "updatePolicy": {
      "instanceRedistributionType": "NONE"
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers"

替换以下占位符：

  • PROJECT_ID：您的 Google Cloud 项目的 ID。
  • MIG_NAME：MIG 的名称。
  • MIG_SIZE：MIG 中的虚拟机数量。
  • INSTANCE_TEMPLATE_URL：您要用于在 MIG 中创建实例的实例模板的网址。网址可以包含实例模板的 ID 或名称。请指定以下某个值：
    • 对于区域级实例模板：projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • 对于全球实例模板：INSTANCE_TEMPLATE_ID
  • ZONE：MIG 的可用区。
  • REGION：MIG 所在的区域。
  • WORKLOAD_POLICY_URL：您要用于在 MIG 中创建实例的工作负载政策的网址。例如：projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME。

在 MIG 中创建具有自定义名称的虚拟机

您可以在 MIG 中创建虚拟机，并为每个虚拟机指定自定义名称。这有助于调试并确保实例按特定顺序创建。

包含多主机 TPU 切片的 MIG 使用批量模式的目标大小政策。在此类 MIG 中创建具有自定义名称的虚拟机时，适用以下规则：

  • 您必须先验证 MIG 中是否没有虚拟机。如果 MIG 包含虚拟机，您必须调整 MIG 的大小，使其达到目标大小 0，或者创建另一个 MIG，使其达到目标大小 0。

  • 您只能使用 REST API 创建具有自定义名称的虚拟机。

使用以下 REST API 方法之一创建具有自定义名称的虚拟机：

  • 对于可用区级 MIG，请使用 instanceGroupManagers.createInstances。

     POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/createInstances
 {
   "instances": [
     {
       "name": "INSTANCE_NAME_1"
     },
     {
       "name": "INSTANCE_NAME_2"
     },
     ...
   ]
 }

  • 对于区域级 MIG，请使用 regionInstanceGroupManagers.createInstances。

     POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/createInstances
 {
   "instances": [
     {
       "name": "INSTANCE_NAME_1"
     },
     {
       "name": "INSTANCE_NAME_2"
     },
     ...
   ]
 }

替换以下占位符：

  • PROJECT_ID：MIG 所在项目的 ID。
  • ZONE：MIG 的可用区。
  • REGION：MIG 的区域。
  • INSTANCE_NAME_1,2,..：要添加到指定 MIG 的虚拟机的名称。

后续步骤