Crea un MIG con una porción de Cloud TPU de varios hosts

En este documento, se describe cómo crear un grupo de instancias administrado (MIG) con una porción de TPU de varios hosts.

Requisitos previos

Completa los siguientes requisitos previos:

  1. Crea un proyecto para tus TPU como se describe en Configura un proyecto para TPU.
  2. Determina tus requisitos de TPU como se describe en Planifica tus recursos.

Crea un MIG con porciones de TPU de varios hosts

  1. Crea una plantilla de instancias.
  2. Crea una política de cargas de trabajo.
  3. Crea el MIG.

Crea una plantilla de instancias

El comando para crear una plantilla de instancias depende de la opción de consumo que uses: a pedido, de instancias interrumpibles, vinculada a la reserva o de inicio flexible. Para obtener más información sobre las opciones de consumo, consulta Planifica tus recursos de TPU.

Crea una plantilla de instancias para una TPU VM a pedido

El siguiente comando crea una plantilla de instancias con la opción de consumo a pedido:

gcloud 

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
  --machine-type=MACHINE_TYPE \
  --maintenance-policy=TERMINATE \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT

REST 

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "INSTANCE_TEMPLATE_NAME",
    "properties": {
      "machineType": "MACHINE_TYPE",
      "scheduling": {
        "onHostMaintenance": "TERMINATE"
      },
      "disks": [
        {
          "boot": true,
          "initializeParams": {
            "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
          }
        }
      ],
      "networkInterfaces": [
        {
          "network": "global/networks/default"
        }
      ]
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates"

Reemplaza los marcadores de posición que se indican más abajo:

  • PROJECT_ID: El ID de tu Google Cloud proyecto.
  • INSTANCE_TEMPLATE_NAME: El nombre de tu plantilla de instancias.
  • MACHINE_TYPE: El tipo de máquina para la TPU VM, por ejemplo, ct6e-standard-8t.
  • IMAGE_FAMILY: La familia de imágenes del SO para la VM de TPU. Si deseas instalar una versión específica del SO, usa la --image marca. Para obtener más información sobre las imágenes del SO, consulta Imágenes del SO.
  • IMAGE_PROJECT: El proyecto que contiene la imagen de SO. Para las imágenes de TPU, es ubuntu-os-accelerator-images.

Crea una plantilla de instancias para una VM Spot de TPU

El siguiente comando crea una plantilla de instancias con la opción de consumo de instancias interrumpibles:

gcloud 

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
  --machine-type=MACHINE_TYPE \
  --maintenance-policy=TERMINATE \
  --instance-termination-action=STOP \
  --provisioning-model=SPOT \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT

REST 

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "INSTANCE_TEMPLATE_NAME",
    "properties": {
      "machineType": "MACHINE_TYPE",
      "disks": [
        {
          "boot": true,
          "initializeParams": {
            "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
          }
        }
      ],
      "scheduling": {
        "onHostMaintenance": "TERMINATE",
        "provisioningModel": "SPOT",
        "instanceTerminationAction": "STOP"
      },
      "networkInterfaces": [
        {
          "network": "global/networks/default"
        }
      ]
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates"

Reemplaza los marcadores de posición que se indican más abajo:

  • PROJECT_ID: El ID de tu Google Cloud proyecto.
  • INSTANCE_TEMPLATE_NAME: El nombre de tu plantilla de instancias.
  • MACHINE_TYPE: El tipo de máquina para la TPU VM, por ejemplo, ct6e-standard-8t.
  • IMAGE_FAMILY: La familia de imágenes del SO para la VM de TPU. Si deseas instalar una versión específica del SO, usa la --image marca. Para obtener más información sobre las imágenes del SO, consulta Imágenes del SO.
  • IMAGE_PROJECT: El proyecto que contiene la imagen de SO. Para las imágenes de TPU, es ubuntu-os-accelerator-images.

Crea una plantilla de instancias para una VM de TPU vinculada a la reserva

El siguiente comando crea una plantilla de instancias con la opción de consumo vinculada a la reserva:

gcloud 

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
  --machine-type=MACHINE_TYPE \
  --maintenance-policy=TERMINATE \
  --instance-termination-action=DELETE \
  --reservation-affinity=specific \
  --provisioning-model=reservation-bound \
  --reservation=RESERVATION_NAME \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT

REST 

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "INSTANCE_TEMPLATE_NAME",
    "properties": {
      "machineType": "MACHINE_TYPE",
      "disks": [
        {
          "boot": true,
          "initializeParams": {
            "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
          }
        }
      ],
      "scheduling": {
        "onHostMaintenance": "TERMINATE",
        "provisioningModel": "RESERVATION_BOUND",
        "instanceTerminationAction": "DELETE"
      },
      "reservationAffinity": {
        "consumeReservationType": "SPECIFIC_RESERVATION",
        "key": "compute.googleapis.com/reservation-name",
        "values": [
          "RESERVATION_NAME"
        ]
      },
      "networkInterfaces": [
        {
          "network": "global/networks/default"
        }
      ]
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates"

Reemplaza los marcadores de posición que se indican más abajo:

  • PROJECT_ID: El ID de tu Google Cloud proyecto.
  • INSTANCE_TEMPLATE_NAME: El nombre de tu plantilla de instancias.
  • MACHINE_TYPE: El tipo de máquina para la TPU VM, por ejemplo, ct6e-standard-8t.
  • RESERVATION_NAME: El nombre de la reserva específica que se consumirá.
  • IMAGE_FAMILY: La familia de imágenes del SO para la VM de TPU. Si deseas instalar una versión específica del SO, usa la --image marca. Para obtener más información sobre las imágenes del SO, consulta Imágenes del SO.
  • IMAGE_PROJECT: El proyecto que contiene la imagen de SO. Para las imágenes de TPU, es ubuntu-os-accelerator-images.

Crea una plantilla de instancias para una VM de TPU de inicio flexible

El siguiente comando crea una plantilla de instancias con la opción de consumo de inicio flexible:

gcloud 

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --instance-termination-action=DELETE \
    --provisioning-model=FLEX_START \
    --max-run-duration=DURATION \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

REST 

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "INSTANCE_TEMPLATE_NAME",
    "properties": {
      "machineType": "MACHINE_TYPE",
      "disks": [
        {
          "boot": true,
          "initializeParams": {
            "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
          }
        }
      ],
      "scheduling": {
        "onHostMaintenance": "TERMINATE",
        "provisioningModel": "FLEX_START",
        "instanceTerminationAction": "DELETE",
        "maxRunDuration": {
          "seconds": "DURATION"
        }
      },
      "networkInterfaces": [
        {
          "network": "global/networks/default"
        }
      ]
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/global/instanceTemplates"

Reemplaza los marcadores de posición que se indican más abajo:

  • PROJECT_ID: El ID de tu Google Cloud proyecto.
  • INSTANCE_TEMPLATE_NAME: El nombre de tu plantilla de instancias.
  • MACHINE_TYPE: El tipo de máquina para la TPU VM, por ejemplo, ct6e-standard-8t.
  • DURATION: La duración máxima durante la cual se puede ejecutar la VM de TPU. Para REST, especifica esto como una cantidad de segundos (por ejemplo, 3600 para 1 hora o 604800 para 7 días).
  • IMAGE_FAMILY: La familia de imágenes del SO para la VM de TPU. Si deseas instalar una versión específica del SO, usa la --image marca. Para obtener más información sobre las imágenes del SO, consulta Imágenes del SO.
  • IMAGE_PROJECT: El proyecto que contiene la imagen de SO. Para las imágenes de TPU, es ubuntu-os-accelerator-images.

Crea una política de cargas de trabajo

Debes crear una política de cargas de trabajo con el accelerator-topology parámetro (por ejemplo, 4x4, 8x8 o 4x4x4). La topología del acelerador configura el MIG para tratar las instancias como una sola porción interconectada.

El siguiente comando crea una política de cargas de trabajo para una topología específica:

gcloud 

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
  --type=high-throughput \
  --accelerator-topology=TOPOLOGY \
  --region=REGION

REST 

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "WORKLOAD_POLICY_NAME",
    "workloadPolicy": {
      "type": "HIGH_THROUGHPUT",
      "acceleratorTopology": "TOPOLOGY"
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies"

Reemplaza los marcadores de posición que se indican más abajo:

  • PROJECT_ID: El ID de tu Google Cloud proyecto.
  • WORKLOAD_POLICY_NAME: El nombre de tu política de cargas de trabajo.
  • TOPOLOGY: La topología de las VMs de TPU, por ejemplo, 4x4x8. Para obtener más información sobre la topología de cada versión de TPU, consulta Arquitectura del sistema.
  • REGION: La región de tu política de cargas de trabajo.

Crear un MIG

Para crear un MIG zonal que contenga una porción de TPU de varios hosts, usa el siguiente comando:

gcloud 

gcloud compute instance-groups managed create MIG_NAME \
   --size=MIG_SIZE \
   --target-size-policy-mode=bulk \
   --template=INSTANCE_TEMPLATE_URL \
   --zone=ZONE \
   --default-action-on-vm-failure=do-nothing \
   --workload-policy=WORKLOAD_POLICY_URL

REST 

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "MIG_NAME",
    "targetSize": MIG_SIZE,
    "targetSizePolicy": {
      "mode": "BULK"
    },
    "instanceTemplate": "INSTANCE_TEMPLATE_URL",
    "instanceLifecyclePolicy": {
      "defaultActionOnFailure": "DO_NOTHING"
    },
    "resourcePolicies": {
      "workloadPolicy": "WORKLOAD_POLICY_URL"
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers"

Reemplaza los marcadores de posición que se indican más abajo:

  • PROJECT_ID: El ID de tu Google Cloud proyecto.
  • MIG_NAME: El nombre de tu MIG.
  • MIG_SIZE: El tamaño del MIG.
  • INSTANCE_TEMPLATE_URL: La URL de la plantilla de instancias que deseas usar para crear instancias en el MIG. La URL puede contener el ID o el nombre de la plantilla de instancias. Especifica uno de los siguientes valores:
    • Para una plantilla de instancias regional: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • Para una plantilla de instancias global: INSTANCE_TEMPLATE_ID
  • ZONE: La zona de tu MIG.
  • WORKLOAD_POLICY_URL: La URL de la política de cargas de trabajo que deseas usar para crear instancias en el MIG. Por ejemplo: projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME.

Para crear un MIG regional que contenga una porción de TPU de varios hosts, usa el siguiente comando:

gcloud 

gcloud compute instance-groups managed create MIG_NAME \
   --size=MIG_SIZE \
   --target-size-policy-mode=bulk \
   --template=INSTANCE_TEMPLATE_URL \
   --region=REGION \
   --default-action-on-vm-failure=do-nothing \
   --workload-policy=WORKLOAD_POLICY_URL \
   --target-distribution-shape=any-single-zone \
   --instance-redistribution-type=none

REST 

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "MIG_NAME",
    "targetSize": MIG_SIZE,
    "targetSizePolicy": {
      "mode": "BULK"
    },
    "instanceTemplate": "INSTANCE_TEMPLATE_URL",
    "instanceLifecyclePolicy": {
      "defaultActionOnFailure": "DO_NOTHING"
    },
    "resourcePolicies": {
      "workloadPolicy": "WORKLOAD_POLICY_URL"
    },
    "distributionPolicy": {
      "targetShape": "ANY_SINGLE_ZONE"
    },
    "updatePolicy": {
      "instanceRedistributionType": "NONE"
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers"

Reemplaza los marcadores de posición que se indican más abajo:

  • PROJECT_ID: El ID de tu Google Cloud proyecto.
  • MIG_NAME: El nombre de tu MIG.
  • MIG_SIZE: La cantidad de VMs en el MIG.
  • INSTANCE_TEMPLATE_URL: La URL de la plantilla de instancias que deseas usar para crear instancias en el MIG. La URL puede contener el ID o el nombre de la plantilla de instancias. Especifica uno de los siguientes valores:
    • Para una plantilla de instancias regional: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • Para una plantilla de instancias global: INSTANCE_TEMPLATE_ID
  • ZONE: La zona de tu MIG.
  • REGION: La región de tu MIG.
  • WORKLOAD_POLICY_URL: La URL de la política de cargas de trabajo que deseas usar para crear instancias en el MIG. Por ejemplo: projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME.

Crea VMs con nombres personalizados en un MIG

Puedes crear VMs en un MIG si especificas nombres personalizados para cada VM. Esto es útil para la depuración y para garantizar que las instancias se creen en un orden específico.

Los MIG que contienen una porción de TPU de varios hosts usan el modo masivo de la política de tamaño objetivo. Cuando creas VMs con nombres personalizados en un MIG de este tipo, se aplica lo siguiente:

  • Primero, debes verificar que el MIG no tenga VMs. Si el MIG tiene VMs, debes cambiar el tamaño del MIG al tamaño objetivo 0 o crear otro MIG con el tamaño objetivo 0.

  • Solo puedes usar la API de REST para crear VMs con nombres personalizados.

Para crear VMs con nombres personalizados, usa uno de los siguientes métodos de la API de REST:

  • Para un MIG zonal, usa el instanceGroupManagers.createInstances.

     POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/createInstances
 {
   "instances": [
     {
       "name": "INSTANCE_NAME_1"
     },
     {
       "name": "INSTANCE_NAME_2"
     },
     ...
   ]
 }

  • Para un MIG regional, usa el regionInstanceGroupManagers.createInstances.

     POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/createInstances
 {
   "instances": [
     {
       "name": "INSTANCE_NAME_1"
     },
     {
       "name": "INSTANCE_NAME_2"
     },
     ...
   ]
 }

Reemplaza los marcadores de posición que se indican más abajo:

  • PROJECT_ID: El ID del proyecto en el que el MIG existe.
  • ZONE: La zona del MIG.
  • REGION: La región del MIG.
  • INSTANCE_NAME_1,2,..: Los nombres de las VMs que se agregarán al MIG especificado.

¿Qué sigue?