Criar uma instância de VM do Cloud TPU usando o Compute Engine
Neste documento, mostramos como criar uma única VM de TPU com o comando gcloud compute instances create do Compute Engine. Também é possível criar uma instância de VM de TPU
especificando um modelo de instância. Para mais informações, consulte Criar uma VM com base em um modelo de instância.
Pré-requisitos
Atenda aos seguintes pré-requisitos:
Crie um projeto Google Cloud para suas TPUs, conforme descrito em Configurar um projeto Google Cloud para TPUs.
Determine os requisitos de TPU conforme descrito em Planejar os recursos do Cloud TPU.
Criar uma instância de VM de TPU
Os parâmetros usados para criar uma instância de VM de TPU dependem da opção de consumo usada: sob demanda, spot, vinculada a reserva ou início flexível. Para mais informações, consulte Planejar seus recursos de TPU .
Criar uma instância de VM de TPU sob demanda
Para criar uma instância de VM de TPU sob demanda, use o
comando gcloud compute instances create:
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--maintenance-policy=TERMINATE
Substitua os seguintes marcadores de posição:
- TPU_NAME: um nome para sua VM de TPU.
- MACHINE_TYPE: o tipo de máquina
da VM de TPU (por exemplo,
ct6e-standard-8t). - IMAGE_FAMILY: a família de imagens do SO
para a VM da TPU. Se você quiser instalar uma versão específica do SO, use a flag
--image. Para mais informações sobre imagens do SO, consulte Imagens do SO. - IMAGE_PROJECT: o projeto que contém a imagem do SO.
Para imagens de TPU, é
ubuntu-os-accelerator-images. - ZONE: a zona da VM de TPU (por exemplo,
us-central1-b).
Criar uma instância de VM spot de TPU
Para criar uma instância de VM spot de TPU, use o
comando gcloud compute instances create
com a flag --provisioning-model=SPOT:
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--provisioning-model=SPOT \
--instance-termination-action=DELETE \
--maintenance-policy=TERMINATE
Substitua os seguintes marcadores de posição:
- TPU_NAME: um nome para sua VM de TPU.
- MACHINE_TYPE: o tipo de máquina
da VM de TPU (por exemplo,
ct6e-standard-8t). - IMAGE_FAMILY: a família de imagens do SO
para a VM da TPU. Se você quiser instalar uma versão específica do SO, use a flag
--image. Para mais informações sobre imagens do SO, consulte Imagens do SO. - IMAGE_PROJECT: o projeto que contém a imagem do SO.
Para imagens de TPU, é
ubuntu-os-accelerator-images. - ZONE: a zona da VM de TPU (por exemplo,
us-central1-b).
Criar uma instância de VM da TPU usando uma reserva
Para criar uma instância de VM da TPU usando a opção de consumo vinculada à reserva,
use o
comando gcloud compute instances create
com as flags --reservation-affinity=specific e --reservation:
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--provisioning-model=reservation-bound \
--reservation-affinity=specific \
--reservation=RESERVATION_NAME \
--instance-termination-action=DELETE \
--maintenance-policy=TERMINATE
Substitua os seguintes marcadores de posição:
- TPU_NAME: um nome para sua VM de TPU.
- MACHINE_TYPE: o tipo de máquina
da VM de TPU (por exemplo,
ct6e-standard-8t). - IMAGE_FAMILY: a família de imagens do SO
para a VM da TPU. Se você quiser instalar uma versão específica do SO, use a flag
--image. Para mais informações sobre imagens do SO, consulte Imagens do SO. - IMAGE_PROJECT: o projeto que contém a imagem do SO.
Para imagens de TPU, é
ubuntu-os-accelerator-images. - ZONE: a zona da VM de TPU (por exemplo,
us-central1-b). - RESERVATION_NAME: o nome da sua reserva.
Criar uma VM flex-start de TPU
Para criar uma instância de VM Flex-start de TPU, use o
comando gcloud compute instances create
com a flag --provisioning-model=FLEX_START:
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--provisioning-model=FLEX_START \
--max-run-duration=MAX_RUN_DURATION \
--request-valid-for-duration=VALID_DURATION \
--instance-termination-action=DELETE \
--maintenance-policy=TERMINATE
Substitua os seguintes marcadores de posição:
- TPU_NAME: um nome para sua VM de TPU.
- MACHINE_TYPE: o tipo de máquina
da VM de TPU (por exemplo,
ct6e-standard-8t). - IMAGE_FAMILY: a família de imagens do SO
para a VM da TPU. Se você quiser instalar uma versão específica do SO, use a flag
--image. Para mais informações sobre imagens do SO, consulte Imagens do SO. - IMAGE_PROJECT: o projeto que contém a imagem do SO.
Para imagens de TPU, é
ubuntu-os-accelerator-images. - ZONE: a zona da VM de TPU (por exemplo,
us-central1-b). - MAX_RUN_DURATION: a duração máxima da execução da VM de TPU (por exemplo,
6h). - VALID_DURATION: a duração máxima da validade da solicitação.
Para mais informações sobre como criar instâncias do Compute Engine, consulte Criar e iniciar uma instância do Compute Engine.
A seguir
- Saiba como criar um MIG com frações de Cloud TPU de host único.
- Saiba como criar um MIG com uma fração da Cloud TPU de vários hosts.
- Saiba como gerenciar VMs de TPU.
- Saiba mais sobre TPUs no GKE.
- Aprenda a executar uma carga de trabalho de ML em TPUs, por exemplo, Disponibilizar o Qwen2-72B-Instruct com o vLLM em TPUs.