Planejar os recursos do Cloud TPU

Nesta página, descrevemos como planejar o uso da Unidade de Processamento de Tensor (TPU).

Escolha uma opção de consumo

As opções de consumo são as maneiras de receber e usar recursos de computação. Você pode solicitar capacidade de VM do Cloud TPU com base nas suas necessidades de velocidade, duração, custo e tolerância a remoção. As opções incluem:

  • Sob demanda:instâncias padrão de pagamento por uso.
  • VMs spot:instâncias preemptivas de menor custo. Usa cota preemptiva.
  • VMs de início flexível:reserve capacidade conforme necessário, por até 7 dias, sem reservas de longo prazo ou gerenciamento complexo de cotas.
  • Reservas:reserve capacidade por um período específico (até 90 dias ou mais de um ano), garantindo a disponibilidade. Usa cota sob demanda.

A tabela a seguir compara as opções de consumo de TPU com base em como elas funcionam, nos casos de uso ideais e nas versões e zonas de TPU compatíveis.

Opção de consumo Como funciona Melhor aplicação Versões e zonas de TPU disponíveis
Reservas adiantadas por um ano ou mais

Você solicita recursos de TPU com antecedência para um ano ou mais. Esses recursos são reservados para seu uso exclusivo durante esse período.

As reservas oferecem o mais alto nível de garantia de capacidade e um preço menor do que os recursos on demand.

As reservas adiantadas de TPU incluem um desconto por compromisso de uso (CUD). Os CUDs oferecem preços com desconto quando você compra um contrato de compromisso de uso. Para mais informações, consulte Reservas adiantadas por um ano ou mais

 As reservas adiantadas por um ano ou mais são ideais para jobs de treinamento de longa duração e cargas de trabalho de inferência. Todas as versões de TPU: consulte Regiões e zonas de TPU.
Reservas adiantadas por até 90 dias (modo de calendário)

Você solicita recursos de TPU para um horário de início e uma duração específicos, entre um e 90 dias. Esses recursos são reservados para seu uso exclusivo durante esse período. Para mais informações, consulte Reservas adiantadas por até 90 dias (no modo de calendário)

As reservas oferecem o mais alto nível de garantia de capacidade e um preço menor do que os recursos on demand.

 As reservas adiantadas no modo de calendário são adequadas para cargas de trabalho de treinamento e experimentação que exigem horários de início precisos e têm uma duração definida.

TPU7x (Ironwood) para treinamento e disponibilização: us-central1-c

v6e (Trillium) para treinamento e disponibilização: asia-northeast1-b, us-east5-a

v5p para treinamento e disponibilização: us-east5-a
Sob demanda

Você solicita recursos de TPU para uso imediato, pelo tempo que precisar.

A opção on demand oferece muita flexibilidade. Os recursos on demand não são interrompidos, mas não há garantia de que haverá recursos de TPU suficientes disponíveis para atender à sua solicitação. On demand é a opção padrão ao criar recursos de TPU. Para mais informações sobre como criar e usar TPUs on demand, consulte Criar VMs de TPU.

 O modelo on demand é adequado para jobs urgentes e cargas de trabalho que exigem um horário de término flexível. Todas as versões de TPU: consulte Regiões e zonas de TPU.
Início flexível (pré-lançamento)

Você solicita recursos de TPU por um período específico, até sete dias, sem reservar capacidade com antecedência.

As VMs de TPU de início flexível são fornecidas de um pool dedicado de capacidade. Por isso, a disponibilidade desses recursos é maior do que on demand. Para mais informações, consulte Solicitar VMs de TPU de início flexível.

Para saber como usar VMs de TPU de início flexível com o Google Kubernetes Engine (GKE), consulte Sobre o provisionamento de GPUs e TPUs com o modo de provisionamento de início flexível.

 O início flexível é ideal para experimentos, testes em pequena escala, provisionamento dinâmico de TPUs para cargas de trabalho de inferência, ajuste de modelos e execuções de carga de trabalho que levam menos de sete dias.

TPU7x (Ironwood): us-central1-c (usando apenas o GKE)

v6e (Trillium): asia-northeast1-b, us-east5-a

v5p: us-east5-a
Spot

Você solicita recursos de TPU que podem ser preemptivos.

As VMs spot estão disponíveis a um preço significativamente menor do que os recursos on demand. As VMs spot costumam ser mais fáceis de conseguir do que recursos on demand, mas podem ser forçadas a interrupção (desligadas) a qualquer momento. Não há limite para a duração do ambiente de execução. Para mais informações sobre VMs spot de TPU, consulte Gerenciar VMs spot de TPU.

 A opção Spot é adequada para programar cargas de trabalho de baixa prioridade, como pré-treinamento e ajuste de modelos e jobs de simulação tolerantes a interrupções de disponibilidade. Todas as versões de TPU: consulte Regiões e zonas de TPU.

Escolher a versão da TPU

Selecione a versão da TPU, por exemplo, v5p, v6e ou TPU7x (Ironwood), com base nas necessidades de treinamento ou inferência do seu modelo. Para mais informações, consulte Versões de TPU.

Solicitar cota de TPU

Para usar VMs de TPU, independente da opção de consumo, é necessário ter uma cota on demand ou preemptiva para recursos do Cloud TPU. Verifique se você tem cota suficiente para a opção, a versão, o tamanho e a zona da TPU escolhidos. As cotas são específicas para cada versão de TPU e variam para uso on demand e preemptivo. Algumas versões de TPU têm cotas padrão, enquanto outras precisam ser solicitadas. Para mais informações, consulte Cotas do Compute Engine.

A seguir