Planejar os recursos do Cloud TPU

Nesta página, descrevemos como planejar o uso da Unidade de Processamento de Tensor (TPU).

Escolha uma opção de consumo

As opções de consumo se referem às maneiras de receber e usar recursos de computação. Você pode solicitar capacidade de VM do Cloud TPU com base nas suas necessidades de velocidade, duração, custo e tolerância a remoção. As opções incluem:

  • Sob demanda:instâncias padrão de pagamento por uso.
  • VMs spot:instâncias preemptivas de menor custo. Usa cota preemptiva.
  • VMs de início flexível:reserve capacidade conforme necessário, por até sete dias, sem reservas de longo prazo ou gerenciamento complexo de cotas.
  • Reservas:reserve capacidade por um período específico (até 90 dias ou mais de um ano), garantindo a disponibilidade. Usa cota sob demanda.

Para a TPU v6e e gerações mais recentes, também é possível usar o GKE com o TPU Cluster Director. Esse recurso está disponível com uma reserva no modo "Toda a capacidade". Ele oferece acesso total à capacidade reservada e visibilidade completa do layout de hardware, uso e integridade da TPU. Para mais informações, consulte Visão geral do modo de capacidade total.

A tabela a seguir compara as opções de consumo de TPU com base em como elas funcionam, nos casos de uso ideais, nas versões e zonas de TPU compatíveis e nos tipos de cota necessários.

Opção de consumo Como funciona Melhor aplicação Versões e zonas de TPU disponíveis Tipo de cota para a API Cloud TPU
Reservas adiantadas por um ano ou mais

Você solicita recursos de TPU com antecedência para um ano ou mais. Esses recursos são reservados para seu uso exclusivo durante esse período.

As reservas oferecem o mais alto nível de garantia de capacidade e um preço menor do que os recursos on demand.

As reservas adiantadas de TPU incluem um desconto por compromisso de uso (CUD). Os CUDs oferecem preços com desconto quando você compra um contrato de compromisso de uso. Para mais informações, consulte Reservas adiantadas por um ano ou mais

 As reservas adiantadas por um ano ou mais são ideais para jobs de treinamento de longa duração e cargas de trabalho de inferência. Todas as versões de TPU: consulte Regiões e zonas de TPU. Cota on demand
Reservas adiantadas por até 90 dias (modo de calendário) (Pré-lançamento)

Você solicita recursos de TPU para um horário de início e uma duração específicos, entre um e 90 dias. Esses recursos são reservados para seu uso exclusivo durante esse período. Para mais informações, consulte Reservas adiantadas por até 90 dias (no modo de calendário)

As reservas oferecem o mais alto nível de garantia de capacidade e um preço menor do que os recursos on demand.

 As reservas adiantadas no modo de calendário são adequadas para cargas de trabalho de treinamento e experimentação que exigem horários de início precisos e têm uma duração definida.

TPU7x (Ironwood) (pré-lançamento) para treinamento e disponibilização: us-central1-c

v6e (Trillium) para treinamento e disponibilização: asia-northeast1-b, us-east5-a

v5p para treinamento e disponibilização: us-east5-a

v5e para treinamento: us-west4-a

v5e para disponibilização: us-central1-a

 Nenhuma cota necessária
Sob demanda

Você solicita recursos de TPU para uso imediato, pelo tempo que precisar.

A opção on demand oferece muita flexibilidade. Os recursos on demand não são interrompidos, mas não há garantia de que haverá recursos de TPU suficientes disponíveis para atender à sua solicitação. On demand é a opção padrão ao criar recursos de TPU. Para mais informações sobre como criar e usar TPUs on demand, consulte Criar VMs de TPU.

 O modelo on demand é adequado para jobs urgentes e cargas de trabalho que exigem um horário de término flexível. Todas as versões de TPU: consulte Regiões e zonas de TPU. Cota on demand
Início flexível (pré-lançamento)

Você solicita recursos de TPU por um período específico, até sete dias, sem reservar capacidade com antecedência.

As VMs de TPU de início flexível são fornecidas de um pool dedicado de capacidade. Por isso, a disponibilidade desses recursos é maior do que a de recursos on demand. Para mais informações, consulte Solicitar VMs de início flexível de TPU.

Para saber como usar VMs de TPU de início flexível com o Google Kubernetes Engine (GKE), consulte Sobre o provisionamento de GPUs e TPUs com o modo de provisionamento de início flexível.

 O início flexível é ideal para experimentos, testes em pequena escala, provisionamento dinâmico de TPUs para cargas de trabalho de inferência, ajuste de modelos e execuções de carga de trabalho que levam menos de sete dias.

TPU7x (Ironwood) (pré-lançamento): us-central1-c (usando apenas o GKE)

v6e (Trillium): asia-northeast1-b, us-east5-a

v5p: us-east5-a

v5e: us-west4-a

 Cota preemptiva
Spot

Você solicita recursos de TPU que podem ser preemptivos.

As VMs spot estão disponíveis a um preço significativamente menor do que os recursos on demand. As VMs spot costumam ser mais fáceis de conseguir do que os recursos on demand, mas podem ser interrompidas (desligadas) a qualquer momento. Não há limite para a duração do ambiente de execução. Para mais informações sobre VMs spot de TPU, consulte Gerenciar VMs spot de TPU.

 A opção Spot é adequada para programar cargas de trabalho de baixa prioridade, como pré-treinamento e ajuste de modelos e jobs de simulação tolerantes a interrupções de disponibilidade. Todas as versões de TPU: consulte Regiões e zonas de TPU. Cota preemptiva

Solicitar cota de TPU

Para usar VMs de TPU, independente da opção de consumo, é necessário ter uma cota on demand ou preemptiva para núcleos ou chips de Cloud TPU. Verifique se você tem cota suficiente para a opção, a versão, o tamanho e a zona da TPU escolhidos. As cotas são específicas para cada versão de TPU e variam para uso on demand e preemptivo. Algumas versões de TPU têm cotas padrão. Para outras, é necessário solicitar cota. Para mais informações, consulte Cotas do Cloud TPU.

Se você usa TPUs com o Google Kubernetes Engine (GKE), precisa da cota da API Compute Engine em vez da cota padrão da API TPU. Para mais informações sobre cotas de TPU no GKE, consulte Verificar se você tem uma cota de TPU.

Escolher a versão da TPU

Selecione a versão da TPU, por exemplo, v5e, v5p, v6e ou TPU7x (Ironwood), com base nas necessidades de treinamento ou inferência do seu modelo. Para mais informações, consulte Versões de TPU.

A seguir