Modos de capacidade da TPU

As TPUs oferecem dois modos de capacidade: modo de capacidade gerenciada e modo de capacidade total. Cada modo define como a manutenção de hardware e os erros de host são processados, além do nível de visibilidade e controle sobre a topologia de hardware da TPU.

Visão geral dos modos de capacidade da TPU

A tabela a seguir resume as principais diferenças entre o modo de capacidade gerenciada e o modo de capacidade total:

Modo de capacidade gerenciada Modo de capacidade total
Acesso à capacidade O Google gerencia a alocação de capacidade e a recuperação de hosts em toda a infraestrutura disponível. 100% da capacidade reservada está acessível para cargas de trabalho. Você é responsável por gerenciar a capacidade extra para recuperação de falhas. É possível segmentar blocos ou sub-blocos específicos para um posicionamento preciso da carga de trabalho com reconhecimento de topologia.
Visibilidade da topologia de hardware O Compute Engine abstrai a topologia física. Visibilidade total da topologia e da utilização de cluster, bloco, subbloco e host.
Recuperação de falhas O Compute Engine detecta automaticamente as frações de TPU com falha e as reinicia em hardware íntegro. O Google detecta e corrige automaticamente hardware com falhas. Você é responsável por monitorar a integridade da fração da TPU e reagendar as frações não íntegras para um hardware sobressalente íntegro que você reservou.
Controle de manutenção O Compute Engine programa e gerencia eventos de manutenção. Você pode iniciar a manutenção antes do horário programado. Você tem controle granular para programar e iniciar a manutenção no nível de reserva, bloco ou sub-bloco.
Versões de TPU disponíveis Todas as versões de TPU. TPU v6e (Trillium) e TPU7x (Ironwood)
Opções de consumo aceitas Todas as opções de consumo. Você precisa ter uma reserva adiantada com um tamanho de capacidade mínima por um ano ou mais. Não é possível fazer reservas adiantadas no modo de calendário. Entre em contato com a Google Cloud equipe de conta para saber mais detalhes e pedir uma reserva no modo "Toda a capacidade".

Modo de capacidade gerenciada

Por padrão, a capacidade da TPU opera no modo de capacidade gerenciada. Nesse modo, o Compute Engine detecta automaticamente falhas de hardware e substitui as instâncias de TPU afetadas para garantir que as cargas de trabalho possam ser reiniciadas em hardware íntegro.

O modo de capacidade gerenciada tem os seguintes recursos:

  • Recuperação automática de instâncias: para opções de consumo de instâncias on demand, de início flexível e de reserva, o Compute Engine detecta automaticamente falhas de hardware e substitui as instâncias de TPU afetadas.
  • Gerenciamento simplificado: não é necessária intervenção manual para operações de manutenção ou reparo do host.

Modo de capacidade total

Todos os modos de capacidade foram projetados para oferecer controle direto, com base em reservas, sobre os recursos de TPU. No modo "Toda a capacidade", você tem acesso a 100% da capacidade reservada. Você é responsável por gerenciar a recuperação de frações de TPU usando capacidade sobressalente suficiente e por programar eventos de manutenção.

Todos os modos de capacidade têm os seguintes recursos:

  • Alocação de capacidade total: acesse toda a capacidade reservada sem restrições, incluindo qualquer capacidade extra alocada para recuperação de falhas ou picos de carga de trabalho.
  • Posicionamento com reconhecimento de topologia: tenha visibilidade total da topologia de cluster, bloco, sub-bloco e host para otimizar o posicionamento da carga de trabalho.
  • Controle de manutenção avançado: programe e acione eventos de manutenção no nível da reserva, do bloco ou do sub-bloco.
  • Relatar e consertar: informe sobre hardware de baixa performance para conserto.

Entre em contato com sua equipe de conta do Google Cloud para pedir uma reserva no modo "Toda a capacidade". Para mais informações, consulte Visão geral do modo de capacidade total.

A seguir