Instâncias de TPU em MIGs

Os grupos gerenciados de instâncias (MIGs) automatizam a criação, a configuração e o gerenciamento do ciclo de vida de um conjunto de VMs. Os MIGs oferecem benefícios como alta disponibilidade por meio de recuperação automática e implantações regionais (multizona), escalonamento automático para lidar com cargas variáveis e atualizações graduais simplificadas para aplicativos. Para mais informações, consulte Grupos gerenciados de instâncias.

É possível usar MIGs para criar e gerenciar VMs de TPU para as versões v5p, v6e e TPU7x. É possível criar MIGs com uma única VM de TPU, VMs de TPU independentes (também chamadas de frações de host único) e MIGs com VMs de TPU interconectadas (também chamadas de frações de vários hosts).

Cada fração em um MIG de host único tem no máximo uma VM de TPU. As VMs de TPU no MIG não estão conectadas com links de interconexão entre chips (ICI).

Uma fração de vários hosts contém várias VMs de TPU interconectadas com links de ICI.

MIGs com frações de TPU de host único

Criar um grupo gerenciado de instâncias (MIG) com várias instâncias de TPU independentes é útil para cargas de trabalho que exigem várias VMs de TPU individuais, mas não precisam que elas sejam interconectadas com links de ICI para cargas de trabalho distribuídas. Exemplo:

  • Disponibilização de inferência: cada VM no MIG pode processar solicitações de inferência de forma independente. Com um MIG, é possível escalonar o número de instâncias de exibição com base na demanda e gerenciá-las como um grupo.
  • Tarefas independentes paralelas: um MIG oferece uma maneira de gerenciar muitos jobs de treinamento pequenos e independentes ou outras computações que podem ser executadas em paralelo em VMs de TPU únicas.
  • Gerenciamento: os MIGs oferecem os seguintes recursos:
    • Implantação: defina um modelo de instância uma vez e use o MIG para criar várias VMs de TPU idênticas.
    • Escalonabilidade: ajuste o número de VMs de TPU redimensionando o MIG.
    • Atualizações graduais: atualize o software ou o tipo de máquina em todas as VMs de maneira controlada.
  • Custo-benefício: para tarefas que não exigem toda a potência ou interconectividade de uma fração de TPU grande, usar várias frações de TPU menores e independentes pode ser mais econômico.

Para mais informações, consulte Criar um MIG com frações de TPU de host único.

MIGs com uma fração de vários hosts

Ao contrário dos grupos de frações de TPU independentes, um MIG configurado para uma fração de vários hosts gerencia um conjunto de VMs de TPU que estão em acoplamento rígido por links de ICI. Isso cria uma única fração lógica de TPU.

Benefícios e performance

Os MIGs para frações de TPU de vários hosts fornecem a escala e o desempenho necessários para cargas de trabalho intensivas de machine learning.

  • Treinamento distribuído: o treinamento de modelos de machine learning geralmente requer mais potência de TPU do que uma única VM de TPU pode fornecer. As frações de TPU maiores distribuem a computação entre muitos chips e VMs de TPU, com os links de ICI permitindo uma comunicação rápida entre eles. Isso é crucial para o desempenho do treinamento.
  • Alta largura de banda de interconexão: a rede ICI oferece maior largura de banda e menor latência entre os chips de TPU na fração do que a rede de data center padrão (DCN). Isso é essencial para as operações síncronas comuns no treinamento de modelo grandes.

Operações atômicas de ciclo de vida

Para garantir a integridade da topologia interconectada, o MIG gerencia toda a fração como uma única unidade indivisível durante todo o ciclo de vida.

  • Criação: todas as VMs na fração são provisionadas juntas. Se não houver capacidade suficiente e íntegra interconectada para toda a topologia solicitada, a fração não será criada.
  • Exclusão: o MIG exclui toda a fração como uma unidade.
  • Redimensionamento: o redimensionamento é restrito ao escalonamento de 0 para o tamanho total da fração ou do tamanho total da fração de volta para 0. Não é possível redimensionar parcialmente uma fração de várias VMs.

Requisitos de configuração

A configuração de um MIG de vários hosts requer a definição da topologia de interconexão física e das propriedades de cada instância.

  • Política de carga de trabalho: é preciso especificar uma política de carga de trabalho com o parâmetro accelerator-topology (por exemplo, 4x4, 8x8 ou 4x4x4). Isso configura o MIG para tratar as instâncias como uma única fração interconectada. Para informações sobre topologia, consulte Arquitetura do sistema.
  • Modelo de instância: define propriedades como tipo de máquina, imagem do disco e outras configurações para cada VM na fração.

Disponibilidade Slice e recuperação de falhas

Quando você usa MIGs para criar uma fração de TPU de vários hosts, o comportamento de recuperação de falhas depende do modelo de provisionamento e do modo de reserva usados:

  • Quando um MIG usa reservas sob demanda, de início flexível ou reservas (exceto reservas do modo de capacidade total). Nesse cenário, o Compute Engine gerencia automaticamente o processo de recuperação de frações. Se ocorrer uma falha de host ou ICI, a fração vai passar para o estado REACTIVATING. Todas as VMs na fração passam para o estado REPAIRING, mas não necessariamente todas ao mesmo tempo. Em seguida, o Compute Engine recupera automaticamente a fração reiniciando as VMs juntas em uma capacidade íntegra.

  • Quando um MIG usa o modelo de provisionamento spot. Nesse cenário, você é responsável por gerenciar o processo de recuperação de fatias. Se ocorrer a preempção de VMs spot, o Compute Engine encerrará todas as instâncias na fração. A fração faz a transição para o estado FAILED, e as VMs fazem a transição para o estado TERMINATED. Para se recuperar do estado de falha, é necessário recriar a fração manualmente.

  • Quando um MIG usa reservas no modo de capacidade total. Nesse cenário, você é responsável por gerenciar o processo de recuperação de frações. Se ocorrer uma falha, a fração vai passar para o estado FAILED, e você vai precisar recriar a fração manualmente.

    O comportamento no modo de capacidade total também depende do seguinte:

    • Falha no host ou VM com falha relatada. A VM afetada passa para o estado REPAIRING. Depois que o hardware subjacente é corrigido, a VM volta para o estado RUNNING.
    • Manutenção emergencial programada. Quando você inicia manualmente um evento de manutenção, as VMs fazem a transição do estado RUNNING para REPAIRING. Depois que a manutenção terminar, a VM vai voltar ao estado RUNNING.
    • Falha de ICI. As VMs permanecem no estado RUNNING, mas o estado da fração muda para FAILED.

Para recriar uma fração após a preempção de VMs spot ou uma falha no modo de capacidade total, faça o seguinte:

  • Exclua e recrie o MIG.
  • Redimensione o MIG para 0 e aumente-o para o tamanho necessário.

Recuperação de falhas de uma interrupção de instância

Se você excluir ou interromper uma instância de TPU ou interromper uma instância de dentro do sistema operacional, a fração vai passar para o estado FAILED. Nesse cenário, a fração permanece no estado FAILED até que você a recrie. Para recriar a fração, exclua e recrie o MIG ou redimensione-o para 0 e aumente o tamanho dele.

Para mais informações sobre os estados da fração, consulte Ver o status de uma fração de TPU.

Limitações

As seções a seguir explicam as limitações para criar um MIG com VMs de TPU.

Limitações dos modelos de instância

Os modelos de instância que especificam um tipo de máquina de TPU têm as seguintes limitações:

  • Ao usar o modelo de provisionamento vinculado à reserva, é necessário definir a ação de encerramento da instância como "excluir".

  • As TPUs só podem consumir reservas segmentadas especificamente.

  • Não é possível especificar uma política de posicionamento.

  • Não desative a reinicialização automática nos seguintes casos:

    • Frações de vários hosts que usam modelos de provisionamento padrão, de início flexível ou vinculados à reserva (incluindo o modo de capacidade total).

    • Host único usando o modelo de provisionamento vinculado à reserva no modo de capacidade total.

  • Não ative a reinicialização automática ao usar o modelo de provisionamento spot.

Limitações para MIGs

Os MIGs com TPUs têm as seguintes limitações:

  • Operações de ciclo de vida: não é possível interromper, iniciar, retomar ou suspender instâncias de TPU. Para alterar as configurações que exigem uma reinicialização ou para interromper as cobranças, exclua as instâncias.

  • Distribuição de zona do MIG regional: defina o formato de distribuição de destino como ANY_SINGLE_ZONE.

  • Atualizações de configuração em um MIG:

    • Não é possível atualizar um MIG que forma uma fração de TPU de vários hosts devido à topologia de acelerador definida.
    • É possível atualizar um MIG que forma frações de TPU de host único usando os métodos automáticos ou seletivos. No entanto, as atualizações para a fração de TPU de host único não são compatíveis com a ação de reinicialização (RESTART). Se uma reinicialização for necessária e a ação mais disruptiva permitida for a substituição (REPLACE), o atualizador vai substituir a instância. Caso contrário, a tentativa de atualização vai falhar com um erro.

  • Para um MIG que forma uma fração de TPU de vários hosts, as seguintes limitações também se aplicam:

    • Política de tamanho do destino: defina o modo da política de tamanho do destino como BULK. Depois de definir esse modo, não será possível alterá-lo.

    • Tamanho de destino: no modo em massa, é possível definir o tamanho de destino como 0 ou o número de instâncias necessárias para formar a topologia do acelerador.

    • Política de carga de trabalho: é preciso especificar uma política de carga de trabalho em que a topologia do acelerador esteja definida. Depois de definir a política de carga de trabalho, não é possível alterá-la ou removê-la do MIG.

    • Reparos iniciados pelo MIG: é necessário desativar os reparos iniciados pelo MIG definindo o campo defaultActionOnFailure como DO_NOTHING. Nessa configuração, o MIG não realiza nenhuma ação em uma instância com falha. O Compute Engine recupera automaticamente a instância com falha reiniciando todas as instâncias na mesma fração com capacidade íntegra.

  • Recursos não compatíveis: os MIGs com TPUs não são compatíveis com os seguintes recursos:

A seguir