Sobre políticas de carga de trabalho em MIGs

Este documento explica os requisitos e as limitações que você aplica ao usar políticas de carga de trabalho com grupos gerenciados de instâncias (MIGs). Por padrão, você gerencia o local das instâncias do Compute Engine apenas especificando as zonas delas. As políticas de carga de trabalho permitem definir o posicionamento físico e a topologia das instâncias de computação em uma zona. Essa abordagem ajuda você, por exemplo, a minimizar a latência de rede nas instâncias de computação, colocando-as mais próximas umas das outras.

Só é possível aplicar políticas de carga de trabalho a MIGs que usam instâncias A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPUs), H4D ou TPU (TPU7x, v6e ou v5p). Se você usar instâncias A4X Max ou A4X ou criar um MIG com uma fração de TPU de vários hosts, uma política de carga de trabalho será necessária, a menos que você crie uma única instância de computação para fins de teste. Para as outras séries de máquinas compatíveis, as políticas de carga de trabalho são opcionais.

Para controlar o posicionamento de instâncias de computação que usam outras séries de máquinas, use políticas de posicionamento.

Entender as políticas de carga de trabalho

As seções a seguir descrevem casos de uso de políticas de carga de trabalho e as propriedades que você especifica ao criar políticas de carga de trabalho.

Gerenciar o posicionamento e a topologia da instância de computação

Depois de criar uma política de carga de trabalho e aplicá-la a um MIG, as políticas de carga de trabalho ajudam você a:

  • Criar instâncias de computação próximas umas das outras: se a capacidade estiver disponível, o Compute Engine criará instâncias de computação próximas umas das outras. Caso contrário, o Compute Engine criará apenas algumas ou nenhuma das instâncias de computação solicitadas.

  • Ter visibilidade da topologia da instância de computação: depois de aplicar uma política de carga de trabalho com um tipo de alta capacidade de processamento (HIGH_THROUGHPUT) a um MIG, e o MIG criar instâncias de computação, você poderá conferir a posição das instâncias de computação em relação umas às outras. Essas informações ajudam a minimizar a latência de rede e solucionar erros. Para mais informações, consulte Conferir a topologia da instância do Compute Engine.

É possível aplicar a mesma política de carga de trabalho a vários MIGs. Quando você faz isso, o Compute Engine aplica as regras de posicionamento a cada MIG de forma independente.

A seção a seguir descreve as propriedades que você precisa especificar ao criar políticas de carga de trabalho.

Configurar propriedades da política de carga de trabalho

Ao criar uma política de carga de trabalho, você precisa especificar as seguintes propriedades:

  • Tipo de carga de trabalho (type): esse campo define a meta de alto nível do cluster. Só é possível especificar HIGH_THROUGHPUT, que instrui o Compute Engine a colocar instâncias de computação o mais próximas possível para acelerar a comunicação.

  • Com base na série de máquinas que as instâncias de computação no MIG usam, você pode especificar uma das seguintes propriedades:

    • Topologia do acelerador (acceleratorTopology): essa propriedade ajuda a alcançar alto desempenho para cargas de trabalho distribuídas que são executadas em várias instâncias A4X Max ou A4X ou frações de TPU de vários hosts que usam uma configuração de rede interaceleradora especializada. Para mais informações, consulte Propriedade de topologia do acelerador.

    • Distância máxima da topologia (maxTopologyDistance): essa propriedade define o limite físico mais rigoroso para criar instâncias A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) ou H4D, como o mesmo bloco ou sub-bloco. Se o Compute Engine não puder atender a esse limite rigoroso devido a erros de disponibilidade de recursos, ele criará apenas parte ou nenhuma das instâncias de computação solicitadas. Para mais informações, consulte Propriedade de distância máxima da topologia.

Propriedade de topologia do acelerador

Para alcançar um desempenho de rede não bloqueador em grande escala, o Compute Engine organiza instâncias A4X Max e A4X em uma hierarquia física de blocos e sub-blocos.

Para criar um MIG com instâncias A4X Max ou A4X ou frações de TPU de vários hosts, é necessário aplicar uma política de carga de trabalho ao MIG que especifique a propriedade de topologia do acelerador (acceleratorTopology). Essa propriedade define a configuração de rede física para uma fração de instâncias de computação. Uma fração atua como um único acelerador massivo que oferece capacidade máxima para cargas de trabalho de IA ou ML distribuídas.

A tabela a seguir mostra os valores de topologia do acelerador para A4X Max e A4X. Para mais informações sobre valores de topologia para frações de TPU de vários hosts, consulte Topologia da TPU.

Valor da topologia do acelerador Descrição Série de máquinas compatível Número máximo de instâncias de computação
1x72 O Compute Engine organiza instâncias de computação em sub-blocos densamente alocados de 18 instâncias de computação, totalizando 72 GPUs. Como cada sub-bloco exige seu próprio MIG, é possível criar um máximo de 18 instâncias de computação por MIG. Um bloco completo consiste em 25 MIGs, totalizando 450 instâncias de computação. A4X Max e A4X 18

Para mais informações sobre instâncias A4X Max e A4X, consulte As séries de máquinas A4X Max e A4X.

Propriedade de distância máxima da topologia

Ao criar e aplicar uma política de carga de trabalho a um MIG, o Compute Engine faz o possível para criar instâncias de computação próximas umas das outras. Se você precisar de compactação máxima em uma zona, recomendamos que especifique a propriedade de distância máxima da topologia (maxTopologyDistance). Um valor de distância máxima da topologia especifica a criação de instâncias A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) ou H4D no mesmo cluster, bloco ou sub-bloco.

A tabela a seguir mostra os valores máximos de distância da topologia e as séries de máquinas compatíveis:

Valor máximo de distância da topologia Descrição Série de máquinas compatível Número máximo de instâncias de computação
Não especificado (não recomendado) O Compute Engine faz o possível para colocar as instâncias de computação o mais próximas possível, mas sem garantia de distância máxima entre as instâncias de computação em uma zona. A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) e H4D 1.500
CLUSTER O Compute Engine cria instâncias de computação em blocos adjacentes em um cluster. A4 e H4D 1.500
BLOCK O Compute Engine cria instâncias de computação no mesmo bloco. A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) ou H4D
  • Para A4 ou H4D: 150
  • Para A3 Ultra, A3 Mega ou A3 High (8 GPUs): 256
SUBBLOCK O Compute Engine cria instâncias de computação no mesmo sub-bloco, minimizando a latência de rede o máximo possível. A4, A3 Ultra e H4D 22

Preços

Não há custos extras associados à criação, exclusão ou aplicação de políticas de carga de trabalho a um MIG.

Série de máquinas compatível

Só é possível aplicar políticas de carga de trabalho a MIGs com instâncias de computação que usam as seguintes combinações de séries de máquinas e modelos de provisionamento:

Série de máquina Início flexível Spot Vinculada à reserva Padrão
A4X Max Não Não Sim Não
A4X Não Não Sim Não
A4 Sim Sim Sim Não
A3 Ultra Sim Sim Sim Não
A3 Mega Não Sim Sim Não
A3 High (8 GPUs) Não Sim Sim Não
H4D Sim Sim Sim Não
TPU7x Sim Sim Sim Sim
TPU v6e Sim Sim Sim Sim
TPU v5p Sim Sim Sim Sim

Limitações

Para políticas de carga de trabalho em MIGs, as seguintes limitações se aplicam:

  • Só é possível aplicar uma política de carga de trabalho a um MIG ou mudar a política de carga de trabalho dele se não houver instâncias de computação no MIG.

  • Só é possível aplicar políticas de carga de trabalho a MIGs regionais se eles usarem os seguintes formatos de destino de distribuição:

    • Para MIGs com um tamanho de destino: ANY ou ANY_SINGLE_ZONE

    • Para solicitações de redimensionamento de MIG: ANY_SINGLE_ZONE

  • Não é possível atualizar uma política de carga de trabalho depois de criá-la.

  • Não é possível configurar um segundo modelo de instância se o MIG usar uma política de carga de trabalho.

  • Não é possível usar políticas de carga de trabalho com políticas de posicionamento.

A seguir