Zonas de IA

As zonas de IA são zonas especializadas usadas para cargas de trabalho de treinamento e inferência de inteligência artificial e machine learning (IA e ML). Eles oferecem uma capacidade significativa de aceleradores de ML (GPU e TPU).

Em uma região, as zonas de IA estão localizadas geograficamente longe das zonas padrão (não IA). A figura a seguir mostra um exemplo de uma zona de IA (us-south1-ai1b) localizada mais longe em relação às zonas padrão na região us-south1.

Zona pai

Cada zona de IA está associada a uma zona padrão na região, chamada de zona pai. Uma zona pai é uma zona padrão com o mesmo sufixo da zona de IA. Por exemplo, no diagrama, us-central1-a é a zona pai de us-central1-ai1a. Eles compartilham programações de atualização de software e, às vezes, infraestrutura. Isso significa que qualquer problema de software ou infraestrutura que afete uma zona pai também pode afetar a zona de IA. Ao projetar suas soluções de alta disponibilidade, consulte as considerações sobre alta disponibilidade (HA) para considerar a dependência da zona pai.

Quando usar as zonas de IA

As zonas de IA são otimizadas para cargas de trabalho de IA e ML. Use as orientações a seguir para determinar quais das suas cargas de trabalho são mais adequadas para zonas de IA e quais são melhor atendidas por zonas padrão.

Recomendado para:

  • Treinamento em grande escala: ideal para cargas de trabalho de treinamento em grande escala, como treinamento de modelos de linguagem grandes (LLMs) e modelos de fundação, devido à disponibilidade de um grande número de aceleradores.

  • Treinamento em pequena escala, ajuste, inferência em massa e retreinamento: as zonas de IA funcionam bem para cargas de trabalho que exigem uma capacidade de acelerador substancial.

  • Inferência de ML em tempo real: as zonas de IA são compatíveis com cargas de trabalho de inferência em tempo real. O desempenho depende do design do aplicativo e dos requisitos de latência do modelo, especialmente se a carga de trabalho exigir solicitações de ida e volta para a região principal.

Não recomendado para:

  • Cargas de trabalho que não são de ML: como as zonas de IA não oferecem todos os serviços do Google Cloud localmente, recomendamos executar as cargas de trabalho que não são de ML nas zonas padrão.

Acessar serviços de uma zona de IA

É possível acessar todos os produtos do Google Cloud em uma região Google Cloud na zona de IA dela. No entanto, acessar serviços em uma região Google Cloud de uma zona de IA pode adicionar latência de rede, já que a zona de IA é fisicamente separada dos locais das zonas padrão da região.

Para conferir as zonas de IA no console do Google Cloud , na Google Cloud CLI e na API REST, é necessário ativar a visibilidade das zonas de IA no seu projeto. A visibilidade da zona de IA é separada do controle de acesso e dos limites do Serviço de Política da Organização. Para mais informações, consulte Gerenciar a visibilidade da zona de IA.

Produtos específicos permitem criar ou acessar recursos zonais localmente em uma zona de IA. Para mais informações sobre esses serviços, consulte a tabela a seguir:

Produto Descrição
Google Kubernetes Engine (GKE) Configuração para usar zonas de IA em clusters do GKE, incluindo configuração usando ComputeClasses, provisionamento automático de nós e pools de nós do GKE Standard.

Como usar zonas de IA no GKE
Cloud Storage Configuração do repositório de objetos para cargas de trabalho em zonas de IA, incluindo armazenamento zonal para maximizar o desempenho durante jobs ativos e armazenamento permanente para conjuntos de dados e checkpoints de modelo.

Usar zonas de IA com o Cloud Storage
Compute Engine Métodos para identificar as zonas de IA disponíveis usando o console, a Google Cloud CLI e a API REST, incluindo como filtrar por convenção de nomenclatura, tipo de acelerador ou máquina

Encontrar zonas de IA disponíveis
Google Cloud Managed Lustre Otimize o desempenho de cargas de trabalho de IA e ML implantadas no GKE Standard

Otimize cargas de trabalho de IA e ML com o Google Cloud Managed Lustre

Locais

As zonas de IA estão disponíveis nos seguintes locais:

Zona de IA Local da zona de IA Google Cloud região Local da regiãoGoogle Cloud Zona mãe
europe-west4-ai1a De Kooy, Países Baixos, Europa europe-west4 Eemshaven, Holanda, Europa europe-west4-a
us-south1-ai1b Austin, Texas, América do Norte us-south1 Dallas, Texas, América do Norte us-south1-b
us-central1-ai1a Lincoln, Nebraska, América do Norte us-central1 Council Bluffs, Iowa, América do Norte us-central1-a

Para saber quais tipos de GPU e TPU estão disponíveis nas zonas de IA, consulte:

Como implantar recursos em zonas de IA

As zonas de IA podem ser acessadas pelo console do Google Cloud , pela Google Cloud CLI ou pela REST. No entanto, ao usar o console do Google Cloud para criar as VMs, é necessário selecionar manualmente uma zona de IA. Ela não é selecionada para você, como acontece com as zonas padrão. Para usar zonas de IA com os recursos a seguir, selecione explicitamente uma zona de IA ao configurar esses recursos.

  • Determinados recursos do Compute Engine: as zonas de IA não são selecionadas automaticamente em determinados recursos regionais do Compute Engine, como operações regionais de inserção em massa ou grupos gerenciados de instâncias (MIGs) regionais.

    • Inserção em massa: para incluir zonas de IA em operações regionais de inserção em massa, use o campo locationPolicy.zones[]. O campo locations[] não é compatível com zonas de IA. O exemplo a seguir mostra esse formato para a zona us-south1-ai1b:

      {
  "locationPolicy": {
    "zones": [
      "zones/us-south1-ai1b"
    ]
  }
}

    • MIGs regionais: para criar instâncias em uma zona de IA na região selecionada, especifique-a explicitamente na política de distribuição (distributionPolicy.zones[]) com as outras zonas preferenciais. O exemplo a seguir mostra esse formato para a zona us-south1-ai1b:

      {
  "distributionPolicy": {
    "zones": [
      "zones/us-south1-a",
      "zones/us-south1-b",
      "zones/us-south1-ai1b"
    ]
  }
}

  • Alguns recursos do GKE: as zonas de IA não são selecionadas automaticamente em determinados recursos regionais do GKE, como clusters regionais do GKE. Para mais detalhes sobre o GKE, consulte Como usar zonas de IA no GKE neste documento.

  • Vertex AI: os produtos regionais da Vertex AI baseados no GKE precisam configurar o GKE para incluir zonas de IA em clusters regionais. Não é necessário ativar a Vertex AI. A Vertex AI gerencia essa configuração.

  • API Service Metadata LocationsGoogle Cloud : é necessário ativar a flag --extraLocationTypes ao usar a API locations.list para garantir que as zonas de IA apareçam apenas para quem pretende usá-las.

  • Restrições de carga de trabalho sem acelerador: o Compute Engine limita a criação de VMs somente de CPU em zonas de IA.

Como usar zonas de IA no GKE

Por padrão, o GKE não implanta suas cargas de trabalho em zonas de IA. Para usar uma zona de IA, configure uma das seguintes opções:

  • ComputeClasses: defina a prioridade mais alta para solicitar TPUs on demand em uma zona de IA. As ComputeClasses ajudam a definir uma lista priorizada de configurações de hardware para suas cargas de trabalho. Para ver um exemplo, consulte Sobre ComputeClasses.

  • Provisionamento automático de nós: use um nodeSelector ou nodeAffinity na especificação do pod para instruir o provisionamento automático de nós a criar um pool de nós na zona de IA. Se a carga de trabalho não segmentar explicitamente uma zona de IA, o provisionamento automático de nós vai considerar apenas as zonas padrão ao criar novos pools de nós. Essa configuração garante que as cargas de trabalho que não executam modelos de IA/ML permaneçam em zonas padrão, a menos que você configure de outra forma. Para ver um exemplo de manifesto que usa um nodeSelector, consulte Definir as zonas padrão para nós criados automaticamente.

  • GKE Standard: se você gerencia diretamente seus pools de nós, use uma zona de IA na flag --node-locations ao criar um pool de nós. Confira um exemplo em Implantar cargas de trabalho de TPU no GKE Standard.

Limitações

Os seguintes recursos não estão disponíveis nas zonas de IA:

Considerações de design com zonas de IA

Considere o seguinte ao projetar seus aplicativos para usar zonas de IA.

Considerações sobre alta disponibilidade (HA)

As zonas de IA compartilham lançamentos de software e infraestrutura com as zonas pai. Para garantir alta disponibilidade para suas cargas de trabalho, evite esses padrões de implantação ao selecionar zonas, seja de forma automática ou manual:

  • Evite implantar cargas de trabalho de alta disponibilidade em uma zona de IA e na zona pai dela.

  • Evite implantar cargas de trabalho de alta disponibilidade em duas zonas de IA que compartilham a mesma zona principal.

Práticas recomendadas de armazenamento

Recomendamos uma arquitetura de armazenamento em camadas para equilibrar custo, durabilidade e desempenho:

  1. Camada de armazenamento frio: use buckets regionais do Cloud Storage em zonas padrão para armazenamento persistente e altamente durável dos conjuntos de dados de treinamento e checkpoints de modelo.

  2. Camada de desempenho: use serviços de armazenamento zonal especializados para atuar como um cache de alta velocidade ou um espaço de trabalho temporário. Essa abordagem elimina a latência entre zonas e maximiza o goodput durante jobs ativos.

    Para garantir que as GPUs e TPUs permaneçam totalmente saturadas, maximizando o goodput, provisione sua camada de desempenho na mesma zona de IA que seus recursos de computação.

As seguintes soluções de armazenamento são recomendadas para otimizar o desempenho do sistema de IA e ML com zonas de IA:

Serviço de armazenamento Descrição Casos de uso
Recurso Anywhere Cache do Cloud Storage Um cache de leitura zonal totalmente gerenciado e com suporte de SSD que traz dados lidos com frequência de um bucket para a zona de IA. Recomendado para:
  • Cargas de trabalho com muita leitura
  • Treinamento e disponibilização de modelos de baixa latência
Não recomendado para:
  • Aplicativos que exigem total conformidade com POSIX

Incluir ou excluir zonas de IA

Para incluir ou excluir manualmente zonas de IA de uma lista de zonas, use um filtro:

A seguir