Zonas de IA

Este documento oferece uma visão geral das zonas de IA para o Cloud Storage. As zonas de IA são zonas especializadas Google Cloud criadas para oferecer capacidade de computação para cargas de trabalho de inteligência artificial (IA) e machine learning (ML). Elas oferecem uma capacidade significativa de acelerador de ML (GPU e TPU).

As zonas de IA são otimizadas para cargas de trabalho de IA e ML, como:

  • Treinamento em grande escala
  • Treinamento em pequena escala, ajuste, inferência em massa e retreinamento
  • Inferência de ML em tempo real

Para informações básicas sobre zonas de IA, consulte Zonas de IA na documentação do Compute Engine.

Em uma região, as zonas de IA podem estar geograficamente localizadas longe das zonas padrão (não de IA).

As zonas de IA são compatíveis com outros recursos do Cloud Storage e do Google Cloud.

Recomendações de arquitetura de armazenamento

Recomendamos que você use uma arquitetura de armazenamento em camadas para equilibrar custo, durabilidade e desempenho:

  • Camada de armazenamento a frio: use buckets regionais do Cloud Storage em zonas padrão para armazenamento persistente e altamente durável (a "fonte da verdade") dos conjuntos de dados de treinamento e checkpoints de modelo.

  • Camada de desempenho: use serviços de armazenamento zonal especializados para atuar como um cache de alta velocidade ou espaço de trabalho temporário. Essa abordagem elimina a latência entre zonas e maximiza a capacidade de processamento durante jobs ativos.

As seguintes soluções de armazenamento são recomendadas para otimizar a performance do sistema de IA e ML com zonas de IA:

Serviço de armazenamento Descrição Casos de uso
Recurso Anywhere Cache do Cloud Storage

Um cache de leitura zonal totalmente gerenciado com suporte de SSD que traz dados lidos com frequência de um bucket para a zona de IA.

Crie uma instância do Anywhere Cache em uma zona de IA para o bucket de origem regional que contém os conjuntos de dados ou modelos de treinamento que você quer disponibilizar. Quando o job de treinamento lê um arquivo, ele é extraído para o cache rápido na zona. As leituras subsequentes são veiculadas diretamente do cache, ignorando a rede regional. Isso é ideal para os padrões repetitivos de acesso a dados no treinamento de modelos e para a disponibilização de modelos de baixa latência.

Recomendado para:

  • Cargas de trabalho com muita leitura
  • Treinamento e disponibilização de modelos de baixa latência

Não recomendado para:

  • Aplicativos que exigem conformidade total com POSIX

Práticas recomendadas

Siga estas práticas recomendadas de armazenamento ao usar zonas de IA:

  • Provisione sua camada de desempenho na mesma zona de IA que os recursos de computação. A colocação de computação e armazenamento ajuda a garantir que as GPUs e TPUs permaneçam totalmente saturadas, maximizando o "goodput" (taxa de transferência útil).

  • Para o Anywhere Cache, antes de iniciar a época de treinamento principal, faça uma pré-leitura do conjunto de dados para preencher ou aquecer o cache com suporte a SSD.

Zonas de IA disponíveis

A tabela a seguir mostra as zonas de IA e as regiões Google Cloud principais.

Área geográfica Região principal Zona de IA
Estados Unidos us-south1 us-south1-ai1b

Considerações

  • É possível acessar os produtos Google Cloud em uma região Google Cloud na zona de IA da região. No entanto, acessar serviços em uma região Google Cloudde uma zona de IA pode adicionar latência de rede, porque a localização da zona de IA pode estar fisicamente separada das localizações das zonas padrão da região.

  • Recomendamos que você execute cargas de trabalho não relacionadas a ML em zonas padrão, e não em zonas de IA, porque elas não oferecem todos os serviços do Google Cloud localmente.

A seguir