Zonas de IA

Este documento oferece uma visão geral das zonas de IA para o Cloud Storage. As zonas de IA são zonas especializadas Google Cloud projetadas para oferecer capacidade de computação para cargas de trabalho de inteligência artificial (IA) e machine learning (ML). Elas oferecem capacidade significativa de acelerador de ML (GPU e TPU).

As zonas de IA são otimizadas para cargas de trabalho de IA e ML, como as seguintes:

  • Treinamento em grande escala
  • Treinamento em pequena escala, ajuste fino, inferência em massa e retreinamento
  • Inferência de ML em tempo real

Para informações básicas sobre zonas de IA, consulte Zonas de IA na documentação do Compute Engine.

Em uma região, as zonas de IA podem estar geograficamente localizadas longe das zonas padrão (não de IA).

As zonas de IA são compatíveis com outros recursos do Cloud Storage e Google Cloud recursos.

Recomendações de arquitetura de armazenamento

Recomendamos o uso de uma arquitetura de armazenamento em camadas para equilibrar custo, durabilidade e desempenho:

  • Camada de armazenamento de acesso raro: use buckets regionais do Cloud Storage em zonas padrão para armazenamento persistente e altamente durável (a "fonte da verdade") dos conjuntos de dados de treinamento e checkpoints de modelo.

  • Camada de desempenho: use serviços de armazenamento zonais especializados para atuar como um cache de alta velocidade ou espaço de trabalho temporário. Essa abordagem elimina a latência entre zonas e maximiza a capacidade de processamento durante jobs ativos.

As seguintes soluções de armazenamento são recomendadas para otimizar o desempenho do sistema de IA e ML com zonas de IA:

Serviço de armazenamento Descrição Casos de uso
Recurso Rapid Cache feature do Cloud Storage

Um cache de leitura zonal totalmente gerenciado e com suporte a SSD que traz dados lidos com frequência de um bucket para a zona de IA.

Crie uma instância do Rapid Cache em uma zona de IA para o bucket de origem regional que contém os conjuntos de dados de treinamento ou modelos que você quer disponibilizar. Quando o job de treinamento lê um arquivo, ele é extraído para o cache rápido na zona. As leituras subsequentes são disponibilizadas diretamente do cache, ignorando a rede regional. Isso é ideal para os padrões de acesso aos dados repetitivos no treinamento de modelo e para a disponibilização do modelo de baixa latência.

Recomendado para:

  • Cargas de trabalho com muita leitura
  • Treinamento e disponibilização de modelos de baixa latência

Não recomendado para:

  • Aplicativos que exigem conformidade total com POSIX

Práticas recomendadas

Siga estas práticas recomendadas para armazenamento ao usar zonas de IA:

  • Provisione sua camada de desempenho na mesma zona de IA que os recursos de computação. A colocalização de computação e armazenamento ajuda a garantir que GPUs e TPUs permaneçam totalmente saturadas, maximizando o "goodput" (capacidade de processamento útil).

  • Para o Rapid Cache, antes de iniciar a época de treinamento principal, faça uma pré-leitura do conjunto de dados para preencher ou aquecer o cache com suporte a SSD.

Zonas de IA disponíveis

A tabela a seguir mostra as zonas de IA e as regiões mãe Google Cloud.

Área geográfica Região mãe Zona de IA
Europa europe-west4 europe-west4-ai1a
Estados Unidos us-central1 us-central1-ai1a
Estados Unidos us-south1 us-south1-ai1b

Considerações

  • É possível acessar Google Cloud produtos em uma Google Cloud região na zona de IA dela. No entanto, o acesso a serviços em uma Google Cloud região de uma zona de IA pode adicionar latência de rede, porque o local da IA zona pode ser fisicamente separado dos locais das zonas padrão da região.

  • Recomendamos que você execute cargas de trabalho não relacionadas a ML em zonas padrão, não em zonas de IA, porque as zonas de IA não oferecem todos os serviços localmente Google Cloud .

A seguir