Conector para PyTorch

O Cloud Storage Connector for PyTorch é uma ferramenta de código aberto para integração direta entre o Cloud Storage e o PyTorch. Esse conector ajuda a carregar dados de treinamento e gerenciar checkpoints de modelo para cargas de trabalho de inteligência artificial (IA) e machine learning (ML).

Nesta página, descrevemos como instalar e começar a usar o conector do Cloud Storage para PyTorch.

Visão geral

O Connector for PyTorch oferece vantagens para o carregamento de dados no treinamento e para a criação de checkpoints e o carregamento de modelos:

Para o carregamento de dados no treinamento, o Connector for PyTorch oferece as seguintes vantagens:

• O Connector for PyTorch contém otimizações para tornar o treinamento até três vezes mais rápido do que o PyTorch padrão em conjuntos de dados que consistem principalmente em arquivos menores que 1 MB.
• O Connector for PyTorch implementa a primitiva de conjunto de dados do PyTorch, que pode ser usada para ajudar a carregar de forma eficiente dados de treinamento de buckets do Cloud Storage.
• Suporte a conjuntos de dados no estilo de mapa para padrões de acesso a dados aleatórios e conjuntos de dados no estilo iterável para padrões de acesso a dados de streaming.
• A capacidade de transformar os bytes brutos de dados baixados no formato de sua escolha, permitindo que o DataLoader do PyTorch trabalhe de forma flexível com matrizes NumPy ou tensores do PyTorch.

Para checkpointing e carregamento de modelos, o Connector for PyTorch oferece as seguintes vantagens:

• Uma interface de checkpoint para salvar e carregar checkpoints de modelo de maneira conveniente e direta em um bucket do Cloud Storage.
• O Connector for PyTorch é compatível com a criação de checkpoints do PyTorch Lightning usando a implementação DatafluxLightningCheckpoint do CheckpointIO do PyTorch Lightning.
• O Connector for PyTorch fornece implementações de StorageWriter e StorageReader para uso com o checkpoint distribuído do PyTorch. A biblioteca de demonstração do Connector for PyTorch inclui um exemplo de código para usar isso em uma carga de trabalho do PyTorch Lightning FSDP.
• A criação de checkpoints do conector inclui suporte para salvamentos de checkpoint assíncrono com o Lightning e o PyTorch base.

Para mais informações, consulte a página de destino do GitHub do Connector for PyTorch.

Frameworks

O Connector for PyTorch é compatível com as seguintes versões de framework:

• Python 3.8 ou mais recente
• PyTorch Lightning 2.0 ou mais recente
• PyTorch 2.3.1 ou mais recente

Primeiros passos

Para usar o Connector for PyTorch, você precisa ter o seguinte:

• Um bucket do Cloud Storage que contém os dados com que você quer trabalhar.
  • Consulte Uso de objetos compostos para ver outras configurações recomendadas para o bucket.
• As seguintes permissões para trabalhar com os dados armazenados no bucket:
  • storage.objects.create
  • storage.objects.list
  • storage.objects.get
  • storage.objects.delete, se você pretende usar downloads compostos

Essas permissões precisam ser concedidas à conta que o Connector for PyTorch vai usar para autenticação usando um papel do IAM, como Usuário de objetos do Storage.

Instalação

Para instalar o Connector for PyTorch, use o seguinte comando:

pip install gcs-torch-dataflux

Configuração

A autenticação precisa ser fornecida para usar as Application Default Credentials do Connector for PyTorch por um dos seguintes métodos:

• Ao executar o Connector for PyTorch em uma VM do Compute Engine, o Application Default Credentials usa automaticamente a conta de serviço anexada à VM por padrão. Para mais informações, consulte Escolher um método de autenticação de carga de trabalho.
• O Application Default Credentials também pode ser configurado manualmente. É possível fazer login diretamente usando a Google Cloud CLI:

gcloud auth application-default login

Exemplos

Um conjunto completo de exemplos para trabalhar com o Connector for PyTorch pode ser encontrado no diretório de demonstração do repositório do GitHub do Connector for PyTorch. Por exemplo:

• Um notebook Jupyter básico (hospedado pelo Google Colab).
• Um tutorial completo de carga de trabalho de treinamento de segmentação de imagens.
• Um exemplo completo e o notebook para integração do PyTorch Lightning.

Desempenho

O Connector for PyTorch tem otimizações específicas projetadas para cargas de trabalho de ML que podem oferecer um desempenho significativamente melhor do que as chamadas de API diretas para o Cloud Storage:

• Para otimizar o desempenho da listagem, o Connector for PyTorch usa um algoritmo de listagem rápida desenvolvido para equilibrar a carga de trabalho entre processos de listagem de objetos em paralelo.
• Para otimizar o desempenho de download de arquivos pequenos, o Connector for PyTorch usa a operação de composição para concatenar conjuntos de objetos menores em objetos únicos e maiores. Esses objetos compostos são armazenados no mesmo bucket que os objetos de origem e têm o prefixo dataflux-composed-objects/ nos nomes.
• O upload de várias partes para gravação de checkpoint permite uma melhoria de desempenho de até 10 vezes em relação ao upload de checkpoint padrão.

No GitHub, você encontra dados de performance para:

• Treinamento baseado em texto do Lightning
• Treinamento de imagem do Lightning
• Criação de checkpoints de nó único
• Checkpoints em vários nós

Considerações

As seguintes considerações devem ser feitas para cada carga de trabalho.

Operações de listagem rápidas

O algoritmo de listagem rápida do Connector for PyTorch faz com que ele use mais operações de listagem do que uma listagem sequencial comum. As operações de lista são cobradas como operações de classe A.

Uso de objetos compostos

Para evitar cobranças de armazenamento em excesso e cobranças de exclusão antecipada ao trabalhar com objetos compostos temporários, verifique se o bucket usa as seguintes configurações:

• Exclusão reversível desativada
• Desativou o Bloqueio de buckets
• Desativou o controle de versões de objetos
• Standard Storage como a classe de armazenamento para o bucket e os objetos.

Os objetos compostos criados pelo Connector for PyTorch geralmente são removidos automaticamente no final do loop de treinamento, mas, em casos raros, isso pode não acontecer. Para garantir que os objetos sejam removidos do bucket, execute o seguinte comando:

gcloud storage rm gs://<my-bucket>/dataflux-composed-objects/ --recursive

É possível desativar o uso de objetos compostos incluindo disable_compose=True ou max_composite_object_size=0 na parte de configuração do conjunto de dados que você está criando. No entanto, desativar esse comportamento pode fazer com que os loops de treinamento demorem muito mais, especialmente ao trabalhar com arquivos pequenos.

O uso de objetos compostos faz com que o Cloud Storage atinja os limites de QPS e capacidade de processamento em uma escala menor do que o download direto de arquivos. Desative o uso de objetos compostos ao executar em escalas de vários nós altas, em que você atinge os limites de QPS ou de capacidade do projeto, mesmo sem usar objetos compostos.

Erros 429 e desempenho degradado

Ao trabalhar com o Connector for PyTorch, você pode receber erros 429 ou tempos de execução mais lentos do que o esperado. Há vários motivos comuns para isso acontecer:

• Muitos esforços de machine learning optam por um modelo de treinamento altamente distribuído, usando ferramentas como PyTorch Lightning e Ray. Esses modelos são compatíveis com o Connector for PyTorch, mas geralmente podem acionar os limites de taxa do Cloud Storage.
• Os erros 429 acompanhados de mensagens como "Esta carga de trabalho está consumindo muita largura de banda de saída do Cloud Storage" ou "Esta carga de trabalho acionou o limite de largura de banda de saída do Cloud Storage" indicam que a taxa de capacidade de processamento de dados da sua carga de trabalho está excedendo a capacidade máxima do seu projeto do Google Cloud . Para resolver esses problemas, siga estas etapas:
  • Verifique se outras cargas de trabalho no projeto não estão consumindo largura de banda em excesso.
  • Solicite um aumento de cota.
  • Ajuste as opções list_retry_config e download_retry_config na parte de configuração dos conjuntos de dados que você está criando para ajustar o backoff de repetição e maximizar o desempenho.
• Os limites de QPS podem acionar erros 429 com uma mensagem no corpo indicando TooManyRequests, mas geralmente se manifestam em tempos de execução mais lentos do que o esperado. Os gargalos de QPS são mais comuns ao operar em grandes volumes de arquivos pequenos. Os limites de QPS do bucket são escalonados naturalmente ao longo do tempo. Portanto, permitir um período de aquecimento geralmente pode levar a um desempenho mais rápido. Para mais detalhes sobre o desempenho de um bucket de destino, consulte a guia Observabilidade ao visualizar o bucket no console do Google Cloud .
• Se a carga de trabalho estiver falhando com um erro TooManyRequests que inclui a palavra-chave dataflux-composed-objects na mensagem de erro, desativar o uso de objetos compostos é a melhor primeira etapa de solução de problemas. Isso pode reduzir a carga de QPS gerada por operações de composição quando usadas em escala.

Consumo de memória

As gravações e os carregamentos de checkpoints, incluindo modelos finais para inferência, são totalmente armazenados em memória para otimizar o desempenho de upload e download. Cada máquina precisa ter RAM livre suficiente para preparar o checkpoint na memória e aproveitar essas melhorias de desempenho.

Receber suporte

Receba suporte, envie perguntas gerais e solicite novos recursos usando um dos canais de suporteGoogle Cloud oficiais. Também é possível receber suporte registrando problemas no GitHub.

PyTorch, o logotipo do PyTorch e todas as marcas relacionadas são marcas registradas da Linux Foundation.