O Cloud Storage oferece várias opções para ajudar você a otimizar o armazenamento de dados para casos de uso que exigem alto desempenho, como inteligência artificial (IA), machine learning (ML) e análises com muitos dados. Esta página apresenta essas opções e orienta você na seleção de uma opção adequada às necessidades das suas cargas de trabalho.
Família de produtos do Cloud Storage Rapid
O Cloud Storage Rapid é uma família de produtos de alta performance no Cloud Storage projetados para eliminar gargalos de dados nas cargas de trabalho de IA/ML e análise de dados. À medida que os modelos de IA/ML se tornam mais complexos e os conjuntos de dados atingem a escala de petabytes, a performance de armazenamento geralmente se torna o principal gargalo para clusters caros de GPU e TPU. O Cloud Storage Rapid aproveita arquiteturas zonais para aproximar os dados dos recursos de computação, ajudando os aceleradores a permanecerem saturados, reduzindo os tempos de treinamento e diminuindo o custo total de propriedade (TCO) das cargas de trabalho mais exigentes.
O Cloud Storage Rapid inclui o Rapid Bucket e o Rapid Cache.
Armazenar dados na classe de armazenamento Rapid Storage usando o Rapid Bucket
O Rapid Bucket é uma solução de repositório de objetos zonais de alta performance que permite armazenar dados na Rapid Storage definindo uma zona como local de um bucket. O Rapid Bucket permite que você coloque os dados na mesma zona física dos aceleradores de IA e ajuda a alcançar a menor latência e a maior capacidade de processamento entre outras ofertas de produtos do Cloud Storage. O Rapid Bucket oferece latência abaixo de um milissegundo, capacidade de processamento agregada de até 15 TB/s e oferece suporte a até 20 milhões de consultas por segundo (QPS).
O Rapid Bucket oferece suporte a anexos de objetos com estado e streaming, permitindo que os aplicativos gravem dados em objetos atuais em tempo real. Esse recurso permite evitar regravações de objetos caras e oferece visibilidade imediata dos dados, permitindo que os aplicativos de consumidor leiam os dados à medida que são gravados.
Melhor usado para: treinamento, checkpoints e disponibilização de modelos de IA que exigem latência ultrabaixa e alta performance determinística
Use essa opção se: você quiser alta performance dedicada para leituras e gravações
Para saber como criar buckets zonais com o Rapid Bucket, consulte Criar buckets zonais.
Criar caches zonais com o Rapid Cache
O Rapid Cache é um cache de leitura zonal totalmente gerenciado e com suporte de SSD que funciona com buckets regionais, birregionais ou multirregionais atuais sem exigir mudanças na API. Um cache oferece capacidade de armazenamento temporária e largura de banda que são escalonar verticalmente ou para baixo de acordo com as necessidades de suas cargas de trabalho. Os dados são ingeridos automaticamente no cache do bucket quando são lidos por uma VM que reside na mesma zona do cache.
O Rapid Cache oferece 2,5 TB/s de capacidade de processamento agregada e reduz a latência para leituras mais rápidas, colocando os dados nas mesmas zonas das VMs. Além de disponibilizar dados mais rapidamente, os dados disponibilizados de um cache podem gerar taxas de transferência de dados, taxas de recuperação de dados e taxas operacionais mais baixas do que os dados disponibilizados diretamente de um bucket. Para mais informações, consulte Benefícios para Rapid Cache.
Melhor usado para: treinamento, restaurações de checkpoints e disponibilização de modelos de IA que exigem alta largura de banda de leitura de um bucket do Cloud Storage
Use essa opção se: você tiver repositório de dados em um bucket do Cloud Storage que quer acelerar
Para saber como usar o Rapid Cache, consulte Criar e gerenciar caches.