O Cloud Storage oferece várias opções para ajudar você a otimizar o armazenamento de dados para casos de uso que exigem alto desempenho, como inteligência artificial (IA), machine learning (ML) e análises com uso intensivo de dados. Esta página apresenta essas opções e orienta você na seleção de uma opção adequada às necessidades das suas cargas de trabalho.
A família de produtos Rapid do Cloud Storage
O Cloud Storage Rapid é uma família de produtos de alto desempenho no Cloud Storage projetados para eliminar gargalos de dados para cargas de trabalho de IA/ML e análise de dados. À medida que os modelos de IA/ML se tornam mais complexos e os conjuntos de dados atingem escalas de petabytes, o desempenho do armazenamento geralmente se torna o principal gargalo para clusters caros de GPU e TPU. O Cloud Storage Rapid aproveita arquiteturas zonais para aproximar seus dados dos recursos de computação, ajudando seus aceleradores a permanecerem saturados, reduzir os tempos de treinamento e diminuir o custo total de propriedade (TCO) das cargas de trabalho mais exigentes.
O Cloud Storage Rapid inclui o Rapid Bucket e o Rapid Cache.
Armazenar dados na classe de armazenamento Rapid Storage usando o Rapid Bucket
O Rapid Bucket é uma solução de armazenamento de objetos zonais de alto desempenho que permite armazenar dados na classe de armazenamento Rapid definindo uma zona como local de um bucket. O Rapid Bucket permite que você coloque seus dados na mesma zona física dos aceleradores de IA e ajuda a alcançar a menor latência e a maior capacidade de processamento entre outras ofertas de produtos do Cloud Storage. O Rapid Bucket oferece latência de submilisegundos, até 15 TB/s de capacidade de processamento agregada e oferece suporte a até 20 milhões de consultas por segundo (QPS).
O Rapid Bucket oferece suporte a anexos de objetos com estado e streaming, permitindo que os aplicativos gravem dados em objetos atuais em tempo real. Esse recurso permite evitar regravações de objetos caras e permite a visibilidade imediata dos dados, permitindo que os aplicativos de consumidor leiam os dados à medida que eles são gravados.
Melhor usado para: treinamento, checkpoint e veiculação de modelos de IA que exigem latência ultrabaixa e alto desempenho determinístico
Use essa opção se: você quiser alto desempenho dedicado para leituras e gravações
Para saber como criar buckets zonais com o Rapid Bucket, consulte Criar buckets zonais.
Criar caches zonais com o Rapid Cache
O Rapid Cache é um cache de leitura zonal totalmente gerenciado com suporte de SSD que funciona com buckets regionais, birregionais ou multirregionais atuais sem exigir mudanças na API. Um cache oferece capacidade de armazenamento temporário e largura de banda que escalonam escalonar verticalmente ou horizontalmente de acordo com as necessidades de suas cargas de trabalho. Os dados são ingeridos automaticamente no cache do bucket quando são lidos por uma VM que reside na mesma zona do cache.
O Rapid Cache oferece 2,5 TB/s de capacidade de processamento agregada e reduz a latência para leituras mais rápidas, colocando seus dados nas mesmas zonas das VMs. Além de veicular dados mais rapidamente, os dados veiculados de um cache podem gerar taxas de transferência de dados, taxas de recuperação de dados e taxas operacionais mais baixas do que os dados veiculados diretamente de um bucket. Para mais informações, consulte Benefícios para Rapid Cache.
Melhor usado para: treinamento, restaurações de checkpoint e veiculação de modelos de IA que exigem alta largura de banda de leitura de um bucket do Cloud Storage
Use essa opção se: você tiver armazenamento de dados em um bucket do Cloud Storage que quer acelerar
Para saber como usar o Rapid Cache, consulte Criar e gerenciar caches.