O Cloud Storage oferece várias opções para ajudar você a otimizar o armazenamento de dados para casos de uso que exigem alto desempenho, como inteligência artificial (IA), machine learning (ML) e análises com uso intenso de dados. Nesta página, apresentamos essas opções e orientamos você na seleção de uma opção adequada às necessidades das suas cargas de trabalho.
A família de produtos Cloud Storage Rapid
O Cloud Storage Rapid é uma família de produtos de alto desempenho no Cloud Storage projetados para eliminar gargalos de dados nas cargas de trabalho de IA/ML e análise de dados. À medida que os modelos de IA/ML se tornam mais complexos e os conjuntos de dados atingem escalas de petabytes, o desempenho do armazenamento geralmente se torna o principal gargalo para clusters caros de GPU e TPU. O Cloud Storage Rapid aproveita arquiteturas zonais para aproximar seus dados dos recursos de computação, ajudando os aceleradores a permanecerem saturados, reduzindo os tempos de treinamento e diminuindo o custo total de propriedade (TCO) das cargas de trabalho mais exigentes.
O Cloud Storage Rapid inclui o Rapid Bucket e o Rapid Cache.
Armazenar dados na classe de armazenamento Rapid Storage usando o Rapid Bucket
O Rapid Bucket é uma solução de repositório de objetos zonal de alto desempenho que permite armazenar dados na Rapid Storage definindo uma zona como o local de um bucket. Com o bucket Rapid, é possível colocar seus dados na mesma zona física que os aceleradores de IA, o que ajuda a alcançar a menor latência e a maior capacidade de processamento entre as outras ofertas de produtos do Cloud Storage. O Rapid Bucket oferece latência de submilissegundos, até 15 TB/s de capacidade de processamento agregada e aceita até 20 milhões de consultas por segundo (QPS).
O Rapid Bucket é compatível com adições de objetos de streaming com estado, permitindo que os aplicativos gravem dados em objetos atuais em tempo real. Esse recurso permite evitar regravações de objetos caras e possibilita a visibilidade imediata dos dados, permitindo que os aplicativos de consumo leiam os dados enquanto eles estão sendo gravados.
Melhor uso: treinamento, checkpoint e disponibilização de modelos de IA que exigem latência ultrabaixa e alto desempenho determinista
Use esta opção se: você quiser alto desempenho dedicado para leituras e gravações.
Para saber como criar buckets zonais com o Rapid Bucket, consulte Criar buckets zonais.
Criar caches zonais com o Rapid Cache
O Rapid Cache é um cache de leitura zonal totalmente gerenciado com suporte de SSD que funciona com seus buckets regionais, birregionais ou multirregionais atuais sem exigir mudanças na API. Um cache oferece capacidade de armazenamento temporário e largura de banda que são escalonadas automaticamente de acordo com as necessidades das suas cargas de trabalho. Os dados são ingeridos automaticamente no cache do bucket quando são lidos por uma VM que reside na mesma zona do cache.
O Rapid Cache oferece 2,5 TB/s de capacidade de processamento agregada e reduz a latência para leituras mais rápidas, colocando seus dados nas mesmas zonas que as VMs. Além de disponibilizar dados mais rapidamente, os dados disponibilizados de um cache podem incorrer em taxas de transferência de dados, recuperação de dados e operacionais mais baixas do que os dados disponibilizados diretamente de um bucket. Para mais informações, consulte Benefícios do Rapid Cache.
Melhor uso: treinamento, restaurações de checkpoint e disponibilização de modelos de IA que exigem alta largura de banda de leitura de um bucket do Cloud Storage atual.
Use esta opção se: você tiver um repositório de dados em um bucket do Cloud Storage que queira acelerar.
Para saber como usar o Rapid Cache, consulte Criar e gerenciar caches.