O Cloud Storage oferece várias opções para ajudar você a otimizar o armazenamento de dados em casos de uso que exigem alto desempenho, como inteligência artificial (IA), machine learning (ML) e análises com uso intensivo de dados. Esta página apresenta essas opções e orienta você na escolha de uma opção adequada para as necessidades das suas cargas de trabalho.
A família de produtos Rapid do Cloud Storage
O Cloud Storage Rapid é uma família de produtos de alta performance no Cloud Storage projetados para eliminar gargalos de dados nas suas cargas de trabalho de IA/ML e análise de dados. À medida que os modelos de IA/ML aumentam em complexidade e os conjuntos de dados atingem escalas de petabytes, o desempenho do armazenamento geralmente se torna o principal gargalo para clusters caros de GPU e TPU. O Cloud Storage Rapid usa arquiteturas zonais para aproximar seus dados dos recursos de computação, ajudando seus aceleradores a permanecerem saturados, reduzindo os tempos de treinamento e diminuindo o custo total de propriedade (TCO) das cargas de trabalho mais exigentes. O Rapid do Cloud Storage inclui o Rapid Bucket e o Anywhere Cache.
Armazenar dados na classe de armazenamento Rapid Storage usando o Rapid Bucket
O Rapid Bucket é uma solução de repositório de objetos zonal de alta performance que permite armazenar dados na classe de armazenamento Rapid definindo uma zona como local de um bucket. Com o Rapid Bucket, é possível alocar seus dados na mesma zona física dos aceleradores de IA e alcançar a menor latência e a maior capacidade de processamento entre outras ofertas de produtos do Cloud Storage. O Rapid Bucket oferece latência inferior a um milissegundo, até 15 TB/s de capacidade de processamento agregada e aceita até 20 milhões de consultas por segundo (QPS).
O Rapid Bucket oferece suporte a anexos de objetos com estado e streaming, permitindo que aplicativos gravem dados em objetos atuais em tempo real. Com esse recurso, você evita reescritas de objetos caras e tem visibilidade imediata dos dados, permitindo que os aplicativos do consumidor leiam os dados à medida que são gravados.
Ideal para: treinamento, checkpoint e disponibilização de modelos de IA que exigem latência ultrabaixa e alto desempenho determinístico
Use essa opção se: quiser alto desempenho dedicado para leituras e gravações.
Para saber como criar buckets zonais com o Rapid Bucket, consulte Criar buckets zonais.
Criar caches zonais com o Anywhere Cache
O Anywhere Cache é um cache de leitura zonal totalmente gerenciado com suporte de SSD que funciona com seus buckets regionais, birregionais ou multirregionais atuais sem exigir mudanças na API. Um cache oferece capacidade de armazenamento temporário e largura de banda que escalonam verticalmente ou diminuem automaticamente de acordo com as necessidades das suas cargas de trabalho. Os dados são ingeridos automaticamente no cache do seu bucket quando são lidos por uma VM que reside na mesma zona do cache.
O Anywhere Cache oferece 2,5 TB/s de capacidade de processamento agregada e reduz a latência para leituras mais rápidas ao colocar seus dados nas mesmas zonas que as VMs. Além de veicular dados mais rapidamente, os dados veiculados de um cache podem gerar taxas de transferência de dados, recuperação e operacionais menores do que os dados veiculados diretamente de um bucket. Para mais informações, consulte Benefícios do Anywhere Cache.
Ideal para: treinamento, restaurações de checkpoint e disponibilização de modelos de IA que exigem alta largura de banda de leitura de um bucket do Cloud Storage.
Use esta opção se: você tiver armazenamento de dados em um bucket do Cloud Storage que quer acelerar
Para saber como usar o Anywhere Cache, consulte Criar e gerenciar caches.