Cloud Storage ofrece una variedad de opciones para ayudarte a optimizar el almacenamiento de datos para casos de uso que requieren un alto rendimiento, como la inteligencia artificial (IA), el aprendizaje automático (AA) y el análisis intensivo de datos. En esta página, se presentan estas opciones y se te guía para que selecciones la que sea adecuada para las necesidades de tus cargas de trabajo.
La familia de productos de Rapid de Cloud Storage
Cloud Storage Rapid es una familia de productos de alto rendimiento en Cloud Storage diseñados para eliminar los cuellos de botella de datos en tus cargas de trabajo de AA/ML y análisis de datos. A medida que los modelos de AA/IA aumentan en complejidad y los conjuntos de datos alcanzan escalas de petabytes, el rendimiento del almacenamiento suele convertirse en el principal cuello de botella para los costosos clústeres de GPU y TPU. Cloud Storage Rapid aprovecha las arquitecturas zonales para acercar tus datos a tus recursos de procesamiento, lo que ayuda a que tus aceleradores se mantengan saturados, reduce los tiempos de entrenamiento y disminuye el costo total de propiedad (TCO) de tus cargas de trabajo más exigentes. Rapid de Cloud Storage incluye Rapid Bucket y Anywhere Cache.
Almacena datos en la clase de almacenamiento Rapid con Rapid Bucket
Rapid Bucket es una solución de almacenamiento de objetos zonal de alto rendimiento que te permite almacenar datos en la clase de almacenamiento Rapid definiendo una zona como la ubicación de un bucket. Rapid Bucket te permite ubicar tus datos en la misma zona física que tus aceleradores de IA y lograr la latencia más baja y la capacidad de procesamiento más alta entre otras ofertas de productos de Cloud Storage. Rapid Bucket ofrece una latencia inferior a un milisegundo, una capacidad de procesamiento agregada de hasta 15 TB/s y admite hasta 20 millones de consultas por segundo (QPS).
Rapid Bucket admite la adición de objetos con estado y de transmisión, lo que permite que las aplicaciones escriban datos en objetos existentes en tiempo real. Esta capacidad te permite evitar reescrituras costosas de objetos y habilita la visibilidad inmediata de los datos, lo que permite que las aplicaciones para consumidores lean los datos a medida que se escriben.
Ideal para: Entrenar, supervisar y publicar modelos de IA que requieren una latencia ultrabaja y un rendimiento determinístico alto
Usa esta opción si: deseas un alto rendimiento exclusivo para las lecturas y escrituras.
Para obtener información sobre cómo crear buckets zonales con Rapid Bucket, consulta Crea buckets zonales.
Crea cachés zonales con Anywhere Cache
Anywhere Cache es una caché de lectura zonal respaldada por SSD y completamente administrada que funciona con tus buckets regionales, birregionales o multirregionales existentes sin necesidad de realizar cambios en la API. Una caché te brinda capacidad de almacenamiento y ancho de banda temporales que se ajustan automáticamente según las necesidades de tus cargas de trabajo. Los datos se transfieren automáticamente a la caché desde tu bucket cuando una VM que reside en la misma zona que la caché lee los datos.
Anywhere Cache proporciona 2.5 TB/s de capacidad de procesamiento agregada y reduce la latencia para lecturas más rápidas, ya que coloca tus datos en las mismas zonas que tus VMs. Además de entregar datos más rápido, los datos que se entregan desde una caché pueden generar tarifas de transferencia de datos, tarifas de recuperación de datos y tarifas operativas más bajas que los datos que se entregan directamente desde un bucket. Para obtener más información, consulta los beneficios de la caché de Anywhere.
Se usa mejor para: Entrenar y restablecer puntos de control, y entregar modelos de IA que requieren un gran ancho de banda de lectura desde un bucket de Cloud Storage existente
Usa esta opción si: Tienes almacenamiento de datos existente en un bucket de Cloud Storage que deseas acelerar.
Para obtener más información sobre cómo usar Anywhere Cache, consulta Crea y administra cachés.