Cloud Storage ofrece una variedad de opciones para ayudarte a optimizar el almacenamiento de datos para casos de uso que requieren un alto rendimiento, como la inteligencia artificial (IA), el aprendizaje automático (AA) y el análisis intensivo de datos. En esta página, se presentan estas opciones y se te guía para que selecciones la que mejor se adapte a las necesidades de tus cargas de trabajo.
La familia de productos de Rapid de Cloud Storage
Cloud Storage Rapid es una familia de productos de alto rendimiento en Cloud Storage diseñados para eliminar los cuellos de botella de datos en tus cargas de trabajo de AA/ML y análisis de datos. A medida que los modelos de AA/IA aumentan en complejidad y los conjuntos de datos alcanzan escalas de petabytes, el rendimiento del almacenamiento suele convertirse en el principal cuello de botella para los costosos clústeres de GPU y TPU. Cloud Storage Rapid aprovecha las arquitecturas zonales para acercar tus datos a tus recursos de procesamiento, lo que ayuda a que tus aceleradores se mantengan saturados, reduce los tiempos de entrenamiento y disminuye el costo total de propiedad (TCO) de tus cargas de trabajo más exigentes.
Cloud Storage Rapid incluye Rapid Bucket y Rapid Cache.
Almacena datos en la clase de almacenamiento Rapid Storage con Rapid Bucket
Rapid Bucket es una solución de almacenamiento de objetos zonal de alto rendimiento que te permite almacenar datos en la clase de almacenamiento Rapid definiendo una zona como la ubicación de un bucket. Rapid Bucket te permite ubicar tus datos en la misma zona física que tus aceleradores de IA y te ayuda a lograr la latencia más baja y la capacidad de procesamiento más alta entre otras ofertas de productos de Cloud Storage. Rapid Bucket ofrece una latencia inferior a un milisegundo, un rendimiento agregado de hasta 15 TB/s y admite hasta 20 millones de consultas por segundo (QPS).
Rapid Bucket admite la transmisión con estado de objetos anexados, lo que permite que las aplicaciones escriban datos en objetos existentes en tiempo real. Esta capacidad te permite evitar reescrituras costosas de objetos y habilita la visibilidad inmediata de los datos, lo que permite que las aplicaciones del consumidor lean los datos a medida que se escriben.
Ideal para: Entrenar, supervisar y publicar modelos de IA que requieren una latencia ultrabaja y un rendimiento determinístico alto
Usa esta opción si: deseas un alto rendimiento exclusivo para las lecturas y escrituras.
Para obtener información sobre cómo crear buckets zonales con Rapid Bucket, consulta Crea buckets zonales.
Crea cachés zonales con Rapid Cache
Rapid Cache es una caché de lectura zonal completamente administrada y respaldada por SSD que funciona con tus buckets regionales, birregionales o multirregionales existentes sin necesidad de realizar cambios en la API. Una caché te brinda capacidad de almacenamiento y ancho de banda temporales que se ajustan automáticamente según las necesidades de tus cargas de trabajo. Los datos se transfieren automáticamente a la caché desde tu bucket cuando una VM que reside en la misma zona que la caché lee los datos.
Rapid Cache proporciona 2.5 TB/s de capacidad de procesamiento agregada y reduce la latencia para lecturas más rápidas, ya que coloca tus datos en las mismas zonas que tus VMs. Además de entregar datos más rápido, los datos que se entregan desde una caché pueden generar tarifas de transferencia de datos, tarifas de recuperación de datos y tarifas operativas más bajas que los datos que se entregan directamente desde un bucket. Para obtener más información, consulta los beneficios de Rapid Cache.
Se usa mejor para: Entrenar, restablecer puntos de control y entregar modelos de IA que requieren un ancho de banda de lectura alto desde un bucket de Cloud Storage existente
Usa esta opción si: Tienes almacenamiento de datos existente en un bucket de Cloud Storage que deseas acelerar.
Para obtener más información sobre cómo usar Rapid Cache, consulta Crea y administra cachés.