Cloud Storage ofrece una variedad de opciones para ayudarte a optimizar el almacenamiento de datos para casos de uso que requieren un alto rendimiento, como la inteligencia artificial (IA), el aprendizaje automático (AA) y el análisis de datos intensivo. En esta página, se presentan estas opciones y se te guía para seleccionar una que sea adecuada para las necesidades de tus cargas de trabajo.
La familia de productos Rapid de Cloud Storage
Cloud Storage Rapid es una familia de productos de alto rendimiento en Cloud Storage que están diseñados para eliminar los cuellos de botella de datos para tus cargas de trabajo de IA/AA y análisis de datos. A medida que los modelos de IA/AA aumentan en complejidad y los conjuntos de datos alcanzan escalas de petabytes, el rendimiento del almacenamiento suele convertirse en el cuello de botella principal para los clústeres costosos de GPU y TPU. Cloud Storage Rapid aprovecha las arquitecturas zonales para acercar tus datos a tus recursos de procesamiento, lo que ayuda a que tus aceleradores permanezcan saturados, reduce los tiempos de entrenamiento y disminuye el costo total de propiedad (TCO) para tus cargas de trabajo más exigentes.
Cloud Storage Rapid incluye Rapid Bucket y Rapid Cache.
Almacena datos en la clase de almacenamiento Rapid con Rapid Bucket
Rapid Bucket es una solución de almacenamiento de objetos zonales de alto rendimiento que te permite almacenar datos en la clase de almacenamiento Rapid definiendo una zona como la ubicación de un bucket. Rapid Bucket te permite ubicar tus datos en la misma zona física que tus aceleradores de IA y te ayuda a lograr la latencia más baja y la capacidad de procesamiento más alta entre otras ofertas de productos de Cloud Storage. Rapid Bucket ofrece una latencia inferior a un milisegundo, hasta 15 TB/s de capacidad de procesamiento agregada y admite hasta 20 millones de consultas por segundo (QPS).
Rapid Bucket admite anexos de objetos de transmisión con estado, lo que permite que las aplicaciones escriban datos en objetos existentes en tiempo real. Esta capacidad te permite evitar la reescritura costosa de objetos y habilita la visibilidad inmediata de los datos, lo que permite que las aplicaciones de consumidor lean los datos a medida que se escriben.
Se usa mejor para: entrenamiento, supervisión de puntos de control y entrega de modelos de IA que requieren una latencia muy baja y un rendimiento determinista alto
Usa esta opción si: deseas un alto rendimiento dedicado para las operaciones de lectura y escritura
Para obtener información sobre cómo crear buckets zonales con Rapid Bucket, consulta Crea buckets zonales.
Crea cachés zonales con Rapid Cache
Rapid Cache es una caché de lectura zonal completamente administrada y respaldada por SSD que funciona con tus buckets regionales, birregionales o multirregionales existentes sin requerir cambios en la API. Una caché te brinda capacidad de almacenamiento y ancho de banda temporales que se ajustan automáticamente según las necesidades de tus cargas de trabajo. Los datos se incorporan automáticamente a la caché desde tu bucket cuando una VM que reside en la misma zona que la caché lee los datos.
Rapid Cache proporciona 2.5 TB/s de capacidad de procesamiento agregada y reduce la latencia para lecturas más rápidas al ubicar tus datos en las mismas zonas que tus VMs. Además de entregar datos más rápido, los datos que se entregan desde una caché pueden generar tarifas de transferencia de datos, tarifas de recuperación de datos y tarifas operativas más bajas que los datos que se entregan directamente desde un bucket. Para obtener más información, consulta Beneficios de Rapid Cache.
Se usa mejor para: entrenamiento, restablecimiento de puntos de control y entrega de modelos de IA que requieren un ancho de banda de lectura alto desde un bucket de Cloud Storage existente
Usa esta opción si: tienes almacenamiento de datos existente en un bucket de Cloud Storage que deseas acelerar
Para obtener información sobre cómo usar Rapid Cache, consulta Crea y administra cachés.