Servicios de almacenamiento

En este documento, se describen los casos de uso y las recomendaciones para los servicios de almacenamiento en cargas de trabajo de inteligencia artificial (IA) y aprendizaje automático (AA).

Casos de uso de almacenamiento

Los servicios de almacenamiento se pueden usar en las siguientes cargas de trabajo de IA y AA:

Cómo preparar y cargar datos para el entrenamiento
Carga de los pesos del modelo para la inferencia
Cómo guardar y restablecer puntos de control del modelo
Carga de imágenes de VM
Datos de Logging
Directorios particulares
Carga de bibliotecas, paquetes y dependencias de la aplicación

Recomendaciones de almacenamiento

Se recomiendan las siguientes soluciones de almacenamiento para optimizar el rendimiento del sistema de IA y AA:

Servicio de almacenamiento	Funciones	Casos de uso
Cloud Storage	Descripción general: Un depósito de objetos de bajo costo, altamente escalable y duradero. Es adecuado para almacenar los vastos conjuntos de datos necesarios para el entrenamiento y los puntos de control del modelo, así como para alojar los modelos finales entrenados. Cloud Storage con Cloud Storage FUSE es la solución de almacenamiento recomendada para la mayoría de los casos de uso de IA y AA, ya que te permite escalar tu almacenamiento de datos con mayor rentabilidad que los servicios de sistemas de archivos. Admite datos de entrenamiento a gran escala (hasta EBs) para clústeres de GPU y TPU. Admite una capacidad de procesamiento alta (hasta 1.25 TB/s de ancho de banda o más). Para maximizar la capacidad de procesamiento en Cloud Storage, solicita más ancho de banda. Gracias a la integración con Cloud Storage FUSE, los buckets de Cloud Storage se pueden activar como sistemas de archivos locales. El controlador CSI de Cloud Storage FUSE también te permite activar buckets como sistemas de archivos locales en Google Kubernetes Engine (GKE) para cargas de trabajo de IA y AA a gran escala. Usa Anywhere Cache para ubicar el almacenamiento en la misma zona que las cargas de trabajo de procesamiento, lo que proporciona mayor capacidad de procesamiento (hasta 2.5 TB/s), menor latencia y flexibilidad de ubicación cuando se usa con un bucket multirregional. Para obtener más información sobre el uso de Cloud Storage FUSE para cargas de trabajo de IA y AA, consulta Optimiza las cargas de trabajo de IA y AA con Cloud Storage FUSE.	Recomendado para estas situaciones: Rentabilidad Procesamiento y preparación de datos Entrenamiento e inferencia de modelos Cómo guardar y restablecer puntos de control del modelo No se recomienda para estas situaciones: Aplicaciones que requieren cumplimiento total con POSIX Directorios particulares
Google Cloud Managed Lustre	Descripción general: Un sistema de archivos paralelos de alto rendimiento y completamente administrado, optimizado para aplicaciones de IA y computación de alto rendimiento (HPC). Adecuado para entornos en los que varios nodos de procesamiento necesitan acceso rápido y constante a datos compartidos para simulaciones, modelado y análisis. Se puede escalar hasta una capacidad de 8 PB y una capacidad de procesamiento de hasta 1 TB/s. Admite miles de IOPS/TiB. Ofrece una latencia ultrabaja inferior a un milisegundo. Tiene compatibilidad completa con POSIX, lo que permite la migración lista para usar de cargas de trabajo de IA locales a Google Cloud. Para obtener más información sobre el uso de Managed Lustre para cargas de trabajo de IA y AA, consulta Optimiza las cargas de trabajo de IA y AA con Google Cloud Managed Lustre.	Recomendado para estas situaciones: Migración de cargas de trabajo de IA y AA a la nube Simulaciones del modelo Entrenamiento e inferencia de modelos Cómo guardar y restablecer puntos de control del modelo Cargas de trabajo con lecturas y escrituras pequeñas frecuentes Directorios particulares No se recomienda para estas situaciones: Cargas de trabajo que necesitan más de 8 PB de datos

Servicio de almacenamiento

Funciones

Casos de uso

Cloud Storage

Descripción general: Un depósito de objetos de bajo costo, altamente escalable y duradero. Es adecuado para almacenar los vastos conjuntos de datos necesarios para el entrenamiento y los puntos de control del modelo, así como para alojar los modelos finales entrenados. Cloud Storage con Cloud Storage FUSE es la solución de almacenamiento recomendada para la mayoría de los casos de uso de IA y AA, ya que te permite escalar tu almacenamiento de datos con mayor rentabilidad que los servicios de sistemas de archivos.

Admite datos de entrenamiento a gran escala (hasta EBs) para clústeres de GPU y TPU.
Admite una capacidad de procesamiento alta (hasta 1.25 TB/s de ancho de banda o más). Para maximizar la capacidad de procesamiento en Cloud Storage, solicita más ancho de banda.
Gracias a la integración con Cloud Storage FUSE, los buckets de Cloud Storage se pueden activar como sistemas de archivos locales. El controlador CSI de Cloud Storage FUSE también te permite activar buckets como sistemas de archivos locales en Google Kubernetes Engine (GKE) para cargas de trabajo de IA y AA a gran escala.
Usa Anywhere Cache para ubicar el almacenamiento en la misma zona que las cargas de trabajo de procesamiento, lo que proporciona mayor capacidad de procesamiento (hasta 2.5 TB/s), menor latencia y flexibilidad de ubicación cuando se usa con un bucket multirregional.
Para obtener más información sobre el uso de Cloud Storage FUSE para cargas de trabajo de IA y AA, consulta Optimiza las cargas de trabajo de IA y AA con Cloud Storage FUSE.

Recomendado para estas situaciones:

Rentabilidad
Procesamiento y preparación de datos
Entrenamiento e inferencia de modelos
Cómo guardar y restablecer puntos de control del modelo

No se recomienda para estas situaciones:

Aplicaciones que requieren cumplimiento total con POSIX
Directorios particulares

Google Cloud Managed Lustre

Descripción general: Un sistema de archivos paralelos de alto rendimiento y completamente administrado, optimizado para aplicaciones de IA y computación de alto rendimiento (HPC). Adecuado para entornos en los que varios nodos de procesamiento necesitan acceso rápido y constante a datos compartidos para simulaciones, modelado y análisis.

Se puede escalar hasta una capacidad de 8 PB y una capacidad de procesamiento de hasta 1 TB/s.
Admite miles de IOPS/TiB.
Ofrece una latencia ultrabaja inferior a un milisegundo.
Tiene compatibilidad completa con POSIX, lo que permite la migración lista para usar de cargas de trabajo de IA locales a Google Cloud.
Para obtener más información sobre el uso de Managed Lustre para cargas de trabajo de IA y AA, consulta Optimiza las cargas de trabajo de IA y AA con Google Cloud Managed Lustre.