En este documento, se proporciona una descripción general de las zonas de IA para Cloud Storage. Las zonas de IA son zonas Google Cloud especializadas diseñadas para ofrecer capacidad de procesamiento para cargas de trabajo de inteligencia artificial (IA) y aprendizaje automático (AA). Proporcionan una capacidad significativa de aceleradores de AA (GPU y TPU).
Las zonas de IA están optimizadas para cargas de trabajo de IA y AA, como las siguientes:
- Entrenamiento a gran escala
- Entrenamiento, ajuste, inferencia masiva y reentrenamiento a pequeña escala
- Inferencia de AA en tiempo real
Para obtener información general sobre las zonas de IA, consulta Zonas de IA en la documentación de Compute Engine.
Dentro de una región, es posible que las zonas de IA se encuentren geográficamente lejos de las zonas estándar (sin IA).
Las zonas de IA son compatibles con otras funciones de Cloud Storage y Google Cloud.
Recomendaciones de arquitectura de almacenamiento
Te recomendamos que uses una arquitectura de almacenamiento por niveles para equilibrar el costo, la durabilidad y el rendimiento:
Capa de almacenamiento en frío: Usa buckets regionales de Cloud Storage en zonas estándar para el almacenamiento persistente y altamente duradero (la "fuente de verdad") de tus conjuntos de datos de entrenamiento y puntos de control del modelo.
Capa de rendimiento: Usa servicios de almacenamiento zonales especializados para actuar como una caché de alta velocidad o un espacio provisorio temporal. Este enfoque elimina la latencia entre zonas y maximiza la capacidad de procesamiento durante los trabajos activos.
Se recomiendan las siguientes soluciones de almacenamiento para optimizar el rendimiento del sistema de IA y AA con zonas de IA:
| Servicio o producto de almacenamiento | Descripción | Casos de uso |
|---|---|---|
| Producto Rapid Cache de Cloud Storage |
Es una caché de lectura zonal completamente administrada y respaldada por SSD que lleva los datos que se leen con frecuencia desde un bucket a la zona de IA. Crea una instancia de Rapid Cache en una zona de IA para el bucket de origen regional que contiene los conjuntos de datos de entrenamiento o los modelos que deseas publicar. Cuando tu trabajo de entrenamiento lee un archivo, este se extrae a la caché rápida dentro de la zona. Las lecturas posteriores se entregan directamente desde la caché, lo que omite la red regional. Es ideal para los patrones de acceso a datos repetitivos en el entrenamiento de modelos y para la entrega de modelos de baja latencia. |
Casos de uso recomendados:
|
| Producto Rapid Bucket de Cloud Storage |
Es una capacidad de alto rendimiento que te permite ubicar buckets en zonas y usar la clase de almacenamiento Rapid Storage. Optimizadas para cargas de trabajo con uso intensivo de E/S y diseñadas específicamente para aplicaciones de IA/AA que requieren colocación conjunta con los datos a los que necesitan acceder. Para optimizar el almacenamiento de datos para cargas de trabajo que requieren baja latencia y alta capacidad de procesamiento de datos, crea un bucket zonal que use Rapid Storage y, luego, conecta el bucket como un directorio en tu máquina virtual con Cloud Storage FUSE. Luego, puedes configurar tu aplicación para almacenar datos en el bucket zonal o acceder a ellos a través del punto de activación del bucket. Por ejemplo, para almacenar puntos de control del modelo en tu bucket zonal, configura el directorio de puntos de control en el punto de activación de tu código de entrenamiento. Para la resiliencia regional, puedes crear copias de seguridad de tus puntos de control en buckets regionales, multirregionales o birregionales. Usa el Servicio de transferencia de almacenamiento para transferir datos de un bucket zonal a un bucket en una ubicación diferente. Usa la Administración del ciclo de vida de los objetos para borrar los datos después de un período determinado. |
Casos de uso recomendados:
|
Prácticas recomendadas
Sigue estas prácticas recomendadas para el almacenamiento cuando uses zonas de IA:
Aprovisiona tu capa de rendimiento en la misma zona de IA que tus recursos de procesamiento. La colocación conjunta del procesamiento y el almacenamiento ayuda a garantizar que las GPU y las TPU permanezcan completamente saturadas, lo que maximiza el "goodput" (capacidad de procesamiento útil).
En el caso de Rapid Cache, antes de comenzar la época de entrenamiento principal, realiza una lectura previa de tu conjunto de datos para propagar o calentar la caché respaldada por SSD.
Zonas de IA disponibles
En la siguiente tabla, se muestran las zonas de IA y sus regiones Google Cloudprincipales.
| Área geográfica | Región principal | Zona de IA |
|---|---|---|
| Europa | europe-west4 |
europe-west4-ai1a |
| Estados Unidos | us-central1 |
us-central1-ai1a |
| Estados Unidos | us-south1 |
us-south1-ai1b |
Consideraciones
Puedes acceder a los productos de Google Cloud en una región Google Cloud desde la zona de IA de la región. Sin embargo, acceder a los servicios en una región Google Clouddesde una zona de IA puede agregar latencia de red, ya que la ubicación de la zona de IA puede estar físicamente separada de las ubicaciones de las zonas estándar de la región.
Te recomendamos que ejecutes cargas de trabajo que no sean de AA en zonas estándar, no en zonas de AA, ya que las zonas de AA no ofrecen todos los servicios de forma local. Google Cloud
¿Qué sigue?
- Crea un depósito.
- Obtén más información sobre Rapid Cache.
- Obtén información sobre las ubicaciones de los buckets de Cloud Storage.
- Lee la guía de diseño de Architecture Center para cargas de trabajo de IA y AA.