Zonas de IA

En este documento, se proporciona una descripción general de las zonas de IA para Cloud Storage. Las zonas de IA son zonas especializadas Google Cloud que se diseñaron para ofrecer capacidad de procesamiento para cargas de trabajo de inteligencia artificial (IA) y aprendizaje automático (AA). Proporcionan una capacidad significativa de acelerador de AA (GPU y TPU).

Las zonas de IA están optimizadas para cargas de trabajo de IA y AA como las siguientes:

  • Entrenamiento a gran escala
  • Entrenamiento a pequeña escala, ajuste, inferencia masiva y reentrenamiento
  • Inferencia de AA en tiempo real

Para obtener información general sobre las zonas de IA, consulta Zonas de IA en la documentación de Compute Engine.

Dentro de una región, las zonas de IA pueden estar ubicadas geográficamente lejos de las zonas estándar (no de IA).

Las zonas de IA son compatibles con otras funciones y Cloud Storage y Google Cloud características.

Recomendaciones de arquitectura de almacenamiento

Te recomendamos que uses una arquitectura de almacenamiento por niveles para equilibrar el costo, la durabilidad y el rendimiento:

  • Capa de almacenamiento en frío: Usa buckets de Cloud Storage regionales en zonas estándar para el almacenamiento persistente y altamente duradero (la "fuente de información") de tus conjuntos de datos de entrenamiento y puntos de control del modelo.

  • Capa de rendimiento: Usa servicios de almacenamiento zonales especializados para que actúen como una caché de alta velocidad o un espacio provisorio temporal. Este enfoque elimina la latencia entre zonas y maximiza la capacidad de procesamiento durante los trabajos activos.

Se recomiendan las siguientes soluciones de almacenamiento para optimizar el rendimiento del sistema de IA y AA con zonas de IA:

Servicio o producto de almacenamiento Descripción Casos de uso
Rapid Cache producto de Cloud Storage

Una caché de lectura zonal completamente administrada y respaldada por SSD que lleva a la zona de IA los datos que se leen con frecuencia de un bucket.

Crea una instancia de Rapid Cache en una zona de IA para el bucket de origen regional que contiene los conjuntos de datos de entrenamiento o los modelos que deseas entregar. Cuando tu trabajo de entrenamiento lee un archivo, este se extrae a la caché rápida dentro de la zona. Las lecturas posteriores se entregan directamente desde la caché, sin pasar por la red regional. Esto es ideal para los patrones de acceso a datos repetitivos en el entrenamiento de modelos y para la entrega de modelos de baja latencia.

Casos de uso recomendados:

  • Cargas de trabajo con mucha carga de lectura
  • Entrenamiento y entrega de modelos de baja latencia
Producto Rapid Bucket de Cloud Storage

Una capacidad de alto rendimiento que te permite ubicar buckets en zonas y usar la clase de almacenamiento Rapid. Está optimizado para cargas de trabajo con uso intensivo de E/S y diseñado específicamente para aplicaciones de IA/AA que requieren la ubicación conjunta con los datos a los que necesitan acceder.

Para optimizar el almacenamiento de datos para cargas de trabajo que requieren baja latencia y alta capacidad de procesamiento, crea un bucket zonal que use Rapid Storage y, luego, activa el bucket como un directorio en tu máquina virtual con Cloud Storage FUSE. Luego, puedes configurar tu aplicación para almacenar datos en el bucket zonal o acceder a ellos a través del punto de activación del bucket. Por ejemplo, para almacenar puntos de control del modelo en tu bucket zonal, configura el directorio de puntos de control en el punto de activación de tu código de entrenamiento.

Para la resiliencia regional, puedes hacer una copia de seguridad de tus puntos de control en buckets regionales, multirregionales o birregionales. Usa el Servicio de transferencia de almacenamiento para transferir datos de un bucket zonal a un bucket en una ubicación diferente. Usa la Administración del ciclo de vida de los objetos para que los datos venzan y se borren después de un período determinado.

Casos de uso recomendados:

  • Cargas de trabajo de lectura y escritura de alta capacidad de procesamiento
  • Puntos de control de alta velocidad
  • Entrenamiento y entrega de modelos de baja latencia

Prácticas recomendadas

Sigue estas prácticas recomendadas para el almacenamiento cuando uses zonas de IA:

  • Aprovisiona tu capa de rendimiento en la misma zona de IA que tus recursos de procesamiento. La ubicación conjunta del procesamiento y el almacenamiento ayuda a garantizar que las GPU y las TPU permanezcan completamente saturadas, lo que maximiza el "rendimiento útil" (capacidad de procesamiento útil).

  • En el caso de Rapid Cache, antes de comenzar la época de entrenamiento principal, realiza una lectura previa de tu conjunto de datos para propagar o activar la caché respaldada por SSD.

Zonas de IA disponibles

En la siguiente tabla, se muestran las zonas de IA y sus regiones superiores Google Cloud.

Área geográfica Región superior Zona de IA
Europa europe-west4 europe-west4-ai1a
Estados Unidos us-central1 us-central1-ai1a
Estados Unidos us-south1 us-south1-ai1b

Consideraciones

  • Puedes acceder a los Google Cloud productos en una Google Cloud región desde la zona de IA de la región. Sin embargo, acceder a los servicios en una Google Cloud región desde una zona de IA puede agregar latencia de red, ya que la ubicación de la IA zona puede estar físicamente separada de las ubicaciones de las zonas estándar de la región.

  • Te recomendamos que ejecutes cargas de trabajo que no sean de AA en zonas estándar, no en zonas de IA, ya que las zonas de IA no ofrecen todos los Google Cloud servicios de forma local.

¿Qué sigue?