Zonas de IA

En este documento, se proporciona una descripción general de las zonas de IA para Cloud Storage. Las zonas de IA son zonas de Google Cloud especializadas que están diseñadas para ofrecer capacidad de procesamiento para cargas de trabajo de inteligencia artificial (IA) y aprendizaje automático (AA). Proporcionan una capacidad significativa de aceleradores de AA (GPU y TPU).

Las zonas de IA están optimizadas para cargas de trabajo de IA y AA, como las siguientes:

  • Entrenamiento a gran escala
  • Entrenamiento, ajuste, inferencia masiva y reentrenamiento a pequeña escala
  • Inferencia de AA en tiempo real

Para obtener información general sobre las zonas de IA, consulta Zonas de IA en la documentación de Compute Engine.

Dentro de una región, las zonas de IA pueden estar ubicadas geográficamente lejos de las zonas estándar (que no son de IA).

Las zonas de IA son compatibles con otras funciones de Cloud Storage y Google Cloud.

Recomendaciones de arquitectura de almacenamiento

Te recomendamos que uses una arquitectura de almacenamiento por niveles para equilibrar el costo, la durabilidad y el rendimiento:

  • Capa de almacenamiento en frío: Usa buckets de Cloud Storage regionales en zonas estándar para el almacenamiento persistente y altamente duradero (la "fuente de información") de tus conjuntos de datos de entrenamiento y puntos de control de modelos.

  • Capa de rendimiento: Usa servicios de almacenamiento zonal especializados para que actúen como una caché de alta velocidad o un espacio temporal de trabajo. Este enfoque elimina la latencia entre zonas y maximiza la capacidad de procesamiento durante los trabajos activos.

Se recomiendan las siguientes soluciones de almacenamiento para optimizar el rendimiento de los sistemas de IA y AA con zonas de IA:

Servicio o producto de almacenamiento Descripción Casos de uso
Producto Rapid Cache de Cloud Storage

Es una caché de lectura zonal respaldada por SSD y completamente administrada que lleva los datos de lectura frecuente de un bucket a la zona de IA.

Crea una instancia de Rapid Cache en una zona de IA para el bucket de origen regional que contiene los conjuntos de datos o modelos de entrenamiento que quieres entregar. Cuando tu trabajo de entrenamiento lee un archivo, este se extrae a la caché rápida de la zona. Las lecturas posteriores se entregan directamente desde la caché, lo que omite la red regional. Esto es ideal para los patrones repetitivos de acceso a los datos en el entrenamiento de modelos y para la entrega de modelos de baja latencia.

Casos de uso recomendados:

  • Cargas de trabajo con muchas operaciones de lectura
  • Entrenamiento y entrega de modelos con baja latencia
Producto Rapid Bucket de Cloud Storage

Es una función de alto rendimiento que te permite ubicar buckets en zonas y usar la clase de almacenamiento Rapid Storage. Optimizado para cargas de trabajo con uso intensivo de E/S, diseñado específicamente para aplicaciones de IA y AA que requieren la coubicación con los datos a los que necesitan acceder.

Para optimizar el almacenamiento de datos para cargas de trabajo que requieren baja latencia y alta capacidad de procesamiento, crea un bucket zonal que use Rapid Storage y, luego, activa el bucket como un directorio en tu máquina virtual con Cloud Storage FUSE. Luego, puedes configurar tu aplicación para almacenar datos o acceder a ellos en el bucket zonal a través del punto de activación del bucket. Por ejemplo, para almacenar puntos de control del modelo en tu bucket zonal, configura el directorio de puntos de control en el punto de activación en tu código de entrenamiento.

Para obtener resiliencia regional, puedes crear copias de seguridad de tus puntos de control en buckets regionales, multirregionales o birregionales. Usa el Servicio de transferencia de almacenamiento para mover datos de un bucket zonal a un bucket en una ubicación diferente. Usa la Administración del ciclo de vida de los objetos para vencer y borrar datos después de un período determinado.

Casos de uso recomendados:

  • Cargas de trabajo de lectura y escritura de alta capacidad de procesamiento
  • Creación de puntos de control de alta velocidad
  • Entrenamiento y entrega de modelos con baja latencia

Prácticas recomendadas

Sigue estas prácticas recomendadas para el almacenamiento cuando uses zonas de IA:

  • Aprovisiona tu capa de rendimiento en la misma zona de IA que tus recursos de procesamiento. La ubicación conjunta del procesamiento y el almacenamiento ayuda a garantizar que las GPU y las TPU permanezcan completamente saturadas, lo que maximiza el "goodput" (capacidad de procesamiento útil).

  • Para Rapid Cache, antes de iniciar la época de entrenamiento principal, realiza una lectura previa de tu conjunto de datos para propagar o preparar la caché respaldada por SSD.

Zonas de IA disponibles

En la siguiente tabla, se muestran las zonas de IA y sus regiones de Google Cloud principales.

Área geográfica Región superior Zona de IA
Europa europe-west4 europe-west4-ai1a
Estados Unidos us-central1 us-central1-ai1a
Estados Unidos us-south1 us-south1-ai1b

Consideraciones

  • Puedes acceder a los productos de Google Cloud en una región de Google Cloud desde la zona de IA de la región. Sin embargo, acceder a los servicios en una región de Google Cloud desde una zona de IA puede agregar latencia de red, ya que la ubicación de la zona de IA puede estar separada físicamente de las ubicaciones de las zonas estándar de la región.

  • Te recomendamos que ejecutes cargas de trabajo que no sean de AA en zonas estándar, no en zonas de IA, ya que estas últimas no ofrecen todos los servicios de Google Cloud de forma local.

¿Qué sigue?