Zonas de IA

Las zonas de IA son zonas especializadas que se usan para las cargas de trabajo de inferencia y entrenamiento de inteligencia artificial y aprendizaje automático (IA y AA). Proporcionan una capacidad significativa de aceleradores de AA (GPU y TPU).

Dentro de una región, las zonas de IA se encuentran geográficamente alejadas de las zonas estándar (que no son de IA). En la siguiente figura, se muestra un ejemplo de una zona de IA (us-south1-ai1b) ubicada más lejos en relación con las zonas estándar en la región us-south1.

Zona para padres

Cada zona de IA está asociada a una zona estándar de la región, que se denomina zona superior. Una zona superior es una zona estándar con el mismo sufijo que la zona de IA. Por ejemplo, en el diagrama, us-central1-a es la zona superior de us-central1-ai1a. Comparten programas de actualización de software y, a veces, infraestructura. Esto significa que cualquier problema de software o infraestructura que afecte a una zona superior también podría afectar a la zona de IA. Cuando diseñes tus soluciones de alta disponibilidad, revisa las consideraciones de alta disponibilidad (HA) para tener en cuenta la dependencia de la zona superior.

Cuándo usar las zonas de IA

Las zonas de IA están optimizadas para cargas de trabajo de IA y AA. Usa la siguiente guía para determinar cuáles de tus cargas de trabajo son más adecuadas para las zonas de IA y cuáles se adaptan mejor a las zonas estándar.

Recomendado para:

  • Entrenamiento a gran escala: Es ideal para cargas de trabajo de entrenamiento a gran escala, como el entrenamiento de modelos de lenguaje grande (LLM) y de modelos de base, debido a la disponibilidad de una gran cantidad de aceleradores.

  • Entrenamiento a pequeña escala, ajuste, inferencia masiva y reentrenamiento: Las zonas de IA funcionan bien para las cargas de trabajo que requieren una capacidad de acelerador sustancial.

  • Inferencia de AA en tiempo real: Las zonas de IA admiten cargas de trabajo de inferencia en tiempo real. El rendimiento depende del diseño de la aplicación y de los requisitos de latencia del modelo, en especial si la carga de trabajo requiere solicitudes de ida y vuelta a la región superior.

No se recomienda para lo siguiente:

  • Cargas de trabajo que no son de AA: Como las zonas de IA no ofrecen todos los servicios de Google Cloud de forma local, te recomendamos que ejecutes tus cargas de trabajo que no son de AA en las zonas estándar.

Cómo acceder a los servicios desde una zona de IA

Puedes acceder a todos los productos de Google Cloud en una región de Google Cloud desde su zona de IA. Sin embargo, acceder a los servicios en una región de Google Cloud desde una zona de IA puede agregar latencia de red, ya que la zona de IA está separada físicamente de las ubicaciones de las zonas estándar de la región.

Para ver las zonas de IA en la consola de Google Cloud , Google Cloud CLI y la API de REST, debes activar la visibilidad de las zonas de IA en tu proyecto. La visibilidad de la zona de IA es independiente del control de acceso y de los límites del servicio de políticas de la organización. Para obtener más información, consulta Administra la visibilidad de las zonas de IA.

Los productos específicos admiten la creación de recursos zonales o el acceso a ellos de forma local en una zona de IA. Para obtener más información sobre estos servicios, consulta la siguiente tabla:

Producto Descripción
Google Kubernetes Engine (GKE) Configuración para usar zonas de IA en clústeres de GKE, incluida la configuración con ComputeClasses, el aprovisionamiento automático de nodos y los grupos de nodos de GKE Standard.

Usa zonas de IA en GKE
Cloud Storage Configuración del almacén de objetos para las cargas de trabajo en las zonas de IA, incluido el almacenamiento zonal para maximizar el rendimiento durante los trabajos activos y el almacenamiento persistente para los conjuntos de datos y los puntos de control de modelos.

Usa zonas de IA con Cloud Storage
Compute Engine Métodos para identificar las zonas de IA disponibles con la consola, Google Cloud CLI y la API de REST, incluido cómo filtrar por convención de nombres, tipo de acelerador o máquina

Busca zonas de IA disponibles
Google Cloud Managed Lustre Optimiza el rendimiento de las cargas de trabajo de IA y AA que se implementan en GKE Standard

Optimiza las cargas de trabajo de IA y AA con Google Cloud Managed Lustre

Ubicaciones

Las zonas de IA están disponibles en las siguientes ubicaciones:

Zona de IA Ubicación de la zona de IA Google Cloud región Ubicación de la regiónGoogle Cloud Zona superior
europe-west4-ai1a De Kooy, Países Bajos, Europa europe-west4 Puerto de Ems, Países Bajos, Europa europe-west4-a
us-south1-ai1b Austin, Texas, Norteamérica us-south1 Dallas, Texas, Norteamérica us-south1-b
us-central1-ai1a Lincoln, Nebraska, Norteamérica us-central1 Council Bluffs, Iowa, Norteamérica us-central1-a

Para revisar qué tipos de GPU y TPU están disponibles en las zonas de IA, consulta lo siguiente:

Implementa recursos en zonas de IA

Se puede acceder a las zonas de IA a través de la consola de Google Cloud , Google Cloud CLI o REST. Sin embargo, cuando usas la consola de Google Cloud para crear tus VMs, debes seleccionar manualmente una zona de IA. No se selecciona por ti, como ocurre con las zonas estándar. Para usar zonas de IA con las siguientes funciones, debes seleccionar de forma explícita una zona de IA mientras configuras estos recursos.

  • Ciertas funciones de Compute Engine: Las zonas de IA no se seleccionan automáticamente en ciertas funciones regionales de Compute Engine, como las operaciones de inserción masiva regionales o los grupos de instancias administrados (MIG) regionales.

    • Inserción masiva: Para incluir zonas de IA en operaciones de inserción masiva regionales, debes usar el campo locationPolicy.zones[]. El campo locations[] no admite zonas de IA. En el siguiente ejemplo, se muestra este formato para la zona us-south1-ai1b:

      {
        "locationPolicy": {
          "zones": [
            "zones/us-south1-ai1b"
          ]
        }
      }
      
    • MIG regionales: Para crear instancias en una zona de IA en la región seleccionada, debes especificarla de forma explícita en la política de distribución (distributionPolicy.zones[]) junto con las otras zonas preferidas. En el siguiente ejemplo, se muestra este formato para la zona us-south1-ai1b:

      {
        "distributionPolicy": {
          "zones": [
            "zones/us-south1-a",
            "zones/us-south1-b",
            "zones/us-south1-ai1b"
          ]
        }
      }
      
  • Ciertas funciones de GKE: Las zonas de IA no se seleccionan automáticamente en ciertas funciones regionales de GKE, como los clústeres regionales de GKE. Para obtener más detalles sobre GKE, consulta Usa zonas de IA en GKE en este documento.

  • Vertex AI: Los productos regionales de Vertex AI basados en GKE deben configurar GKE para incluir zonas de IA en clústeres regionales. No es necesario que habilites Vertex AI. Vertex AI administra esta configuración.

  • API de Service Metadata Locations deGoogle Cloud : Debes habilitar la marca --extraLocationTypes cuando uses la API de locations.list para asegurarte de que las zonas de IA solo aparezcan para quienes tengan la intención de usarlas.

  • Restricciones de cargas de trabajo sin acelerador: Compute Engine limita la creación de VMs solo de CPU en zonas de IA.

Usa zonas de IA en GKE

De forma predeterminada, GKE no implementa tus cargas de trabajo en zonas de IA. Para usar una zona de IA, configura una de las siguientes opciones:

  • ComputeClasses: Establece tu prioridad más alta para solicitar TPU on-demand en una zona de IA. Las ComputeClasses te ayudan a definir una lista priorizada de parámetros de configuración de hardware para tus cargas de trabajo. Para ver un ejemplo, consulta Acerca de ComputeClasses.

  • Aprovisionamiento automático de nodos: Usa un nodeSelector o nodeAffinity en la especificación del Pod para indicarle al aprovisionamiento automático de nodos que cree un grupo de nodos en la zona de IA. Si tu carga de trabajo no se orienta de forma explícita a una zona de IA, el aprovisionamiento automático de nodos solo considera las zonas estándar cuando crea grupos de nodos nuevos. Esta configuración garantiza que las cargas de trabajo que no ejecutan modelos de IA/AA permanezcan en zonas estándar, a menos que configures lo contrario de forma explícita. Para ver un ejemplo de un manifiesto que usa un nodeSelector, consulta Establece las zonas predeterminadas para los nodos creados automáticamente.

  • GKE Standard: Si administras directamente tus grupos de nodos, usa una zona de IA en la marca --node-locations cuando crees un grupo de nodos. Para ver un ejemplo, consulta Implementa cargas de trabajo de TPU en GKE Standard.

Limitaciones

Las siguientes opciones no están disponibles en las zonas de IA:

Consideraciones de diseño con zonas de IA

Ten en cuenta lo siguiente cuando diseñes tus aplicaciones para usar zonas de IA.

Consideraciones de alta disponibilidad (HA)

Las zonas de IA comparten los lanzamientos de software y la infraestructura con sus zonas superiores. Para garantizar la alta disponibilidad de tus cargas de trabajo, evita estos patrones de implementación cuando selecciones zonas, ya sea de forma automática o manual:

  • Evita implementar cargas de trabajo de alta disponibilidad en una zona de IA y su zona superior.

  • Evita implementar cargas de trabajo de alta disponibilidad en dos zonas de IA que compartan la misma zona superior.

Prácticas recomendadas de almacenamiento

Recomendamos una arquitectura de almacenamiento por niveles para equilibrar el costo, la durabilidad y el rendimiento:

  1. Capa de almacenamiento en frío: Usa buckets de Cloud Storage regionales en zonas estándar para el almacenamiento persistente y de alta durabilidad de tus conjuntos de datos de entrenamiento y puntos de control de modelos.
  2. Capa de rendimiento: Usa servicios de almacenamiento zonal especializados para que actúen como una caché de alta velocidad o un espacio temporal de trabajo. Este enfoque elimina la latencia entre zonas y maximiza la tasa de transferencia útil durante los trabajos activos.

    Para garantizar que las GPUs y las TPUs permanezcan completamente saturadas y maximizar el rendimiento, aprovisiona tu capa de rendimiento en la misma zona de IA que tus recursos de procesamiento.

Se recomiendan las siguientes soluciones de almacenamiento para optimizar el rendimiento del sistema de IA y AA con zonas de IA:

Servicio de almacenamiento Descripción Casos de uso
Función Anywhere Cache de Cloud Storage Es una caché de lectura zonal respaldada por SSD y completamente administrada que lleva los datos que se leen con frecuencia de un bucket a la zona de IA. Recomendado para:
  • Cargas de trabajo con muchas operaciones de lectura
  • Entrenamiento y entrega de modelos con baja latencia
No se recomienda para lo siguiente:
  • Aplicaciones que requieren cumplimiento total de POSIX

Incluye o excluye zonas de IA

Para incluir o excluir manualmente zonas de IA de una lista de zonas, usa un filtro:

¿Qué sigue?