Los clústeres de entrenamiento de Gemini Enterprise Agent Platform admiten una variedad de tipos de máquinas para adaptarse a diferentes cargas de trabajo. Puedes elegir entre las siguientes opciones cuando configures los grupos de nodos del clúster.
Tipos de máquinas optimizados para aceleradores
| Tipo de máquina | GPU | GPU por nodo |
|---|---|---|
a4x-highgpu-4g |
NVIDIA GB200 | 4 |
a4-highgpu-8g |
NVIDIA B200 | 8 |
a3-ultragpu-8g |
NVIDIA H200 | 8 |
a3-megagpu-8g |
NVIDIA H100 | 8 |
a3-highgpu-8g |
NVIDIA H100 | 8 |
g4-standard-48 |
NVIDIA RTX PRO 6000 Blackwell | 1 |
g4-standard-96 |
NVIDIA RTX PRO 6000 Blackwell | 2 |
g4-standard-192 |
NVIDIA RTX PRO 6000 Blackwell | 4 |
g4-standard-384 |
NVIDIA RTX PRO 6000 Blackwell | 8 |
Tipos de máquinas de CPU y HPC
| Tipo de máquina | Descripción |
|---|---|
Familia N2: n2-standard-*, n2-highmem-* y n2-highcpu-* |
Nodos de uso general para el procesamiento previo de datos, la organización de trabajos y otras tareas que no requieren un acelerador. N2 también es compatible con los nodos de acceso de Slurm. |
Familia N4: n4-standard-*, n4-highmem-* y n4-highcpu-* |
Nodos de uso general para las mismas cargas de trabajo que N2. También puedes usar N4 para los nodos de acceso de Slurm. N4 solo admite discos de arranque Hyperdisk Balanced (hyperdisk-balanced). Si no estableces boot_disk.boot_disk_type, se usa hyperdisk-balanced. |
Familia N4D: n4d-standard-*, n4d-highmem-*, n4d-highcpu-* |
Nodos AMD EPYC de uso general para las mismas cargas de trabajo que N2. N4D también es compatible con los nodos de acceso de Slurm. N4D solo admite discos de arranque de Google Cloud Hyperdisk Balanced (hyperdisk-balanced), que es el valor predeterminado cuando no se establece boot_disk.boot_disk_type. |
Familia C4: c4-standard-*, c4-highmem-* y c4-highcpu-* |
Nodos de uso general para el procesamiento previo, la organización y las cargas de trabajo de CPU que requieren un uso intensivo de procesamiento. C4 también es compatible con los nodos de acceso de Slurm. C4 solo admite discos de arranque de Google Cloud Hyperdisk Balanced (hyperdisk-balanced), que es el valor predeterminado cuando no se establece boot_disk.boot_disk_type. Las variantes -lssd y -metal no son compatibles. |
Familia C4D: c4d-standard-*, c4d-highmem-* y c4d-highcpu-* |
Nodos AMD EPYC de uso general para cargas de trabajo de CPU, organización y procesamiento previo de uso intensivo de procesamiento. C4D solo admite discos de arranque de Google Cloud Hyperdisk Balanced (hyperdisk-balanced), que es el valor predeterminado cuando no se establece boot_disk.boot_disk_type. Las variantes -lssd y -metal no son compatibles. |
Familia C4A: c4a-standard-*, c4a-highmem-* y c4a-highcpu-* |
Nodos basados en Arm (Axion), compatibles solo con los nodos de acceso de Slurm y solo en clústeres cuyos grupos de nodos de procesamiento también se basen en Arm. Las variantes -lssd y -metal no son compatibles. |
Familia H4D: h4d-standard-*, h4d-highmem-* |
Nodos optimizados para HPC con redes RDMA, para cargas de trabajo de simulación y procesamiento previo con acoplamiento alto. |
Nodos de acceso C4A
Los nodos de acceso C4A se basan en Arm y solo se admiten en clústeres en los que cada grupo de nodos de procesamiento también se basa en Arm, como A4X. Cuando creas un clúster que vincula un nodo de acceso C4A con un grupo de nodos de procesamiento x86, como N2 o A3, se rechaza.
Debido a que el nodo de acceso y los nodos de procesamiento comparten la misma arquitectura, los objetos binarios y las imágenes de contenedor que compilas en el nodo de acceso se ejecutan en los nodos de procesamiento a los que los envías.
C4A solo admite un disco de arranque hyperdisk-balanced, que es el predeterminado.
Tipo de máquina A4X
Los clústeres de entrenamiento de Gemini Enterprise Agent Platform admiten el tipo de máquina optimizada para aceleradores A4X (a4x-highgpu-4g), una plataforma de exaescala basada en la arquitectura de escala de bastidor NVIDIA GB200 NVL72.
Comparación de arquitectura
En la siguiente tabla, se describen las diferencias fundamentales de hardware entre la familia A4X y otras familias optimizadas para aceleradores.
| Función | A4X (a4x-highgpu-4g) | A3 / A4H |
|---|---|---|
| Arquitectura de la CPU | ARM | X86 |
| Cantidad de GPU | 4 GPUs por nodo | 8 GPU por nodo |
| Tipo de reserva | Modo All capacity | Modo administrado |
| Política de ubicación | Estricto (compacto) | Flexible |
Lineamientos específicos de A4X
- La cantidad de VM del grupo de nodos A4X debe ser un múltiplo de 18 (por ejemplo, 18, 36, 54). Esto es necesario porque la capacidad de A4X se aprovisiona en bloques fijos de 18 nodos no compartibles llamados dominios de NVLink. Estos dominios están vinculados por una política de posición compacta estricta, y otros clústeres no pueden usar los bloques asignados de forma parcial.
- Debido a la arquitectura basada en ARM de los nodos A4X, debes realizar dos cambios clave
en tus cargas de trabajo de entrenamiento:
- Usa imágenes compatibles con ARM: Todos los trabajos de entrenamiento deben usar una imagen de contenedor que se compile para la arquitectura de ARM.
- Adaptación para 4 GPUs: Tu lógica de entrenamiento distribuido debe actualizarse para reconocer y usar correctamente las 4 GPUs disponibles en cada nodo A4X.
- Proceso de informe de fallas del host y tiempo de inactividad
Cuando informes que un host está defectuoso, ten en cuenta el siguiente proceso de recuperación:
- Sin capacidad en espera: El sistema no usa un grupo de repuesto en espera para un reemplazo de nodo instantáneo.
- Recuperación basada en reparaciones: El nodo no estará disponible hasta que se repare el host físico subyacente.
- Tiempo de inactividad prolongado: Este proceso de reparación suele tardar entre 3 y 14 días.
Aprovisionamiento de capacidad
Elegir el modelo de aprovisionamiento adecuado es fundamental para equilibrar el costo, la velocidad y la disponibilidad de los recursos. Consulta las siguientes opciones de aprovisionamiento:
RESERVATION: Asigna nodos de una reserva específica de Compute Engine que creaste con anticipación. Este modelo garantiza la capacidad y es la opción recomendada para los recursos de alta demanda.FLEX_START: Utiliza el Dynamic Workload Scheduler para poner en cola tu trabajo. El trabajo comienza automáticamente en cuanto los recursos de procesamiento solicitados están disponibles, lo que ofrece una hora de inicio flexible sin necesidad de realizar una reserva.SPOT: Aprovisiona el grupo de nodos con VMs Spot. Esta es la opción más rentable, pero solo se debe usar para cargas de trabajo que sean tolerantes a errores y puedan controlar interrupciones, ya que las VMs se pueden interrumpir en cualquier momento.ON_DEMAND: Esta es la opción predeterminada para los grupos de nodos que solo tienen CPU y es la más adecuada para los tipos de máquinas que no son escasos. Proporciona instancias de VM estándar con precios de pago por uso predecibles.
Usa la siguiente guía para realizar tu selección:
Para los recursos de GPU de alta demanda (como A3 y A4), se recomienda encarecidamente el modelo
RESERVATION. Garantiza que tengas acceso exclusivo a la capacidad que necesitas para los trabajos de entrenamiento críticos.Para cargas de trabajo con aumentos repentinos de actividad o flexibles: Considera
FLEX_STARToSPOT.FLEX_STARTpone en cola tu trabajo hasta que los recursos estén disponibles, mientras queSPOTofrece ahorros de costos significativos para los trabajos tolerantes a errores que pueden controlar la interrupción.Para tipos de máquinas abundantes: El modelo
ON_DEMANDes la opción preferida. Úsala para tipos de máquinas que no sean escasos y en los que la disponibilidad inmediata no sea un problema.
Usa una reserva compartida (opcional)
Si quieres usar una reserva compartida, en lugar de una reserva local, debes seguir pasos adicionales antes de crear un clúster.
Antes de usar una reserva compartida con los clústeres de entrenamiento de Gemini Enterprise Agent Platform, asegúrate de que
la reserva compartida
funcione creando manualmente una VM que la use.
Si la creación de esta VM funciona, continúa con el siguiente paso.
En la configuración de creación del clúster, usa el nombre de la reserva con el siguiente
formato:
projects/RESERVATION_HOST_PROJECT_ID/zones/RESERVATION_ZONE/reservations/RESERVATION_NAME.
¿Qué sigue?
Después de seleccionar las opciones de procesamiento y aprovisionamiento para tu clúster de entrenamiento, estás listo para crear el clúster y ejecutar una carga de trabajo en él.
- Crea una reserva de Compute Engine: El modelo
RESERVATIONse usa para asignar recursos de alta demanda, como las GPU. Aprende a crear una reserva nueva en Compute Engine para obtener acceso exclusivo a los recursos que necesitas. - Crea tu clúster de entrenamiento: Aplica los parámetros de configuración que aprendiste
siguiendo la guía paso a paso para crear tu primer clúster de entrenamiento persistente
con la API de Agent Platform o
gcloud. - Envía un trabajo de entrenamiento a tu clúster: Una vez que el clúster esté activo, el siguiente
paso es ejecutar una carga de trabajo. Envía un
CustomJobque se oriente a tu clúster persistente para su ejecución. - Adapta tu código para el entrenamiento distribuido: Para aprovechar al máximo un clúster de varios nodos, adapta tu código de entrenamiento a un entorno distribuido.