Las GPU agrupadas están optimizadas para cargas de trabajo de inteligencia artificial (IA) y aprendizaje automático (AA) que priorizan el entrenamiento distribuido a gran escala, la inferencia de varios hosts y las tareas complejas de computación de alto rendimiento (HPC).
Las GPU agrupadas permiten que los equipos implementen y escalen miles de aceleradores interconectados como un solo sistema con acoplamiento alto a través de estructuras de red especializadas y mantenimiento sincronizado. Son ideales para cargas de trabajo que requieren procesamiento, memoria y sincronización de redes de alta velocidad extremos. Entre los casos de uso comunes, se incluyen el entrenamiento previo de modelos de base con billones de parámetros, la entrega de modelos de frontera y las simulaciones para el descubrimiento de fármacos.
Características clave de las GPU agrupadas
- Mantenimiento sincronizado: Google Cloud Actualiza todos los nodos del clúster de forma simultánea, lo que evita que el reinicio de un solo nodo detenga un trabajo.
- Supervisión de estado automatizada: El sistema identifica de forma proactiva los rezagados y supervisa las fallas de hardware o los daños silenciosos en los datos.
- Reemplazo proactivo de nodos: El sistema expulsa y reprograma las VMs con bajo rendimiento en máquinas en buen estado de un grupo de repuesto.
- Topología encarrilada: Una topología encarrilada aísla el tráfico de GPU a GPU de la comunicación estándar del host para ayudar a garantizar un rendimiento sin inestabilidad en la coordinación masiva de varios nodos.
- Protocolos avanzados: Estas series de máquinas admiten interconexiones de ancho de banda alto, incluido GPUDirect RDMA (basado en RoCE).
Familias de GPU agrupadas y especificaciones técnicas
Revisa las cargas de trabajo y las especificaciones de hardware de la serie de máquinas premium de GPU agrupadas en estas tablas. Para el entrenamiento a exaescala, usa las series A4X o A3 Ultra.
Series A4X Max y A4X
Si entrenas modelos de base masivos a escala de exaflops o ejecutas simulaciones de computación de alto rendimiento (HPC) en equipos físicos muy complejas, usa las series de máquinas A4X Max o A4X. Estas series cuentan con superchips NVIDIA GB300 Grace Blackwell Ultra para controlar las demandas extremas de procesamiento y memoria.
A4X Max (Bare metal)
Los tipos de máquinas A4X Max
usan superchips NVIDIA GB300 Grace Blackwell Ultra (nvidia-gb300) y
son ideales para el entrenamiento y la entrega de modelos de base. Los tipos de máquinas A4X Max están disponibles
como instancias de Bare Metal.
A4X Max es una plataforma de exaescala basada en NVIDIA GB300 NVL72. Cada máquina tiene dos sockets con CPUs NVIDIA Grace con núcleos Arm Neoverse V2. Estas CPU están conectadas a cuatro GPU NVIDIA B300 Blackwell con comunicación rápida de chip a chip (NVLink-C2C). Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de A4X Max y A4X.
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia (GB) | SSD local conectado (GiB) | Cantidad de NICs físicas | Ancho de banda de red máximo (Gbps) | Cantidad de GPU NVIDIA GB300 | Memoria de GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-maxgpu-4g-metal |
144 | 960 | 12,000 | 6 | 3,600 | 4 | 1,116 |
Las siguientes notas se aplican a la tabla anterior:
- Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
- Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
- Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
A4X
Los tipos de máquinas A4X
usan superchips NVIDIA GB200 Grace Blackwell (nvidia-gb200) y
son ideales para el entrenamiento y la entrega de modelos de base.
A4X es una plataforma de exaescala basada en NVIDIA GB200 NVL72. Cada máquina tiene dos sockets con CPUs NVIDIA Grace con núcleos Arm Neoverse V2. Estas CPU están conectadas a cuatro GPU NVIDIA B200 Blackwell con una comunicación rápida de chip a chip (NVLink-C2C). Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de A4X Max y A4X.
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia (GB) | SSD local conectado (GiB) | Cantidad de NICs físicas | Ancho de banda de red máximo (Gbps) | Recuento de GPU NVIDIA GB200 | Memoria de GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-highgpu-4g |
140 | 884 | 12,000 | 6 | 2,000 | 4 | 744 |
Las siguientes notas se aplican a la tabla anterior:
- Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
- Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
- Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
Serie A4
Si tu objetivo es entrenar modelos de base de estado del arte que requieran una escala de procesamiento paralelo masiva, usa la serie de máquinas A4 para optimizar el tiempo de procesamiento y maximizar la capacidad de procesamiento del hardware.
Los tipos de máquinas A4
tienen
GPU NVIDIA B200 Blackwell
(nvidia-b200) conectadas y son ideales para el entrenamiento y la entrega de modelos
de base. Para obtener información sobre las limitaciones de tipo de máquina, consulta
Limitaciones de A4.
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia (GB) | SSD local conectado (GiB) | Cantidad de NICs físicas | Ancho de banda de red máximo (Gbps) | Cantidad de GPU NVIDIA B200 Blackwell | Memoria de GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
224 | 3,968 | 12,000 | 10 | 3,600 | 8 | 1,440 |
Las siguientes notas se aplican a la tabla anterior:
- Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
- Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
- Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
Serie A3 (Ultra, Mega y High con 8 GPUs)
Si necesitas ejecutar ejecuciones de entrenamiento distribuidas a gran escala o entregar modelos de frontera en varios hosts con tablas de conjuntos de datos grandes, usa la serie de máquinas A3 para minimizar la latencia de red de host a host.
A3 Ultra
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia (GB) | SSD local conectado (GiB) | Cantidad de NICs físicas | Ancho de banda de red máximo (Gbps) | Recuento de GPU NVIDIA H200 | Memoria de GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
224 | 2,952 | 12,000 | 10 | 3,600 | 8 | 1128 |
A3 Mega
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia (GB) | SSD local conectado (GiB) | Cantidad de NICs físicas | Ancho de banda de red máximo (Gbps) | Cantidad de GPU NVIDIA H100 | Memoria de GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
208 | 1,872 | 6,000 | 9 | 1,800 | 8 | 640 |
A3 High
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia (GB) | SSD local conectado (GiB) | Cantidad de NICs físicas | Ancho de banda de red máximo (Gbps) | Cantidad de GPU NVIDIA H100 | Memoria de GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1,500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3,000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1,872 | 6,000 | 5 | 1,000 | 8 | 640 |
Las siguientes notas se aplican a la tabla anterior:
- Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
- Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
- Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
Adquisición de capacidad
La adquisición de capacidad de procesamiento para las GPU agrupadas requiere coordinación para administrar la oferta y la demanda de aceleradores de alto rendimiento. Debido a que estos recursos se encuentran físicamente dentro de entramados de redes especializados, debes solicitarlos a través de flujos de trabajo administrados.
Puedes reservar capacidad a través de tu equipo de cuentas o usar reservas futuras y Dynamic Workload Scheduler.
¿Qué sigue?
- Para obtener información sobre cómo adquirir capacidad, consulta Opciones de consumo.
- Para evaluar los requisitos de tu infraestructura, consulta Elige una infraestructura.
- Para planificar tu topología de red, consulta Requisitos de red de GPU para entornos agrupados en clústeres.
- Para reservar recursos de procesamiento, consulta Reserva capacidad.