Tipos de máquinas de GPU

En este documento, se describen las series de máquinas con GPU que admite AI Hypercomputer. Puedes crear instancias y clústeres de Compute Engine que usen estas series de máquinas para ejecutar tus cargas de trabajo de inteligencia artificial (IA), aprendizaje automático (AA) y computación de alto rendimiento (HPC).

Para usar las GPU en AI Hypercomputer, puedes usar la mayoría de las series de máquinas de la familia de máquinas optimizadas para aceleradores. Cada serie de máquinas de la familia de máquinas optimizadas para aceleradores usa un modelo de GPU específico. Para obtener más información sobre la familia de máquinas optimizadas para aceleradores, consulta Familia de máquinas optimizadas para aceleradores.

En la siguiente sección, se describen las series de máquinas optimizadas para aceleradores que admite AI Hypercomputer.

A4X Max y la serie A4X

Precaución: El Acuerdo de Nivel de Servicio (ANS) de Compute Engine no se aplica a las series de máquinas A4X Max y A4X.

En esta sección, se describen las configuraciones disponibles para las series de máquinas A4X Max y A4X. Para obtener más información sobre estas series de máquinas, consulta Series de máquinas optimizadas para aceleradores A4X y A4X Max en la documentación de Compute Engine.

A4X Max (Bare Metal)

Los tipos de máquinas A4X Max usan Ultra Superchips NVIDIA GB300 Grace Blackwell (nvidia-gb300) y son ideales para el entrenamiento y la entrega de modelos de base. Los tipos de máquinas A4X Max están disponibles como instancias de Bare Metal.

A4X Max es una plataforma de exaescala basada en NVIDIA GB200 NVL72. Cada máquina tiene dos sockets con CPU NVIDIA Grace y núcleos Arm Neoverse V2. Estas CPUs están conectadas a cuatro GPUs NVIDIA B300 Blackwell con una rápida comunicación de chip a chip (NVLink-C2C).

Nota: Para comenzar a usar los tipos de máquinas A4X Max, comunícate con tu equipo de cuentas.

						Superchips NVIDIA GB300 Grace Blackwell Ultra conectados
Tipo de máquina	Recuento de CPU virtuales^1	Memoria de la instancia (GB)	SSD local conectado (GiB)	Cantidad de NICs físicas	Ancho de banda de red máximo (Gbps)^2	Recuento de GPU	Memoria de GPU^3 (GB HBM3e)
a4x-maxgpu-4g-metal	144	960	12,000	6	3,600	4	1,116

¹ Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
²El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de la red, consulta Ancho de banda de red.
³La memoria de GPU es la memoria disponible en un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

A4X

Los tipos de máquinas A4X utilizan Superchips Grace Blackwell GB200 de NVIDIA (nvidia-gb200) y son ideales para el entrenamiento y la entrega de modelos de base.

A4X es una plataforma de exaescala basada en NVIDIA GB200 NVL72. Cada máquina tiene dos sockets con CPU NVIDIA Grace y núcleos Arm Neoverse V2. Estas CPUs están conectadas a cuatro GPUs NVIDIA B200 Blackwell con una rápida comunicación de chip a chip (NVLink-C2C).

Nota: Cuando aprovisiones instancias de A4X, debes reservar capacidad para crear instancias y clústeres. Luego, puedes crear instancias que usen las funciones y los servicios disponibles en AI Hypercomputer. Para obtener más información, consulta la Descripción general de las opciones de implementación.

						Superchips NVIDIA GB200 Grace Blackwell conectados
Tipo de máquina	Recuento de CPU virtuales^1	Memoria de la instancia (GB)	SSD local conectado (GiB)	Cantidad de NICs físicas	Ancho de banda de red máximo (Gbps)^2	Recuento de GPU	Memoria de GPU^3 (GB HBM3e)
a4x-highgpu-4g	140	884	12,000	6	2,000	4	744

¹ Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
²El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de la red, consulta Ancho de banda de red.
³La memoria de GPU es la memoria disponible en un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

Serie A4

Nota: Puedes usar la herramienta Cluster Health Scanner (CHS) para solucionar problemas en tus clústeres de GPU de la serie de máquinas A4. Para obtener más información, consulta Soluciona problemas de clústeres de GPU.

En esta sección, se describen las configuraciones disponibles para la serie de máquinas A4. Para obtener más información sobre esta serie de máquinas, consulta Serie de máquinas A4 optimizadas para aceleradores en la documentación de Compute Engine.

A4

Los tipos de máquinas A4 tienen GPUs NVIDIA B200 Blackwell (nvidia-b200) conectadas y son ideales para el entrenamiento y la entrega de modelos de base.

Nota: Cuando aprovisiones tipos de máquinas A4, debes reservar capacidad para crear instancias o clústeres, usar VMs Spot, usar VMs de Flex-start o crear una solicitud de cambio de tamaño en un MIG. Para obtener instrucciones sobre cómo crear instancias de A4, consulta la Descripción general de la creación de VMs y clústeres. .

						GPU NVIDIA B200 Blackwell conectadas
Tipo de máquina	Recuento de CPU virtuales^1	Memoria de la instancia (GB)	SSD local conectado (GiB)	Cantidad de NICs físicas	Ancho de banda de red máximo (Gbps)^2	Recuento de GPU	Memoria de GPU^3 (GB HBM3e)
a4-highgpu-8g	224	3,968	12,000	10	3,600	8	1,440

¹ Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
²El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de la red, consulta Ancho de banda de red.
³La memoria de GPU es la memoria disponible en un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

Serie A3

Nota: Puedes usar la herramienta de CHS para solucionar problemas en tus clústeres de GPU A3 Ultra, A3 Mega y A3 High. Para obtener más información, consulta Soluciona problemas de clústeres de GPU.

En esta sección, se describen las configuraciones disponibles para la serie de máquinas A3. Para obtener más información sobre esta serie de máquinas, consulta Serie de máquinas A3 optimizadas para aceleradores en la documentación de Compute Engine.

A3 Ultra

Los tipos de máquinas A3 Ultra tienen GPUs NVIDIA H200 SXM (nvidia-h200-141gb) conectadas y proporcionan el mayor rendimiento de red de la serie A3. Los tipos de máquinas A3 Ultra son ideales para el entrenamiento y la entrega de modelos básicos.

Nota: Cuando aprovisiones tipos de máquinas A3 Ultra, debes reservar capacidad para crear instancias o clústeres, usar VMs Spot, usar VMs de Flex-start o crear una solicitud de cambio de tamaño en un MIG. Para obtener más información sobre los parámetros que se deben configurar cuando se crea una instancia de A3 Ultra, consulta la Descripción general de la creación de VMs y clústeres.

						GPU NVIDIA H200 conectadas
Tipo de máquina	Recuento de CPU virtuales^1	Memoria de la instancia (GB)	SSD local conectado (GiB)	Cantidad de NICs físicas	Ancho de banda de red máximo (Gbps)^2	Recuento de GPU	Memoria de GPU^3 (GB HBM3e)
a3-ultragpu-8g	224	2,952	12,000	10	3,600	8	1128

¹ Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
²El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de la red, consulta Ancho de banda de red.
³La memoria de GPU es la memoria disponible en un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

A3 Mega

Los tipos de máquinas A3 Mega tienen GPUs NVIDIA H100 SXM y son ideales para el entrenamiento de modelos grandes y la inferencia de varios hosts.

Nota: Cuando aprovisiones tipos de máquinas a3-megagpu-8g, te recomendamos que uses un clúster de estas instancias y que realices la implementación con un programador como Google Kubernetes Engine (GKE) o Slurm. Para obtener instrucciones detalladas sobre cualquiera de estas opciones, consulta lo siguiente:

• Para crear un clúster de Google Kubernetes Engine, consulta Implementa un clúster A3 Mega con GKE.
• Para crear un clúster de Slurm, consulta Implementa un clúster A3 Mega Slurm.

						GPU NVIDIA H100 conectadas
Tipo de máquina	Recuento de CPU virtuales^1	Memoria de la instancia (GB)	SSD local conectado (GiB)	Cantidad de NICs físicas	Ancho de banda de red máximo (Gbps)^2	Recuento de GPU	Memoria de GPU^3 (GB HBM3)
a3-megagpu-8g	208	1,872	6,000	9	1,800	8	640

¹ Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
²El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de la red, consulta Ancho de banda de red.
³La memoria de GPU es la memoria disponible en un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

A3 High

Los tipos de máquinas A3 High tienen GPUs NVIDIA H100 SXM y son adecuados para la inferencia de modelos grandes y el ajuste de modelos.

Nota: Cuando aprovisiones los tipos de máquinas a3-highgpu-1g, a3-highgpu-2g o a3-highgpu-4g, debes crear instancias con VMs Spot o VMs de inicio flexible. Para obtener instrucciones detalladas sobre estas opciones, consulta lo siguiente:

• Para crear VMs Spot, establece el modelo de aprovisionamiento en SPOT cuando crees una VM optimizada para aceleradores.
• Para crear VMs de inicio flexible, puedes usar uno de los siguientes métodos:
  • Crea una VM independiente y establece el modelo de aprovisionamiento en FLEX_START cuando crees una VM optimizada para aceleradores.
  • Crea una solicitud de cambio de tamaño en un grupo de instancias administrado (MIG). Para obtener instrucciones, consulta Crea un MIG con VMs de GPU.

						GPU NVIDIA H100 conectadas
Tipo de máquina	Recuento de CPU virtuales^1	Memoria de la instancia (GB)	SSD local conectado (GiB)	Cantidad de NICs físicas	Ancho de banda de red máximo (Gbps)^2	Recuento de GPU	Memoria de GPU^3 (GB HBM3)
a3-highgpu-1g	26	234	750	1	25	1	80
a3-highgpu-2g	52	468	1,500	1	50	2	160
a3-highgpu-4g	104	936	3,000	1	100	4	320
a3-highgpu-8g	208	1,872	6,000	5	1,000	8	640

¹ Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
²El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de la red, consulta Ancho de banda de red.
³La memoria de GPU es la memoria disponible en un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

A3, Edge

Los tipos de máquinas A3 Edge tienen GPUs NVIDIA H100 SXM y están diseñados específicamente para la entrega, además de estar disponibles en un conjunto limitado de regiones.

Nota: Para comenzar a usar las instancias de A3 Edge, consulta Crea una VM de A3 con GPUDirect-TCPX habilitado.

						GPU NVIDIA H100 conectadas
Tipo de máquina	Recuento de CPU virtuales^1	Memoria de la instancia (GB)	SSD local conectado (GiB)	Cantidad de NICs físicas	Ancho de banda de red máximo (Gbps)^2	Recuento de GPU	Memoria de GPU^3 (GB HBM3)
a3-edgegpu-8g	208	1,872	6,000	5	600: para asia-south1 y northamerica-northeast2 400: para todas las demás regiones de A3 Edge	8	640

¹ Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
²El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de la red, consulta Ancho de banda de red.
³La memoria de GPU es la memoria disponible en un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

Próximos pasos

Para obtener más información sobre las GPUs, consulta las siguientes páginas de la documentación de Compute Engine:

• Obtén más información sobre las GPU en Compute Engine.
• Revisa la disponibilidad de las regiones y zonas de GPU.
• Obtén información sobre los precios de GPU.