En este documento, se describen los modelos de GPU de NVIDIA que puedes usar para acelerar las cargas de trabajo de aprendizaje automático (AA), procesamiento de datos y uso intensivo de gráficos en tus instancias de Compute Engine. En este documento, también se detallan las GPU que vienen preconectadas a las series de máquinas optimizadas para aceleradores, como A4X Max, A4X, A4, A3, A2, G4 y G2, y las GPU que puedes conectar a las instancias de uso general N1.
Usa este documento para comparar el rendimiento, la memoria y las funciones de diferentes modelos de GPU. Para obtener una descripción general más detallada de la familia de máquinas optimizadas para aceleradores, incluida información sobre las plataformas de CPU, las opciones de almacenamiento y las capacidades de red, y para encontrar el tipo de máquina específico que coincida con tu carga de trabajo, consulta Familia de máquinas optimizadas para aceleradores.
Para obtener más información sobre las GPU en Compute Engine, consulta Acerca de las GPU.
Si deseas ver las regiones y zonas disponibles para las GPU en Compute Engine, consulta Regiones de GPU y disponibilidad de zonas.
Descripción general
Compute Engine ofrece diferentes tipos de máquinas para admitir tus diversas cargas de trabajo.
Algunos tipos de máquinas admiten estaciones de trabajo virtuales (vWS) de NVIDIA RTX. Cuando creas una instancia que usa NVIDIA RTX Virtual Workstation, Compute Engine agrega automáticamente una licencia de vWS. Para obtener información sobre los precios de las estaciones de trabajo virtuales, consulta la página de precios de GPU.
| Tipos de máquinas de GPU | |||
|---|---|---|---|
| Cargas de trabajo de IA y AA | Gráficos y visualización | Otras cargas de trabajo de GPU | |
|
Los tipos de máquinas de la serie A optimizados para aceleradores están diseñados para cargas de trabajo de computación de alto rendimiento (HPC), inteligencia artificial (IA) y aprendizaje automático (AA).
La serie A de última generación es ideal para entrenar previamente y ajustar modelos de base que involucran clústeres grandes de aceleradores, mientras que la serie A2 se puede usar para entrenar modelos más pequeños y realizar inferencias de un solo host. En estos tipos de máquinas, el modelo de GPU se conecta automáticamente a la instancia. |
Los tipos de máquinas de la serie G optimizados para aceleradores están diseñados para cargas de trabajo, como las de simulación de NVIDIA Omniverse, las aplicaciones con uso intensivo de gráficos, la transcodificación de video y los escritorios virtuales. Estos tipos de máquinas admiten
estaciones de trabajo virtuales (vWS) de NVIDIA RTX.
La serie G también se puede usar para entrenar modelos más pequeños y para la inferencia de host único. En estos tipos de máquinas, el modelo de GPU se conecta automáticamente a la instancia. |
Para los tipos de máquinas de uso general N1, excepto el núcleo compartido N1
( |
|
|
Los siguientes modelos de GPU se pueden conectar a los tipos de máquinas de uso general N1:
|
||
También puedes usar algunos tipos de máquinas de GPU en AI Hypercomputer. AI Hypercomputer es un sistema de supercomputación optimizado para admitir cargas de trabajo de Inteligencia Artificial (IA) y aprendizaje automático (AA). Esta opción se recomienda para crear una infraestructura asignada de manera densa y optimizada para el rendimiento que tenga integraciones para los programadores de Google Kubernetes Engine (GKE) y Slurm.
Series de máquinas A4X Max y A4X
Las series de máquinas A4X Max y A4X se ejecutan en una plataforma de exaescala basada en la arquitectura a escala de bastidor de NVIDIA y están optimizadas para cargas de trabajo de HPC y entrenamiento de AA que usan mucho procesamiento intensivo y memoria, y que dependen de la red. A4X Max y A4X difieren principalmente en sus componentes de GPU y redes. A4X Max solo está disponible como instancias de Bare Metal, que proporcionan acceso directo a la CPU y la memoria del servidor host, sin la capa del hipervisor de Compute Engine.
Tipos de máquinas A4X Max (NVIDIA GB300)
Los tipos de máquinas A4X Max optimizadas para aceleradores
usan superchips NVIDIA GB300 Grace Blackwell Ultra (nvidia-gb300) y
son ideales para el entrenamiento y la entrega de modelos de base. Los tipos de máquinas A4X Max están disponibles
como instancias de Bare Metal.
A4X Max es una plataforma de exaescala basada en NVIDIA GB300 NVL72. Cada máquina tiene dos sockets con CPUs NVIDIA Grace con núcleos Arm Neoverse V2. Estas CPU están conectadas a cuatro GPU NVIDIA B300 Blackwell con comunicación rápida de chip a chip (NVLink-C2C). Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de A4X Max y A4X.
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia (GB) | SSD local conectado (GiB) | Cantidad de NICs físicas | Ancho de banda de red máximo (Gbps) | Cantidad de GPU NVIDIA GB300 | Memoria de GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-maxgpu-4g-metal |
144 | 960 | 12,000 | 6 | 3,600 | 4 | 1,116 |
Notas sobre el tipo de máquina A4X Max
Las siguientes notas se aplican a la tabla anterior:
- Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
- Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
- Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
Tipo de máquina A4X (NVIDIA GB200)
Los tipos de máquinas optimizadas para aceleradores A4X
usan superchips NVIDIA GB200 Grace Blackwell (nvidia-gb200) y
son ideales para el entrenamiento y la entrega de modelos de base.
A4X es una plataforma de exaescala basada en NVIDIA GB200 NVL72. Cada máquina tiene dos sockets con CPUs NVIDIA Grace con núcleos Arm Neoverse V2. Estas CPU están conectadas a cuatro GPU NVIDIA B200 Blackwell con una comunicación rápida de chip a chip (NVLink-C2C). Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de A4X Max y A4X.
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia (GB) | SSD local conectado (GiB) | Cantidad de NICs físicas | Ancho de banda de red máximo (Gbps) | Recuento de GPU NVIDIA GB200 | Memoria de GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-highgpu-4g |
140 | 884 | 12,000 | 6 | 2,000 | 4 | 744 |
Notas sobre el tipo de máquina A4X
Las siguientes notas se aplican a la tabla anterior:
- Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
- Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
- Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
Serie de máquinas A4 (NVIDIA B200)
Los tipos de máquinas optimizadas para aceleradores A4
tienen
GPU NVIDIA B200 Blackwell
(nvidia-b200) conectadas y son ideales para el entrenamiento y la entrega de modelos
de base. Para obtener información sobre las limitaciones de tipo de máquina, consulta
Limitaciones de A4.
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia (GB) | SSD local conectado (GiB) | Cantidad de NICs físicas | Ancho de banda de red máximo (Gbps) | Cantidad de GPU NVIDIA B200 Blackwell | Memoria de GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
224 | 3,968 | 12,000 | 10 | 3,600 | 8 | 1,440 |
Notas sobre tipo de máquina A4
Las siguientes notas se aplican a la tabla anterior:
- Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
- Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
- Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
Serie de máquinas A3
Los tipos de máquinas optimizadas para aceleradores A3 tienen conectadas GPUs NVIDIA H100 SXM o NVIDIA H200 SXM.
Tipo de máquina A3 Ultra (NVIDIA H200)
Los tipos de máquinas A3 Ultra
tienen GPU NVIDIA H200 SXM
(nvidia-h200-141gb) conectadas y proporcionan el mayor rendimiento de red
en la serie A3. Los tipos de máquinas A3 Ultra son ideales para el entrenamiento y la entrega de modelos de base. Para obtener información sobre las limitaciones de tipo de máquina, consulta
Limitaciones de A3 Ultra.
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia (GB) | SSD local conectado (GiB) | Cantidad de NICs físicas | Ancho de banda de red máximo (Gbps) | Recuento de GPU NVIDIA H200 | Memoria de GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
224 | 2,952 | 12,000 | 10 | 3,600 | 8 | 1128 |
Notas sobre el tipo de máquina A3 Ultra
Las siguientes notas se aplican a la tabla anterior:
- Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
- Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
- Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
Tipos de máquinas A3 Mega, High y Edge (NVIDIA H100)
Para usar las GPU NVIDIA H100 SXM, tienes las siguientes opciones:
- A3 Mega: Estos tipos de máquinas tienen GPUs H100 SXM (
nvidia-h100-mega-80gb) y son ideales para cargas de trabajo de entrenamiento y entrega a gran escala. - A3 High: Estos tipos de máquinas tienen GPUs H100 SXM (
nvidia-h100-80gb) y son ideales para tareas de entrenamiento y entrega. - A3 Edge: Estos tipos de máquinas tienen GPUs H100 SXM (
nvidia-h100-80gb), están diseñados específicamente para la entrega y están disponibles en un conjunto limitado de regiones.
A3 Mega
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia (GB) | SSD local conectado (GiB) | Cantidad de NICs físicas | Ancho de banda de red máximo (Gbps) | Cantidad de GPU NVIDIA H100 | Memoria de GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
208 | 1,872 | 6,000 | 9 | 1,800 | 8 | 640 |
A3 High
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia (GB) | SSD local conectado (GiB) | Cantidad de NICs físicas | Ancho de banda de red máximo (Gbps) | Cantidad de GPU NVIDIA H100 | Memoria de GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1,500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3,000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1,872 | 6,000 | 5 | 1,000 | 8 | 640 |
A3 Edge
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia (GB) | SSD local conectado (GiB) | Cantidad de NICs físicas | Ancho de banda de red máximo (Gbps) | Cantidad de GPU NVIDIA H100 | Memoria de GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
208 | 1,872 | 6,000 | 5 | 600 (asia-south1 y northamerica-northeast2) o 400 (todas las demás regiones de A3 Edge) |
8 | 640 |
Notas sobre tipo de máquina A3 Mega, High y Edge
Las siguientes notas se aplican a la tabla anterior:
- Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
- Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
- Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
Serie de máquinas A2 (NVIDIA A100)
Los tipos de máquinas optimizados para aceleradores A2 tienen GPU NVIDIA A100 conectadas y son ideales para el ajuste de modelos, modelos grandes y la inferencia optimizada para costos.
La serie de máquinas A2 ofrece dos tipos:
- A2 Ultra: Estos tipos de máquinas tienen GPUs A100 de 80 GB
(
nvidia-a100-80gb) y discos SSD locales conectados. - A2 estándar: estos tipos de máquinas tienen GPU A100 (
nvidia-tesla-a100) de 40 GB conectadas. También puedes agregar discos SSD locales cuando creas una instancia A2 estándar. Para conocer la cantidad de discos que puedes conectar, consulta Tipos de máquinas que requieren que elijas una cantidad de discos SSD locales.
A2 ultra
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia (GB) | SSD local conectado (GiB) | Ancho de banda de red máximo (Gbps) | Recuento de GPU NVIDIA A100 de 80 GB | Memoria de GPU (GB HBM2e) |
|---|---|---|---|---|---|---|
a2-ultragpu-1g |
12 | 170 | 375 | 24 | 1 | 80 |
a2-ultragpu-2g |
24 | 340 | 750 | 32 | 2 | 160 |
a2-ultragpu-4g |
48 | 680 | 1,500 | 50 | 4 | 320 |
a2-ultragpu-8g |
96 | 1,360 | 3,000 | 100 | 8 | 640 |
A2 Estándar
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia (GB) | Compatible con SSD local | Ancho de banda de red máximo (Gbps) | Recuento de GPU NVIDIA A100 de 40 GB | Memoria de GPU (GB HBM2) |
|---|---|---|---|---|---|---|
a2-highgpu-1g |
12 | 85 | Sí | 24 | 1 | 40 |
a2-highgpu-2g |
24 | 170 | Sí | 32 | 2 | 80 |
a2-highgpu-4g |
48 | 340 | Sí | 50 | 4 | 160 |
a2-highgpu-8g |
96 | 680 | Sí | 100 | 8 | 320 |
a2-megagpu-16g |
96 | 1,360 | Sí | 100 | 16 | 640 |
Notas sobre tipo de máquina A2
Las siguientes notas se aplican a la tabla anterior:
- Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
- Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
- Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
Serie de máquinas G4 (NVIDIA RTX PRO 6000)
Los tipos de máquinas optimizadas para aceleradores G4
usan
GPU NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000)
y son
adecuados para cargas de trabajo de simulación de NVIDIA Omniverse, aplicaciones con uso intensivo de gráficos, transcodificación de
video y escritorios virtuales. Los tipos de máquinas G4 también proporcionan una solución de bajo costo para
realizar inferencias de host único y ajustes de modelos en comparación con los tipos de máquinas de la serie A.
También puedes agregar discos SSD Titanium cuando creas una instancia G4. Para conocer la cantidad de discos que puedes conectar, consulta Tipos de máquinas que requieren que elijas una cantidad de discos SSD locales. Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de G4.
Una característica clave de la serie G4 es la compatibilidad con la comunicación directa de GPU de par a par (P2P)
en tipos de máquinas con varias GPU (g4-standard-96, g4-standard-192,
g4-standard-384). Esto permite que las GPU dentro de la misma instancia
intercambien datos directamente a través del bus PCIe, sin involucrar al host de la CPU. Para obtener más información sobre
la comunicación de par a par de las GPU G4, consulta
Comunicación de par a par de las GPU G4.
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia (GB) | Máximo de SSD Titanium admitido (GiB) | Cantidad de NICs físicas | Ancho de banda de red máximo (Gbps) | Cantidad de GPU NVIDIA RTX PRO 6000 | Memoria de GPU (GB GDDR7) |
|---|---|---|---|---|---|---|---|
g4-standard-6 |
6 | 22 | 0 | 1 | 20 | 1/8 | 12 |
g4-standard-12 |
12 | 45 | 375 | 1 | 20 | 1/4 | 24 |
g4-standard-24 |
24 | 90 | 750 | 1 | 20 | 1/2 | 48 |
g4-standard-48 |
48 | 180 | 1,500 | 1 | 50 | 1 | 96 |
g4-standard-96 |
96 | 360 | 3,000 | 1 | 100 | 2 | 192 |
g4-standard-192 |
192 | 720 | 6,000 | 1 | 200 | 4 | 384 |
g4-standard-384 |
384 | 1,440 | 12,000 | 2 | 400 | 8 | 768 |
Notas sobre el tipo de máquina G4
Las siguientes notas se aplican a la tabla anterior:
- Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
- Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
- Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
Serie de máquinas G2 (NVIDIA L4)
Los tipos de máquinas optimizadas para aceleradores G2 tienen GPU NVIDIA L4 conectadas y son ideales para cargas de trabajo de inferencia con costos optimizados, de uso intensivo de gráficos y de computación de alto rendimiento.
Cada tipo de máquina G2 también tiene una memoria predeterminada y un rango de memoria personalizado. El rango de memoria personalizado define la cantidad de memoria que puedes asignar a tu instancia para cada tipo de máquina. También puedes agregar discos SSD locales cuando creas una instancia G2. Para conocer la cantidad de discos que puedes conectar, consulta Tipos de máquinas que requieren que elijas una cantidad de discos SSD locales.
Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de G2.
| Tipo de máquina | Recuento de CPU virtuales | Memoria de la instancia predeterminada (GB) | Rango de memoria de la instancia personalizado (GB) | Máximo de SSD local admitido (GiB) | Ancho de banda de red máximo (Gbps) | Recuento de GPU NVIDIA L4 | Memoria de GPU (GB GDDR6) |
|---|---|---|---|---|---|---|---|
g2-standard-4 |
4 | 16 | De 16 a 32 | 375 | 10 | 1 | 24 |
g2-standard-8 |
8 | 32 | De 32 a 54 | 375 | 16 | 1 | 24 |
g2-standard-12 |
12 | 48 | De 48 a 54 | 375 | 16 | 1 | 24 |
g2-standard-16 |
16 | 64 | De 54 a 64 | 375 | 32 | 1 | 24 |
g2-standard-24 |
24 | 96 | De 96 a 108 | 750 | 32 | 2 | 48 |
g2-standard-32 |
32 | 128 | De 96 a 128 | 375 | 32 | 1 | 24 |
g2-standard-48 |
48 | 192 | De 192 a 216 | 1,500 | 50 | 4 | 96 |
g2-standard-96 |
96 | 384 | De 384 a 432 | 3,000 | 100 | 8 | 192 |
Notas sobre tipo de máquina G2
Las siguientes notas se aplican a la tabla anterior:
- Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
- Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
- Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
Serie de máquinas N1
Puedes conectar los siguientes modelos de GPU a un tipo de máquina N1, con la excepción de los tipos de máquinas de núcleo compartido N1.
A diferencia de los tipos de máquinas de la serie de máquinas optimizadas para aceleradores, los tipos de máquinas N1 no incluyen una cantidad fija de GPUs conectadas. En su lugar, debes especificar la cantidad de GPU que se conectarán cuando crees la instancia.
Las instancias N1 con menos GPUs limitan la cantidad máxima de CPUs virtuales. En general, una cantidad mayor de GPU te permite crear instancias con mayores cantidades de CPUs virtuales y de memoria.
GPU de N1 + T4
Puedes conectar las GPU NVIDIA T4 a las instancias N1 de uso general con los siguientes parámetros de configuración de instancia.
| Tipo de acelerador | Recuento de GPU NVIDIA T4 | Memoria de GPU (GB GDDR6) | Recuento de CPU virtuales | Memoria de la instancia (GB) | Compatible con SSD local |
|---|---|---|---|---|---|
nvidia-tesla-t4 o nvidia-tesla-t4-vws |
1 | 16 | De 1 a 48 | De 1 a 312 | Sí |
nvidia-tesla-t4 o nvidia-tesla-t4-vws |
2 | 32 | De 1 a 48 | De 1 a 312 | Sí |
nvidia-tesla-t4 o nvidia-tesla-t4-vws |
4 | 64 | De 1 a 96 | De 1 a 624 | Sí |
Notas sobre el tipo de máquina N1+T4
La siguiente nota se aplica a la tabla anterior:
- Memoria de GPU: Es la memoria disponible en un dispositivo de GPU que puedes usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
GPU de N1 + P4
Puedes conectar
las GPU NVIDIA P4
a las instancias N1 de uso general con los siguientes parámetros de configuración de instancia.
Para las instancias con GPUs NVIDIA P4 conectadas, los discos SSD locales solo son compatibles
en las zonas us-central1-c y northamerica-northeast1-b.
| Tipo de acelerador | Recuento de GPU NVIDIA P4 | Memoria de GPU (GB GDDR5) | Recuento de CPU virtuales | Memoria de la instancia (GB) | Compatible con SSD local |
|---|---|---|---|---|---|
nvidia-tesla-p4 o nvidia-tesla-p4-vws |
1 | 8 | De 1 a 24 | De 1 a 156 | Sí (solo us-central1-c y northamerica-northeast1-b) |
nvidia-tesla-p4 o nvidia-tesla-p4-vws |
2 | 16 | De 1 a 48 | De 1 a 312 | Sí (solo us-central1-c y northamerica-northeast1-b) |
nvidia-tesla-p4 o nvidia-tesla-p4-vws |
4 | 32 | De 1 a 96 | De 1 a 624 | Sí (solo us-central1-c y northamerica-northeast1-b) |
Notas sobre tipo de máquina N1+P4
La siguiente nota se aplica a la tabla anterior:
- Memoria de GPU: Es la memoria disponible en un dispositivo de GPU que puedes usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
GPU de N1 + V100
Puedes conectar las GPU NVIDIA V100
a las instancias N1 de uso general con los siguientes parámetros de configuración de instancia.
Para las instancias con GPU NVIDIA V100 conectadas, los discos SSD locales no son compatibles
en la zona us-east1-c.
| Tipo de acelerador | Recuento de GPU NVIDIA V100 | Memoria de GPU (GB HBM2) | Recuento de CPU virtuales | Memoria de la instancia (GB) | Compatible con SSD local |
|---|---|---|---|---|---|
nvidia-tesla-v100 |
1 | 16 | De 1 a 12 | De 1 a 78 | Sí (excepto us-east1-c) |
nvidia-tesla-v100 |
2 | 32 | De 1 a 24 | De 1 a 156 | Sí (excepto us-east1-c) |
nvidia-tesla-v100 |
4 | 64 | De 1 a 48 | De 1 a 312 | Sí (excepto us-east1-c) |
nvidia-tesla-v100 |
8 | 128 | De 1 a 96 | De 1 a 624 | Sí (excepto us-east1-c) |
Notas sobre tipo de máquina N1+V100
La siguiente nota se aplica a la tabla anterior:
- Memoria de GPU: Es la memoria disponible en un dispositivo de GPU que puedes usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
Experiencia de mantenimiento para instancias N1 con GPU
Durante el ciclo de vida de una instancia de Compute Engine, la máquina anfitrión en la que se ejecuta la instancia pasa por varios eventos de host. Un evento de host puede incluir el mantenimiento regular de la infraestructura de Compute Engine o, en casos excepcionales, un error de host. Compute Engine también aplica algunas actualizaciones básicas sin interrupciones para el hipervisor y la red en segundo plano.
En la siguiente tabla, se describen las funciones de mantenimiento de host para los tipos de máquinas N1 con GPU conectadas:
| Tipo de máquina | Cantidad de GPU | Frecuencia típica de los eventos de mantenimiento programados | Comportamiento del mantenimiento | Notificación anticipada para el mantenimiento programado | Mantenimiento a pedido | Simular mantenimiento |
|---|---|---|---|---|---|---|
| N1+T4 | 1 o 2 | Mínimo de 15 días | Finaliza y reinicia | 7 días | No | Sí |
| N1+T4 | 4 | Mínimo de 30 días | Finaliza y reinicia | 7 días | Sí | Sí |
| N1+P4 | 1 o 2 | Mínimo de 15 días | Finaliza y reinicia | 7 días | No | Sí |
| N1+P4 | 4 | Mínimo de 30 días | Finaliza y reinicia | 7 días | Sí | Sí |
| N1+V100 | 1, 2 o 4 | Mínimo de 15 días | Finaliza y reinicia | 7 días | No | Sí |
| N1+V100 | 8 | Mínimo de 30 días | Finaliza y reinicia | 7 días | Sí | Sí |
Las siguientes notas se aplican a la tabla anterior:
- Frecuencia típica de los eventos de mantenimiento programados:
Las frecuencias de mantenimiento que se muestran en la tabla anterior son aproximaciones, no garantías. Puede que Compute Engine haga tareas de mantenimiento con mayor frecuencia.
Gráfico de comparación general
En la siguiente tabla, se describe el tamaño de la memoria de GPU, la disponibilidad de las funciones y los tipos de carga de trabajo ideales de diferentes modelos de GPU en Compute Engine.
En la siguiente tabla, N/A indica que la métrica no corresponde o no está disponible para este modelo de GPU.
| Tipo de máquina (modelo de GPU) | Memoria y ancho de banda de la GPU | Interconexión | Compatibilidad con la estación de trabajo virtual (vWS) NVIDIA RTX | Se recomienda su uso para |
|---|---|---|---|---|
| A4X Max (GB300) | HBM3e de 279 GB (8 TBps) | Malla completa de NVLink (1,800 GBps) | No | Inferencia y entrenamiento distribuidos a gran escala de LLM de MoE, recomendadores y HPC |
| A4X (GB200) | HBM3e de 186 GB (8 TBps) | Malla completa de NVLink (1,800 GBps) | No | Inferencia y entrenamiento distribuidos a gran escala de LLM, recomendadores y HPC |
| A4 (B200) | HBM3e de 180 GB (8 TBps) | Malla completa de NVLink (1,800 GBps) | No | Inferencia y entrenamiento distribuidos a gran escala de LLM, recomendadores y HPC |
| A3 Ultra (H200) | HBM3e de 141 GB (4.8 TBps) | Malla completa de NVLink (900 GBps) | No | Modelos grandes con tablas de datos grandes para el entrenamiento de AA, la inferencia, la HPC, BERT y DLRM |
| A3 Mega, A3 High, A3 Edge (H100) | HBM3 de 80 GB (3.35 TBps) | Malla completa de NVLink (900 GBps) | No | Modelos grandes con tablas de datos grandes para el entrenamiento de AA, la inferencia, la HPC, BERT y DLRM |
| A2 Ultra (A100 de 80 GB) | HBM2e de 80 GB (1.9 TBps) | Malla completa de NVLink (600 GBps) | No | Modelos grandes con tablas de datos grandes para el entrenamiento de AA, la inferencia, la HPC, BERT y DLRM |
| A2 estándar (A100 de 40 GB) | HBM2 de 40 GB (1.6 TBps) | Malla completa de NVLink (600 GBps) | No | AA, entrenamiento, inferencia, HPC |
| G4 (RTX PRO 6000) | 96 GB GDDR7 (1.597 TBps) | N/A | Sí | Inferencia de ML, entrenamiento, estaciones de trabajo de visualización remota, transcodificación de video, HPC |
| G2 (L4) | GDDR6 de 24 GB (300 GBps) | N/A | Sí | Inferencia de ML, entrenamiento, estaciones de trabajo de visualización remota, transcodificación de video, HPC |
| N1 (T4) | GDDR6 de 16 GB (320 GBps) | N/A | Sí | Inferencia de ML, entrenamiento, estaciones de trabajo de visualización remota, transcodificación de video |
| N1 (P4) | 8 GB GDDR5 (192 GBps) | N/A | Sí | Estaciones de trabajo de visualización remota, inferencia ML y transcodificación de video |
| N1 (V100) | HBM2 de 16 GB (900 GBps) | Anillo de NVLink (300 GBps) | No | AA, entrenamiento, inferencia, HPC |
Si deseas comparar los precios de GPU para los diferentes modelos y regiones de GPU disponibles en Compute Engine, consulta los precios de GPU.
Rendimiento de Tensor Core y CUDA Core estándar
En las siguientes secciones, se proporcionan métricas de rendimiento para cada arquitectura de GPU, separadas en núcleos CUDA vectoriales o estándar y rendimiento de Tensor Core.
Núcleos Tensor: El rendimiento de Tensor se refiere a la capacidad de procesamiento que alcanzan los núcleos Tensor especializados. Estas son unidades de hardware dedicadas (a menudo llamadas unidades de matriz) diseñadas específicamente para acelerar las operaciones grandes de multiplicación y acumulación de matrices que forman la base del aprendizaje, el entrenamiento y la inferencia profundos.
Este tipo de rendimiento es ideal para el aprendizaje profundo, los modelos de lenguaje grandes (LLM) y cualquier carga de trabajo que se pueda expresar como operaciones de matrices densas. Los Tensor Cores proporcionan una capacidad de procesamiento significativamente mayor que los núcleos CUDA para el mismo tipo de datos.
Núcleos CUDA vectoriales o estándar: El rendimiento vectorial se refiere a la capacidad de procesamiento que alcanzan los núcleos CUDA estándar. Estas son unidades de uso general que operan con un modelo de instrucción única y varios subprocesos (SIMT), y suelen realizar operaciones en elementos de datos o vectores individuales.
Este tipo de rendimiento es ideal para el procesamiento general, la renderización de gráficos y las cargas de trabajo que no implican operaciones matemáticas de matrices densas.
Arquitectura Blackwell
Los tipos de máquinas A4X Max, A4X, A4 y G4 se ejecutan en la arquitectura Blackwell de NVIDIA.
Tensor Core
La arquitectura Blackwell de NVIDIA, que usan estos tipos de máquinas, introduce la compatibilidad con Tensor Core para la precisión de FP4 y las capacidades de INT4 expandidas para un alto rendimiento en la inferencia de modelos grandes.
En la siguiente tabla, N/A indica que la métrica no es
aplicable o no está disponible para este modelo de GPU. También se aplican las siguientes notas:
- TF32, FP16/32 mixto, INT8, FP8 y FP4: La arquitectura Blackwell admite la dispersión estructural para estas métricas de precisión, lo que puede duplicar la capacidad de procesamiento computacional. Los valores de rendimiento de esta tabla suponen una multiplicación de matrices densas. Si usas la dispersión estructural, el rendimiento se duplica.
- FP16/32 mixta: Para el entrenamiento de precisión mixta, las GPU que se ejecutan en la arquitectura Blackwell también admiten el tipo de datos
bfloat16.
| Tipo de máquina (modelo de GPU) | FP64 (TFLOPS) | TF32 (TFLOPS) | FP16/32 mixto (TFLOPS) | INT8 (TFLOPS) | FP8 (TFLOPS) | FP4 (TFLOPS) |
|---|---|---|---|---|---|---|
| A4X Max (GB300) | 1.3 | 1,250 | 2,500 | 5,000 | 5,000 | 15,000 |
| A4X (GB200) | 45 | 1,250 | 2,500 | 5,000 | 5,000 | 10,000 |
| A4 (B200) | 40 | 1,100 | 2,250 | 4,500 | 4,500 | 9,000 |
| G4 (RTX PRO 6000) | N/A | 233.9 | 467.8 | 935.6 | 935.6 | 1871.2 |
Núcleos CUDA estándar
Los tipos de máquinas que usan la arquitectura Blackwell proporcionan operaciones FP64 y FP32 de alto rendimiento para cargas de trabajo exigentes de HPC y de IA.
Para A4X Max, A4X y A4, los núcleos Tensor aceleran las operaciones de FP16. En el caso de G4, se incluye el rendimiento de FP16 en los núcleos CUDA estándar, ya que las cargas de trabajo de gráficos, como la renderización y la visualización, pueden beneficiarse de los requisitos reducidos de uso de memoria y ancho de banda de la precisión de FP16, incluso cuando no se usan núcleos Tensor.
En la siguiente tabla, N/A indica que la métrica no corresponde o
no está disponible para este modelo de GPU. También se aplica la siguiente nota:
- A4X Max (GB300) FP64: El rendimiento de FP64 en GB300 se reduce para priorizar el rendimiento de FP4.
| Tipo de máquina (modelo de GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) | FP16 (TFLOPS) |
|---|---|---|---|
| A4X Max (GB300) | 1.39 | 45 | N/A |
| A4X (GB200) | 45 | 45 | N/A |
| A4 (B200) | 40 | 80 | N/A |
| G4 (RTX PRO 6000) | 1.8 | 117 | 117 |
Arquitecturas Hopper, Ada Lovelace y Ampere
La serie A3 usa la arquitectura Hopper, que introdujo motores especializados para modelos de Transformer. La serie A2 usa la arquitectura Ampere, que proporciona una base equilibrada para el entrenamiento y la inferencia de alto rendimiento. La serie G2 usa la arquitectura Ada Lovelace, que proporciona aceleración versátil y de bajo consumo para la inferencia de IA, la transcodificación de video y las cargas de trabajo de gráficos.
Tensor Core
Las arquitecturas Hopper, Ada Lovelace y Ampere cuentan con Tensor Cores avanzados que aceleran los tipos de datos TF32, FP16, FP8 e INT8, lo que proporciona una alta capacidad de procesamiento para el entrenamiento y la inferencia de precisión mixta.
En la siguiente tabla, N/A indica que la métrica no corresponde o
no está disponible para este modelo de GPU. También se aplican las siguientes notas:
- TF32, FP16/32 mixto, INT8 y FP8: Las arquitecturas Hopper, Ada Lovelace y Ampere admiten la dispersión estructural para estas métricas de precisión (y INT4), lo que puede duplicar la capacidad de procesamiento computacional. Los valores de rendimiento de esta tabla suponen una multiplicación de matrices densas. Si usas la dispersión estructural, el rendimiento se duplica.
- FP16/32 mixta: Para el entrenamiento de precisión mixta, las GPU NVIDIA H200, H100, A100 y L4 también admiten el tipo de datos
bfloat16.
| Tipo de máquina (modelo de GPU) | FP64 (TFLOPS) | TF32 (TFLOPS) | FP16/32 mixto (TFLOPS) | INT8 (TOPS) | FP8 (TFLOPS) |
|---|---|---|---|---|---|
| A3 Ultra (H200) | 67 | 494.5 | 989.5 | 1,979 | 1,979 |
| A3 Mega/High/Edge (H100) | 67 | 494.5 | 989.5 | 1,979 | 1,979 |
| A2 Ultra (A100 de 80 GB) | 19.5 | 156 | 312 | 624 | N/A |
| A2 estándar (A100 de 40 GB) | 19.5 | 156 | 312 | 624 | N/A |
| G2 (L4) | N/A | 60 | 121 | 242.5 | 121 |
Núcleos CUDA estándar
Los tipos de máquinas que usan las arquitecturas Hopper, Ada Lovelace y Ampere proporcionan operaciones FP64 y FP32 de alto rendimiento para cargas de trabajo exigentes de HPC y de IA.
En la siguiente tabla, N/A indica que la métrica no es
aplicable o no está disponible para este modelo de GPU.
| Tipo de máquina (modelo de GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| A3 Ultra (H200) | 34 | 67 |
| A3 Mega, High, Edge (H100) | 34 | 67 |
| A2 Ultra (A100 de 80 GB) | 9.7 | N/A |
| A2 estándar (A100 de 40 GB) | 9.7 | N/A |
| G2 (L4) | N/A | 30.3 |
Arquitecturas Volta, Pascal y Turing
Los tipos de máquinas N1 usan las siguientes arquitecturas de GPU:
Tensor Core
Las arquitecturas Turing y Volta de NVIDIA, disponibles en las instancias N1, proporcionan compatibilidad con Tensor Core para operaciones de precisión mixta, INT8 e INT4, lo que ofrece una aceleración fundamental para la inferencia de aprendizaje profundo.
Estas GPU presentaron las primeras generaciones de Tensor Cores, que se usan principalmente para el entrenamiento de FP16 y la cuantización de INT8 e INT4 en la inferencia. En esta tabla, no se incluye el tipo de máquina N1 (P4) porque no tiene núcleos Tensor.
En la siguiente tabla, N/A indica que la métrica no corresponde o
no está disponible para este modelo de GPU.
| Tipo de máquina (modelo de GPU) | FP16/32 mixto (TFLOPS) | INT8 (TOPS) | INT4 (TOPS) |
|---|---|---|---|
| N1 (V100) | 125 | N/A | N/A |
| N1 (T4) | 65 | 130 | 260 |
Núcleos CUDA estándar
Los tipos de máquinas que usan las arquitecturas Volta, Pascal y Turing están equipados con núcleos CUDA FP64 y FP32 para acelerar una variedad de cargas de trabajo de HPC y IA.
En la siguiente tabla, N/A indica que la métrica no corresponde o
no está disponible para este modelo de GPU.
| Tipo de máquina (modelo de GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| N1 (V100) | 7.8 | 15.6 |
| N1 (T4) | N/A | 8.1 |
| N1 (P4) | 0.2 | 5.5 |
Próximos pasos
- Obtén más información sobre las GPU de Compute Engine.
- Consulta la disponibilidad de regiones y zonas de GPU.
- Revisa Ancho de banda de la red y GPU.
- Consulta los detalles de los precios de las GPU.