Máquinas con GPU en la familia de máquinas optimizadas para aceleradores

En este documento, se describen las instancias de Compute Engine que tienen GPUs de NVIDIA conectadas previamente en la familia de máquinas optimizadas para aceleradores. Estas instancias están diseñadas específicamente para inteligencia artificial (IA), aprendizaje automático (AA), computación de alto rendimiento (HPC) y aplicaciones con uso intensivo de gráficos.

La familia de máquinas optimizadas para aceleradores incluye las siguientes series de máquinas: A4X Max, A4X, A4, A3, A2, G4 y G2. Cada tipo de máquina de una serie tiene un modelo específico y una cantidad de GPU NVIDIA conectadas. También puedes conectar algunos modelos de GPU a los tipos de máquinas de uso general N1.

Para obtener información sobre las instancias optimizadas para aceleradores con TPU conectadas, consulta Máquinas TPU en la familia de máquinas optimizadas para aceleradores.

Modelos de GPU y series de máquinas

En la siguiente tabla, se resumen las especificaciones de hardware, las asignaciones de series de máquinas, el ancho de banda de red y las capacidades de almacenamiento de los modelos de GPU disponibles en Compute Engine:

Modelo de GPU Series de máquinas Arquitectura Memoria y ancho de banda de la GPU GPU por instancia de procesamiento Ancho de banda máximo de red SSD local Interconexión Compatibilidad con la estación de trabajo virtual (vWS) NVIDIA RTX
NVIDIA GB300 A4X Max Blackwell Ultra HBM3e de 279 GB (8 TBps) 4 (NVL72) 3,600 Gbps 12,000 GiB Malla completa de NVLink (1,800 GBps) No
NVIDIA GB200 A4X Blackwell HBM3e de 186 GB (8 TBps) 4 (NVL72) 2,000 Gbps 12,000 GiB Malla completa de NVLink (1,800 GBps) No
NVIDIA B200 A4 Blackwell HBM3e de 180 GB (8 TBps) 8 3,600 Gbps 12,000 GiB Malla completa de NVLink (1,800 GBps) No
NVIDIA H200 A3 Ultra Hopper HBM3e de 141 GB (4.8 TBps) 8 3,600 Gbps 12,000 GiB Malla completa de NVLink (900 GBps) No
NVIDIA H100 A3 Mega, High, Edge Hopper HBM3 de 80 GB (3.35 TBps) 1, 2, 4, 8 Hasta 1,000 Gbps Hasta 6,000 GiB Malla completa de NVLink (900 GBps) No
NVIDIA A100 (80 GB) A2 ultra Ampere HBM2e de 80 GB (1.9 TBps) 1, 2, 4, 8 100 Gbps Hasta 3,000 GiB Malla completa de NVLink (600 GBps) No
NVIDIA A100 (40 GB) A2 Estándar Ampere HBM2 de 40 GB (1.6 TBps) 1, 2, 4, 8, 16 100 Gbps Hasta 3,000 GiB Malla completa de NVLink (600 GBps) No
NVIDIA RTX PRO 6000 G4 Blackwell 96 GB GDDR7 (1.597 TBps) 1/8, 1/4, 1/2, 1, 2, 4, 8 200 Gbps Hasta 3,000 GiB PCIe Gen 5 Sí
NVIDIA L4 G2 Ada Lovelace GDDR6 de 24 GB (300 GBps) 1, 2, 4, 8 100 Gbps Hasta 3,000 GiB PCIe Gen 4 Sí
NVIDIA V100 N1+V100 Volta HBM2 de 16 GB (900 GBps) 1, 2, 4, 8 100 Gbps Admitido Anillo de NVLink (300 GBps) No
NVIDIA T4 (pronto dejará de ser compatible) N1+T4 Turing GDDR6 de 16 GB (320 GBps) 1, 2, 4 100 Gbps Admitido PCIe Gen 3 Sí
NVIDIA P4 (pronto dejará de ser compatible) N1+P4 Pascal 8 GB GDDR5 (192 GBps) 1, 2, 4 100 Gbps Admitido PCIe Gen 3 Sí

En la siguiente sección, se proporciona la serie de máquinas recomendada en función de las cargas de trabajo de GPU. Para obtener más información sobre cómo elegir una estrategia de procesamiento para las cargas de trabajo de IA/AA y HPC, consulta Elige una estrategia de procesamiento en la documentación de AI Hypercomputer.

Entrenamiento de IA/AA

Inferencia de IA/AA

  • Inferencia de modelos grandes (más de 70,000 millones de parámetros): La entrega de modelos de lenguaje grandes (LLM) se beneficia de la alta capacidad de la memoria de gran ancho de banda (HBM3e) (de 141 a 186 GB por GPU) para ajustar los pesos del modelo en menos GPU, lo que reduce la sobrecarga de comunicación entre chips. Serie de máquinas recomendada:

  • Entrega en tiempo real y de alta capacidad de procesamiento: las consultas interactivas de baja latencia, las respuestas de transmisión y la generación de imágenes usan formatos numéricos cuantizados acelerados por hardware, como punto flotante de 8 bits (FP8), número entero de 8 bits (INT8) y número entero de 4 bits (INT4), para maximizar la capacidad de procesamiento de solicitudes por dólar. Serie de máquinas recomendada:

    Para obtener más información, consulta Recomendaciones para entregar inferencias en la documentación de AI Hypercomputer.

Gráficos y elementos visuales

HPC y simulación

  • Simulación y modelado científicos: las aplicaciones en dinámica molecular (como GROMACS y AMBER), dinámica de fluidos computacional (CFD), química cuántica, astrofísica y previsión meteorológica requieren un alto rendimiento de punto flotante de precisión doble (FP64) de 64 bits y un alto ancho de banda de memoria. Serie de máquinas recomendada:

    • A4X (NVIDIA GB200)
    • A4 (NVIDIA B200)
    • A3 (NVIDIA H100)
    • A2 (NVIDIA A100)

    Para obtener más información, consulta Recomendaciones para HPC en la documentación de AI Hypercomputer.

Las series de máquinas A4X Max y A4X

Las series de máquinas A4X Max y A4X se ejecutan en una plataforma de exaescala basada en la arquitectura a escala de bastidor de NVIDIA y están optimizadas para cargas de trabajo de HPC y entrenamiento de AA que usan mucho procesamiento intensivo y memoria, y que dependen de la red. A4X Max y A4X difieren principalmente en sus componentes de GPU y redes. A4X Max solo está disponible como instancias de Bare Metal, que proporcionan acceso directo a la CPU y la memoria del servidor host, sin el hipervisor de Compute Engine en el medio.

Todos los tipos de máquinas de las series A4X Max y A4X tienen dos sockets con CPUs NVIDIA Grace™ con núcleos Arm® Neoverse™ V2. Estas CPU se conectan a cuatro GPU con comunicación rápida de chip a chip NVLink-C2.

Las series de máquinas A4X Max y A4X se basan en la arquitectura a escala de bastidor NVL72 de NVIDIA, que usa dominios de NVLink para habilitar el procesamiento de GPU de alto rendimiento y a gran escala. Un dominio de NVLink es un grupo de chips NVIDIA NVSwitch interconectados y las GPU que se conectan a ellos, lo que forma un tejido de red de alta velocidad que permite una comunicación directa y rápida entre las GPU. Para los tipos de máquinas A4X Max y A4X, un solo dominio NVL72 (NVLink) se compone de 18 instancias y 72 GPUs.

Comparación entre A4X Max y A4X

En la siguiente tabla, se comparan las funciones que difieren entre los tipos de máquinas A4X Max y A4X:

Función A4X Max (NVIDIA GB300) A4X (NVIDIA GB200)
Aceleración de GPU Las instancias de A4X Max tienen conectados automáticamente superchips NVIDIA GB300 Ultra. Estos superchips cuentan con GPU NVIDIA B300, que ofrecen hasta 20 TB de memoria de GPU total por dominio NVL72, lo que proporciona aproximadamente 279 GB por GPU. Las instancias A4X tienen superchips NVIDIA GB200 conectados automáticamente. Estos superchips cuentan con GPU NVIDIA B200 y ofrecen 186 GB de memoria por GPU.
Herramientas de redes mejoradas con RoCE

En el caso de las instancias A4X Max, RDMA sobre Ethernet convergente (RoCE) aumenta el rendimiento de la red combinando SuperNICs NVIDIA ConnectX-8 (CX-8) y la red de todo el centro de datos de Google, que cuenta con alineación de rieles de ocho vías. Esta configuración ofrece hasta 3,200 Gbps de ancho de banda, lo que es óptimo para tareas exigentes de HPC y entrenamiento a gran escala.

Para las redes de uso general, cada instancia también tiene hasta 400 Gbps de ancho de banda.

En el caso de las instancias A4X, el acceso directo a memoria remota (RDMA) sobre Ethernet convergente (RoCE) aumenta el rendimiento de la red, ya que combina NIC NVIDIA ConnectX-7 (CX-7) y la red de todo el centro de datos de Google, que cuenta con alineación de rieles de cuatro vías. Esta arquitectura proporciona hasta 1,600 Gbps de ancho de banda, lo que permite una comunicación de alta capacidad de procesamiento y baja latencia para cargas de trabajo distribuidas a gran escala.

Para las redes de uso general, cada instancia también tiene hasta 400 Gbps de ancho de banda.
Rendimiento Los superchips NVIDIA GB300 Ultra proporcionan 15 PetaFLOPS de rendimiento denso de FP4. Para la inferencia de FP4 a gran escala, se espera que los superchips GB300 Ultra ofrezcan un rendimiento entre un 20% y un 40% superior al de los superchips GB200. Los superchips NVIDIA GB200 proporcionan 10 PetaFLOPS de rendimiento denso de FP4.
Compatibilidad con Bare Metal y VM Solo instancias de equipos físicos Solo instancias de VM
Compatibilidad con SO Las instancias A4X Max admiten una variedad de imágenes de SO Linux. Sin embargo, debido a que las instancias de Bare Metal usan el controlador de red de la función de ruta de datos de infraestructura (IDPF), tu imagen de SO debe admitir IDPF. Para usar una imagen de SO que esté disponible en Compute Engine, consulta Imágenes de SO que admiten IDPF. Las instancias A4X admiten una variedad de imágenes de SO Linux. Para obtener una lista completa de los sistemas operativos compatibles con Compute Engine, consulta Compatibilidad de SO para GPU.

Los tipos de máquinas A4X Max y A4X comparten las siguientes características:

  • Plataforma de CPU: Los tipos de máquinas A4X Max y A4X usan la plataforma de CPU NVIDIA Grace con núcleos Arm® Neoverse™ V2. Para obtener más detalles sobre la plataforma, consulta Plataformas de CPU.

  • Escalabilidad de NVLink: NVLink de varios nodos escala hasta 72 GPU en un solo dominio y proporciona un ancho de banda de NVLink de GPU bidireccional de 1,800 GBps por GPU.

  • Compatibilidad con discos: Las instancias A4X Max y A4X admiten SSD locales para discos para instalación nueva rápidos, lo que es útil para ingresar datos en las GPU y, al mismo tiempo, evitar cuellos de botella de E/S. Se agregan automáticamente 12,000 GiB de SSD local a las instancias de A4X Max y A4X.

    Para el almacenamiento duradero, puedes conectar hasta 512 TiB de almacenamiento de Hyperdisk. Para obtener más información sobre los tipos de discos, consulta Elige un tipo de disco.

  • Compatibilidad con la asignación densa y la programación basada en la topología: Los tipos de máquinas A4X Max y A4X admiten la solicitud de bloques de capacidad asignada de forma densa. Tus máquinas anfitrión se asignan físicamente cerca unas de otras, se aprovisionan como bloques de recursos y se interconectan con un tejido de redes de AA dinámico para minimizar los saltos de red y optimizar la latencia baja. Además, para las instancias A4X Max y A4X, puedes obtener información de topología a nivel de nodo y de clúster que se puede usar para la ubicación de trabajos.

Opciones de precios y consumo para las instancias A4X Max y A4X

Las instancias A4X Max y A4X admiten las siguientes opciones de consumo y descuento:

Google Cloud factura las instancias A4X Max y A4X por las GPUs conectadas, las CPUs virtuales predefinidas, la memoria y los discos SSD locales agrupados. El uso de Hyperdisk y de la red se factura aparte del precio del tipo de máquina. Para obtener más información, consulta Opciones de precios y consumo, Precios de la familia de tipo de máquina optimizadas para aceleradores y Precios de GPU.

Tipo de máquina A4X Max (NVIDIA GB300)

Los tipos de máquinas A4X Max optimizadas para aceleradores usan superchips NVIDIA GB300 Grace Blackwell Ultra (nvidia-gb300) y son ideales para el entrenamiento y la entrega de modelos de base. Los tipos de máquinas A4X Max están disponibles como instancias de Bare Metal.

A4X Max es una plataforma de exaescala basada en NVIDIA GB300 NVL72. Cada máquina tiene dos sockets con CPUs NVIDIA Grace con núcleos Arm Neoverse V2. Estas CPU están conectadas a cuatro GPU NVIDIA B300 Blackwell con comunicación rápida de chip a chip (NVLink-C2C). Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de A4X Max y A4X.

Tipo de máquina Recuento de CPU virtuales Memoria de la instancia (GB) SSD local conectado (GiB) Cantidad de NICs físicas Ancho de banda de red máximo (Gbps) Cantidad de GPU NVIDIA GB300 Memoria de GPU (GB HBM3e)
a4x-maxgpu-4g-metal 144 960 12,000 6 3,600 4 1,116

Notas sobre el tipo de máquina A4X Max

Las siguientes notas se aplican a la tabla anterior:

  • Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
  • Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
  • Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.

Tipo de máquina A4X (NVIDIA GB200)

Los tipos de máquinas optimizadas para aceleradores A4X usan superchips NVIDIA GB200 Grace Blackwell (nvidia-gb200) y son ideales para el entrenamiento y la entrega de modelos de base.

A4X es una plataforma de exaescala basada en NVIDIA GB200 NVL72. Cada máquina tiene dos sockets con CPUs NVIDIA Grace con núcleos Arm Neoverse V2. Estas CPU están conectadas a cuatro GPU NVIDIA B200 Blackwell con una comunicación rápida de chip a chip (NVLink-C2C). Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de A4X Max y A4X.

Tipo de máquina Recuento de CPU virtuales Memoria de la instancia (GB) SSD local conectado (GiB) Cantidad de NICs físicas Ancho de banda de red máximo (Gbps) Recuento de GPU NVIDIA GB200 Memoria de GPU (GB HBM3e)
a4x-highgpu-4g 140 884 12,000 6 2,000 4 744

Notas sobre el tipo de máquina A4X

Las siguientes notas se aplican a la tabla anterior:

  • Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
  • Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
  • Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.

Limitaciones de A4X Max y A4X

Las siguientes limitaciones se aplican a las instancias A4X Max y A4X:

Instancias A4X Max

Instancias A4X

Tipos de discos compatibles con las instancias A4X Max y A4X

A4X Max

Las instancias A4X Max pueden usar los siguientes tipos de almacenamiento en bloque:

  • Hyperdisk Balanced (hyperdisk-balanced): Este es el único tipo de disco compatible con el disco de arranque.
  • Hyperdisk Throughput (hyperdisk-throughput)
  • Hyperdisk ML (hyperdisk-ml)
  • Hiperdisco extremo (hyperdisk-extreme)
  • SSD local, que se agrega de forma automática a las instancias que se crean con cualquiera de los tipos de máquinas A4X Max

En la siguiente tabla, se indica la cantidad máxima de discos admitidos por instancia:

Tipos de máquina Todos los Hyperdisks Hiperdisco balanceado Hyperdisk Throughput Hyperdisk ML Hyperdisk extremo SSD local conectado
a4x-maxgpu-4g-metal 32 32 32 32 8 4

A4X

Las instancias A4X pueden usar los siguientes tipos de almacenamiento en bloque:

  • Hyperdisk Balanced (hyperdisk-balanced): Este es el único tipo de disco compatible con el disco de arranque.
  • Hiperdisco extremo (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • SSD local, que se agrega de forma automática a las instancias que se crean con cualquiera de los tipos de máquinas A4X

En la siguiente tabla, se indica la cantidad máxima de discos admitidos por instancia:

Tipos de máquina Todos los Hyperdisks Hiperdisco balanceado Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk extremo SSD local conectado
a4x-highgpu-4g 128 128 0 0 128 8 4

La siguiente nota se aplica a la tabla anterior:

Límites de disco y capacidad

Puedes conectar una combinación de diferentes tipos de Hyperdisk a una instancia, pero la capacidad total máxima del disco (en TiB) en todos los tipos de disco no puede superar los 512 TiB para todos los Hyperdisks.

Para obtener detalles sobre los límites de capacidad, consulta Límites de tamaño y conexión de Hyperdisk.

Experiencia de mantenimiento para las instancias A4X Max y A4X

Durante el ciclo de vida de una instancia de Compute Engine, la máquina anfitrión en la que se ejecuta la instancia pasa por varios eventos de host. Un evento de host puede incluir el mantenimiento regular de la infraestructura de Compute Engine o, en casos excepcionales, un error de host. Compute Engine también aplica algunas actualizaciones básicas sin interrupciones para el hipervisor y la red en segundo plano.

En la siguiente tabla, se describen las funciones de mantenimiento del host para los tipos de máquinas A4X Max y A4X:

Tipo de máquina Cantidad de GPU Frecuencia típica de los eventos de mantenimiento programados Comportamiento del mantenimiento Notificación anticipada para el mantenimiento programado Mantenimiento a pedido Simular mantenimiento
A4X Max y A4X 4 Mínimo de 90 días Finaliza con Persistencia de datos de SSD local 90 días Sí No

Las siguientes notas se aplican a la tabla anterior:

  • Frecuencia típica de los eventos de mantenimiento programados:

    Las frecuencias de mantenimiento que se muestran en la tabla anterior son aproximaciones, no garantías. Puede que Compute Engine haga tareas de mantenimiento con mayor frecuencia.

Para obtener más información sobre el mantenimiento de hosts en AI Hypercomputer, consulta Información sobre el mantenimiento de hosts en la documentación de AI Hypercomputer.

La serie de máquinas A4

La serie de máquinas A4 ofrece tipos de máquinas con hasta 224 CPU virtuales y 3,968 GB de memoria. Las instancias A4 proporcionan hasta 3 veces el rendimiento de los tipos de instancias de GPU anteriores para la mayoría de las cargas de trabajo aceleradas por GPU. Se recomienda A4 para las cargas de trabajo de entrenamiento de AA, en especial a gran escala, por ejemplo, cientos o miles de GPUs. La serie de máquinas A4 está disponible en un solo tipo de máquina.

Las instancias de VM creadas con el tipo de máquina A4 proporcionan las siguientes características:

  • Aceleración de GPU con GPU NVIDIA B200: Las GPU NVIDIA B200 se conectan automáticamente a las instancias A4, que ofrecen 180 GB de memoria de GPU por GPU.

  • Procesador escalable Intel Xeon de 5ª generación (Emerald Rapids): Ofrece una frecuencia turbo máxima de un solo núcleo de hasta 4.0 GHz. Para obtener más información sobre este procesador, consulta Plataforma de CPU.

  • Escalabilidad de NVLink: Las GPU NVIDIA B200 proporcionan un ancho de banda de NVLink de 1,800 GBps, de forma bidireccional por GPU.

    Con la topología completa de NVLink entre 8 GPUs en un sistema, el ancho de banda agregado de NVLink es de hasta 14.4 TBps.

  • Herramientas de redes mejoradas con RoCE: RDMA sobre Ethernet convergente (RoCE) aumenta el rendimiento de la red combinando las tarjetas de interfaz de red (NIC) NVIDIA ConnectX-7 con la red de cuatro vías encarrilada de Google en todo el centro de datos. Aprovechando RDMA sobre Ethernet convergente (RoCE), las instancias A4 logran una capacidad de procesamiento mucho mayor entre las instancias de un clúster en comparación con la mayoría de las instancias A3, excepto las que se ejecutan en el tipo de máquina A3 Ultra.

  • Velocidades de red aumentadas: Ofrece velocidades de red hasta 4 veces más rápidas en comparación con las instancias A2 de la generación anterior.

    Para obtener más información sobre las herramientas de redes, consulta Anchos de banda de red y GPU.

  • Optimizaciones de virtualización para transferencias y recuperación de datos: La topología de interconexión de componentes periféricos (PCIe) de las instancias A4 proporciona información de localidad más precisa que las cargas de trabajo pueden usar para optimizar las transferencias de datos.

    Las GPU también exponen el restablecimiento de nivel de función (FLR) para una recuperación ordenada de fallas y compatibilidad con operaciones atómicas para mejoras de simultaneidad en ciertas situaciones.

  • Compatibilidad con discos: Las instancias A4 admiten SSD locales para discos para instalación nueva rápidos, lo que es útil para ingresar datos en las GPU y, al mismo tiempo, evitar cuellos de botella de E/S. Para el almacenamiento persistente, puedes conectar volúmenes de Hyperdisk.

    Se agregan automáticamente 12,000 GiB de SSD local a las instancias A4. Para las cargas de trabajo que requieren almacenamiento en bloque duradero, también puedes conectar hasta 512 TiB de Hyperdisk a las instancias de A4. Para obtener más información sobre los tipos de discos, consulta Elige un tipo de disco.

  • Compatibilidad con la asignación densa y la programación basada en la topología: Cuando aprovisionas instancias A4, puedes solicitar bloques de capacidad asignada de forma densa. Tus máquinas anfitrionas se asignan físicamente cerca unas de otras, se aprovisionan como bloques de recursos y se interconectan con un tejido de redes de AA dinámico para minimizar los saltos de red y optimizar la latencia más baja. Además, puedes obtener información de la topología a nivel de nodo y de clúster que se puede usar para la ubicación de trabajos.

Opciones de precios y consumo para las instancias A4

Las instancias A4 admiten las siguientes opciones de consumo y descuento:

Google Cloud factura las instancias A4 por las GPUs conectadas, las CPUs virtuales predefinidas, la memoria y los discos SSD locales agrupados. El uso de Hyperdisk y de la red se facturan aparte del precio del tipo de máquina. Para obtener más información, consulta Opciones de precios y consumo, Precios de la familia de tipo de máquina optimizadas para aceleradores y Precios de GPU.

Tipo de máquina A4 (NVIDIA B200)

Los tipos de máquinas optimizadas para aceleradores A4 tienen GPU NVIDIA B200 Blackwell (nvidia-b200) conectadas y son ideales para el entrenamiento y la entrega de modelos de base. Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de A4.

Tipo de máquina Recuento de CPU virtuales Memoria de la instancia (GB) SSD local conectado (GiB) Cantidad de NICs físicas Ancho de banda de red máximo (Gbps) Cantidad de GPU NVIDIA B200 Blackwell Memoria de GPU (GB HBM3e)
a4-highgpu-8g 224 3,968 12,000 10 3,600 8 1,440

Notas sobre tipo de máquina A4

Las siguientes notas se aplican a la tabla anterior:

  • Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
  • Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
  • Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.

Limitaciones de A4

  • Solo puedes solicitar capacidad con las opciones de consumo admitidas para un tipo de máquina A4.
  • No recibirás descuentos por uso continuo ni descuentos flexibles por compromiso de uso para las instancias que usan un tipo de máquina A4.
  • Solo puedes usar un tipo de máquina A4 en ciertas regiones y zonas.
  • No puedes usar Persistent Disk (regional o zonal). Solo puedes usar Google Cloud Hyperdisk.
  • El tipo de máquina A4 solo está disponible en la plataforma de CPU Emerald Rapids.
  • No puedes cambiar el tipo de máquina de una instancia a un tipo de máquina A4 ni desde este. Debes crear una instancia nueva con este tipo de máquina.
  • Los tipos de máquinas A4 no admiten usuarios únicos.
  • No puedes ejecutar sistemas operativos Windows en un tipo de máquina A4.
  • En el caso de las instancias A4, cuando usas ethtool -S para supervisar las redes de GPU, los contadores de puertos físicos que terminan en _phy no se actualizan. Este es el comportamiento esperado para las instancias que usan la arquitectura de función virtual (VF) de MRDMA. Para obtener más información, consulta Funciones de MRDMA y herramientas de supervisión de red.
  • No puedes conectar discos de Hyperdisk ML que se hayan creado antes del 4 de febrero de 2026 a tipos de máquinas A4.

Tipos de discos compatibles con las instancias A4

Las instancias A4 pueden usar los siguientes tipos de almacenamiento en bloque:

  • Hyperdisk Balanced (hyperdisk-balanced): Este es el único tipo de disco compatible con el disco de arranque.
  • Hiperdisco extremo (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • SSD local, que se agrega de forma automática a las instancias que se crean con cualquiera de los tipos de máquinas A4

En la siguiente tabla, se indica la cantidad máxima de discos admitidos por instancia:

Tipos de máquina Todos los Hyperdisks Hiperdisco balanceado Hyperdisk Throughput Hyperdisk ML Hyperdisk extremo SSD local conectado
a4-highgpu-8g 128 128 N/A 128 8 32

La siguiente nota se aplica a la tabla anterior:

Límites de disco y capacidad

Puedes conectar una combinación de diferentes tipos de Hyperdisk a una instancia, pero la capacidad total máxima del disco (en TiB) en todos los tipos de disco no puede superar los 512 TiB para todos los Hyperdisks.

Para obtener detalles sobre los límites de capacidad, consulta Límites de tamaño y conexión de Hyperdisk.

Experiencia de mantenimiento para instancias A4

Durante el ciclo de vida de una instancia de Compute Engine, la máquina anfitrión en la que se ejecuta la instancia pasa por varios eventos de host. Un evento de host puede incluir el mantenimiento regular de la infraestructura de Compute Engine o, en casos excepcionales, un error de host. Compute Engine también aplica algunas actualizaciones básicas sin interrupciones para el hipervisor y la red en segundo plano.

En la siguiente tabla, se describen las funciones de mantenimiento de host para los tipos de máquinas A4:

Tipo de máquina Cantidad de GPU Frecuencia típica de los eventos de mantenimiento programados Comportamiento del mantenimiento Notificación anticipada para el mantenimiento programado Mantenimiento a pedido Simular mantenimiento
A4 8 Mínimo de 90 días Finaliza con Persistencia de datos de SSD local 90 días Sí No

Las siguientes notas se aplican a la tabla anterior:

  • Frecuencia típica de los eventos de mantenimiento programados:

    Las frecuencias de mantenimiento que se muestran en la tabla anterior son aproximaciones, no garantías. Puede que Compute Engine haga tareas de mantenimiento con mayor frecuencia.

Para obtener más información sobre el mantenimiento de hosts en AI Hypercomputer, consulta Información sobre el mantenimiento de hosts en la documentación de AI Hypercomputer.

La serie de máquinas A3

La serie de máquinas A3 tiene hasta 224 CPUs virtuales y 2,944 GB de memoria. Esta serie de máquinas está optimizada para cargas de trabajo que usan mucho procesamiento intensivo y memoria, que dependen del entrenamiento de AA y las cargas de trabajo de HPC. La serie de máquinas A3 está disponible en los tipos de máquinas A3 Ultra, A3 Mega, A3 High y A3 Edge.

En la siguiente tabla, se comparan las funciones que difieren entre los tipos de máquinas A3:

Función A3 Ultra (NVIDIA H200) A3 Mega, High y Edge (NVIDIA H100)
Aceleración de GPU

Se conectan GPU NVIDIA H200 SXM, que ofrecen 141 GB de memoria de GPU por GPU y proporcionan una memoria más grande y rápida para admitir modelos de lenguaje grandes y cargas de trabajo de HPC.

Se conectan GPUs NVIDIA H100 SXM, que ofrecen 80 GB de memoria de GPU por GPU, lo que es ideal para modelos de lenguaje grandes basados en transformadores, bases de datos y HPC.
Procesadores escalables Intel Xeon

Procesador escalable Intel Xeon de 5ª generación (Emerald Rapids), que ofrece una frecuencia turbo máxima de un solo núcleo de hasta 4.0 GHz. Para obtener más información sobre este procesador, consulta Plataformas de CPU.

Procesador escalable Intel Xeon de 4ª generación (Sapphire Rapids), que ofrece una frecuencia turbo máxima de un solo núcleo de hasta 3.3 GHz. Para obtener más información sobre este procesador, consulta Plataformas de CPU.
Herramientas de redes mejoradas

Para este tipo de máquina, el acceso directo a memoria remota (RDMA) sobre Ethernet convergente (RoCE) aumenta el rendimiento de la red combinando tarjetas de interfaz de red (NIC) NVIDIA ConnectX-7 con la red encarrilada de cuatro vías a nivel de centro de datos de Google. Con el uso de RDMA sobre Ethernet convergente (RoCE), el tipo de máquina a3-ultragpu-8g logra una capacidad de procesamiento mucho mayor entre las instancias de un clúster en comparación con otros tipos de máquinas A3.
  • Para los tipos de máquinas A3 Mega, GPUDirect-TCPXO mejora aún más GPUDirect-TCPX, ya que descarga el protocolo TCP. Con GPUDirect-TCPXO, el tipo de máquina a3-megagpu-8g duplica el ancho de banda de la red en comparación con los tipos de máquinas A3 High y A3 Edge.
  • Para los tipos de máquinas A3 Edge (a3-edgegpu-8g) y A3 High (a3-highgpu-8g), GPUDirect-TCPX aumenta el rendimiento de la red, ya que permite que las cargas útiles del paquete de datos se transfieran directamente de la memoria de GPU a la interfaz de red. Con GPUDirect-TCPX, estos tipos de máquinas logran una capacidad de procesamiento mucho mayor entre las instancias de un clúster en comparación con los tipos de máquinas optimizados para aceleradores A2 o G2.
Velocidades de red mejoradas

Ofrece velocidades de red hasta 4 veces más rápidas en comparación con la serie de máquinas A2 de la generación anterior.

Para obtener más información sobre las herramientas de redes, consulta Anchos de banda de red y GPU.

Ofrece velocidades de red hasta 2.5 veces más rápidas en comparación con la serie de máquinas A2 de la generación anterior.

Para obtener más información sobre las herramientas de redes, consulta Anchos de banda de red y GPU.

Todos los tipos de máquinas A3 comparten las siguientes características:

  • Escalabilidad de NVLink: Las GPU NVIDIA H200 y H100 proporcionan un ancho de banda de NVLink de GPU máximo de 450 GBps, de forma unidireccional. Con una topología de NVLink de todos los elementos, un sistema de 8 GPU alcanza un ancho de banda agregado de hasta 7.2 TBps.

  • Optimizaciones de virtualización: La topología de interconexión de componentes periféricos (PCIe) de las instancias A3 proporciona información de localidad más precisa que las cargas de trabajo pueden usar para optimizar las transferencias de datos. Las GPU también exponen el restablecimiento de nivel de función (FLR) para una recuperación ordenada de fallas y compatibilidad con operaciones atómicas para mejoras de simultaneidad en ciertas situaciones.

  • Compatibilidad con discos: Las instancias A3 admiten SSD locales para discos para instalación nueva rápidos, lo que es útil para ingresar datos en las GPU y, al mismo tiempo, evitar los cuellos de botella de E/S. Para el almacenamiento persistente, puedes conectar volúmenes de Persistent Disk y Hyperdisk.

    La SSD local se conecta de la siguiente manera:

    • Se agregan automáticamente 12,000 GiB de SSD local a las instancias A3 Ultra.
    • Se agregan automáticamente 6,000 GiB de SSD local a las instancias A3 Mega, High y Edge.

    Para las cargas de trabajo que requieren almacenamiento en bloque duradero, también puedes conectar hasta 512 TiB de Persistent Disk y Hyperdisk a los tipos de máquinas de estas series. Para algunos tipos de máquinas, también se admiten hasta 257 TiB de Persistent Disk. Para obtener más información sobre los tipos de discos, consulta Elige un tipo de disco.

  • Compatibilidad con la política de posición compacta: Te proporciona más control sobre la posición física de tus instancias dentro de los centros de datos. Esta ubicación permite una latencia más baja y un ancho de banda mayor para las instancias que se encuentran dentro de una sola zona de disponibilidad. Para obtener más información, consulta Acerca de las políticas de posición compacta.

Opciones de precios y consumo para las instancias A3

Las instancias A3 admiten las siguientes opciones de consumo y descuento:

Google Cloud factura las instancias A3 por las GPUs conectadas, las CPUs virtuales predefinidas, la memoria y los discos SSD locales agrupados. El uso de Persistent Disk, Hyperdisk y red se factura aparte del precio del tipo de máquina. Para obtener más información, consulta Opciones de precios y consumo, Precios de la familia de tipo de máquina optimizadas para aceleradores y Precios de GPU.

Tipo de máquina A3 Ultra (NVIDIA H200)

Los tipos de máquinas A3 Ultra tienen GPU NVIDIA H200 SXM (nvidia-h200-141gb) conectadas y proporcionan el mayor rendimiento de red en la serie A3. Los tipos de máquinas A3 Ultra son ideales para el entrenamiento y la entrega de modelos de base. Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de A3 Ultra.

Tipo de máquina Recuento de CPU virtuales Memoria de la instancia (GB) SSD local conectado (GiB) Cantidad de NICs físicas Ancho de banda de red máximo (Gbps) Recuento de GPU NVIDIA H200 Memoria de GPU (GB HBM3e)
a3-ultragpu-8g 224 2,952 12,000 10 3,600 8 1128

Notas sobre el tipo de máquina A3 Ultra

Las siguientes notas se aplican a la tabla anterior:

  • Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
  • Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
  • Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.

Limitaciones de A3 Ultra

Tipo de máquina A3 Mega (NVIDIA H100)

Los tipos de máquinas A3 Mega tienen GPU NVIDIA H100 SXM y son ideales para el entrenamiento de modelos grandes y la inferencia de varios hosts. Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de A3 Mega.
Tipo de máquina Recuento de CPU virtuales Memoria de la instancia (GB) SSD local conectado (GiB) Cantidad de NICs físicas Ancho de banda de red máximo (Gbps) Cantidad de GPU NVIDIA H100 Memoria de GPU (GB HBM3)
a3-megagpu-8g 208 1,872 6,000 9 1,800 8 640

Notas sobre el tipo de máquina A3 Mega

Las siguientes notas se aplican a la tabla anterior:

  • Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
  • Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
  • Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.

Limitaciones de A3 Mega (NVIDIA H100)

Tipo de máquina A3 High (NVIDIA H100)

Los tipos de máquinas A3 High tienen GPU NVIDIA H100 SXM y son ideales para la inferencia de modelos grandes y el ajuste de modelos. Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de A3 High.
Tipo de máquina Recuento de CPU virtuales Memoria de la instancia (GB) SSD local conectado (GiB) Cantidad de NICs físicas Ancho de banda de red máximo (Gbps) Cantidad de GPU NVIDIA H100 Memoria de GPU (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1,500 1 50 2 160
a3-highgpu-4g 104 936 3,000 1 100 4 320
a3-highgpu-8g 208 1,872 6,000 5 1,000 8 640

Notas sobre el tipo de máquina A3 High

Las siguientes notas se aplican a la tabla anterior:

  • Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
  • Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
  • Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.

Limitaciones de A3 High

Tipo de máquina A3 Edge (NVIDIA H100)

Los tipos de máquinas A3 Edge tienen GPU NVIDIA H100 SXM y están diseñados específicamente para la entrega y están disponibles en un conjunto limitado de regiones. Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de A3 Edge.
Tipo de máquina Recuento de CPU virtuales Memoria de la instancia (GB) SSD local conectado (GiB) Cantidad de NICs físicas Ancho de banda de red máximo (Gbps) Cantidad de GPU NVIDIA H100 Memoria de GPU (GB HBM3)
a3-edgegpu-8g 208 1,872 6,000 5 600 (asia-south1 y northamerica-northeast2) o 400 (todas las demás regiones de A3 Edge) 8 640

Notas sobre el tipo de máquina A3 Edge

Las siguientes notas se aplican a la tabla anterior:

  • Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
  • Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
  • Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.

Limitaciones de A3 Edge

Tipos de discos compatibles con las instancias A3

A3 Ultra

Las instancias A3 Ultra pueden usar los siguientes tipos de almacenamiento en bloque:

  • Hyperdisk Balanced (hyperdisk-balanced): Este es el único tipo de disco compatible con el disco de arranque.
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hiperdisco extremo (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • SSD local, que se agrega de forma automática a las instancias que se crean con cualquiera de los tipos de máquinas A3

En la siguiente tabla, se indica la cantidad máxima de discos admitidos por instancia:

Tipos de máquina Todos los Hyperdisks Hiperdisco balanceado Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hiperdisco extremo Discos SSD locales conectados
a3-ultragpu-8g 128 128 128 N/A 128 8 32

La siguiente nota se aplica a la tabla anterior:

A3 Mega

Las instancias A3 Mega pueden usar los siguientes tipos de almacenamiento en bloque:

  • Disco persistente balanceado (pd-balanced)
  • Persistent Disk SSD (rendimiento) (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hiperdisco extremo (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD local, que se agrega de forma automática a las instancias que se crean con cualquiera de los tipos de máquinas A3

En la siguiente tabla, se indica la cantidad máxima de discos admitidos por instancia:

Tipos de máquina Todos los Hyperdisks Hiperdisco balanceado Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hiperdisco extremo Discos SSD locales conectados
a3-megagpu-8g 128 32 32 64 64 8 16

La siguiente nota se aplica a la tabla anterior:

A3 High

Las instancias A3 High pueden usar los siguientes tipos de almacenamiento en bloque:

  • Disco persistente balanceado (pd-balanced)
  • Persistent Disk SSD (rendimiento) (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hiperdisco extremo (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD local, que se agrega de forma automática a las instancias que se crean con cualquiera de los tipos de máquinas A3

En la siguiente tabla, se indica la cantidad máxima de discos admitidos por instancia:

Tipos de máquina Todos los Hyperdisks Hiperdisco balanceado Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hiperdisco extremo Discos SSD locales conectados
a3-highgpu-1g 128 32 32 64 64 N/A 2
a3-highgpu-2g 128 32 32 64 64 N/A 4
a3-highgpu-4g 128 32 32 64 64 8 8
a3-highgpu-8g 128 32 32 64 64 8 16

La siguiente nota se aplica a la tabla anterior:

A3 Edge

Las instancias de A3 Edge pueden usar los siguientes tipos de almacenamiento en bloque:

  • Disco persistente balanceado (pd-balanced)
  • Persistent Disk SSD (rendimiento) (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hiperdisco extremo (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD local, que se agrega de forma automática a las instancias que se crean con cualquiera de los tipos de máquinas A3

En la siguiente tabla, se indica la cantidad máxima de discos admitidos por instancia:

Tipos de máquina Todos los Hyperdisks Hiperdisco balanceado Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk extremo SSD local conectado
a3-edgegpu-8g 128 32 32 64 64 8 16

La siguiente nota se aplica a la tabla anterior:

Límites de disco y capacidad

Si el tipo de máquina lo admite, puedes conectar una combinación de volúmenes de Hyperdisk y Persistent Disk a una instancia, pero se aplican las siguientes restricciones:

  • La cantidad combinada de volúmenes de Hyperdisk y Persistent Disk no puede exceder los 128 por instancia.

  • La capacidad total máxima del disco (en TiB) en todos los tipos de discos no puede exceder lo siguiente:

    • Para tipos de máquinas con menos de 32 CPUs virtuales:

      • 257 TiB para todos los Hyperdisk o todos los Persistent Disk
      • 257 TiB para una mezcla de Hyperdisk y Persistent Disk

    • Para tipos de máquinas con 32 CPUs virtuales o más:

      • 512 TiB para todos los Hyperdisk
      • 512 TiB para una mezcla de Hyperdisk y Persistent Disk
      • 257 TiB para todos los Persistent Disk

Para obtener detalles sobre los límites de capacidad, consulta Límites de tamaño y conexión de Hyperdisk y Capacidad máxima de Persistent Disk.

Experiencia de mantenimiento para instancias A3

Durante el ciclo de vida de una instancia de Compute Engine, la máquina anfitrión en la que se ejecuta la instancia pasa por varios eventos de host. Un evento de host puede incluir el mantenimiento regular de la infraestructura de Compute Engine o, en casos excepcionales, un error de host. Compute Engine también aplica algunas actualizaciones básicas sin interrupciones para el hipervisor y la red en segundo plano.

En la siguiente tabla, se describen las funciones de mantenimiento del host para los tipos de máquinas A3:

Tipo de máquina Cantidad de GPU Frecuencia típica de los eventos de mantenimiento programados Comportamiento del mantenimiento Notificación anticipada para el mantenimiento programado Mantenimiento a pedido Simular mantenimiento
A3 Ultra 8 Mínimo de 90 días Finaliza con Persistencia de datos de SSD local 90 días Sí No
A3 Mega y A3 High 8 Mínimo de 30 días Finaliza y reinicia 7 días Sí Sí
A3 High 1, 2, 4 Mínimo de 30 días Finaliza y reinicia 7 días No Sí
A3 Edge 8 Mínimo de 30 días Finaliza y reinicia 7 días Sí Sí

Las siguientes notas se aplican a la tabla anterior:

  • Frecuencia típica de los eventos de mantenimiento programados:

    Las frecuencias de mantenimiento que se muestran en la tabla anterior son aproximaciones, no garantías. Puede que Compute Engine haga tareas de mantenimiento con mayor frecuencia.

  • A3 Mega y A3 High: Las frecuencias de mantenimiento programado y los períodos de notificación excluyen las instancias cubiertas por acuerdos de mantenimiento específicos del cliente.

Para obtener más información sobre el mantenimiento de hosts en AI Hypercomputer, consulta Información sobre el mantenimiento de hosts en la documentación de AI Hypercomputer.

La serie de máquinas A2

La serie de máquinas A2 está disponible en los tipos de máquinas A2 estándar y A2 ultra. Estos tipos de máquinas tienen entre 12 y 96 CPU virtuales, y hasta 1,360 GB de memoria.

Las instancias de VM creadas con los tipos de máquinas A2 proporcionan las siguientes características:

  • Aceleración de GPU: Cada instancia de A2 tiene GPU NVIDIA A100. Están disponibles en las opciones A100 de 40 GB y A100 de 80 GB.

  • Escalabilidad de NVLink: Las GPU NVIDIA A100 proporcionan un ancho de banda de NVLink de GPU a GPU máximo de 600 GBps. Por ejemplo, los sistemas con 16 GPU tienen un ancho de banda global de NVLink de hasta 9.6 TBps. Estas 16 GPU se pueden usar como un único acelerador de alto rendimiento con espacio de memoria unificado para entregar hasta 10 petaFLOPS de potencia de procesamiento y hasta 20 petaFLOPS de potencia de inferencia que se pueden usar para cargas de trabajo de inteligencia artificial, aprendizaje automático y aprendizaje profundo.

  • Velocidades de procesamiento mejoradas: las GPU NVIDIA A100 conectadas ofrecen hasta 10 veces más velocidad de procesamiento en comparación con las GPU NVIDIA V100 de generación anterior.

    Con la serie de máquinas A2, puedes obtener hasta 100 Gbps de ancho de banda de red.

  • Compatibilidad con discos: Las instancias A2 admiten SSD locales para discos para instalación nueva rápidos, lo que es útil para ingresar datos en las GPU y, al mismo tiempo, evitar cuellos de botella de E/S. Para el almacenamiento persistente, puedes conectar volúmenes de Persistent Disk y Hyperdisk.

    La SSD local se admite de la siguiente manera:

    • En los tipos de máquina A2 estándar, puedes agregar hasta 3,000 GiB de SSD local cuando creas una instancia.
    • En los tipos de máquina A2 ultra, la SSD local se conecta automáticamente cuando creas una instancia.

    Para las cargas de trabajo que requieren almacenamiento en bloque duradero, puedes conectar hasta 257 TiB de Persistent Disk y 512 TiB de volúmenes de Hyperdisk a las instancias A2. Para obtener más información sobre los tipos de discos, consulta Elige un tipo de disco.

  • Compatibilidad de políticas de posición compacta: Te proporciona más control sobre la posición física de las instancias dentro de los centros de datos. Esto permite una latencia más baja y un ancho de banda mayor para las instancias que se encuentran dentro de una sola zona de disponibilidad. Para obtener más información, consulta Reduce la latencia con las políticas de colocación compacta.

Opciones de precios y consumo para las instancias A2

Las instancias de A2 admiten las siguientes opciones de consumo y descuento:

Google Cloud factura las instancias A2 por sus GPUs conectadas, CPUs virtuales predefinidas, memoria y discos SSD locales agrupados (para A2 Ultra). El uso de Persistent Disk, Hyperdisk, discos SSD locales adicionales (para A2 estándar) y red se factura aparte del precio del tipo de máquina. Para obtener más información, consulta Opciones de precios y consumo, Precios de la familia de tipo de máquina optimizadas para aceleradores y Precios de GPU.

Los siguientes tipos de máquinas están disponibles para la serie de máquinas A2.

Tipos de máquinas A2 Ultra (NVIDIA A100 de 80 GB)

Estos tipos de máquinas tienen una cantidad fija de GPU A100 de 80 GB. Las SSD locales se conectan automáticamente a las instancias creadas con los tipos de máquinas A2 ultra. Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de A2 Ultra.

Tipo de máquina Recuento de CPU virtuales Memoria de la instancia (GB) SSD local conectado (GiB) Ancho de banda de red máximo (Gbps) Recuento de GPU NVIDIA A100 de 80 GB Memoria de GPU (GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1,500 50 4 320
a2-ultragpu-8g 96 1,360 3,000 100 8 640

Notas sobre el tipo de máquina A2 Ultra

Las siguientes notas se aplican a la tabla anterior:

  • Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
  • Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
  • Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.

Limitaciones de A2 ultra

  • Solo puedes solicitar capacidad con las opciones de consumo admitidas para un tipo de máquina A2 ultra.
  • No recibirás descuentos por uso continuo ni descuentos por compromiso de uso flexibles para las instancias que usan un tipo de máquina A2 ultra.
  • Solo puedes usar un tipo de máquina A2 Ultra en ciertas regiones y zonas.
  • Los tipos de máquinas A2 ultra solo están disponibles en la plataforma Cascade Lake.
  • Si tu instancia usa un tipo de máquina A2 ultra, no puedes cambiar el tipo de máquina. Si necesitas usar un tipo de máquina A2 ultra diferente o cualquier otro tipo de máquinas, debes crear una instancia nueva.
  • No puedes cambiar ningún otro tipo de máquina a uno A2 ultra. Si necesitas una instancia que use un tipo de máquina A2 ultra, debes crear una instancia nueva.
  • No puedes realizar un formateo rápido de las SSD locales conectados en las instancias de Windows que usan los tipos de máquinas A2 ultra. Para formatear estos SSD locales, debes realizar un formateo completo mediante el uso de la utilidad diskpart y la especificación de format fs=ntfs label=tmpfs.

Tipos de máquinas A2 estándar (NVIDIA A100 de 40 GB)

Estos tipos de máquinas tienen una cantidad fija de GPU A100 de 40 GB. También puedes agregar discos SSD locales cuando creas una instancia A2 estándar. Para conocer la cantidad de discos que puedes conectar, consulta Tipos de máquinas que requieren que elijas una cantidad de discos SSD locales. Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de A2 estándar.

Tipo de máquina Recuento de CPU virtuales Memoria de la instancia (GB) Compatible con SSD local Ancho de banda de red máximo (Gbps) Recuento de GPU NVIDIA A100 de 40 GB Memoria de GPU (GB HBM2)
a2-highgpu-1g 12 85 Sí 24 1 40
a2-highgpu-2g 24 170 Sí 32 2 80
a2-highgpu-4g 48 340 Sí 50 4 160
a2-highgpu-8g 96 680 Sí 100 8 320
a2-megagpu-16g 96 1,360 Sí 100 16 640

Notas sobre tipo de máquina A2 Standard

Las siguientes notas se aplican a la tabla anterior:

  • Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
  • Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
  • Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.

Limitaciones de A2 Standard

  • Solo puedes solicitar capacidad con las opciones de consumo admitidas para un tipo de máquina estándar A2.
  • No recibirás descuentos por uso continuo ni descuentos flexibles por compromiso de uso para las instancias que usan un tipo de máquina A2 estándar.
  • Solo puedes usar un tipo de máquina A2 estándar en ciertas regiones y zonas.
  • Los tipo de máquina A2 estándar solo están disponibles en la plataforma Cascade Lake.
  • Si tu instancia usa un tipo de máquina estándar A2, solo puedes cambiar de un tipo de máquina estándar A2 a otro. No puedes cambiar a ningún otro tipo de máquina. Para obtener más información, consulta Modifica las instancias optimizadas para aceleradores.
  • No puedes usar el sistema operativo Windows con el tipo de máquina a2-megagpu-16g. Cuando uses un sistema operativo Windows, elige un tipo de máquina estándar A2 diferente.
  • No puedes realizar un formateo rápido de los SSD locales conectados en las instancias de Windows que usan los tipos de máquinas A2 estándar. Para formatear estos SSD locales, debes realizar un formateo completo mediante el uso de la utilidad diskpart y la especificación de format fs=ntfs label=tmpfs.

Tipos de discos compatibles con las instancias A2

Las instancias A2 pueden usar los siguientes tipos de almacenamiento en bloque:

  • Hyperdisk ML (hyperdisk-ml)
  • Disco persistente balanceado (pd-balanced)
  • Persistent Disk SSD (rendimiento) (pd-ssd)
  • Disco persistente estándar (pd-standard)
  • SSD local: se conecta automáticamente a las instancias creadas con los tipos de máquinas A2 Ultra.

A2 ultra

En la siguiente tabla, se indica la cantidad máxima de discos admitidos por instancia:

Tipos de máquina Todos los discos Hyperdisk ML SSD local conectado
a2-ultragpu-1g 128 32 1
a2-ultragpu-2g 128 48 2
a2-ultragpu-4g 128 64 4
a2-ultragpu-8g 128 64 8

Las siguientes notas se aplican a la tabla anterior:

A2 Estándar

En la siguiente tabla, se indica la cantidad máxima de discos admitidos por instancia:

Tipos de máquina Todos los discos Hyperdisk ML SSD local
a2-highgpu-1g 128 32 8
a2-highgpu-2g 128 48 8
a2-highgpu-4g 128 64 8
a2-highgpu-8g 128 64 8
a2-megagpu-16g 128 64 8

Las siguientes notas se aplican a la tabla anterior:

Si el tipo de máquina lo admite, puedes conectar una combinación de volúmenes de Hyperdisk y Persistent Disk a una instancia, pero se aplican las siguientes restricciones:

  • La cantidad combinada de volúmenes de Hyperdisk y Persistent Disk no puede exceder los 128 por instancia.

  • La capacidad total máxima del disco (en TiB) en todos los tipos de discos no puede exceder lo siguiente:

    • Para tipos de máquinas con menos de 32 CPUs virtuales:

      • 257 TiB para todos los Hyperdisk o todos los Persistent Disk
      • 257 TiB para una mezcla de Hyperdisk y Persistent Disk

    • Para tipos de máquinas con 32 CPUs virtuales o más:

      • 512 TiB para todos los Hyperdisk
      • 512 TiB para una mezcla de Hyperdisk y Persistent Disk
      • 257 TiB para todos los Persistent Disk

Para obtener detalles sobre los límites de capacidad, consulta Límites de tamaño y conexión de Hyperdisk y Capacidad máxima de Persistent Disk.

Experiencia de mantenimiento para instancias A2

Durante el ciclo de vida de una instancia de Compute Engine, la máquina anfitrión en la que se ejecuta la instancia pasa por varios eventos de host. Un evento de host puede incluir el mantenimiento regular de la infraestructura de Compute Engine o, en casos excepcionales, un error de host. Compute Engine también aplica algunas actualizaciones básicas sin interrupciones para el hipervisor y la red en segundo plano.

En la siguiente tabla, se describen las funciones de mantenimiento del host para los tipos de máquinas A2:

Tipo de máquina Cantidad de GPU Frecuencia típica de los eventos de mantenimiento programados Comportamiento del mantenimiento Notificación anticipada para el mantenimiento programado Mantenimiento a pedido Simular mantenimiento
A2 ultra 1, 2, 4, 8 Mínimo de 30 días Finaliza y reinicia 7 días Sí (solo 8 GPUs) Sí
A2 Estándar 1, 2, 4, 8 o 16 Mínimo de 30 días Finaliza y reinicia 7 días Sí (solo 8 y 16 GPUs) Sí

Las siguientes notas se aplican a la tabla anterior:

  • Frecuencia típica de los eventos de mantenimiento programados:

    Las frecuencias de mantenimiento que se muestran en la tabla anterior son aproximaciones, no garantías. Puede que Compute Engine haga tareas de mantenimiento con mayor frecuencia.

La serie de máquinas G4

La serie de máquinas G4 usa la plataforma de CPU AMD EPYC Turin y cuenta con GPU NVIDIA RTX PRO 6000 Blackwell Server Edition. Esta serie de máquinas ofrece mejoras significativas con respecto a la serie de máquinas G2 de la generación anterior, con mucha más memoria de GPU, mayor ancho de banda de memoria de GPU y mayor ancho de banda de red.

Las instancias G4 tienen hasta 384 CPU virtuales, 1,440 GB de memoria y 12 TiB de discos SSD Titanium conectados. Las instancias G4 también proporcionan hasta 400 Gbps de rendimiento de red estándar.

Esta serie de máquinas está diseñada, en particular, para cargas de trabajo como las de simulación de NVIDIA Omniverse, aplicaciones con uso intensivo de gráficos, transcodificación de video y escritorios virtuales. La serie de máquinas G4 también proporciona una solución de bajo costo para realizar inferencias de host único y ajuste de modelos en comparación con los tipos de máquinas de la serie A.

Las instancias que usan el tipo de máquina G4 proporcionan las siguientes características:

  • Aceleración de GPU con GPU NVIDIA RTX PRO 6000 Blackwell Server Edition: Las instancias G4 conectan automáticamente GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, que ofrecen 96 GB de memoria de GPU por GPU.

  • Plataforma de CPU AMD EPYC Turin de 5ª generación: Esta plataforma ofrece una frecuencia de aumento máxima sostenida de hasta 4.1 GHz. Para obtener más información sobre este procesador, consulta Plataforma de CPU.

  • Rendimiento de gráficos de nueva generación: Las GPU NVIDIA RTX PRO 6000 proporcionan mejoras significativas de rendimiento y funciones en comparación con las GPU NVIDIA L4 que se conectan a la serie de máquinas G2. Estas actualizaciones son las siguientes:

    • Núcleos Tensor de 5ª generación: Estos núcleos presentan compatibilidad con la precisión de FP4 y la generación de varios fotogramas de DLSS 4. Con estos núcleos Tensor de 5ª generación, las GPU NVIDIA RTX PRO 6000 ofrecen un mejor rendimiento para acelerar tareas como el desarrollo de LLM locales y la creación de contenido, en comparación con las GPU NVIDIA L4.
    • Núcleos RT de 4ª generación: Estos núcleos ofrecen hasta el doble de rendimiento de trazado de rayos que las GPU NVIDIA L4 de la generación anterior, lo que acelera la renderización para las cargas de trabajo de diseño y fabricación.
    • Recuento de núcleos: La GPU NVIDIA RTX PRO 6000 incluye 24,064 núcleos CUDA, 752 núcleos Tensor de 5ª generación y 188 núcleos RT de 4ª generación. Esta actualización representa un aumento sustancial con respecto a las generaciones anteriores, como la GPU L4, que tiene 7,680 núcleos CUDA y 240 núcleos Tensor.

  • Uso compartido de GPU: Hay varias opciones que puedes usar para permitir que múltiples cargas de trabajo accedan a una sola GPU física. El uso compartido de GPU es útil para las cargas de trabajo que no requieren los recursos de una GPU completa, lo que te ayuda a optimizar los costos. Las siguientes opciones de uso compartido de GPU están disponibles para las instancias G4:

    • Compatibilidad con GPU fraccionaria (vGPU): Esta función permite que varias instancias de máquina virtual (VM) compartan una sola GPU física. Las vGPU proporcionan aislamiento de seguridad multiusuario porque cada vGPU es una instancia de VM independiente. Para usar vGPU, Compute Engine proporciona las siguientes formas de instancia de VM: g4-standard-6 (1/8 de GPU), g4-standard-12 (1/4 de GPU) y g4-standard-24 (1/2 de GPU).
    • GPU de varias instancias (MIG): Esta función permite que una sola GPU se particione en hasta cuatro instancias completamente aisladas en una sola máquina virtual. Esta opción no ofrece aislamiento de seguridad multiusuario, ya que todas las particiones pertenecen a una sola VM.

  • Compatibilidad con Peripheral Component Interconnect Express (PCIe) de 5ª gen.: Las instancias G4 admiten PCI Express de 5ª gen., lo que mejora la velocidad de transferencia de datos de la memoria de la CPU a la GPU en comparación con PCIe de 3ª gen. que usan las instancias G2.

  • Compatibilidad con discos: Las instancias G4 admiten SSD Titanium para discos para instalación nueva rápidos, lo que es útil para ingresar datos en las GPU y, al mismo tiempo, evitar cuellos de botella de E/S. Para el almacenamiento persistente, puedes conectar volúmenes de Hyperdisk.

    Las instancias G4 admiten la conexión de hasta 12,000 GiB de SSD Titanium. Para las cargas de trabajo que requieren almacenamiento en bloque duradero, las instancias G4 también admiten la conexión de hasta 512 TiB de Hyperdisk. Para obtener más información sobre los tipos de discos, consulta Elige un tipo de disco.

  • Comunicación de par a par (P2P) de GPU: Las instancias G4 admiten la comunicación P2P de GPU, lo que permite la transferencia directa de datos entre GPUs dentro de la misma instancia. Esto puede mejorar significativamente el rendimiento de las cargas de trabajo de varias GPU, ya que reduce la latencia de transferencia de datos y libera recursos de CPU. Para obtener más información, consulta Comunicación de par a par (P2P) de GPU G4.

  • Compatibilidad con la política de posición compacta: Esta función te permite controlar la ubicación física de tus instancias dentro de los centros de datos. Las políticas de posición compacta te ayudan a colocar instancias cerca unas de otras para reducir la latencia de red, lo que es útil para cargas de trabajo sensibles a la latencia, como la computación de alto rendimiento (HPC) o el aprendizaje automático (AA). Para obtener más información, consulta Reduce la latencia con las políticas de colocación compacta.

Opciones de precios y consumo para las instancias G4

Las instancias G4 admiten las siguientes opciones de consumo y descuento:

Google Cloud factura las instancias G4 por las GPU conectadas, las CPU virtuales predefinidas y la memoria. El uso de Hyperdisk, discos SSD Titanium y red se factura aparte del precio del tipo de máquina. Para obtener más información, consulta Opciones de precios y consumo, Precios de la familia de tipo de máquina optimizadas para aceleradores y Precios de GPU.

Tipos de máquinas G4 (NVIDIA RTX PRO 6000)

Los tipos de máquinas optimizadas para aceleradores G4 usan GPU NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) y son adecuados para cargas de trabajo de simulación de NVIDIA Omniverse, aplicaciones con uso intensivo de gráficos, transcodificación de video y escritorios virtuales. Los tipos de máquinas G4 también proporcionan una solución de bajo costo para realizar inferencias de host único y ajustes de modelos en comparación con los tipos de máquinas de la serie A.

También puedes agregar discos SSD Titanium cuando creas una instancia G4. Para conocer la cantidad de discos que puedes conectar, consulta Tipos de máquinas que requieren que elijas una cantidad de discos SSD locales. Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de G4.

Tipo de máquina Recuento de CPU virtuales Memoria de la instancia (GB) Máximo de SSD Titanium admitido (GiB) Cantidad de NICs físicas Ancho de banda de red máximo (Gbps) Cantidad de GPU NVIDIA RTX PRO 6000 Memoria de GPU (GB GDDR7)
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1,500 1 50 1 96
g4-standard-96 96 360 3,000 1 100 2 192
g4-standard-192 192 720 6,000 1 200 4 384
g4-standard-384 384 1,440 12,000 2 400 8 768

Notas sobre el tipo de máquina G4

Las siguientes notas se aplican a la tabla anterior:

  • Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
  • Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
  • Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.

Limitaciones de G4

Tipos de discos compatibles con las instancias G4

Las instancias G4 pueden usar los siguientes tipos de almacenamiento en bloque:

  • Hyperdisk Balanced (hyperdisk-balanced): Este es el único tipo de disco compatible con el disco de arranque.
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk Extreme (hyperdisk-extreme): Este tipo de disco solo se admite en instancias G4 que tienen dos o más GPUs conectadas.
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD de Titanium: Puedes agregar SSD de Titanium a las instancias creadas con los tipos de máquinas G4.

En la siguiente tabla, se indica la cantidad máxima de discos admitidos por instancia:

Tipos de máquina Todos los Hyperdisks Hiperdisco balanceado Hyperdisk Balanced High Availability Hiperdisco extremo Hyperdisk ML Hyperdisk Throughput SSD de Titanium
g4-standard-6 8 8 8 0 8 8 0
g4-standard-12 16 16 16 0 16 16 1
g4-standard-24 32 32 32 0 32 32 2
g4-standard-48 32 32 32 0 32 32 4
g4-standard-96 32 32 32 8 32 32 8
g4-standard-192 64 64 64 8 64 64 16
g4-standard-384 128 128 128 8 128 128 32

La siguiente nota se aplica a la tabla anterior:

Puedes conectar una combinación de diferentes tipos de Hyperdisk a una instancia, pero la capacidad total máxima del disco (en TiB) en todos los tipos de disco no puede superar los 512 TiB para todos los Hyperdisks.

Para obtener detalles sobre los límites de capacidad, consulta Límites de tamaño y conexión de Hyperdisk.

Comunicación de GPU de par a par (P2P)

Las instancias G4 mejoran el rendimiento de las cargas de trabajo de varias GPU con la comunicación directa entre pares (P2P) de GPU, que solo se admite en tipos de máquinas con dos o más GPU. Este enfoque permite que las GPU que se conectan a la misma instancia de G4 intercambien datos directamente a través del bus PCIe, lo que evita la necesidad de transferir datos a través de la memoria principal de la CPU. Esta ruta directa reduce la latencia, disminuye el uso de CPU y aumenta el ancho de banda efectivo entre las GPUs. La comunicación P2P acelera de forma significativa las aplicaciones de varias GPU, como el entrenamiento de aprendizaje automático (AA) y la computación de alto rendimiento (HPC).

Debido a que las instancias G4 usan la comunicación de GPU de par a par de forma predeterminada, recibes los siguientes beneficios sin modificar el código de la aplicación. Sin embargo, para las aplicaciones que usan la biblioteca de comunicación colectiva de NVIDIA (NCCL), para recibir las mejoras de rendimiento completas de la comunicación P2P, debes configurar la NCCL para que use P2P.

Beneficios y rendimiento clave

  • Acelera las cargas de trabajo de varias GPU en instancias G4 con dos o más GPU: proporciona tiempos de ejecución más rápidos para las aplicaciones que se ejecutan en los tipos de máquinas g4-standard-96, g4-standard-192 y g4-standard-384.
  • Proporciona comunicación de gran ancho de banda: Permite altas velocidades de transferencia de datos entre las GPU.

  • Mejora el rendimiento de NCCL: Proporciona mejoras de rendimiento significativas para las aplicaciones que usan la biblioteca de comunicación colectiva de NVIDIA (NCCL) en comparación con la comunicación que no usa P2P. El hipervisor de Google aísla de forma segura esta comunicación P2P dentro de tus instancias.

    • En cuatro instancias de GPU (g4-standard-192), todas las GPU están en un solo nodo NUMA, lo que permite la comunicación P2P más eficiente. Esto puede generar mejoras de rendimiento de hasta 2.04 veces para colectivos como Allgather, Allreduce y ReduceScatter.
    • En ocho instancias de GPU (g4-standard-384), las GPU se distribuyen en dos nodos NUMA. La comunicación de P2P se acelera para el tráfico dentro de estos nodos y entre ellos, con mejoras de rendimiento de hasta 2.19 veces para los mismos colectivos.

Configura NCCL para usar P2P

Para configurar NCCL de modo que use P2P, antes de ejecutar tus cargas de trabajo, establece la variable de entorno NCCL_P2P_LEVEL en tu instancia de G4 según el tipo de máquina:

  • Para las instancias G4 con 2 o 4 GPUs (g4-standard-96, g4-standard-192), establece NCCL_P2P_LEVEL=PHB.
  • Para instancias G4 con 8 GPUs (g4-standard-384): establece NCCL_P2P_LEVEL=SYS

Configura la variable de entorno con una de las siguientes opciones:

  • En la línea de comandos, ejecuta el comando de exportación adecuado, como export NCCL_P2P_LEVEL=SYS, en la sesión de shell en la que planeas ejecutar tu app. Para que este parámetro de configuración sea persistente, agrega este comando a la secuencia de comandos de inicio de tu shell, como ~/.bashrc.
  • Agrega el parámetro de configuración adecuado, como NCCL_P2P_LEVEL=SYS, al archivo de configuración de NCCL ubicado en /etc/nccl.conf.

Experiencia de mantenimiento para instancias G4

Durante el ciclo de vida de una instancia de Compute Engine, la máquina anfitrión en la que se ejecuta la instancia pasa por varios eventos de host. Un evento de host puede incluir el mantenimiento regular de la infraestructura de Compute Engine o, en casos excepcionales, un error de host. Compute Engine también aplica algunas actualizaciones básicas sin interrupciones para el hipervisor y la red en segundo plano.

En la siguiente tabla, se describen las funciones de mantenimiento del host para los tipos de máquinas G4:

Tipo de máquina Cantidad de GPU Frecuencia típica de los eventos de mantenimiento programados Comportamiento del mantenimiento Notificación anticipada para el mantenimiento programado Mantenimiento a pedido Simular mantenimiento
G4 1, 2 o 4 Mínimo de 30 días Finaliza y reinicia. Si se conectan discos SSD locales, la instancia finaliza con la persistencia de datos de SSD local. 7 días No Sí
G4 8 Mínimo de 90 días Finaliza y reinicia. Si se conectan discos SSD locales, la instancia finaliza con la persistencia de datos de SSD locales. 30 días Sí Sí

Las siguientes notas se aplican a la tabla anterior:

  • Frecuencia típica de los eventos de mantenimiento programados:

    Las frecuencias de mantenimiento que se muestran en la tabla anterior son aproximaciones, no garantías. Puede que Compute Engine haga tareas de mantenimiento con mayor frecuencia.

La serie de máquinas G2

La serie de máquinas G2 está disponible en los tipos de máquinas estándar y tiene entre 4 y 96 CPU virtuales, y hasta 432 GB de memoria. Esta serie de máquinas está optimizada para cargas de trabajo de inferencia y gráficos. La serie de máquinas G2 está disponible en un solo tipo de máquina estándar con varios parámetros de configuración.

Las instancias creadas con los tipos de máquinas G2 proporcionan las siguientes características:

  • Aceleración de GPU: Cada tipo de máquina G2 tiene GPU NVIDIA L4.

  • Tasas de inferencia mejoradas: el tipo de máquina G2 proporciona asistencia para el tipo de datos FP8 (punto flotante de 8 bits) que acelera las tasas de inferencia del AA y reduce los requisitos de memoria.

  • Rendimiento de gráficos de nueva generación: Las GPU L4 de NVIDIA brindan una mejora de hasta tres veces en el rendimiento de los gráficos con los núcleos RT de tercera generación y la tecnología NVIDIA DLSS 3 (supermuestreo de aprendizaje profundo).

  • Ancho de banda de red de alto rendimiento: con los tipos de máquinas G2, puedes obtener hasta 100 Gbps de ancho de banda de red.

  • Compatibilidad con discos: Las instancias G2 admiten SSD locales para discos para instalación nueva rápidos, lo que es útil para ingresar datos en las GPU y, al mismo tiempo, evitar cuellos de botella de E/S. Para el almacenamiento persistente, puedes conectar volúmenes de Persistent Disk y Hyperdisk.

    Puedes agregar hasta 3,000 GiB de SSD local a las instancias G2. Para las cargas de trabajo que requieren almacenamiento en bloque duradero, puedes conectar volúmenes de Hyperdisk y Persistent Disk a instancias de G2. La capacidad máxima de almacenamiento depende de la cantidad de CPUs virtuales que tenga la instancia. Para obtener más información sobre los tipos de discos, consulta Elige un tipo de disco.

  • Compatibilidad de políticas de posición compacta: Te proporciona más control sobre la posición física de las instancias dentro de los centros de datos. Esto permite una latencia más baja y un ancho de banda mayor para las instancias que se encuentran dentro de una sola zona de disponibilidad. Para obtener más información, consulta Reduce la latencia con las políticas de colocación compacta.

Opciones de precios y consumo para las instancias G2

Las instancias G2 admiten las siguientes opciones de consumo y descuento:

Google Cloud factura las instancias G2 por las GPUs conectadas, las CPUs virtuales predefinidas y la memoria. El uso de Persistent Disk, Hyperdisk, discos SSD locales y red se factura aparte del precio del tipo de máquina. Para obtener más información, consulta Opciones de precios y consumo, Precios de la familia de tipo de máquina optimizadas para aceleradores y Precios de GPU.

Tipos de máquinas G2 (NVIDIA L4)

Los tipos de máquinas optimizadas para aceleradores G2 tienen GPU NVIDIA L4 conectadas y son ideales para cargas de trabajo de inferencia con costos optimizados, de uso intensivo de gráficos y de computación de alto rendimiento.

Cada tipo de máquina G2 también tiene una memoria predeterminada y un rango de memoria personalizado. El rango de memoria personalizado define la cantidad de memoria que puedes asignar a tu instancia para cada tipo de máquina. También puedes agregar discos SSD locales cuando creas una instancia G2. Para conocer la cantidad de discos que puedes conectar, consulta Tipos de máquinas que requieren que elijas una cantidad de discos SSD locales.

Para obtener información sobre las limitaciones de tipo de máquina, consulta Limitaciones de G2.

Tipo de máquina Recuento de CPU virtuales Memoria de la instancia predeterminada (GB) Rango de memoria de la instancia personalizado (GB) Máximo de SSD local admitido (GiB) Ancho de banda de red máximo (Gbps) Recuento de GPU NVIDIA L4 Memoria de GPU (GB GDDR6)
g2-standard-4 4 16 De 16 a 32 375 10 1 24
g2-standard-8 8 32 De 32 a 54 375 16 1 24
g2-standard-12 12 48 De 48 a 54 375 16 1 24
g2-standard-16 16 64 De 54 a 64 375 32 1 24
g2-standard-24 24 96 De 96 a 108 750 32 2 48
g2-standard-32 32 128 De 96 a 128 375 32 1 24
g2-standard-48 48 192 De 192 a 216 1,500 50 4 96
g2-standard-96 96 384 De 384 a 432 3,000 100 8 192

Notas sobre tipo de máquina G2

Las siguientes notas se aplican a la tabla anterior:

  • Recuento de CPU virtuales: Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
  • Ancho de banda de red máximo: El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Para obtener más información sobre el ancho de banda de red, consulta Ancho de banda de red.
  • Memoria de GPU: Es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la instancia y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.

Limitaciones de G2

  • Solo puedes solicitar capacidad con las opciones de consumo admitidas para un tipo de máquina G2.
  • No recibirás descuentos por uso continuo ni descuentos flexibles por compromiso de uso para las instancias que usan un tipo de máquina G2.
  • Solo puedes usar un tipo de máquina G2 en ciertas regiones y zonas.
  • Los tipos de máquinas G2 solo están disponibles en la plataforma Cascade Lake.
  • El disco persistente estándar (pd-standard) no es compatible con las instancias que usan el tipo de máquina G2. Para conocer los tipos de discos compatibles, consulta Tipos de discos compatibles con G2.
  • No puedes crear GPU de instancias múltiples en una instancia que usa un tipo de máquina G2.
  • Si necesitas cambiar el tipo de máquina de una instancia G2, revisa Modifica las instancias optimizadas para aceleradores.
  • No puedes usar Deep Learning VM Image como discos de arranque para las instancias que usan el tipo de máquina G2.
  • El controlador predeterminado actual para Container-Optimized OS no es compatible con las GPU L4 que se ejecutan en los tipos de máquinas G2. Además, Container-Optimized OS solo admite un conjunto selecto de controladores. Si deseas usar Container-Optimized OS en tipos de máquinas G2, revisa las siguientes notas:
    • Usa una versión de Container-Optimized OS que sea compatible con la versión mínima recomendada del controlador NVIDIA 525.60.13 o posterior. Para obtener más información, revisa las notas de la versión de Container-Optimized OS.
    • Cuando instalas el controlador, especifica la versión más reciente disponible que funcione para las GPU L4. Por ejemplo, sudo cos-extensions install gpu -- -version=525.60.13
  • Debes usar Google Cloud CLI o REST para crear instancias de G2 en las siguientes situaciones:
    • Deseas especificar valores de memoria personalizados.
    • Deseas personalizar la cantidad de núcleos de CPU visibles.

Tipos de discos compatibles con las instancias G2

Las instancias G2 pueden usar los siguientes tipos de almacenamiento en bloque:

  • Disco persistente balanceado (pd-balanced)
  • Persistent Disk SSD (rendimiento) (pd-ssd)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD local: puedes agregar SSD locales a las instancias creadas con los tipos de máquinas G2.

En la siguiente tabla, se indica la cantidad máxima de discos admitidos por instancia:

Tipos de máquina Todos los discos Hyperdisk ML Hyperdisk Throughput SSD local
g2-standard-4 128 24 24 1
g2-standard-8 128 32 32 1
g2-standard-12 128 32 32 1
g2-standard-16 128 48 48 1
g2-standard-24 128 48 48 2
g2-standard-32 128 64 64 1
g2-standard-48 128 64 64 4
g2-standard-96 128 64 64 8

Las siguientes notas se aplican a la tabla anterior:

Si el tipo de máquina lo admite, puedes conectar una combinación de volúmenes de Hyperdisk y Persistent Disk a una instancia, pero se aplican las siguientes restricciones:

  • La cantidad combinada de volúmenes de Hyperdisk y Persistent Disk no puede exceder los 128 por instancia.

  • La capacidad total máxima del disco (en TiB) en todos los tipos de discos no puede exceder lo siguiente:

    • Para tipos de máquinas con menos de 32 CPUs virtuales:

      • 257 TiB para todos los Hyperdisk o todos los Persistent Disk
      • 257 TiB para una mezcla de Hyperdisk y Persistent Disk

    • Para tipos de máquinas con 32 CPUs virtuales o más:

      • 512 TiB para todos los Hyperdisk
      • 512 TiB para una mezcla de Hyperdisk y Persistent Disk
      • 257 TiB para todos los Persistent Disk

Para obtener detalles sobre los límites de capacidad, consulta Límites de tamaño y conexión de Hyperdisk y Capacidad máxima de Persistent Disk.

Experiencia de mantenimiento para instancias G2

Durante el ciclo de vida de una instancia de Compute Engine, la máquina anfitrión en la que se ejecuta la instancia pasa por varios eventos de host. Un evento de host puede incluir el mantenimiento regular de la infraestructura de Compute Engine o, en casos excepcionales, un error de host. Compute Engine también aplica algunas actualizaciones básicas sin interrupciones para el hipervisor y la red en segundo plano.

En la siguiente tabla, se describen las funciones de mantenimiento del host para los tipos de máquinas G2:

Tipo de máquina Cantidad de GPU Frecuencia típica de los eventos de mantenimiento programados Comportamiento del mantenimiento Notificación anticipada para el mantenimiento programado Mantenimiento a pedido Simular mantenimiento
G2 1, 2, 4 u 8 Mínimo de 30 días Finaliza y reinicia 7 días Sí (solo 8 GPUs) Sí

Las siguientes notas se aplican a la tabla anterior:

  • Frecuencia típica de los eventos de mantenimiento programados:

    Las frecuencias de mantenimiento que se muestran en la tabla anterior son aproximaciones, no garantías. Puede que Compute Engine haga tareas de mantenimiento con mayor frecuencia.

Opciones de precios y consumo

Las opciones de consumo se refieren a las formas de obtener y usar recursos de procesamiento. Google Cloud factura los tipos de máquinas optimizadas para aceleradores por las GPU conectadas, las CPU virtuales predefinidas, la memoria y las SSD locales agrupadas (si corresponde). Los descuentos para las instancias optimizadas para aceleradores pueden variar según el tipo de recurso y la opción de consumo que uses. En un momento determinado, un recurso es apto para un solo tipo de descuento.

Según el tipo de recurso y la opción de consumo que elijas, los descuentos se aplican a los tipos de máquinas optimizadas para aceleradores de la siguiente manera:

  • A pedido: Con esta opción de consumo, puedes recibir descuentos por compromiso de uso (CUD) flexibles de cómputo solo para el gasto apto en el uso de instancias N1, G2 y G4, de la siguiente manera:

    • En el caso de los tipos de máquinas N1 que tienen GPU conectadas, puedes recibir CUD flexibles de procesamiento solo para CPU virtuales, memoria y discos SSD locales.
    • En el caso de los tipos de máquinas G2 y G4, puedes recibir CUD flexibles de procesamiento para CPU virtuales, memoria, GPUs y discos SSD locales.

    Para recibir CUD basadas en recursos para otras series de máquinas optimizadas para aceleradores, incluidas G2 y G4, usa una de las opciones de reserva.

  • Spot: Las VMs Spot reciben descuentos automáticamente a través de los precios de las VMs Spot.

  • Inicio flexible: Las instancias aprovisionadas con la opción de consumo de inicio flexible reciben descuentos automáticamente a través de los precios del Programador dinámico de cargas de trabajo.

  • Reservas: Puedes recibir CUD basadas en recursos para tus recursos de tipo de máquina optimizadas para aceleradores si compras compromisos basados en recursos. Los compromisos basados en recursos para todas las GPU y la mayoría de los discos SSD locales requieren reservas adjuntas para esos recursos.

Si deseas obtener más información sobre los precios de las instancias optimizadas para aceleradores, consulta la sección Familia de tipo de máquina optimizadas para aceleradores en la página de precios de la instancia de VM.

Disponibilidad de la opción de consumo por tipo de máquina

En la siguiente tabla, se resume la disponibilidad de cada opción de consumo por tipo de máquina. Para obtener más información sobre cómo elegir una opción de consumo, consulta Elige un modelo de consumo en la documentación de AI Hypercomputer.

Tipo de máquina (modelo de GPU) A pedido Spot Inicio flexible Reservas según demanda Reservas futuras Reservas futuras en modo calendario Reservas futuras en AI Hypercomputer
A4X Max (GB300) y A4X (GB200) No No No No No No Sí
A4 (B200) No Sí Sí No No Sí Sí
A3 Ultra (H200) No Sí Sí No No Sí Sí
A3 Mega (H100) Sí Sí Sí Sí Sí Sí Sí
A3 High con 8 GPU (H100) Sí Sí Sí Sí Sí Sí Sí
A3 High con menos de 8 GPU (H100) No Sí Sí No No No No
A3 Edge (H100) Sí Sí Sí Sí Sí Sí Sí
A2 (A100) Sí Sí Sí Sí Sí No No
G4 (RTX PRO 6000) Sí Sí Sí Sí Sí No No
G2 (L4) Sí Sí Sí Sí Sí No No
N1 con GPU (T4/P4/V100) Sí Sí Sí Sí Sí No No

¿Qué sigue?