Ce document présente les modèles de GPU NVIDIA que vous pouvez utiliser pour accélérer le machine learning (ML), le traitement des données et les charges de travail gourmandes en ressources graphiques sur vos instances Compute Engine. Ce document détaille également les GPU pré-associés aux séries de machines optimisées pour les accélérateurs, telles que A4X Max, A4X, A4, A3, A2, G4 et G2, ainsi que les GPU que vous pouvez associer aux instances à usage général N1.
Utilisez ce document pour comparer les performances, la mémoire et les fonctionnalités de différents modèles de GPU. Pour obtenir une présentation plus détaillée de la famille de machines optimisées pour les accélérateurs, y compris des informations sur les plates-formes de processeur, les options de stockage et les fonctionnalités de mise en réseau, et pour trouver le type de machine spécifique correspondant à votre charge de travail, consultez Famille de machines optimisées pour les accélérateurs.
Pour en savoir plus sur les GPU sur Compute Engine, consultez À propos des GPU.
Pour consulter les régions et les zones disponibles pour les GPU sur Compute Engine, consultez la page Régions et zones disponibles pour les GPU.
Présentation
Compute Engine propose différents types de machines pour prendre en charge vos différentes charges de travail.
Certains types de machines sont compatibles avec les postes de travail virtuels (vWS) NVIDIA RTX. Lorsque vous créez une instance qui utilise NVIDIA RTX Virtual Workstation, Compute Engine ajoute automatiquement une licence vWS. Pour en savoir plus sur la tarification des postes de travail virtuels, consultez la page des tarifs des GPU.
| Types de machines avec GPU | |||
|---|---|---|---|
| Charges de travail d'IA et de ML | Graphiques et visualisation | Autres charges de travail GPU | |
|
Les types de machines de série A optimisées pour les accélérateurs sont conçus pour les charges de travail de calcul hautes performances (HPC), d'intelligence artificielle (IA) et de machine learning (ML).
La série A de dernière génération est idéale pour le pré-entraînement et l'affinage des modèles de fondation qui impliquent de grands clusters d'accélérateurs, tandis que la série A2 peut être utilisée pour l'entraînement de modèles plus petits et l'inférence sur un seul hôte. Pour ces types de machines, le modèle de GPU est automatiquement associé à l'instance. |
Les types de machines de série G optimisées pour les accélérateurs sont conçus pour les charges de travail de simulation NVIDIA Omniverse, les applications exigeantes en ressources graphiques, le transcodage vidéo et les bureaux virtuels. Ces types de machines sont compatibles avec les postes de travail virtuels (vWS) NVIDIA RTX.
La série G peut également être utilisée pour entraîner des modèles plus petits et pour l'inférence sur un seul hôte. Pour ces types de machines, le modèle de GPU est automatiquement associé à l'instance. |
Pour les types de machines à usage général N1, à l'exception des types N1 à cœur partagé ( |
|
|
Les modèles de GPU suivants peuvent être associés à des types de machines à usage général N1 :
|
||
Vous pouvez également utiliser certains types de machines GPU sur AI Hypercomputer. AI Hypercomputer est un système de supercalcul optimisé pour gérer vos charges de travail d'intelligence artificielle (IA) et de machine learning (ML). Cette option est recommandée pour créer une infrastructure à allocation dense et optimisée pour les performances, qui intègre les planificateurs Google Kubernetes Engine (GKE) et Slurm.
Séries de machines A4X Max et A4X
Les séries de machines A4X Max et A4X s'exécutent sur une plate-forme exaflopique basée sur l'architecture rack de NVIDIA. Elles sont optimisées pour les charges de travail HPC, d'entraînement de ML lié au réseau et exigeantes en calcul et mémoire. Les séries A4X Max et A4X diffèrent principalement par leurs composants GPU et réseau. A4X Max n'est disponible que sous forme d'instances Bare Metal, qui fournissent un accès direct au processeur et à la mémoire du serveur hôte, sans la couche d'hyperviseur Compute Engine.
Types de machines A4X Max (NVIDIA GB300)
Les types de machines A4X Max optimisées pour les accélérateurs utilisent des superchips NVIDIA GB300 Grace Blackwell Ultra (nvidia-gb300) et sont idéaux pour l'entraînement et la mise en service de modèles de fondation. Les types de machines A4X Max sont disponibles en tant qu'instances Bare Metal.
A4X Max est une plate-forme exaflopique basée sur NVIDIA GB300 NVL72. Chaque machine dispose de deux sockets avec des processeurs NVIDIA Grace dotés de cœurs Arm Neoverse V2. Ces processeurs sont connectés à quatre GPU NVIDIA B300 Blackwell avec une communication puce à puce (NVLink-C2C) rapide. Pour en savoir plus sur les limites des types de machines, consultez Limites des types de machines A4X Max et A4X.
| Type de machine | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA GB300 | Mémoire de GPU (Go HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-maxgpu-4g-metal |
144 | 960 | 12 000 | 6 | 3 600 | 4 | 1 116 |
Remarques sur le type de machine A4X Max
Les remarques suivantes s'appliquent au tableau précédent :
- Nombre de vCPU : un vCPU est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
- Bande passante réseau maximale : la bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
- Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.
Type de machine A4X (NVIDIA GB200)
Les types de machines A4X optimisées pour les accélérateurs utilisent des superchips NVIDIA GB200 Grace Blackwell (nvidia-gb200) et sont idéaux pour l'entraînement et la mise en service de modèles de fondation.
A4X est une plate-forme exaflopique basée sur NVIDIA GB200 NVL72. Chaque machine dispose de deux sockets avec des processeurs NVIDIA Grace dotés de cœurs Arm Neoverse V2. Ces processeurs sont connectés à quatre GPU NVIDIA B200 Blackwell avec une communication puce à puce (NVLink-C2C) rapide. Pour en savoir plus sur les limites des types de machines, consultez Limites des types de machines A4X Max et A4X.
| Type de machine | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA GB200 | Mémoire de GPU (Go HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-highgpu-4g |
140 | 884 | 12 000 | 6 | 2 000 | 4 | 744 |
Remarques sur le type de machine A4X
Les remarques suivantes s'appliquent au tableau précédent :
- Nombre de vCPU : un vCPU est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
- Bande passante réseau maximale : la bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
- Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.
Série de machines A4 (NVIDIA B200)
Les types de machines A4 optimisées pour les accélérateurs sont associés à des GPU NVIDIA B200 Blackwell (nvidia-b200). Ils sont idéaux pour l'entraînement et la mise en service de modèles de fondation. Pour en savoir plus sur les limites des types de machines, consultez Limites des machines A4.
| Type de machine | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA B200 Blackwell | Mémoire de GPU (Go HBM3e) |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
224 | 3 968 | 12 000 | 10 | 3 600 | 8 | 1 440 |
Remarques sur le type de machine A4
Les remarques suivantes s'appliquent au tableau précédent :
- Nombre de vCPU : un vCPU est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
- Bande passante réseau maximale : la bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
- Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.
Série de machines A3
Les types de machines optimisés pour l'accélérateur A3 sont associés à des GPU NVIDIA H100 SXM ou NVIDIA H200 SXM.
Type de machine A3 Ultra (NVIDIA H200)
Les types de machines A3 Ultra sont associés à des GPU NVIDIA H200 SXM (nvidia-h200-141gb) et offrent les meilleures performances réseau de la série A3. Les types de machines A3 Ultra sont idéaux pour l'entraînement et la mise en service de modèles de fondation. Pour en savoir plus sur les limites des types de machines, consultez Limites des machines A3 Ultra.
| Type de machine | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA H200 | Mémoire de GPU (Go HBM3e) |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
224 | 2 952 | 12 000 | 10 | 3 600 | 8 | 1128 |
Remarques sur le type de machine A3 Ultra
Les remarques suivantes s'appliquent au tableau précédent :
- Nombre de vCPU : un vCPU est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
- Bande passante réseau maximale : la bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
- Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.
Types de machines A3 Mega, High et Edge (NVIDIA H100)
Pour utiliser des GPU NVIDIA H100 SXM, vous disposez des options suivantes :
- A3 Mega : ces types de machines sont associés à des GPU H100 SXM (
nvidia-h100-mega-80gb) et sont idéaux pour les charges de travail d'entraînement et de mise en service à grande échelle. - A3 High : ces types de machines sont associés à des GPU H100 SXM (
nvidia-h100-80gb) et conviennent aussi bien aux tâches d'entraînement qu'à celles de mise en service. - A3 Edge : ces types de machines sont dotés de GPU H100 SXM (
nvidia-h100-80gb), sont conçus spécifiquement pour la mise en service et sont disponibles dans un ensemble limité de régions.
A3 Mega
| Type de machine | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA H100 | Mémoire GPU (Go HBM3) |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
208 | 1 872 | 6 000 | 9 | 1 800 | 8 | 640 |
A3 High
| Type de machine | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA H100 | Mémoire GPU (Go HBM3) |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1 500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3 000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1 872 | 6 000 | 5 | 1 000 | 8 | 640 |
A3 Edge
| Type de machine | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA H100 | Mémoire GPU (Go HBM3) |
|---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
208 | 1 872 | 6 000 | 5 | 600 (asia-south1 et northamerica-northeast2) ou 400 (toutes les autres régions A3 Edge) |
8 | 640 |
Remarques sur les types de machines A3 Mega, High et Edge
Les remarques suivantes s'appliquent au tableau précédent :
- Nombre de vCPU : un vCPU est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
- Bande passante réseau maximale : la bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
- Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.
Série de machines A2 (NVIDIA A100)
Les types de machines A2 optimisées pour les accélérateurs sont associés à des GPU NVIDIA A100 et sont idéaux pour l'affinage de modèles, les grands modèles et l'inférence optimisée pour les coûts.
La série de machines A2 est disponible en deux types :
- A2 Ultra : ces types de machines sont associés à des GPU A100 de 80 Go (
nvidia-a100-80gb) et à des disques SSD locaux. - A2 Standard : ces types de machines sont associés à des GPU A100 de 40 Go (
nvidia-tesla-a100). Vous pouvez également ajouter des disques SSD locaux lorsque vous créez une instance A2 Standard. Pour connaître le nombre de disques que vous pouvez associer, consultez Types de machines nécessitant le choix d'un nombre de disques SSD locaux.
A2 Ultra
| Type de machine | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local associé (Gio) | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA A100 80 Go | Mémoire GPU (Go HBM2e) |
|---|---|---|---|---|---|---|
a2-ultragpu-1g |
12 | 170 | 375 | 24 | 1 | 80 |
a2-ultragpu-2g |
24 | 340 | 750 | 32 | 2 | 160 |
a2-ultragpu-4g |
48 | 680 | 1 500 | 50 | 4 | 320 |
a2-ultragpu-8g |
96 | 1 360 | 3 000 | 100 | 8 | 640 |
A2 Standard
| Type de machine | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local pris en charge | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA A100 40 Go | Mémoire GPU (Go HBM2) |
|---|---|---|---|---|---|---|
a2-highgpu-1g |
12 | 85 | Oui | 24 | 1 | 40 |
a2-highgpu-2g |
24 | 170 | Oui | 32 | 2 | 80 |
a2-highgpu-4g |
48 | 340 | Oui | 50 | 4 | 160 |
a2-highgpu-8g |
96 | 680 | Oui | 100 | 8 | 320 |
a2-megagpu-16g |
96 | 1 360 | Oui | 100 | 16 | 640 |
Remarques sur les types de machines A2
Les remarques suivantes s'appliquent au tableau précédent :
- Nombre de vCPU : un vCPU est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
- Bande passante réseau maximale : la bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
- Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.
Série de machines G4 (NVIDIA RTX PRO 6000)
Les types de machines G4 optimisées pour les accélérateurs utilisent des GPU NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) et conviennent aux charges de travail de simulation NVIDIA Omniverse, aux applications exigeantes en ressources graphiques, au transcodage vidéo et aux bureaux virtuels. Les types de machines G4 offrent également une solution à faible coût pour l'inférence et le réglage de modèle sur un seul hôte, par rapport aux types de machines de la série A.
Vous pouvez également ajouter des disques Titanium SSD lorsque vous créez une instance G4. Pour connaître le nombre de disques que vous pouvez associer, consultez Types de machines nécessitant le choix d'un nombre de disques SSD locaux. Pour en savoir plus sur les limites des types de machines, consultez Limites des machines G4.
L'une des principales caractéristiques de la série G4 est la prise en charge de la communication GPU peer-to-peer (P2P) directe sur les types de machines multi-GPU (g4-standard-96, g4-standard-192, g4-standard-384). Cela permet aux GPU d'une même instance d'échanger des données directement sur le bus PCIe, sans impliquer l'hôte du processeur. Pour en savoir plus sur la communication peer-to-peer des GPU G4, consultez Communication peer-to-peer des GPU G4.
| Type de machine | Nombre de vCPU | Mémoire de l'instance (Go) | Volumes Titanium SSD maximaux pris en charge (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA RTX PRO 6000 | Mémoire de GPU (Go GDDR7) |
|---|---|---|---|---|---|---|---|
g4-standard-6 |
6 | 22 | 0 | 1 | 20 | 1/8 | 12 |
g4-standard-12 |
12 | 45 | 375 | 1 | 20 | 1/4 | 24 |
g4-standard-24 |
24 | 90 | 750 | 1 | 20 | 1/2 | 48 |
g4-standard-48 |
48 | 180 | 1 500 | 1 | 50 | 1 | 96 |
g4-standard-96 |
96 | 360 | 3 000 | 1 | 100 | 2 | 192 |
g4-standard-192 |
192 | 720 | 6 000 | 1 | 200 | 4 | 384 |
g4-standard-384 |
384 | 1 440 | 12 000 | 2 | 400 | 8 | 768 |
Remarques sur les types de machines G4
Les remarques suivantes s'appliquent au tableau précédent :
- Nombre de vCPU : un vCPU est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
- Bande passante réseau maximale : la bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
- Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.
Série de machines G2 (NVIDIA L4)
Les types de machines G2 optimisées pour les accélérateurs sont associés à des GPU NVIDIA L4 et sont idéaux pour les charges de travail d'inférence optimisées pour les coûts, les charges de travail de calcul hautes performances et celles nécessitant beaucoup de ressources graphiques.
Chaque type de machine G2 dispose également d'une mémoire par défaut et d'une plage de mémoire personnalisée. La plage de mémoire personnalisée définit la quantité de mémoire que vous pouvez allouer à votre instance pour chaque type de machine. Vous pouvez également ajouter des disques SSD locaux lorsque vous créez une instance G2. Pour connaître le nombre de disques que vous pouvez associer, consultez Types de machines nécessitant le choix d'un nombre de disques SSD locaux.
Pour en savoir plus sur les limites des types de machines, consultez Limites de G2.
| Type de machine | Nombre de vCPU | Mémoire d'instance par défaut (Go) | Plage de mémoire d'instance personnalisée (Go) | Disque SSD local maximal pris en charge (Gio) | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA L4 | Mémoire de GPU (Go GDDR6) |
|---|---|---|---|---|---|---|---|
g2-standard-4 |
4 | 16 | 16 à 32 | 375 | 10 | 1 | 24 |
g2-standard-8 |
8 | 32 | 32 à 54 | 375 | 16 | 1 | 24 |
g2-standard-12 |
12 | 48 | 48 à 54 | 375 | 16 | 1 | 24 |
g2-standard-16 |
16 | 64 | 54 à 64 | 375 | 32 | 1 | 24 |
g2-standard-24 |
24 | 96 | 96 à 108 | 750 | 32 | 2 | 48 |
g2-standard-32 |
32 | 128 | 96 à 128 | 375 | 32 | 1 | 24 |
g2-standard-48 |
48 | 192 | 192 à 216 | 1 500 | 50 | 4 | 96 |
g2-standard-96 |
96 | 384 | 384 à 432 | 3 000 | 100 | 8 | 192 |
Remarques sur les types de machines G2
Les remarques suivantes s'appliquent au tableau précédent :
- Nombre de vCPU : un vCPU est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
- Bande passante réseau maximale : la bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
- Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.
Série de machines N1
Vous pouvez associer les modèles de GPU suivants à un type de machine N1, à l'exception des types de machines à cœur partagé N1.
Contrairement aux types de machines de la série de machines optimisées pour les accélérateurs, les types de machines N1 ne sont pas associés à un nombre défini de GPU. À la place, vous spécifiez le nombre de GPU à associer lors de la création de l'instance.
Les instances N1 disposant de moins de GPU limitent le nombre maximal de vCPU. En règle générale, un nombre plus élevé de GPU permet de créer des instances dotées d'une plus grande quantité de processeurs virtuels et de mémoire.
GPU N1+T4
Vous pouvez associer des GPU NVIDIA T4 à des instances à usage général N1 avec les configurations d'instance suivantes.
| Type d'accélérateur | Nombre de GPU NVIDIA T4 | Mémoire de GPU (Go GDDR6) | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local pris en charge |
|---|---|---|---|---|---|
nvidia-tesla-t4 ou nvidia-tesla-t4-vws |
1 | 16 | Entre 1 et 48 | Entre 1 et 312 | Oui |
nvidia-tesla-t4 ou nvidia-tesla-t4-vws |
2 | 32 | Entre 1 et 48 | Entre 1 et 312 | Oui |
nvidia-tesla-t4 ou nvidia-tesla-t4-vws |
4 | 64 | Entre 1 et 96 | Entre 1 et 624 | Oui |
Remarques sur le type de machine N1+T4
La remarque suivante s'applique au tableau précédent :
- Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU que vous pouvez utiliser pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.
GPU N1+P4
Vous pouvez associer des GPU NVIDIA P4 à des instances à usage général N1 avec les configurations d'instance suivantes.
Pour les instances auxquelles des GPU NVIDIA P4 sont associés, les disques SSD locaux ne sont compatibles qu'avec les zones us-central1-c et northamerica-northeast1-b.
| Type d'accélérateur | Nombre de GPU NVIDIA P4 | Mémoire de GPU (Go GDDR5) | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local pris en charge |
|---|---|---|---|---|---|
nvidia-tesla-p4 ou nvidia-tesla-p4-vws |
1 | 8 | Entre 1 et 24 | Entre 1 et 156 | Oui (us-central1-c et northamerica-northeast1-b uniquement) |
nvidia-tesla-p4 ou nvidia-tesla-p4-vws |
2 | 16 | Entre 1 et 48 | Entre 1 et 312 | Oui (us-central1-c et northamerica-northeast1-b uniquement) |
nvidia-tesla-p4 ou nvidia-tesla-p4-vws |
4 | 32 | Entre 1 et 96 | Entre 1 et 624 | Oui (us-central1-c et northamerica-northeast1-b uniquement) |
Remarques sur le type de machine N1+P4
La remarque suivante s'applique au tableau précédent :
- Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU que vous pouvez utiliser pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.
GPU N1+V100
Vous pouvez associer des GPU NVIDIA V100 à des instances à usage général N1 avec les configurations d'instance suivantes.
Pour les instances auxquelles des GPU NVIDIA V100 sont associés, les disques SSD locaux ne sont pas compatibles dans la zone us-east1-c.
| Type d'accélérateur | Nombre de GPU NVIDIA V100 | Mémoire GPU (Go HBM2) | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local pris en charge |
|---|---|---|---|---|---|
nvidia-tesla-v100 |
1 | 16 | Entre 1 et 12 | Entre 1 et 78 | Oui (sauf us-east1-c) |
nvidia-tesla-v100 |
2 | 32 | Entre 1 et 24 | Entre 1 et 156 | Oui (sauf us-east1-c) |
nvidia-tesla-v100 |
4 | 64 | Entre 1 et 48 | Entre 1 et 312 | Oui (sauf us-east1-c) |
nvidia-tesla-v100 |
8 | 128 | Entre 1 et 96 | Entre 1 et 624 | Oui (sauf us-east1-c) |
Remarques sur les types de machines N1+V100
La remarque suivante s'applique au tableau précédent :
- Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU que vous pouvez utiliser pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.
Expérience de maintenance des instances N1 avec GPU
Au cours du cycle de vie d'une instance Compute Engine, la machine hôte sur laquelle votre instance s'exécute subit plusieurs événements hôtes. Un événement hôte peut correspondre à une opération de maintenance courante de l'infrastructure Compute Engine ou, dans de rares cas, à une erreur d'hôte. Compute Engine applique également en arrière-plan des mises à niveau légères non disruptives pour l'hyperviseur et le réseau.
Le tableau suivant décrit les fonctionnalités de maintenance de l'hôte pour les types de machines N1 avec GPU associé :
| Type de machine | Number of GPUs | Fréquence typique des événements de maintenance planifiée | Comportement en cas de maintenance | Notification avancée pour la maintenance planifiée | Maintenance à la demande | Simuler une maintenance |
|---|---|---|---|---|---|---|
| N1+T4 | 1 ou 2 | 15 jours minimum | Arrêter et redémarrer | 7 jours | Non | Oui |
| N1+T4 | 4 | 30 jours minimum | Arrêter et redémarrer | 7 jours | Oui | Oui |
| N1+P4 | 1 ou 2 | 15 jours minimum | Arrêter et redémarrer | 7 jours | Non | Oui |
| N1+P4 | 4 | 30 jours minimum | Arrêter et redémarrer | 7 jours | Oui | Oui |
| N1+V100 | 1, 2 ou 4 | 15 jours minimum | Arrêter et redémarrer | 7 jours | Non | Oui |
| N1+V100 | 8 | 30 jours minimum | Arrêter et redémarrer | 7 jours | Oui | Oui |
Les remarques suivantes s'appliquent au tableau précédent :
- Fréquence typique des événements de maintenance planifiée :
Les fréquences de maintenance indiquées dans le tableau précédent sont approximatives et ne sont pas garanties. Compute Engine peut occasionnellement effectuer des opérations de maintenance plus fréquentes.
Graphique de comparaison général
Le tableau suivant décrit la taille de la mémoire du GPU, la disponibilité des fonctionnalités, ainsi que les types de charges de travail idéaux des différents modèles de GPU sur Compute Engine.
Dans le tableau suivant, N/A indique que la métrique n'est pas applicable ou n'est pas disponible pour ce modèle de GPU.
| Type de machine (modèle de GPU) | Mémoire et bande passante du GPU | Interconnexion | Compatibilité avec les postes de travail virtuels (vWS) NVIDIA RTX | Utilisation optimale |
|---|---|---|---|---|
| A4X Max (GB300) | 279 Go HBM3e (8 To/s) | NVLink Full Mesh (1 800 Go/s) | Non | Entraînement et inférence distribués à grande échelle de LLM MoE, de systèmes de recommandation et de HPC |
| A4X (GB200) | 186 Go HBM3e (8 To/s) | NVLink Full Mesh (1 800 Go/s) | Non | Entraînement et inférence distribués à grande échelle de LLM, de systèmes de recommandation et de HPC |
| A4 (B200) | 180 Go HBM3e (8 To/s) | NVLink Full Mesh (1 800 Go/s) | Non | Entraînement et inférence distribués à grande échelle de LLM, de systèmes de recommandation et de HPC |
| A3 Ultra (H200) | 141 Go HBM3e (4,8 To/s) | NVLink Full Mesh (900 Gbit/s) | Non | Modèles volumineux avec tables de données volumineuses pour entraînement ou inférence ML, HPC, BERT et DLRM. |
| A3 Mega, A3 High, A3 Edge (H100) | 80 Go HBM3 (3,35 Tbit/s) | NVLink Full Mesh (900 Gbit/s) | Non | Modèles volumineux avec tables de données volumineuses pour entraînement ou inférence ML, HPC, BERT et DLRM. |
| A2 Ultra (A100 80 Go) | 80 Go HBM2e (1,9 To/s) | NVLink Full Mesh (600 Gbit/s) | Non | Modèles volumineux avec tables de données volumineuses pour entraînement ou inférence ML, HPC, BERT et DLRM. |
| A2 Standard (A100 40 Go) | 40 Go HBM2 (1,6 Tbit/s) | NVLink Full Mesh (600 Gbit/s) | Non | Entraînement et inférence ML, HPC |
| G4 (RTX PRO 6000) | 96 Go GDDR7 (1,597 To/s) | N/A | Oui | Inférence et entraînement ML, postes de travail à distance pour la visualisation, transcodage de vidéos, HPC |
| G2 (L4) | 24 Go GDDR6 (300 Gbit/s) | N/A | Oui | Inférence et entraînement ML, postes de travail à distance pour la visualisation, transcodage de vidéos, HPC |
| N1 (T4) | 16 Go GDDR6 (320 Gbit/s) | N/A | Oui | Inférence et entraînement ML, postes de travail à distance pour la visualisation, transcodage de vidéos |
| N1 (P4) | 8 Go GDDR5 (192 Gbit/s) | N/A | Oui | Postes de travail à distance pour la visualisation, inférence ML et transcodage de vidéos |
| N1 (V100) | 16 Go HBM2 (900 Gbit/s) | NVLink Ring (300 Gbit/s) | Non | Entraînement et inférence ML, HPC |
Pour comparer les tarifs des GPU selon les différents modèles de GPU et les différentes régions disponibles sur Compute Engine, consultez la section Tarifs des GPU.
Performances des Tensor Cores et des cœurs CUDA standards
Les sections suivantes fournissent des métriques de performances pour chaque architecture de GPU, séparées en cœurs CUDA vectoriels ou standards et en performances Tensor Core.
Cœurs Tensor : les performances des cœurs Tensor font référence au débit atteint par les cœurs Tensor spécialisés. Il s'agit d'unités matérielles dédiées (souvent appelées unités matricielles) conçues spécifiquement pour accélérer les opérations d'accumulation de multiplication de matrices volumineuses qui constituent l'épine dorsale du deep learning, de l'entraînement et de l'inférence.
Ce type de performances est idéal pour le deep learning, les grands modèles de langage (LLM) et toute charge de travail pouvant être exprimée sous forme d'opérations matricielles denses. Les Tensor Cores offrent un débit nettement plus élevé que les cœurs CUDA pour le même type de données.
Cœurs CUDA vectoriels ou standards : les performances vectorielles font référence au débit atteint par les cœurs CUDA standards. Il s'agit d'unités à usage général qui fonctionnent à l'aide d'un modèle SIMT (Single Instruction, Multiple Threads), effectuant généralement des opérations sur des éléments de données ou des vecteurs individuels.
Ce type de performances est idéal pour le calcul général, l'affichage graphique et les charges de travail qui n'impliquent pas de calculs matriciels denses.
Architecture Blackwell
Les types de machines A4X Max, A4X, A4 et G4 s'exécutent sur l'architecture Blackwell de NVIDIA.
Tensor Core
L'architecture Blackwell de NVIDIA, utilisée par ces types de machines, introduit la compatibilité Tensor Core pour la précision FP4 et des fonctionnalités INT4 étendues pour des performances élevées dans l'inférence de modèles volumineux.
Dans le tableau suivant, N/A indique que la métrique n'est pas applicable ou n'est pas disponible pour ce modèle de GPU. Les remarques suivantes s'appliquent également :
- TF32, FP16/32 mixte, INT8, FP8 et FP4 : l'architecture Blackwell est compatible avec la rareté structurelle pour ces métriques de précision, ce qui peut doubler le débit de calcul. Les valeurs de performances de ce tableau supposent une multiplication de matrices denses. Si vous utilisez la dispersion structurelle, les performances sont doublées.
- FP16/32 mixte : pour l'entraînement de précision mixte, les GPU qui s'exécutent sur l'architecture Blackwell sont également compatibles avec le type de données
bfloat16.
| Type de machine (modèle de GPU) | FP64 (TFLOPS) | TF32 (TFLOPS) | FP16/32 mixte (TFLOPS) | INT8 (TFLOPS) | FP8 (TFLOPS) | FP4 (TFLOPS) |
|---|---|---|---|---|---|---|
| A4X Max (GB300) | 1.3 | 1 250 | 2,500 | 5 000 | 5 000 | 15 000 |
| A4X (GB200) | 45 | 1 250 | 2,500 | 5 000 | 5 000 | 10 000 |
| A4 (B200) | 40 | 1 100 | 2 250 | 4 500 | 4 500 | 9 000 |
| G4 (RTX PRO 6000) | N/A | 233,90 | 467,8 | 935,6 | 935,6 | 1871,2 |
Cœurs CUDA standards
Les types de machines qui utilisent l'architecture Blackwell fournissent des opérations FP64 et FP32 hautes performances pour les charges de travail HPC et IA exigeantes.
Pour les séries A4X Max, A4X et A4, les opérations FP16 sont accélérées par les Tensor Cores. Pour G4, les performances FP16 sur les cœurs CUDA standards sont incluses, car les charges de travail graphiques, telles que le rendu et la visualisation, peuvent bénéficier de l'utilisation réduite de la mémoire et des exigences de bande passante de la précision FP16, même sans utiliser de cœurs Tensor.
Dans le tableau suivant, N/A indique que la métrique n'est pas applicable ou n'est pas disponible pour ce modèle de GPU. La remarque suivante s'applique également :
- A4X Max (GB300) FP64 : les performances FP64 sur GB300 sont réduites pour donner la priorité aux performances FP4.
| Type de machine (modèle de GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) | FP16 (TFLOPS) |
|---|---|---|---|
| A4X Max (GB300) | 1,39 | 45 | N/A |
| A4X (GB200) | 45 | 45 | N/A |
| A4 (B200) | 40 | 80 | N/A |
| G4 (RTX PRO 6000) | 1,8 | 117 | 117 |
Architectures Hopper, Ada Lovelace et Ampere
La série A3 utilise l'architecture Hopper, qui a introduit des moteurs spécialisés pour les modèles Transformer. La série A2 utilise l'architecture Ampere, qui fournit une base équilibrée pour l'entraînement et l'inférence hautes performances. La série G2 utilise l'architecture Ada Lovelace, qui fournit une accélération polyvalente et économe en énergie pour l'inférence d'IA, le transcodage vidéo et les charges de travail graphiques.
Tensor Core
Les architectures Hopper, Ada Lovelace et Ampere sont dotées de cœurs Tensor avancés qui accélèrent les types de données TF32, FP16, FP8 et INT8, offrant ainsi un débit élevé pour l'entraînement et l'inférence en précision mixte.
Dans le tableau suivant, N/A indique que la métrique n'est pas applicable ou n'est pas disponible pour ce modèle de GPU. Les remarques suivantes s'appliquent également :
- TF32, FP16/32 mixte, INT8 et FP8 : les architectures Hopper, Ada Lovelace et Ampere sont compatibles avec la rareté structurelle pour ces métriques de précision (et INT4), ce qui peut doubler le débit de calcul. Les valeurs de performances de ce tableau supposent une multiplication de matrices denses. Si vous utilisez la dispersion structurelle, les performances sont doublées.
- FP16/32 mixte : pour l'entraînement de précision mixte, les GPU NVIDIA H200, H100, A100 et L4 acceptent également le type de données
bfloat16.
| Type de machine (modèle de GPU) | FP64 (TFLOPS) | TF32 (TFLOPS) | FP16/32 mixte (TFLOPS) | INT8 (TOPS) | FP8 (TFLOPS) |
|---|---|---|---|---|---|
| A3 Ultra (H200) | 67 | 494,5 | 989,5 | 1 979 | 1 979 |
| A3 Mega/High/Edge (H100) | 67 | 494,5 | 989,5 | 1 979 | 1 979 |
| A2 Ultra (A100 80 Go) | 19,5 | 156 | 312 | 624 | N/A |
| A2 Standard (A100 40 Go) | 19,5 | 156 | 312 | 624 | N/A |
| G2 (L4) | N/A | 60 | 121 | 242,5 | 121 |
Cœurs CUDA standards
Les types de machines qui utilisent les architectures Hopper, Ada Lovelace et Ampere fournissent des opérations FP64 et FP32 hautes performances pour les charges de travail HPC et d'IA exigeantes.
Dans le tableau suivant, N/A indique que la métrique n'est pas applicable ou n'est pas disponible pour ce modèle de GPU.
| Type de machine (modèle de GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| A3 Ultra (H200) | 34 | 67 |
| A3 Mega, High et Edge (H100) | 34 | 67 |
| A2 Ultra (A100 80 Go) | 9,7 | N/A |
| A2 Standard (A100 40 Go) | 9,7 | N/A |
| G2 (L4) | N/A | 30.3 |
Architectures Volta, Pascal et Turing
Les types de machines N1 utilisent les architectures de GPU suivantes :
Tensor Core
Les architectures Turing et Volta de NVIDIA, disponibles sur les instances N1, sont compatibles avec les cœurs Tensor pour les opérations de précision mixte, INT8 et INT4, offrant ainsi une accélération fondamentale pour l'inférence de deep learning.
Ces GPU ont introduit les premières générations de cœurs Tensor, principalement utilisés pour l'entraînement FP16 et la quantification INT8 et INT4 en inférence. Ce tableau n'inclut pas le type de machine N1 (P4), car il ne dispose pas de cœurs Tensor.
Dans le tableau suivant, N/A indique que la métrique n'est pas applicable ou n'est pas disponible pour ce modèle de GPU.
| Type de machine (modèle de GPU) | FP16/32 mixte (TFLOPS) | INT8 (TOPS) | INT4 (TOPS) |
|---|---|---|---|
| N1 (V100) | 125 | N/A | N/A |
| N1 (T4) | 65 | 130 | 260 |
Cœurs CUDA standards
Les types de machines qui utilisent les architectures Volta, Pascal et Turing sont équipés de cœurs CUDA FP64 et FP32 pour accélérer un éventail de charges de travail HPC et d'IA.
Dans le tableau suivant, N/A indique que la métrique n'est pas applicable ou n'est pas disponible pour ce modèle de GPU.
| Type de machine (modèle de GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| N1 (V100) | 7,8 | 15,6 |
| N1 (T4) | N/A | 8.1 |
| N1 (P4) | 0,2 | 5,5 |
Étape suivante
- Obtenez plus d'informations sur les GPU Compute Engine.
- Vérifiez la disponibilité des GPU dans les régions et zones.
- Consultez Bandes passantes réseau et GPU.
- Consultez les détails des tarifs des GPU.