Présentation générale des GPU

Les GPU généraux sont optimisés pour les charges de travail d'intelligence artificielle (IA) et de machine learning (ML) qui privilégient la flexibilité opérationnelle, l'indépendance des ressources et la rentabilité.

Les GPU généraux permettent aux équipes de déployer et de faire évoluer les accélérateurs NVIDIA en toute autonomie opérationnelle, en contournant la complexité architecturale des clusters de supercalculateurs coordonnés. Ils sont parfaits pour les charges de travail qui privilégient la haute disponibilité, le provisionnement en libre-service et le scaling indépendant. Les cas d'utilisation courants incluent l'inférence en temps réel, le RAG, le prototypage et l'entraînement de modèles de petite à moyenne taille.

Principales caractéristiques des GPU à usage général

  • Flexibilité opérationnelle : vous pouvez gérer les ressources à l'aide des interfaces GKE (Autopilot et Standard) et Compute Engine standards pour simplifier le déploiement et le scaling.
  • Haute disponibilité : Google Cloud met à jour les instances individuelles indépendamment pour s'assurer que les mises à jour sur un nœud n'affectent pas la disponibilité des autres, ce qui permet à votre équilibreur de charge de rediriger le trafic sans bloquer les parcs de diffusion.
  • Simplicité de mise en réseau : vos charges de travail utilisent des services de cloud privé virtuel (VPC) standards et un protocole TCP/IP standard sur des interfaces de carte d'interface réseau virtuelle Google (gVNIC) pour éliminer les structures complexes au niveau du matériel.
  • Optimisation des coûts : vous pouvez utiliser des VM Spot pour les recherches tolérantes aux pannes afin de réaliser des économies allant jusqu'à 90% par rapport aux tarifs standards à la demande.
  • Acquisition en libre-service : vous pouvez obtenir de la capacité directement via des réservations standards et des requêtes à la demande, sans avoir besoin de workflows gérés par l'équipe chargée du compte.

Familles de GPU générales et caractéristiques techniques

Consultez les charges de travail et les spécifications matérielles de la série de machines GPU à usage général. Pour une diffusion à haut débit, utilisez la série A3 Edge.

Série A3 (High avec 1, 2 ou 4 GPU et Edge)

A3 High (1, 2 ou 4 GPU)

Si vous exécutez des charges de travail d'inférence ou d'entraînement standards qui nécessitent des performances élevées, mais que vous n'avez pas besoin d'un cluster synchronisé complet de huit GPU, utilisez la série de machines A3 High avec un, deux ou quatre GPU associés.

Les types de machines A3 High sont associés à des GPU NVIDIA H100 SXM et conviennent aussi bien à l'inférence de grands modèles qu'à leur affinement. Pour en savoir plus sur les limites des types de machines, consultez Limites de A3 High.

Type de machine Nombre de vCPU Mémoire de l'instance (Go) SSD local associé (Gio) Nombre de cartes d'interface réseau physiques Bande passante réseau maximale (Gbit/s) Nombre de GPU NVIDIA H100 Mémoire GPU (Go HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1 500 1 50 2 160
a3-highgpu-4g 104 936 3 000 1 100 4 320
a3-highgpu-8g 208 1 872 6 000 5 1 000 8 640

Les remarques suivantes s'appliquent au tableau précédent :

  • Nombre de vCPU : un vCPU est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
  • Bande passante réseau maximale : la bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
  • Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.

A3 Edge

Si vous exécutez des charges de travail d'inférence distribuée à haut débit sur plusieurs hôtes sans structure de cluster coordonnée, utilisez la série A3 Edge pour simplifier le déploiement sur des réseaux privés virtuels standards.

Les types de machines A3 Edge sont dotés de GPU NVIDIA H100 SXM et sont conçus spécifiquement pour la mise en service. Ils sont disponibles dans un ensemble limité de régions. Pour en savoir plus sur les limites des types de machines, consultez Limites d'A3 Edge.

Type de machine Nombre de vCPU Mémoire de l'instance (Go) SSD local associé (Gio) Nombre de cartes d'interface réseau physiques Bande passante réseau maximale (Gbit/s) Nombre de GPU NVIDIA H100 Mémoire GPU (Go HBM3)
a3-edgegpu-8g 208 1 872 6 000 5 600 (asia-south1 et northamerica-northeast2) ou 400 (toutes les autres régions A3 Edge) 8 640

Série A2 (Standard et Ultra)

Si vous devez effectuer une mise en service de modèles à nœud unique hautes performances ou un réglage de modèles à petite échelle, utilisez la série de machines A2 pour accéder aux ressources de GPU NVIDIA A100 dédiées.

A2 Ultra

Type de machine Nombre de vCPU Mémoire de l'instance (Go) SSD local associé (Gio) Bande passante réseau maximale (Gbit/s) Nombre de GPU NVIDIA A100 80 Go Mémoire GPU (Go HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1 500 50 4 320
a2-ultragpu-8g 96 1 360 3 000 100 8 640

Les remarques suivantes s'appliquent au tableau précédent :

  • Nombre de vCPU : un vCPU est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
  • Bande passante réseau maximale : la bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
  • Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.

A2 Standard

Type de machine Nombre de vCPU Mémoire de l'instance (Go) SSD local pris en charge Bande passante réseau maximale (Gbit/s) Nombre de GPU NVIDIA A100 40 Go Mémoire GPU (Go HBM2)
a2-highgpu-1g 12 85 Oui 24 1 40
a2-highgpu-2g 24 170 Oui 32 2 80
a2-highgpu-4g 48 340 Oui 50 4 160
a2-highgpu-8g 96 680 Oui 100 8 320
a2-megagpu-16g 96 1 360 Oui 100 16 640

Les remarques suivantes s'appliquent au tableau précédent :

  • Nombre de vCPU : un vCPU est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
  • Bande passante réseau maximale : la bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
  • Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.

Série G4

Si votre équipe a besoin de charges de travail d'inférence d'entrée de gamme ou de rendu graphique standard économiques, utilisez la série de machines G4 dotée de GPU NVIDIA RTX PRO 6000.

Les types de machines G4 utilisent des GPU NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) et conviennent aux charges de travail de simulation NVIDIA Omniverse, aux applications exigeantes en ressources graphiques, au transcodage vidéo et aux bureaux virtuels. Les types de machines G4 offrent également une solution à faible coût pour l'inférence et le réglage de modèle sur un seul hôte, par rapport aux types de machines de la série A.

Vous pouvez également ajouter des disques Titanium SSD lorsque vous créez une instance G4. Pour connaître le nombre de disques que vous pouvez associer, consultez Types de machines nécessitant le choix d'un nombre de disques SSD locaux. Pour en savoir plus sur les limites des types de machines, consultez Limites des machines G4.

Type de machine Nombre de vCPU Mémoire de l'instance (Go) Volumes Titanium SSD maximaux pris en charge (Gio) Nombre de cartes d'interface réseau physiques Bande passante réseau maximale (Gbit/s) Nombre de GPU NVIDIA RTX PRO 6000 Mémoire de GPU (Go GDDR7)
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1 500 1 50 1 96
g4-standard-96 96 360 3 000 1 100 2 192
g4-standard-192 192 720 6 000 1 200 4 384
g4-standard-384 384 1 440 12 000 2 400 8 768

*La mémoire du GPU est la mémoire disponible sur un GPU pouvant être utilisé pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail accélérées, telles que le machine learning et les charges de travail exigeantes en ressources graphiques.

Série G2

Si vous déployez des applications d'inférence en temps réel ou des pipelines de génération augmentée par récupération (RAG) standards, utilisez la série de machines G2 pour équilibrer les performances et la rentabilité avec les GPU NVIDIA L4.

Type de machine Nombre de vCPU Mémoire d'instance par défaut (Go) Plage de mémoire d'instance personnalisée (Go) Disque SSD local maximal pris en charge (Gio) Bande passante réseau maximale (Gbit/s) Nombre de GPU NVIDIA L4 Mémoire de GPU (Go GDDR6)
g2-standard-4 4 16 16 à 32 375 10 1 24
g2-standard-8 8 32 32 à 54 375 16 1 24
g2-standard-12 12 48 48 à 54 375 16 1 24
g2-standard-16 16 64 54 à 64 375 32 1 24
g2-standard-24 24 96 96 à 108 750 32 2 48
g2-standard-32 32 128 96 à 128 375 32 1 24
g2-standard-48 48 192 192 à 216 1 500 50 4 96
g2-standard-96 96 384 384 à 432 3 000 100 8 192

Les remarques suivantes s'appliquent au tableau précédent :

  • Nombre de vCPU : un vCPU est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
  • Bande passante réseau maximale : la bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
  • Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.

Série N1 (NVIDIA T4 ou V100)

Si votre priorité est de réaliser des tests à moindre coût ou d'exécuter des inférences d'entrée de gamme à faible simultanéité, utilisez la série de machines N1 pour associer des GPU NVIDIA T4 ou V100.

NVIDIA T4

Type d'accélérateur Nombre de GPU NVIDIA T4 Mémoire de GPU (Go GDDR6) Nombre de vCPU Mémoire de l'instance (Go) SSD local pris en charge
nvidia-tesla-t4 ou nvidia-tesla-t4-vws 1 16 Entre 1 et 48 Entre 1 et 312 Oui
nvidia-tesla-t4 ou nvidia-tesla-t4-vws 2 32 Entre 1 et 48 Entre 1 et 312 Oui
nvidia-tesla-t4 ou nvidia-tesla-t4-vws 4 64 Entre 1 et 96 Entre 1 et 624 Oui

NVIDIA V100

Type d'accélérateur Nombre de GPU NVIDIA V100 Mémoire GPU (Go HBM2) Nombre de vCPU Mémoire de l'instance (Go) SSD local pris en charge
nvidia-tesla-v100 1 16 Entre 1 et 12 Entre 1 et 78 Oui (sauf us-east1-c)
nvidia-tesla-v100 2 32 Entre 1 et 24 Entre 1 et 156 Oui (sauf us-east1-c)
nvidia-tesla-v100 4 64 Entre 1 et 48 Entre 1 et 312 Oui (sauf us-east1-c)
nvidia-tesla-v100 8 128 Entre 1 et 96 Entre 1 et 624 Oui (sauf us-east1-c)

Acquisition de capacité

Les accélérateurs GPU généraux utilisent un provisionnement standard en libre-service. Vous pouvez obtenir de la capacité via des réservations standards, des requêtes à la demande ou des VM Spot. Étant donné que la capacité à la demande peut être épuisée, utilisez des VM Spot ou à démarrage flexible dans la mesure du possible.

Étapes suivantes