Famille de machines optimisées pour les accélérateurs

Ce document décrit la famille de machines optimisées pour les accélérateurs, qui vous fournit des instances de machines virtuelles (VM) avec des GPU NVIDIA pré-associés. Ces instances sont conçues spécifiquement pour l'intelligence artificielle (IA), le machine learning (ML), le calcul hautes performances (HPC) et les applications exigeantes en ressources graphiques.

La famille de machines optimisées pour les accélérateurs est disponible dans les séries de machines A4X, A4, A3, A2, G4 et G2. Dans une série, chaque type de machine est associé à un modèle et à un nombre de GPU NVIDIA spécifiques. Vous pouvez également associer certains modèles de GPU à des types de machines à usage général N1.

La section suivante indique quelle est la série de machines recommandée en fonction de vos charges de travail GPU :

Type de charge de travail Type de machine recommandé
Modèles de pré-entraînement A4X, A4, A3 Ultra, A3 Mega, A3 High et A2

Pour identifier la solution la plus adaptée, consultez Recommandations pour les modèles de pré-entraînement dans la documentation d'AI Hypercomputer.
Affinage des modèles A4X, A4, A3 Ultra, A3 Mega, A3 High, A2 et G4

Pour identifier la solution la plus adaptée, consultez Recommandations pour l'affinage des modèles dans la documentation d'AI Hypercomputer.
Livraison d'inférence A4X, A4, A3 Ultra, A3 Mega, A3 High, A3 Edge, A2 et G4

Pour identifier la solution la plus adaptée, consultez Recommandations pour la livraison d'inférence dans la documentation d'AI Hypercomputer.
Charges de travail exigeantes en ressources graphiques G4, G2 et N1+T4
Calcul hautes performances N'importe quelle série de machines optimisées pour les accélérateurs est adaptée aux charges de travail de calcul hautes performances. La série de machine la plus adaptée dépend de la quantité de calculs devant être déchargée sur le GPU.

Pour en savoir plus, consultez Recommandations pour le HPC dans la documentation d'AI Hypercomputer.

Options de tarification et de consommation

Les options de consommation font référence aux différentes façons d'obtenir et d'utiliser des ressources de calcul. Google Cloud facture les types de machines optimisées pour les accélérateurs en fonction des GPU qui leur sont associés, des vCPU prédéfinis, de la mémoire et du disque SSD local complémentaire (le cas échéant). Les remises associées aux instances optimisées pour les accélérateurs varient en fonction de l'option de consommation que vous utilisez. Pour en savoir plus sur les tarifs des VM optimisées pour les accélérateurs, consultez la section Famille de types de machines optimisés pour les accélérateurs sur la page des tarifs de l'instance de VM.

Les remises associées aux instances optimisées pour les accélérateurs varient en fonction de l'option de consommation que vous choisissez :

  • À la demande : vous pouvez bénéficier de remises sur engagement d'utilisation pour certaines ressources en souscrivant des engagements basés sur les ressources. Toutefois, les GPU et disques SSD locaux que vous utilisez avec l'option à la demande ne sont pas éligibles aux remises sur engagement d'utilisation. Pour bénéficier de remises sur engagement d'utilisation pour les GPU et les disques SSD locaux, utilisez plutôt l'une des options de réservation.
  • Spot : les VM Spot bénéficient automatiquement de remises conformément à la tarification des VM Spot.
  • Démarrage flexible (preview) : les instances provisionnées à l'aide de l'option de consommation à démarrage flexible bénéficient automatiquement de remises conformément à la tarification du programmeur de charge de travail dynamique.
  • Réservations : vous pouvez bénéficier de remises sur engagement d'utilisation pour vos ressources de type de machine optimisée pour les accélérateurs en souscrivant des engagements basés sur les ressources. Les engagements pour les GPU et les disques SSD locaux nécessitent que des réservations soient associées à ces ressources.

Options de consommation disponibles par type de machine

Le tableau suivant récapitule les options de consommation disponibles par série de machines. Pour savoir comment choisir une option de consommation, consultez Choisir un modèle de consommation dans la documentation d'AI Hypercomputer.

Type de machine À la demande Spot Démarrage flexible (preview) Réservations à la demande Réservations futures Réservations futures en mode Agenda (preview) Réservations futures dans AI Hypercomputer
A4X
A4
A3 Ultra
  • A3 Mega
  • A3 High avec 8 GPUs
  • A3 Edge
A3 High avec moins de 8 GPU
A2 Ultra et A2 Standard 1
G4 1
G2 1
N1 avec GPU

1 Si vous souhaitez réserver des types de machines A2, G4 ou G2, vous devez contacter l'équipe chargée de votre compte ou l'équipe commerciale pour discuter de votre demande de réservation future avant de l'envoyer. Sinon,Google Cloud est susceptible de refuser votre demande.

Série de machines A4X

La série de machines A4X s'exécute sur une plate-forme exaflopique basée sur l'architecture rack NVIDIA GB200 NVL72. Elle dispose de 140 vCPU et de 884 Go de mémoire. Cette série de machines est optimisée pour les charges de travail HPC, d'entraînement de ML lié au réseau et exigeantes en calcul et mémoire. La série de machines A4X n'est disponible que dans un type de machine.

Les instances de VM créées à l'aide du type de machine A4X offrent les fonctionnalités suivantes :

  • Accélération GPU avec les superchips NVIDIA GB200 : les instances A4X sont automatiquement associées aux superchips NVIDIA GB200. Ces superchips sont équipés de GPU NVIDIA B200 et offrent 180 Go de mémoire par GPU. Les machines A4X disposent de deux sockets avec des CPU NVIDIA Grace™ dotés de cœurs Arm® Neoverse™ V2. Ces CPU sont connectés à quatre GPU B200 avec une communication rapide de puce à puce (NVLink-C2C).

  • Plate-forme de CPU NVIDIA Grace : les instances A4X utilisent la plate-forme de CPU NVIDIA Grace. Pour en savoir plus sur la plate-forme, consultez Plates-formes CPU.

  • Évolutivité NVLink de pointe : NVLink multinœud qui peut évoluer jusqu'à 72 GPU dans un seul domaine. Les GPU NVIDIA B200 offrent une bande passante GPU NVLink de 1 800 Go/s, de manière bidirectionnelle et par GPU. Avec une topologie NVLink maillée répartie sur quatre GPU dans un même système, la bande passante NVLink agrégée peut atteindre 130 To/s.

  • Mise en réseau améliorée avec RoCE : RDMA over Converged Ethernet (RoCE) améliore les performances réseau des instances A4X en combinant les cartes d'interface réseau NVIDIA ConnectX-7 (CX-7) avec le réseau Google quadridirectionnel aligné sur rail à l'échelle du centre de données. Grâce au RDMA over Converged Ethernet (RoCE), les instances A4X atteignent un débit beaucoup plus élevé entre les instances d'un cluster comparé aux instances A4.

    Dans une topologie de réseau quadridirectionnel aligné sur rails, les cartes d'interface réseau CX-7 sont physiquement isolées, ce qui permet un scaling horizontal des instances A4X par groupes de 72 à plusieurs milliers de GPU dans un seul cluster non bloquant.

  • Débits réseau améliorés : les débits réseau sont jusqu'à quatre fois plus rapides que ceux des instances créées à l'aide des types de machines A3.

  • Optimisations de la virtualisation pour les transferts et la récupération de données : la topologie PCIe (Peripheral Component Interconnect Express) des instances A4X fournit des informations de localité plus précises qui aident les charges de travail à optimiser les transferts de données.

    Les GPU exposent également la réinitialisation du niveau de fonction (FLR) pour une reprise progressive après une défaillance ainsi que la prise en charge des opérations atomiques et une simultanéité améliorée dans certains scénarios.

  • Prise en charge des disques SSD locaux et Hyperdisk : 12 000 Gio de disque SSD local sont automatiquement ajoutés aux instances A4X. Un disque SSD local peut être utilisé en tant qu'espace de travail rapide ou pour envoyer des données aux GPU tout en évitant les goulots d'étranglement d'E/S.

    Pour les applications nécessitant des performances de stockage plus élevées, vous pouvez associer jusqu'à 512 Tio de stockage Hyperdisk aux instances A4X.

  • Prise en charge des allocations denses et de la planification tenant compte de la topologie : lorsque vous provisionnez des instances A4X, vous pouvez demander des blocs de capacité à allocation dense. Vos machines hôtes sont allouées à proximité physique les unes des autres, provisionnées sous forme de blocs de ressources, et sont interconnectées grâce à un réseau ML dynamique afin de minimiser les sauts de réseau et optimiser les instances pour les latences les plus faibles. Le type de machine A4X fournit également au niveau des nœuds et des clusters des informations sur la topologie qui peuvent être utilisées pour le placement des jobs.

Type de machine A4X

Les types de machines A4X optimisées pour les accélérateurs utilisent des superchips NVIDIA GB200 Grace Blackwell (nvidia-gb200) et sont idéaux pour l'entraînement et la mise en service de modèles de fondation.

A4X est une plate-forme exaflopique basée sur NVIDIA GB200 NVL72. Chaque machine dispose de deux sockets avec des processeurs NVIDIA Grace dotés de cœurs Arm Neoverse V2. Ces processeurs sont connectés à quatre GPU NVIDIA B200 Blackwell avec une communication puce à puce (NVLink-C2C) rapide.

Superchips NVIDIA GB200 Grace Blackwell associés
Type de machine Nombre de vCPU1 Mémoire de l'instance (Go) SSD local associé (Gio) Nombre de cartes d'interface réseau physiques Bande passante réseau maximale (Gbit/s)2 Nombre de GPU Mémoire de GPU3
(GB HBM3e)
a4x-highgpu-4g 140 884 12 000 6 2 000 4 720

1 Un vCPU est mis en œuvre sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
2 La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
3 La mémoire de GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.

Limitations des machines A4X

Types de disques pris en charge par les instances A4X

Les instances A4X peuvent utiliser les types de stockage de blocs suivants :

  • Hyperdisk Balanced (hyperdisk-balanced) : le seul type de disque pris en charge par le disque de démarrage
  • Hyperdisk Extreme (hyperdisk-extreme)
  • SSD local : ajouté automatiquement aux instances créées à l'aide de l'un des types de machines A4X.
Nombre maximal de disques par instance1
Types de machine Tous les volumes Hyperdisk Hypderdisk Balanced Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme SSD local associé
a4x-highgpu-4g 128 128 N/A N/A 8 32

1 L'utilisation des hyperdisques et les tarifs par type de machine sont facturés séparément. Pour connaître les tarifs des disques, consultez Tarifs d'Hyperdisk.

Limites de disque et de capacité

Vous pouvez associer différents types d'Hyperdisk à une instance, mais la capacité totale maximale de disque (en Tio) pour tous les types de disques ne peut pas dépasser 512 Tio pour tous les Hyperdisks.

Pour en savoir plus sur les limites de capacité, consultez Limites de taille et d'association des volumes Hyperdisk.

Série de machines A4

La série de machines A4 propose des types de machines offrant jusqu'à 224 vCPU et 3 968 Go de mémoire. Les instances A4 offrent des performances jusqu'à trois fois supérieures à celles des types d'instances GPU précédents pour la plupart des charges de travail accélérées par GPU. La famille A4 est recommandée pour les charges de travail d'entraînement de ML, en particulier celles à grande échelle (par exemple, avec des centaines ou des milliers de GPU). La série de machines A4 n'est disponible que dans un seul type de machine.

Les instances de VM créées à l'aide du type de machine A4 offrent les fonctionnalités suivantes :

  • Accélération GPU avec les GPU NVIDIA B200 : les GPU NVIDIA B200 sont automatiquement associés aux instances A4, qui offrent 180 Go de mémoire de GPU par GPU.

  • Processeur Intel Xeon Scalable de 5e génération (Emerald Rapids) : offre une fréquence turbo maximale soutenue à cœur unique allant jusqu'à 4,0 GHz. Pour en savoir plus sur ce processeur, consultez Plate-forme de processeur.

  • Évolutivité NVLink de pointe : les GPU NVIDIA B200 fournissent une bande passante GPU NVLink de 1 800 Go/s, de manière bidirectionnelle et par GPU.

    Avec une topologie NVLink maillée répartie sur huit GPU dans un même système, la bande passante NVLink agrégée peut atteindre 14,4 To/s.

  • Mise en réseau améliorée avec RoCE : RDMA over Converged Ethernet (RoCE) améliore les performances réseau en combinant les cartes d'interface réseau NVIDIA ConnectX-7 (CX-7) avec le réseau Google quadridirectionnel aligné sur rail à l'échelle du centre de données. Grâce au RDMA over Converged Ethernet (RoCE), les instances A4 atteignent un débit beaucoup plus élevé entre les instances d'un cluster comparé à la plupart des instances A3, à l'exception de celles exécutées sur des types de machine A3 Ultra.

  • Débits réseau améliorés : les débits réseau sont jusqu'à quatre fois plus rapides que ceux des instances A2 de génération précédente.

    Pour en savoir plus sur la mise en réseau, consultez Bandes passantes réseau et GPU.

  • Optimisations de la virtualisation pour les transferts et la récupération de données : la topologie PCIe (Peripheral Component Interconnect Express) des instances A4 fournit des informations de localité plus précises qui aident les charges de travail à optimiser les transferts de données.

    Les GPU exposent également la réinitialisation du niveau de fonction (FLR) pour une reprise progressive après une défaillance ainsi que la prise en charge des opérations atomiques et une simultanéité améliorée dans certains scénarios.

  • Prise en charge des disques SSD locaux et Hyperdisk : 12 000 Gio de disque SSD local sont automatiquement ajoutés aux instances A4. Un disque SSD local peut être utilisé en tant qu'espace de travail rapide ou pour envoyer des données aux GPU tout en évitant les goulots d'étranglement d'E/S.

    Pour les applications nécessitant des performances de stockage plus élevées, vous pouvez associer jusqu'à 512 Tio de stockage Hyperdisk aux instances A4.

  • Prise en charge des allocations denses et de la planification tenant compte de la topologie : lorsque vous provisionnez des instances A4, vous pouvez demander des blocs de capacité à allocation dense. Vos machines hôtes sont allouées à proximité physique les unes des autres, provisionnées sous forme de blocs de ressources, et sont interconnectées grâce à un réseau ML dynamique afin de minimiser les sauts de réseau et optimiser les instances pour les latences les plus faibles. Le type de machine A4 fournit également au niveau des nœuds et des clusters des informations sur la topologie qui peuvent être utilisées pour l'emplacement des jobs.

Type de machine A4

Les types de machines A4 optimisées pour les accélérateurs sont associés à des GPU NVIDIA B200 Blackwell (nvidia-b200). Ils sont idéaux pour l'entraînement et la mise en service de modèles de fondation.

GPU NVIDIA B200 Blackwell associés
Type de machine Nombre de vCPU1 Mémoire de l'instance (Go) SSD local associé (Gio) Nombre de cartes d'interface réseau physiques Bande passante réseau maximale (Gbit/s)2 Nombre de GPU Mémoire de GPU3
(GB HBM3e)
a4-highgpu-8g 224 3 968 12 000 10 3 600 8 1 440

1 Un vCPU est mis en œuvre sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
2 La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
3 La mémoire de GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.

Limitations des machines A4

Types de disques pris en charge par les instances A4

Les instances A4 peuvent utiliser les types de stockage de blocs suivants :

  • Hyperdisk Balanced (hyperdisk-balanced) : le seul type de disque pris en charge par le disque de démarrage
  • Hyperdisk Extreme (hyperdisk-extreme)
  • SSD local : ajouté automatiquement aux instances créées à l'aide de l'un des types de machines A4
Nombre maximal de disques par instance1
Types de machine Tous les volumes Hyperdisk Hypderdisk Balanced Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme SSD local associé
a4-highgpu-8g 128 128 N/A N/A 8 32

1 L'utilisation des hyperdisques et les tarifs par type de machine sont facturés séparément. Pour connaître les tarifs des disques, consultez Tarifs d'Hyperdisk.

Limites de disque et de capacité

Vous pouvez associer différents types d'Hyperdisk à une instance, mais la capacité totale maximale de disque (en Tio) pour tous les types de disques ne peut pas dépasser 512 Tio pour tous les Hyperdisks.

Pour en savoir plus sur les limites de capacité, consultez Limites de taille et d'association des volumes Hyperdisk.

Série de machines A3

La série de machines A3 propose jusqu'à 224 vCPU et 2 944 Go de mémoire. Cette série de machines est optimisée pour les charges de travail HPC, d'entraînement de ML lié au réseau et exigeantes en calcul et mémoire. La série de machines A3 est disponible dans les types de machines A3 Ultra, A3 Mega, A3 High et A3 Edge.

Les instances de VM créées à l'aide des types de machines A3 offrent les fonctionnalités suivantes :

Fonctionnalité A3 Ultra A3 Mega, High et Edge
Accélération GPU

GPU NVIDIA H200 SXM : ces GPU associés offrent 141 Go de mémoire GPU par GPU ainsi qu'une mémoire plus grande et plus rapide pour prendre en charge les grands modèles de langage et les charges de travail HPC.

GPU NVIDIA H100 SXM : ces GPU associés offrent 80 Go de mémoire GPU par GPU et sont idéaux pour les modèles de langage volumineux basés sur les transformateurs, les bases de données et le HPC.
Processeurs Intel® Xeon® Scalable

Processeur Intel Xeon Scalable de 5e génération (Emerald Rapids) offrant une fréquence turbo maximale soutenue à cœur unique allant jusqu'à 4,0 GHz. Pour en savoir plus sur ce processeur, consultez Plate-forme de processeur.

Processeur Intel Xeon Scalable de 4e génération (Sapphire Rapids) offrant une fréquence turbo maximale soutenue à cœur unique allant jusqu'à 3,3 GHz. Pour en savoir plus sur ce processeur, consultez Plate-forme de processeur.
Évolutivité NVLink de pointe

Les GPU NVIDIA H200 fournissent une bande passante GPU NVLink maximale de 900 Go/s, de manière unidirectionnelle.

Avec une topologie NVLink maillée répartie sur huit GPU dans un même système, la bande passante NVLink agrégée peut atteindre 7,2 To/s.

Les GPU NVIDIA H100 fournissent une bande passante GPU NVLink maximale de 450 Go/s, de manière unidirectionnelle.

Avec une topologie NVLink maillée répartie sur huit GPU dans un même système, la bande passante NVLink agrégée peut atteindre 7,2 To/s.
Mise en réseau améliorée RDMA over Converged Ethernet (RoCE) améliore les performances réseau de ce type de machine en combinant les cartes d'interface réseau NVIDIA ConnectX-7 (CX-7) avec le réseau Google quadridirectionnel aligné sur rail à l'échelle du centre de données. Grâce au RDMA over Converged Ethernet (RoCE), le type de machine a3-ultragpu-8g atteint un débit beaucoup plus élevé entre les instances d'un cluster comparé aux autres types de machines A3.
  • Pour les types de machines A3 Mega, GPUDirect-TCPXO offre une amélioration supplémentaire par rapport à GPUDirect-TCPX grâce à la décharge de protocole TCP. En effet, grâce à GPUDirect-TCPXO, le type de machine a3-megagpu-8g offre le double de la bande passante réseau proposée par les types de machines A3 High et A3 Edge.
  • GPUDirect-TCPX améliore les performances réseau des types de machines A3 Edge et A3 High en permettant aux charges utiles des paquets de données d'être transférées directement de la mémoire GPU vers l'interface réseau. Grâce à GPUDirect-TCPX, ces types de machines atteignent un débit beaucoup plus élevé entre les instances d'un cluster comparé aux autres types de machines A2 ou G2 optimisées pour les accélérateurs.
Débits réseau améliorés

Les débits réseau sont jusqu'à quatre fois plus rapides que ceux de la série de machines A2 de génération précédente.

Pour en savoir plus sur la mise en réseau, consultez Bandes passantes réseau et GPU.

Les débits réseau sont jusqu'à 2,5 fois plus rapides que ceux de la série de machines A2 de génération précédente.

Pour en savoir plus sur la mise en réseau, consultez Bandes passantes réseau et GPU.
Optimisations de la virtualisation

La topologie PCIe (Peripheral Component Interconnect Express) des instances A3 fournit des informations de localité plus précises qui aident les charges de travail à optimiser les transferts de données.

Les GPU exposent également la réinitialisation du niveau de fonction (FLR) pour une reprise progressive après une défaillance ainsi que la prise en charge des opérations atomiques et une simultanéité améliorée dans certains scénarios.
Prise en charge des disques SSD locaux, des disques persistants et des hyperdisques

Un disque SSD local peut être utilisé en tant qu'espace de travail rapide ou pour envoyer des données aux GPU tout en évitant les goulots d'étranglement d'E/S. Le disque SSD local est associé comme suit :

  • Prise en charge des disques SSD locaux et Hyperdisk : 12 000 Gio de disque SSD local sont automatiquement ajoutés aux instances A3 Ultra.
  • 6 000 Gio de disque SSD local sont automatiquement ajoutés aux instances A3 Mega, High et Edge.

Vous pouvez également associer jusqu'à 512 Tio de stockage Persistent Disk et Hyperdisk aux types de machines de ces séries pour les applications nécessitant des performances de stockage plus élevées. Pour certains types de machines, jusqu'à 257 Tio de stockage Persistent Disk sont également pris en charge.
Prise en charge des stratégies d'emplacement compact

Vous permet de mieux contrôler l'emplacement physique de vos instances dans les centres de données.

Cela permet une latence plus faible et une bande passante plus élevée pour les instances situées dans une seule zone de disponibilité.

Pour en savoir plus, consultez À propos des stratégies d'emplacement compact.

Type de machine A3 Ultra

Les types de machines A3 Ultra sont associés à des GPU NVIDIA H200 SXM (nvidia-h200-141gb) et offrent les meilleures performances réseau de la série A3. Les types de machines A3 Ultra sont idéaux pour l'entraînement et la mise en service de modèles de fondation.

GPU NVIDIA H200 associés
Type de machine Nombre de vCPU1 Mémoire de l'instance (Go) SSD local associé (Gio) Nombre de cartes d'interface réseau physiques Bande passante réseau maximale (Gbit/s)2 Nombre de GPU Mémoire de GPU3
(GB HBM3e)
a3-ultragpu-8g 224 2 952 12 000 10 3 600 8 1128

1 Un vCPU est mis en œuvre sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
2 La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
3 La mémoire de GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.

Limitations des machines A3 Ultra

Type de machine A3 Mega

Les types de machines A3 Mega sont associés à des GPU NVIDIA H100 SXM et sont idéaux pour l'entraînement de grands modèles et l'inférence multihôte.
GPU NVIDIA H100 associés
Type de machine Nombre de vCPU1 Mémoire de l'instance (Go) SSD local associé (Gio) Nombre de cartes d'interface réseau physiques Bande passante réseau maximale (Gbit/s)2 Nombre de GPU Mémoire GPU3
(GB HBM3)
a3-megagpu-8g 208 1 872 6 000 9 1 800 8 640

1 Un vCPU est mis en œuvre sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
2 La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
3 La mémoire de GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.

Limitations des machines A3 Mega

Type de machine A3 High

Les types de machines A3 High sont associés à des GPU NVIDIA H100 SXM et conviennent aussi bien à l'inférence de grands modèles qu'à leur affinement.
GPU NVIDIA H100 associés
Type de machine Nombre de vCPU1 Mémoire de l'instance (Go) SSD local associé (Gio) Nombre de cartes d'interface réseau physiques Bande passante réseau maximale (Gbit/s)2 Nombre de GPU Mémoire GPU3
(GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1 500 1 50 2 160
a3-highgpu-4g 104 936 3 000 1 100 4 320
a3-highgpu-8g 208 1 872 6 000 5 1 000 8 640

1 Un vCPU est mis en œuvre sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
2 La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
3 La mémoire de GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.

Limitations des machines A3 High

Type de machine A3 Edge

Les types de machines A3 Edge sont dotés de GPU NVIDIA H100 SXM et sont conçus spécifiquement pour la mise en service. Ils sont disponibles dans un ensemble limité de régions.
GPU NVIDIA H100 associés
Type de machine Nombre de vCPU1 Mémoire de l'instance (Go) SSD local associé (Gio) Nombre de cartes d'interface réseau physiques Bande passante réseau maximale (Gbit/s)2 Nombre de GPU Mémoire GPU3
(GB HBM3)
a3-edgegpu-8g 208 1 872 6 000 5
  • 800 : pour asia-south1 et northamerica-northeast2
  • 400 : pour toutes les autres régions A3 Edge
 8 640

1 Un vCPU est mis en œuvre sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
2 La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
3 La mémoire de GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.

Limitations des machines A3 Edge

Types de disques pris en charge par les instances A3

A3 Ultra

Les instances A3 Ultra peuvent utiliser les types de stockage de blocs suivants :

  • Hyperdisk Balanced (hyperdisk-balanced) : le seul type de disque pris en charge par le disque de démarrage
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • SSD local : ajouté automatiquement aux instances créées à l'aide de l'un des types de machines A3
Nombre maximal de disques par instance1
Types de
machines		 Tous les volumes Hyperdisk Hypderdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme Disques
SSD locaux
associés
a3-ultragpu-8g 128 128 128 N/A N/A 8 32

1 L'utilisation des hyperdisques et les tarifs par type de machine sont facturés séparément. Pour connaître les tarifs des disques, consultez Tarifs d'Hyperdisk.

A3 Mega

Les instances A3 Mega peuvent utiliser les types de stockage de blocs suivants :

  • Disque persistant avec équilibrage (pd-balanced)
  • Disque persistant SSD (Performance) (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD local : ajouté automatiquement aux instances créées à l'aide de l'un des types de machines A3
Nombre maximal de disques par instance1
Types de
machines		 Tous les volumes Hyperdisk Hypderdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme Disques
SSD locaux
associés
a3-megagpu-8g 128 32 32 64 64 8 16

1 L'utilisation des disques Hyperdisk et Persistent Disk est facturée séparément du tarif par type de machine. Pour connaître les tarifs des disques, consultez Tarifs de Persistent Disk et Hyperdisk.

A3 High

Les instances A3 High peuvent utiliser les types de stockage de blocs suivants :

  • Disque persistant avec équilibrage (pd-balanced)
  • Disque persistant SSD (Performance) (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD local : ajouté automatiquement aux instances créées à l'aide de l'un des types de machines A3
Nombre maximal de disques par instance1
Types de
machines		 Tous les volumes Hyperdisk Hypderdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme Disques
SSD locaux
associés
a3-highgpu-1g 128 32 32 64 64 N/A 2
a3-highgpu-2g 128 32 32 64 64 N/A 4
a3-highgpu-4g 128 32 32 64 64 8 8
a3-highgpu-8g 128 32 32 64 64 8 16

1 L'utilisation des disques Hyperdisk et Persistent Disk est facturée séparément du tarif par type de machine. Pour connaître les tarifs des disques, consultez Tarifs de Persistent Disk et Hyperdisk.

A3 Edge

Les instances A3 Edge peuvent utiliser les types de stockage de blocs suivants :

  • Disque persistant avec équilibrage (pd-balanced)
  • Disque persistant SSD (Performance) (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD local : ajouté automatiquement aux instances créées à l'aide de l'un des types de machines A3
Nombre maximal de disques par instance1
Types de machine Tous les volumes Hyperdisk Hypderdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme SSD local associé
a3-edgegpu-8g 128 32 32 64 64 8 16

1 L'utilisation des disques Hyperdisk et Persistent Disk est facturée séparément du tarif par type de machine. Pour connaître les tarifs des disques, consultez Tarifs de Persistent Disk et Hyperdisk.

Limites de disque et de capacité

Si le type de machine le permet, vous pouvez associer une combinaison de volumes Hyperdisk et Persistent Disk à une instance, mais les restrictions suivantes s'appliquent :

  • Le nombre combiné de volumes Hyperdisk et Persistent Disk ne peut pas dépasser 128 par instance.

  • La capacité totale maximale de disque (en Tio), pour tous les types de disques, ne peut pas dépasser :

    • Pour les types de machines avec moins de 32 vCPU :

      • 257 Tio pour tous les volumes Hyperdisk ou Persistent Disk
      • 257 Tio pour une combinaison de volumes Hyperdisk et Persistent Disk

    • Pour les types de machines comportant 32 vCPU ou plus :

      • 512 Tio pour tous les volumes Hyperdisk
      • 512 Tio pour une combinaison de volumes Hyperdisk et Persistent Disk
      • 257 Tio pour tous les volumes Persistent Disk

Pour en savoir plus sur les limites de capacité, consultez Limites de taille et d'association des volumes Hyperdisk et Capacité maximale des volumes Persistent Disk.

Série de machines A2

La série de machines A2 est disponible dans les types de machines A2 Standard et A2 Ultra. Ces types de machines disposent de 12 à 96 vCPU et de 1 360 Go de mémoire.

Les instances de VM créées à l'aide des types de machines A2 offrent les fonctionnalités suivantes :

  • Accélération GPU : chaque instance A2 dispose de GPU NVIDIA A100. Elles sont disponibles dans les options A100 40 Go et A100 80 Go.

  • Évolutivité NVLink de pointe qui fournit un pic de bande passante GPU à GPU NVLink de 600 Gbit/s. Par exemple, les systèmes avec 16 GPU disposent d'une bande passante NVLink agrégée pouvant atteindre 9,6 To. Ces 16 GPU peuvent être utilisés comme accélérateur hautes performances unique équipé d'un espace de mémoire unifié pour fournir jusqu'à 10 pétaflops de puissance de calcul et jusqu'à 20 pétaflops de puissance de calcul d'inférence pouvant servir pour l'intelligence artificielle, ainsi que les charges de travail de deep learning et de machine learning.

  • Vitesse de calcul améliorée : les GPU NVIDIA A100 associés offrent une vitesse de calcul jusqu'à 10 fois supérieure à celle des GPU NVIDIA V100 de la génération précédente.

    Avec la série de machines A2, vous pouvez obtenir jusqu'à 100 Gbit/s de bande passante réseau.

  • Prise en charge des disques SSD locaux, disques persistants et Hyperdisk : pour les espaces de travail rapides ou pour alimenter les GPU en données, tout en évitant les goulots d'étranglement d'E/S, les types de machines A2 prennent en charge les disques SSD locaux comme suit :

    • Pour les types de machines A2 Standard, vous pouvez ajouter jusqu'à 3 000 Gio de disque SSD local lorsque vous créez une instance.
    • Pour les types de machines A2 Ultra, le disque SSD local est automatiquement associé lorsque vous créez une instance.

    Pour les applications nécessitant des performances de stockage plus élevées, vous pouvez associer jusqu'à 257 Tio de volumes Hyperdisk aux instances A2.

  • Prise en charge des stratégies d'emplacement compact : permet de mieux contrôler l'emplacement physique de vos instances dans les centres de données. Cela permet une latence plus faible et une bande passante plus élevée pour les instances situées dans une seule zone de disponibilité. Pour en savoir plus, consultez Réduire la latence à l'aide de stratégies d'emplacement compact.

Les types de machines suivants sont disponibles pour la série de machines A2.

Types de machines A2 Ultra

Ces types de machines ont un nombre fixe de GPU A100 80 Go. Le disque SSD local est automatiquement associé à des instances créées à l'aide de types de machines A2 Ultra.

GPU NVIDIA A100 80 Go associés
Type de machine Nombre de vCPU1 Mémoire de l'instance (Go) SSD local associé (Gio) Bande passante réseau maximale (Gbit/s)2 Nombre de GPU Mémoire GPU3
(GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1 500 50 4 320
a2-ultragpu-8g 96 1 360 3 000 100 8 640

1 Un vCPU est mis en œuvre sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
2 La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
3 La mémoire de GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.

Limitations des machines A2 Ultra

  • Seules les options de consommation prises en charge pour un type de machine A2 Ultra peuvent être utilisées pour demander de la capacité.
  • Vous ne bénéficiez ni de remises automatiques proportionnelles à une utilisation soutenue ni de remises sur engagement d'utilisation flexible pour les instances qui utilisent un type de machine A2 Ultra.
  • Vous ne pouvez utiliser un type de machine A2 Ultra que dans certaines régions et zones.
  • Les types de machines A2 Ultra ne sont disponibles que sur la plate-forme Cascade Lake.
  • Si votre instance utilise un type de machine A2 Ultra, vous ne pouvez pas modifier le type de machine. Si vous devez utiliser un autre type de machine A2 Ultra ou toute autre famille de machines, vous devez créer une instance.
  • Vous ne pouvez pas remplacer un autre type de machine par un type de machine A2 Ultra. Si vous avez besoin d'une instance utilisant un type de machine A2 Ultra, vous devez en créer une.
  • Vous ne pouvez pas effectuer un formatage rapide des disques SSD locaux associés à des instances Windows qui utilisent des types de machines A2 Ultra. Pour formater ces disques SSD locaux, vous devez effectuer un formatage complet en utilisant l'utilitaire diskpart et en spécifiant format fs=ntfs label=tmpfs.

Types de machines A2 Standard

Ces types de machines ont un nombre fixe de GPU A100 40 Go. Vous pouvez également ajouter des disques SSD locaux lorsque vous créez une instance A2 Standard. Pour connaître le nombre de disques que vous pouvez associer, consultez Types de machines nécessitant le choix d'un nombre de disques SSD locaux.

GPU NVIDIA A100 40 Go associés
Type de machine Nombre de vCPU1 Mémoire de l'instance (Go) SSD local pris en charge Bande passante réseau maximale (Gbit/s)2 Nombre de GPU Mémoire GPU3
(GB HBM2)
a2-highgpu-1g 12 85 Oui 24 1 40
a2-highgpu-2g 24 170 Oui 32 2 80
a2-highgpu-4g 48 340 Oui 50 4 160
a2-highgpu-8g 96 680 Oui 100 8 320
a2-megagpu-16g 96 1 360 Oui 100 16 640

1 Un vCPU est mis en œuvre sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
2 La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
3 La mémoire de GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.

Limitations des types de machines A2 Standard

  • Seules les options de consommation prises en charge pour un type de machine A2 Standard peuvent être utilisées pour demander de la capacité.
  • Vous ne bénéficiez ni de remises automatiques proportionnelles à une utilisation soutenue ni de remises sur engagement d'utilisation flexible pour les instances qui utilisent un type de machine A2 Standard.
  • Vous ne pouvez utiliser un type de machine A2 Standard que dans certaines régions et zones.
  • Les types de machines A2 Standard ne sont disponibles que sur la plate-forme Cascade Lake.
  • Si votre instance utilise un type de machine A2 Standard, vous ne pouvez passer d'un type de machine A2 Standard qu'à un autre type de machine A2 Standard. Vous ne pouvez pas passer à un autre type de machine. Pour en savoir plus, consultez Modifier des instances optimisées pour les accélérateurs.
  • Vous ne pouvez pas utiliser le système d'exploitation Windows avec le type de machine a2-megagpu-16g. Lorsque vous utilisez un système d'exploitation Windows, choisissez un autre type de machine A2 Standard.
  • Vous ne pouvez pas effectuer un formatage rapide des disques SSD locaux associés à des instances Windows qui utilisent des types de machines A2 Standard. Pour formater ces disques SSD locaux, vous devez effectuer un formatage complet en utilisant l'utilitaire diskpart et en spécifiant format fs=ntfs label=tmpfs.
  • Les types de machines A2 Standard ne prennent pas en charge la location unique.

Types de disques pris en charge par les instances A2

Les instances A2 peuvent utiliser les types de stockage de blocs suivants :

  • Hyperdisk ML (hyperdisk-ml)
  • Disque persistant avec équilibrage (pd-balanced)
  • Disque persistant SSD (Performance) (pd-ssd)
  • Disque persistant standard (pd-standard)
  • SSD local : ajouté automatiquement aux instances créées à l'aide de l'un des types de machines A2 Ultra

Si le type de machine le permet, vous pouvez associer une combinaison de volumes Hyperdisk et Persistent Disk à une instance, mais les restrictions suivantes s'appliquent :

  • Le nombre combiné de volumes Hyperdisk et Persistent Disk ne peut pas dépasser 128 par instance.

  • La capacité totale maximale de disque (en Tio), pour tous les types de disques, ne peut pas dépasser :

    • Pour les types de machines avec moins de 32 vCPU :

      • 257 Tio pour tous les volumes Hyperdisk ou Persistent Disk
      • 257 Tio pour une combinaison de volumes Hyperdisk et Persistent Disk

    • Pour les types de machines comportant 32 vCPU ou plus :

      • 512 Tio pour tous les volumes Hyperdisk
      • 512 Tio pour une combinaison de volumes Hyperdisk et Persistent Disk
      • 257 Tio pour tous les volumes Persistent Disk

Pour en savoir plus sur les limites de capacité, consultez Limites de taille et d'association des volumes Hyperdisk et Capacité maximale des volumes Persistent Disk.

Série de machines G4

La série de machines G4 utilise la plate-forme de processeur AMD EPYC Turin et comprend des GPU NVIDIA RTX PRO 6000 Blackwell Server Edition. Cette série de machines offre des améliorations notables par rapport à la série de machines G2 de la génération précédente, avec beaucoup plus de mémoire de GPU, une bande passante de mémoire de GPU accrue et une bande passante réseau plus élevée.

Les instances G4 ont jusqu'à 384 vCPU, 1 440 Go de mémoire et 12 Tio de disques SSD Titanium associés. Les instances G4 offrent également des performances réseau standard pouvant atteindre 400 Gbit/s.

Cette série de machines est notamment conçue pour les charges de travail de simulation NVIDIA Omniverse, les applications exigeantes en ressources graphiques, le transcodage vidéo et les bureaux virtuels. La série de machines G4 offre également une solution à faible coût pour l'inférence et le réglage de modèle sur un seul hôte, par rapport aux types de machines de la série A.

Les instances qui utilisent le type de machine G4 offrent les fonctionnalités suivantes :

  • Accélération GPU avec les GPU NVIDIA RTX PRO 6000 Blackwell Server Edition : les instances G4 associent automatiquement les GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, qui offrent 96 Go de mémoire GPU par GPU.

  • Plate-forme de processeur AMD EPYC Turin de 5e génération : cette plate-forme offre une fréquence boost maximale soutenue allant jusqu'à 4,1 GHz. Pour en savoir plus sur ce processeur, consultez Plates-formes de processeur.

  • Performances graphiques de nouvelle génération : les GPU NVIDIA RTX PRO 6000 offrent des performances et des fonctionnalités nettement améliorées par rapport aux GPU NVIDIA L4 associés à la série de machines G2. Les améliorations sont les suivantes :

    • Cœurs Tensor 5e génération : ces cœurs sont les premiers à prendre en charge la précision FP4 et la génération de trames multiples DLSS 4. Grâce à ces cœurs Tensor de 5e génération, les GPU NVIDIA RTX PRO 6000 offrent des performances améliorées en comparaison avec les GPU NVIDIA L4, accélérant les tâches telles que le développement de LLM locaux et la création de contenu.
    • Cœurs RT de 4e génération : ces cœurs offrent des performances de ray tracing jusqu'à deux fois supérieures à celles des GPU NVIDIA L4 de la génération précédente, accélérant ainsi le rendu pour les charges de travail de conception et de fabrication.
    • Nombre de cœurs : le GPU NVIDIA RTX PRO 6000 comprend 24 064 cœurs CUDA, 752 cœurs Tensor de 5e génération et 188 cœurs RT de 4e génération. Cette mise à jour représente une augmentation considérable par rapport aux générations précédentes, à l'image du GPU L4, qui disposent de 7 680 cœurs CUDA et de 240 cœurs Tensor.

  • GPU multi-instance (MIG) : cette fonctionnalité permet de partitionner un seul GPU en un maximum de quatre instances GPU entièrement isolées sur une seule instance de VM. Pour en savoir plus sur NVIDIA MIG, consultez NVIDIA Multi-Instance GPU dans la documentation NVIDIA.

  • Prise en charge de PCIe (Peripheral Component Interconnect Express) Gen 5 : les instances G4 prennent en charge PCI Express Gen 5, qui améliore la vitesse de transfert des données de la mémoire du processeur vers le GPU par rapport à PCIe Gen 3 utilisé par les instances G2.

  • Prise en charge des disques Titanium SSD et Hyperdisk : les instances G4 prennent en charge l'association de jusqu'à 12 000 Gio de volumes Titanium SSD. Les volumes Titanium SSD fournissent des espaces de travail rapides ou alimentent les GPU en données, ce qui permet d'éviter les goulots d'étranglement d'E/S.

    Pour les charges de travail nécessitant un stockage de blocs durable, les instances G4 permettent également d'associer jusqu'à 512 Tio d'Hyperdisk. Pour en savoir plus sur les types de disques, consultez Types de disques.

  • Communication GPU peer-to-peer (P2P) : les instances G4 prennent en charge la communication GPU P2P, permettant ainsi le transfert direct de données entre les GPU d'une même instance. Cela peut améliorer considérablement les performances des charges de travail multi-GPU en réduisant la latence de transfert des données et en libérant des ressources de processeur. Pour en savoir plus, consultez Communication peer-to-peer (P2P) des GPU G4.

Types de machines G4

Les types de machines G4 optimisées pour les accélérateurs utilisent des GPU NVIDIA RTX PRO 6000 Blackwell Server  Edition (nvidia-rtx-pro-6000) et conviennent aux charges de travail de simulation NVIDIA Omniverse, aux applications exigeantes en ressources graphiques, au transcodage vidéo et aux bureaux virtuels. Les types de machines G4 offrent également une solution à faible coût pour l'inférence et le réglage de modèle sur un seul hôte, par rapport aux types de machines de la série A.

GPU NVIDIA RTX PRO 6000 associés
Type de machine Nombre de vCPU1 Mémoire de l'instance (Go) Volumes Titanium SSD maximaux pris en charge (Gio)2 Nombre de cartes d'interface réseau physiques Bande passante réseau maximale (Gbit/s)3 Nombre de GPU Mémoire de GPU4
(Go GDDR7)
g4-standard-48 48 180 1 500 1 50 1 96
g4-standard-96 96 360 3 000 1 100 2 192
g4-standard-192 192 720 6 000 1 200 4 384
g4-standard-384 384 1 440 12 000 2 400 8 768

1 Un vCPU est mis en œuvre sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
2 Vous pouvez ajouter des disques Titanium SSD lorsque vous créez une instance G4. Pour connaître le nombre de disques que vous pouvez associer, consultez Types de machines nécessitant le choix d'un nombre de disques SSD locaux.
3 La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Consultez Bande passante réseau.
4 La mémoire de GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.

Limitations des machines G4

Types de disques pris en charge par les instances G4

Les instances G4 peuvent utiliser les types de stockage de blocs suivants :

  • Hyperdisk Balanced (hyperdisk-balanced) : le seul type de disque pris en charge par le disque de démarrage 
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • Titanium SSD : vous pouvez ajouter un volume Titanium SSD aux instances créées à l'aide des types de machines G4

Nombre maximal de disques par instance1
Types de machine Tous les volumes Hyperdisk Hypderdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Extreme Hyperdisk ML Hyperdisk Throughput Titanium SSD
g4-standard-48 32 32 32 0 32 32 4
g4-standard-96 32 32 32 8 32 32 8
g4-standard-192 64 64 64 8 64 64 16
g4-standard-384 128 128 128 8 128 128 32

1 L'utilisation des hyperdisques et les tarifs par type de machine sont facturés séparément. Pour connaître les tarifs des disques, consultez Tarifs d'Hyperdisk.

Vous pouvez associer différents types d'Hyperdisk à une instance, mais la capacité totale maximale de disque (en Tio) pour tous les types de disques ne peut pas dépasser 512 Tio pour tous les Hyperdisks.

Pour en savoir plus sur les limites de capacité, consultez Limites de taille et d'association des volumes Hyperdisk.

Communication peer-to-peer (P2P) G4

Les instances G4 améliorent les performances des charges de travail multi-GPU en utilisant la communication GPU peer-to-peer (P2P) directe. Cette fonctionnalité permet aux GPU associés à la même instance G4 d'échanger des données directement sur le bus PCIe, ce qui évite de devoir transférer des données via la mémoire principale du processeur. Ce chemin direct réduit la latence, réduit l'utilisation du processeur et augmente la bande passante effective entre les GPU. La communication P2P accélère considérablement les applications multi-GPU telles que l'entraînement de machine learning (ML) et le calcul hautes performances (HPC).

Cette fonctionnalité ne nécessite généralement aucune modification du code de votre application. Vous n'avez besoin de configurer NCCL que pour utiliser le P2P. Pour configurer NCCL, avant d'exécuter vos charges de travail, définissez la variable d'environnement NCCL_P2P_LEVEL sur votre instance G4 en fonction du type de machine :

  • Pour les instances G4 avec 2 ou 4 GPU (g4-standard-96, g4-standard-192) : définissez NCCL_P2P_LEVEL=PHB.
  • Pour les instances G4 avec huit GPU (g4-standard-384) : définissez NCCL_P2P_LEVEL=SYS.

Définissez la variable d'environnement à l'aide de l'une des options suivantes :

  • Sur la ligne de commande, exécutez la commande d'exportation appropriée (par exemple, export NCCL_P2P_LEVEL=SYS) dans la session shell où vous prévoyez d'exécuter votre application. Pour que ce paramètre soit conservé, ajoutez cette commande au script de démarrage de votre shell (par exemple, ~/.bashrc).
  • Ajoutez le paramètre approprié (par exemple, NCCL_P2P_LEVEL=SYS) au fichier de configuration NCCL situé à l'emplacement /etc/nccl.conf.

Principaux avantages et performances

  • Accélère les charges de travail multi-GPU sur les instances G4 avec deux GPU ou plus : offre des durées d'exécution plus rapides pour les applications s'exécutant sur les types de machines g4-standard-96, g4-standard-192 et g4-standard-384.
  • Fournit une communication à bande passante élevée : permet des vitesses de transfert de données élevées entre les GPU.

  • Amélioration des performances de NCCL : améliore considérablement les performances des applications qui utilisent la bibliothèque NVIDIA Collective Communication Library (NCCL) par rapport à la communication qui n'utilise pas le P2P. L'hyperviseur de Google isole de manière sécurisée cette communication P2P au sein de vos instances.

    • Sur les instances à quatre GPU (g4-standard-192), tous les GPU se trouvent sur un seul nœud NUMA, ce qui permet une communication P2P plus efficace. Cela peut entraîner des améliorations des performances jusqu'à x2,04 pour les collectifs tels que Allgather, Allreduce et ReduceScatter.
    • Sur les instances à huit GPU (g4-standard-384), les GPU sont répartis sur deux nœuds NUMA. La communication P2P est accélérée pour le trafic à l'intérieur de ces nœuds et entre eux, avec des améliorations des performances jusqu'à x2,19 pour les mêmes collectifs.

Série de machines G2

La série de machines G2 est disponible dans les types de machines standards comportant entre 4 et 96 vCPU et jusqu'à 432 Go de mémoire. Cette série de machines est optimisée pour les charges de travail d'inférence et graphiques. La série de machines G2 est disponible dans un seul type de machine standard avec plusieurs configurations.

Les instances créées à l'aide des types de machines G2 offrent les fonctionnalités suivantes :

  • Accélération GPU : chaque type de machine G2 dispose de GPU NVIDIA L4.

  • Amélioration des taux d'inférence : les types de machines G2 prennent en charge le type de données FP8 (virgule flottante de 8 bits), ce qui accélère les taux d'inférence de ML et réduit les besoins en mémoire.

  • Performances graphiques de nouvelle génération : les GPU NVIDIA L4 offrent des performances graphiques jusqu'à trois fois supérieures grâce aux cœurs RT de troisième génération et à la technologie NVIDIA DLSS 3 (Deep Learning Super Sampling).

  • Bande passante réseau hautes performances : avec les types de machines G2, vous pouvez atteindre jusqu'à 100 Gbit/s de bande passante réseau.

  • Compatibilité avec les disques SSD locaux, les disques persistants et Hyperdisk : vous pouvez ajouter jusqu'à 3 000 Gio de disque SSD local aux instances G2. Cela peut être utilisé en tant qu'espace de travail rapide ou pour envoyer des données aux GPU tout en évitant les goulots d'étranglement d'E/S.

    Vous pouvez également associer des volumes Hyperdisk et Persistent Disk aux instances G2, pour les applications nécessitant un stockage plus persistant. La capacité de stockage maximale dépend du nombre de vCPU disponibles sur l'instance. Pour plus d'informations, consultez Types de disques pris en charge.

  • Prise en charge des stratégies d'emplacement compact : permet de mieux contrôler l'emplacement physique de vos instances dans les centres de données. Cela permet une latence plus faible et une bande passante plus élevée pour les instances situées dans une seule zone de disponibilité. Pour en savoir plus, consultez Réduire la latence à l'aide de stratégies d'emplacement compact.

Types de machines G2

Les types de machines G2 optimisées pour les accélérateurs sont associés à des GPU NVIDIA L4 et sont idéaux pour les charges de travail d'inférence optimisées pour les coûts, les charges de travail de calcul hautes performances et celles nécessitant beaucoup de ressources graphiques.

Chaque type de machine G2 dispose également d'une mémoire par défaut et d'une plage de mémoire personnalisée. La plage de mémoire personnalisée définit la quantité de mémoire que vous pouvez allouer à votre instance pour chaque type de machine. Vous pouvez également ajouter des disques SSD locaux lorsque vous créez une instance G2. Pour connaître le nombre de disques que vous pouvez associer, consultez Types de machines nécessitant le choix d'un nombre de disques SSD locaux.

GPU NVIDIA L4 associés
Type de machine Nombre de vCPU1 Mémoire d'instance par défaut (Go) Plage de mémoire d'instance personnalisée (Go) Disque SSD local maximal pris en charge (Gio) Bande passante réseau maximale (Gbit/s)2 Nombre de GPU Mémoire de GPU3 (Go GDDR6)
g2-standard-4 4 16 16 à 32 375 10 1 24
g2-standard-8 8 32 32 à 54 375 16 1 24
g2-standard-12 12 48 48 à 54 375 16 1 24
g2-standard-16 16 64 54 à 64 375 32 1 24
g2-standard-24 24 96 96 à 108 750 32 2 48
g2-standard-32 32 128 96 à 128 375 32 1 24
g2-standard-48 48 192 192 à 216 1 500 50 4 96
g2-standard-96 96 384 384 à 432 3 000 100 8 192

1 Un vCPU est mis en œuvre sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
2 La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
3 La mémoire de GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.

Limitations des machines G2

  • Seules les options de consommation prises en charge pour un type de machine G2 peuvent être utilisées pour demander de la capacité.
  • Vous ne bénéficiez ni de remises automatiques proportionnelles à une utilisation soutenue ni de remises sur engagement d'utilisation flexible pour les instances qui utilisent un type de machine G2.
  • Vous ne pouvez utiliser un type de machine G2 que dans certaines régions et zones.
  • Le type de machine G2 n'est disponible que sur la plate-forme Cascade Lake.
  • Les disques persistants standards (pd-standard) ne sont pas pris en charge par les instances qui utilisent le type de machine G2. Pour connaître les types de disques pris en charge, consultez Types de disques pris en charge pour G2.
  • Vous ne pouvez pas créer de GPU multi-instances sur une instance qui utilise un type de machine G2.
  • Si vous devez modifier le type de machine d'une instance G2, consultez Modifier des instances optimisées pour les accélérateurs.
  • Vous ne pouvez pas utiliser Deep Learning VM Images en tant que disques de démarrage pour les instances utilisant le type de machine G2.
  • Le pilote par défaut actuel de Container-Optimized OS ne prend pas en charge les GPU L4 s'exécutant sur des types de machines G2. Qui plus est, Container-Optimized OS ne prend en charge qu'un ensemble sélectionné de pilotes. Si vous souhaitez utiliser Container-Optimized OS sur des types de machines G2, consultez les notes suivantes :
    • Utilisez une version de Container-Optimized OS qui prend en charge la version minimum recommandée 525.60.13 du pilote NVIDIA ou une version ultérieure. Pour en savoir plus, consultez les notes de version de Container-Optimized OS.
    • Lorsque vous installez le pilote, spécifiez la dernière version disponible compatible avec les GPU L4. Par exemple, sudo cos-extensions install gpu -- -version=525.60.13.
  • Vous devez utiliser la Google Cloud CLI ou REST pour créer des VM G2 dans les scénarios suivants :
    • Vous souhaitez spécifier des valeurs personnalisées de mémoire.
    • Vous souhaitez personnaliser le nombre de cœurs de processeur visibles.

Types de disques pris en charge par les instances G2

Les instances G2 peuvent utiliser les types de stockage de blocs suivants :

  • Disque persistant avec équilibrage (pd-balanced)
  • Disque persistant SSD (Performance) (pd-ssd)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD local

Si le type de machine le permet, vous pouvez associer une combinaison de volumes Hyperdisk et Persistent Disk à une instance, mais les restrictions suivantes s'appliquent :

  • Le nombre combiné de volumes Hyperdisk et Persistent Disk ne peut pas dépasser 128 par instance.

  • La capacité totale maximale de disque (en Tio), pour tous les types de disques, ne peut pas dépasser :

    • Pour les types de machines avec moins de 32 vCPU :

      • 257 Tio pour tous les volumes Hyperdisk ou Persistent Disk
      • 257 Tio pour une combinaison de volumes Hyperdisk et Persistent Disk

    • Pour les types de machines comportant 32 vCPU ou plus :

      • 512 Tio pour tous les volumes Hyperdisk
      • 512 Tio pour une combinaison de volumes Hyperdisk et Persistent Disk
      • 257 Tio pour tous les volumes Persistent Disk

Pour en savoir plus sur les limites de capacité, consultez Limites de taille et d'association des volumes Hyperdisk et Capacité maximale des volumes Persistent Disk.

Étapes suivantes