Les GPU en cluster sont optimisés pour les charges de travail d'intelligence artificielle (IA) et de machine learning (ML) qui privilégient l'entraînement distribué à grande échelle, l'inférence multi-hôte et les tâches de calcul hautes performances (HPC) complexes.
Les GPU en cluster permettent aux équipes de déployer et de faire évoluer des milliers d'accélérateurs interconnectés sous la forme d'un seul système à couplage fort, en utilisant des structures réseau spécialisées et une maintenance synchronisée. Elles sont idéales pour les charges de travail qui nécessitent une synchronisation extrême du calcul, de la mémoire et de la mise en réseau à haut débit. Les cas d'utilisation courants incluent le pré-entraînement de modèles de fondation avec des milliers de milliards de paramètres, la mise en service de modèles de frontière et les simulations pour la découverte de médicaments.
Caractéristiques clés des GPU en cluster
- Maintenance synchronisée : Google Cloud met à jour tous les nœuds du cluster simultanément, ce qui empêche le redémarrage d'un seul nœud de bloquer un job.
- Surveillance automatisée de l'état : le système identifie de manière proactive les éléments lents et surveille les défaillances matérielles ou la corruption silencieuse des données.
- Remplacement proactif des nœuds : le système évince et reprogramme les VM peu performantes sur des machines saines d'un pool de secours.
- Topologie alignée sur rails : une topologie alignée sur rails isole le trafic GPU-GPU de la communication hôte standard pour garantir des performances sans instabilité pour une coordination multinœud massive.
- Protocoles avancés : ces séries de machines sont compatibles avec les interconnexions à bande passante élevée, y compris GPUDirect RDMA (basé sur RoCE).
Familles de GPU en cluster et caractéristiques techniques
Consultez les spécifications des charges de travail et du matériel pour la série de machines premium GPU en cluster dans ces tableaux. Pour l'entraînement exascale, utilisez la série A4X ou A3 Ultra.
Séries A4X Max et A4X
Si vous entraînez des modèles de fondation exascales volumineux ou si vous exécutez des simulations de calcul hautes performances (HPC) bare metal très complexes, utilisez la série de machines A4X Max ou A4X. Ces séries sont équipées de superchips NVIDIA GB300 Grace Blackwell Ultra pour répondre aux exigences extrêmes en matière de calcul et de mémoire.
A4X Max (Bare Metal)
Les types de machines A4X Max utilisent des superchips NVIDIA GB300 Grace Blackwell Ultra (nvidia-gb300) et sont idéaux pour l'entraînement et la mise en service de modèles de fondation. Les types de machines A4X Max sont disponibles en tant qu'instances Bare Metal.
A4X Max est une plate-forme exaflopique basée sur NVIDIA GB300 NVL72. Chaque machine dispose de deux sockets avec des processeurs NVIDIA Grace dotés de cœurs Arm Neoverse V2. Ces processeurs sont connectés à quatre GPU NVIDIA B300 Blackwell avec une communication puce à puce (NVLink-C2C) rapide. Pour en savoir plus sur les limites des types de machines, consultez Limites des types de machines A4X Max et A4X.
| Type de machine | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA GB300 | Mémoire de GPU (Go HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-maxgpu-4g-metal |
144 | 960 | 12 000 | 6 | 3 600 | 4 | 1 116 |
Les remarques suivantes s'appliquent au tableau précédent :
- Nombre de vCPU : un vCPU est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
- Bande passante réseau maximale : la bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
- Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.
A4X
Les types de machines A4X utilisent des superchips NVIDIA GB200 Grace Blackwell (nvidia-gb200) et sont idéaux pour l'entraînement et la mise en service de modèles de fondation.
A4X est une plate-forme exaflopique basée sur NVIDIA GB200 NVL72. Chaque machine dispose de deux sockets avec des processeurs NVIDIA Grace dotés de cœurs Arm Neoverse V2. Ces processeurs sont connectés à quatre GPU NVIDIA B200 Blackwell avec une communication puce à puce (NVLink-C2C) rapide. Pour en savoir plus sur les limites des types de machines, consultez Limites des types de machines A4X Max et A4X.
| Type de machine | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA GB200 | Mémoire de GPU (Go HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-highgpu-4g |
140 | 884 | 12 000 | 6 | 2 000 | 4 | 744 |
Les remarques suivantes s'appliquent au tableau précédent :
- Nombre de vCPU : un vCPU est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
- Bande passante réseau maximale : la bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
- Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.
Série A4
Si votre objectif est d'entraîner des modèles de fondation de pointe nécessitant un traitement parallèle à grande échelle, utilisez la série de machines A4 pour optimiser le temps de traitement et maximiser le débit matériel.
Les types de machines A4 sont associés à des GPU NVIDIA B200 Blackwell (nvidia-b200). Ils sont idéaux pour l'entraînement et la mise en service de modèles de fondation. Pour en savoir plus sur les limites des types de machines, consultez Limites des machines A4.
| Type de machine | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA B200 Blackwell | Mémoire de GPU (Go HBM3e) |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
224 | 3 968 | 12 000 | 10 | 3 600 | 8 | 1 440 |
Les remarques suivantes s'appliquent au tableau précédent :
- Nombre de vCPU : un vCPU est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
- Bande passante réseau maximale : la bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
- Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.
Série A3 (Ultra, Mega et High avec 8 GPU)
Si vous devez exécuter des entraînements distribués à grande échelle ou diffuser des modèles de frontière sur plusieurs hôtes avec des tables d'ensembles de données volumineuses, utilisez la série de machines A3 pour minimiser la latence réseau d'hôte à hôte.
A3 Ultra
| Type de machine | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA H200 | Mémoire de GPU (Go HBM3e) |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
224 | 2 952 | 12 000 | 10 | 3 600 | 8 | 1128 |
A3 Mega
| Type de machine | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA H100 | Mémoire GPU (Go HBM3) |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
208 | 1 872 | 6 000 | 9 | 1 800 | 8 | 640 |
A3 High
| Type de machine | Nombre de vCPU | Mémoire de l'instance (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s) | Nombre de GPU NVIDIA H100 | Mémoire GPU (Go HBM3) |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1 500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3 000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1 872 | 6 000 | 5 | 1 000 | 8 | 640 |
Les remarques suivantes s'appliquent au tableau précédent :
- Nombre de vCPU : un vCPU est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
- Bande passante réseau maximale : la bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Pour en savoir plus sur la bande passante réseau, consultez Bande passante réseau.
- Mémoire GPU : la mémoire GPU est la mémoire disponible sur un GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de l'instance et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail exigeantes en ressources graphiques.
Acquisition de capacité
L'acquisition de capacité de calcul pour les GPU en cluster nécessite une coordination pour gérer l'offre et la demande d'accélérateurs hautes performances. Étant donné que ces ressources sont physiquement situées dans des structures de mise en réseau spécialisées, vous devez les demander via des workflows gérés.
Vous pouvez réserver de la capacité par l'intermédiaire de l'équipe chargée de votre compte, ou utiliser les réservations futures et Dynamic Workload Scheduler.
Étapes suivantes
- Pour savoir comment acquérir de la capacité, consultez Options de consommation.
- Pour évaluer vos besoins en infrastructure, consultez Choisir une infrastructure.
- Pour planifier votre topologie réseau, consultez Exigences de mise en réseau des GPU pour les environnements en cluster.
- Pour réserver des ressources de calcul, consultez Réserver de la capacité.