Les clusters d'entraînement Gemini Enterprise Agent Platform sont compatibles avec différents types de machines pour s'adapter à différentes charges de travail. Vous pouvez choisir l'une des options suivantes lors de la configuration des pools de nœuds de votre cluster.
Types de machines optimisés pour les accélérateurs
| Type de machine | GPU | GPU par nœud |
|---|---|---|
a4x-highgpu-4g |
NVIDIA GB200 | 4 |
a4-highgpu-8g |
NVIDIA B200 | 8 |
a3-ultragpu-8g |
NVIDIA H200 | 8 |
a3-megagpu-8g |
NVIDIA H100 | 8 |
a3-highgpu-8g |
NVIDIA H100 | 8 |
g4-standard-48 |
NVIDIA RTX PRO 6000 Blackwell | 1 |
g4-standard-96 |
NVIDIA RTX PRO 6000 Blackwell | 2 |
g4-standard-192 |
NVIDIA RTX PRO 6000 Blackwell | 4 |
g4-standard-384 |
NVIDIA RTX PRO 6000 Blackwell | 8 |
Types de machines CPU et HPC
| Type de machine | Description |
|---|---|
Famille N2 : n2-standard-*, n2-highmem-*, n2-highcpu-* |
Nœuds à usage général pour le prétraitement des données, l'orchestration des jobs et d'autres tâches ne nécessitant pas d'accélérateur. N2 est également compatible avec les nœuds de connexion Slurm. |
Famille N4 : n4-standard-*, n4-highmem-*, n4-highcpu-* |
Nœuds à usage général pour les mêmes charges de travail que N2. Vous pouvez également utiliser N4 pour les nœuds de connexion Slurm. N4 n'est compatible qu'avec les disques de démarrage Hyperdisk Balanced (hyperdisk-balanced). Si vous ne définissez pas boot_disk.boot_disk_type, hyperdisk-balanced est utilisé. |
Famille N4D : n4d-standard-*, n4d-highmem-*, n4d-highcpu-* |
Nœuds AMD EPYC à usage général pour les mêmes charges de travail que N2. N4D est également compatible avec les nœuds de connexion Slurm. N4D n'est compatible qu'avec les disques de démarrage Google Cloud Hyperdisk Balanced (hyperdisk-balanced), qui est l'option par défaut lorsque boot_disk.boot_disk_type n'est pas défini. |
Famille C4 : c4-standard-*, c4-highmem-*, c4-highcpu-* |
Nœuds à usage général pour le prétraitement, l'orchestration et les charges de travail de processeur exigeant une grande puissance de calcul. C4 est également compatible avec les nœuds de connexion Slurm. C4 n'est compatible qu'avec les disques de démarrage Google Cloud Hyperdisk Balanced (hyperdisk-balanced), qui est la valeur par défaut lorsque boot_disk.boot_disk_type n'est pas défini. Les variantes -lssd et -metal ne sont pas acceptées. |
Famille C4D : c4d-standard-*, c4d-highmem-*, c4d-highcpu-* |
Nœuds AMD EPYC à usage général pour le prétraitement, l'orchestration et les charges de travail de processeur nécessitant une grande puissance de calcul. C4D n'est compatible qu'avec les disques de démarrage Google Cloud Hyperdisk Balanced (hyperdisk-balanced), qui est l'option par défaut lorsque boot_disk.boot_disk_type n'est pas défini. Les variantes -lssd et -metal ne sont pas acceptées. |
Famille C4A : c4a-standard-*, c4a-highmem-*, c4a-highcpu-* |
Nœuds basés sur Arm (Axion), compatibles uniquement avec les nœuds de connexion Slurm et uniquement dans les clusters dont les pools de nœuds de calcul sont également basés sur Arm. Les variantes -lssd et -metal ne sont pas acceptées. |
Famille H4D : h4d-standard-*, h4d-highmem-* |
Nœuds optimisés pour le HPC avec mise en réseau RDMA, pour les charges de travail de simulation et de prétraitement à couplage fort. |
Nœuds de connexion C4A
Les nœuds de connexion C4A sont basés sur Arm et ne sont compatibles qu'avec les clusters où chaque pool de nœuds de calcul est également basé sur Arm, comme A4X. Un cluster qui associe un nœud de connexion C4A à un pool de nœuds de calcul x86, tel que N2 ou A3, est rejeté lors de sa création.
Étant donné que le nœud de connexion et les nœuds de calcul partagent la même architecture, les binaires et les images de conteneur que vous créez sur le nœud de connexion s'exécutent sur les nœuds de calcul auxquels vous les envoyez.
La série de machines C4A n'est compatible qu'avec un disque de démarrage hyperdisk-balanced, qui est le disque par défaut.
Type de machine A4X
Les clusters d'entraînement Gemini Enterprise Agent Platform sont compatibles avec le type de machine A4X optimisé pour les accélérateurs (a4x-highgpu-4g), une plate-forme exaflopique basée sur l'architecture rack NVIDIA GB200 NVL72.
Comparaison des architectures
Le tableau suivant décrit les différences matérielles fondamentales entre la famille A4X et les autres familles optimisées pour les accélérateurs.
| Fonctionnalité | A4X (a4x-highgpu-4g) | A3 / A4H |
|---|---|---|
| Architecture de processeur | ARM | X86 |
| Nombre de GPU | 4 GPU par nœud | 8 GPU par nœud |
| Type de réservation | Mode "Toute la capacité" | Mode géré |
| Stratégie d'emplacement | Stricte (compacte) | Flexible |
Consignes spécifiques à l'A4X
- Le nombre de VM de votre pool de nœuds A4X doit être un multiple de 18 (par exemple, 18, 36, 54). Cela est nécessaire, car la capacité A4X est provisionnée dans des blocs fixes non partageables de 18 nœuds appelés domaines NVLink. Ces domaines sont liés par une stratégie d'emplacement compact stricte, et les blocs partiellement alloués ne peuvent pas être utilisés par d'autres clusters.
- En raison de l'architecture ARM des nœuds A4X, vous devez apporter deux modifications clés à vos charges de travail d'entraînement :
- Utiliser des images compatibles avec ARM : tous les jobs d'entraînement doivent utiliser une image de conteneur conçue pour l'architecture ARM.
- Adapter pour quatre GPU : votre logique d'entraînement distribué doit être mise à jour pour reconnaître et utiliser correctement les quatre GPU disponibles sur chaque nœud A4X.
- Processus de signalement des défaillances d'hôte et temps d'arrêt
Lorsque vous signalez un hôte comme défectueux, tenez compte du processus de récupération suivant :
- Aucune capacité de secours : le système n'utilise pas de pool de secours pour un remplacement instantané de nœud.
- Récupération basée sur la réparation : le nœud reste indisponible jusqu'à ce que l'hôte physique sous-jacent soit réparé.
- Temps d'arrêt prolongé : ce processus de réparation prend généralement de 3 à 14 jours.
Provisionnement de capacité
Le choix du bon modèle de provisionnement est essentiel pour trouver un équilibre entre coût, vitesse et disponibilité des ressources. Consultez les options de provisionnement suivantes :
RESERVATION: alloue des nœuds à partir d'une réservation Compute Engine spécifique que vous avez créée à l'avance. Ce modèle garantit la capacité et constitue le choix recommandé pour les ressources à forte demande.FLEX_START: utilise le planificateur de charges de travail dynamique pour mettre votre job en file d'attente. Le job commence automatiquement dès que les ressources de calcul demandées sont disponibles, ce qui offre une heure de début flexible sans nécessiter de réservation.SPOT: provisionne le pool de nœuds à l'aide de VM Spot. Il s'agit de l'option la plus économique, mais elle ne doit être utilisée que pour les charges de travail tolérantes aux pannes et pouvant gérer les interruptions, car les VM peuvent être préemptées à tout moment.ON_DEMAND: il s'agit de l'option par défaut pour les pools de nœuds CPU uniquement. Elle est particulièrement adaptée aux types de machines qui ne sont pas rares. Il fournit des instances de VM standards avec une tarification prévisible basée sur le paiement à l'usage.
Suivez les instructions ci-dessous pour faire votre choix :
Pour les ressources GPU très demandées (comme A3 et A4) : le modèle
RESERVATIONest vivement recommandé. Elle vous garantit un accès dédié à la capacité dont vous avez besoin pour les jobs d'entraînement critiques.Pour les charges de travail flexibles ou en rafale : envisagez d'utiliser
FLEX_STARTouSPOT.FLEX_STARTmet votre job en file d'attente jusqu'à ce que des ressources soient disponibles, tandis queSPOTpermet de réaliser d'importantes économies pour les jobs tolérants aux pannes qui peuvent gérer la préemption.Pour les types de machines abondants : le modèle
ON_DEMANDest le choix privilégié. Utilisez-le pour les types de machines qui ne sont pas rares et pour lesquels la disponibilité immédiate n'est pas un problème.
Utiliser une réservation partagée (facultatif)
Si vous souhaitez utiliser une réservation partagée plutôt qu'une réservation locale, vous devez suivre des étapes supplémentaires avant de pouvoir créer un cluster.
Avant d'utiliser une réservation partagée avec des clusters d'entraînement Gemini Enterprise Agent Platform, assurez-vous qu'elle fonctionne en créant manuellement une VM qui l'utilise.
Si la création de la VM fonctionne, passez à l'étape suivante.
Dans la configuration de création du cluster, utilisez le nom de la réservation au format suivant : projects/RESERVATION_HOST_PROJECT_ID/zones/RESERVATION_ZONE/reservations/RESERVATION_NAME.
Étapes suivantes
Après avoir sélectionné les options de calcul et de provisionnement pour votre cluster d'entraînement, vous êtes prêt à créer le cluster et à y exécuter une charge de travail.
- Créez une réservation Compute Engine : le modèle
RESERVATIONest utilisé pour allouer des ressources très demandées, comme des GPU. Découvrez comment créer une réservation dans Compute Engine pour obtenir un accès dédié aux ressources dont vous avez besoin. - Créer votre cluster d'entraînement : appliquez les configurations que vous avez apprises en suivant le guide par étapes pour créer votre premier cluster d'entraînement persistant à l'aide de l'API Agent Platform ou de
gcloud. - Envoyer un job d'entraînement à votre cluster : une fois votre cluster actif, l'étape suivante consiste à exécuter une charge de travail. Envoyez un
CustomJobqui cible votre cluster persistant pour l'exécution. - Adapter votre code pour l'entraînement distribué : pour exploiter pleinement un cluster multinœud, adaptez votre code d'entraînement à un environnement distribué.