Choisir votre infrastructure d'accélérateurs

Ce document vous aide à identifier l'infrastructure d'accélérateur optimale pour vos charges de travail d'intelligence artificielle (IA) et de machine learning (ML) en fonction de l'étape de votre cycle de vie, comme le prototypage à petite échelle, l'inférence en temps réel et l'entraînement distribué massif. AI Hypercomputer organise les offres d'accélérateurs en deux catégories : les GPU généraux et les GPU en cluster.

Infrastructure de GPU

AI Hypercomputer propose deux catégories distinctes de GPU. Chaque catégorie dispose d'un modèle de gestion distinct qui détermine la manière dont le système gère les événements de cycle de vie, gère la maintenance et optimise la mise en réseau pour votre charge de travail :

Modèle général de gestion des GPU

Le modèle de gestion générale des GPU est conçu pour les charges de travail qui privilégient l'indépendance des ressources et la haute disponibilité. Ce modèle utilise le plan de gestion Google Cloud standard, offrant une expérience familière aux équipes qui utilisent déjà Compute Engine ou GKE.

  • Maintenance : asynchrone. Les instances individuelles sont mises à jour indépendamment. Dans un parc de diffusion multinœud, un événement de maintenance sur un nœud n'affecte pas la disponibilité des autres, ce qui permet de rediriger le trafic vers des nœuds opérationnels sans bloquer l'ensemble du job.

  • Principaux cas d'utilisation : recommandé pour les tâches courantes telles que l'inférence en temps réel, la mise en service de modèles, le prototypage à petite échelle et les environnements de développement où l'échelle du supercalcul n'est pas requise.

Série de machines GPU générales

Les séries de machines suivantes sont des GPU généraux :

  • A3 High avec 1, 2 ou 4 GPU
  • A3 Edge
  • A2
  • G4
  • G2
  • N1+T4
  • N1+V100

Pour obtenir des informations techniques sur chacune des machines GPU générales, consultez Types de machines GPU.

Modèle de gestion des GPU en cluster

Le modèle de gestion des GPU en cluster est un environnement de classe supercalculateur conçu pour l'entraînement distribué à grande échelle. Les ressources sont gérées comme un système unique et à couplage fort à l'aide d'une pile de GPU en cluster.

  • Maintenance : coordonnée. Ce modèle coordonne les événements de maintenance pour prendre en charge les charges de travail à couplage fort. Pour l'entraînement distribué, vous pouvez utiliser la maintenance synchronisée, où les mises à jour sont appliquées simultanément sur tous les nœuds. Cette approche empêche les redémarrages de nœuds de bloquer les jobs et maximise le débit utile. Ce modèle propose également des notifications de maintenance 90 jours à l'avance.

  • Principaux cas d'utilisation : conçu pour entraîner des modèles de fondation exascale avec des milliers de milliards de paramètres ou exécuter des simulations de calcul hautes performances (HPC) complexes, telles que la découverte de médicaments et le repliement des protéines.

Séries de machines GPU en cluster

Les séries de machines suivantes sont des GPU en cluster :

  • A5X
  • A4X Max
  • A4X
  • A4
  • A3 Ultra
  • A3 Mega
  • A3 High avec 8 GPU

Pour obtenir des informations techniques sur chacune des machines GPU en cluster, consultez Types de machines GPU.

Matrice des fonctionnalités

Comparez les caractéristiques techniques et opérationnelles des modèles de gestion des GPU généraux et des GPU en cluster :

Caractéristique Modèle général de gestion des GPU Modèle de gestion des GPU en cluster
Cas d'utilisation principaux Inférence, mise en service de modèles, prototypage et développement Entraînement distribué à grande échelle et HPC
Maintenance Asynchrone : les mises à jour indépendantes des nœuds permettent de rediriger le trafic sans interrompre les jobs. Coordonnées : permet d'effectuer des mises à jour coordonnées (synchronisées) à l'échelle du cluster pour maintenir la synchronisation des nœuds et maximiser le débit utile.
Matériel cible A3 High (1, 2 ou 4 GPU), A3 Edge, G4, G2, A2, N1+T4 et N1+V100 A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega et A3 High (8 GPU)
Mise en réseau Mise en réseau VPC standard sur des interfaces gVNIC (à l'exception d'A3 Edge, qui utilise GPUDirect-TCPX sur plusieurs VPC) Structures spécialisées à faible latence (RDMA, RoCE, TCPX ou NVIDIA NVLink)
Pile de gestion Plan Google Cloud standard (Compute Engine ou GKE) Pile de gestion spécialisée (par exemple, Cluster Director)
Fiabilité Réparation automatique des nœuds standard et temps d'activité au niveau des pods Suite Specialized Resource and Recovery

Matrice de décision

Utilisez cette matrice pour identifier les familles de matériel qui correspondent à l'objectif de votre charge de travail spécifique :

Si votre charge de travail implique… Infrastructure de GPU recommandée Série de machines recommandée
Prototypage et développement GPU généraux A3 High (1, 2 ou 4 GPU), A3 Edge, A2, G4, G2, N1+T4, N1+V100
Inférence en temps réel (< 100 milliards de paramètres) GPU généraux A3 High (1, 2 ou 4 GPU), A3 Edge, A2, G4, G2, N1+T4, N1+V100
Inférence sur plusieurs GPU GPU en cluster A4, A3 Ultra, A3 Mega, A3 High (8 GPU)
Entraînement et inférence à grande échelle GPU en cluster A4, A3 Ultra, A3 Mega, A3 High (8 GPU)
Entraînement à très grande échelle (> 500 milliards de paramètres) et inférence désagrégée GPU en cluster A5X, A4X Max, A4X, A4

Pour obtenir un arbre de décision détaillé mappant les architectures de modèles directement au matériel, consultez Choisir un accélérateur.

Après avoir établi ces critères principaux, choisissez une plate-forme d'orchestration. Ce choix dépend de la préférence de votre équipe pour la gestion automatisée ou le contrôle précis du système d'exploitation et des pilotes.

Étapes suivantes