- Colocation des ressources d'infrastructure d'IA
- Placement tenant compte de la topologie du cluster
- Mode de fonctionnement du cluster
- Planification et contrôles de la maintenance du cluster
- Outils de surveillance et de diagnostic du cluster
La plupart des fonctionnalités de gestion de cluster ne sont compatibles qu'avec la capacité liée à la réservation, c'est-à-dire l'infrastructure qui utilise le modèle de provisionnement lié à la réservation, qui n'est compatible qu'avec les types de machines GPU en cluster. Pour la capacité qui utilise tout autre modèle de provisionnement, seules les fonctionnalités de gestion de cluster suivantes sont disponibles :
- Colocation des ressources d'infrastructure d'IA
- Placement tenant compte de la topologie du cluster
- Gérer les événements hôtes sur les instances
Colocation des ressources d'infrastructure d'IA
Lorsque vous utilisez des GPU en cluster, tels que les séries de machines A4X Max, A4X, A4, A3 Ultra, A3 Mega et A3 High (8 GPU), vous pouvez demander des machines hôtes que Compute Engine provisionne aussi près que possible les unes des autres. Ces machines offrent les fonctionnalités suivantes :
Compute Engine provisionne les machines sous forme de blocs de ressources.
Un réseau dynamique de machine learning (ML) interconnecte les machines.
Cette disposition des ressources réduit au maximum les sauts de réseau et permet d'obtenir la latence réseau la plus faible possible. Pour déployer des blocs de machines optimisées pour les accélérateurs que Compute Engine alloue de manière dense, vous pouvez utiliser les options suivantes :
Les ressources doivent être allouées de manière dense les unes aux autres lorsque vous effectuez l'une des opérations suivantes :
Créez des ressources qui utilisent la même réservation future dans AI Hypercomputer ou réservation future en mode Agenda.
Déployez un groupe d'instances géré (MIG) qui utilise des requêtes de redimensionnement et créez les ressources dans la même requête.
Spécifiez que les ressources utilisent la même stratégie d'emplacement compact ou la même stratégie de charge de travail qui spécifie une valeur de distance maximale. Plus précisément, les ressources ne doivent être aussi proches que la valeur de distance maximale spécifiée par la stratégie.
Les ressources sont éventuellement allouées de manière dense les unes aux autres, en fonction de la disponibilité au mieux, lorsque vous effectuez l'une des opérations suivantes :
Créez des ressources dans la même requête pour les VM à démarrage flexible.
Spécifiez que les ressources utilisent la même stratégie d'emplacement compact ou la même stratégie de charge de travail qui ne spécifie pas de distance maximale.
Placement tenant compte de la topologie du cluster
Une fois que vous avez créé des GPU en cluster, vous pouvez obtenir des informations sur la topologie au niveau du nœud et du cluster. Ces informations vous aident à effectuer les opérations suivantes :
Ajustez la conception de votre application ou de votre charge de travail pour minimiser davantage la latence du réseau.
Comprenez et résolvez les problèmes de performances et de latence du réseau pour les instances qui communiquent fréquemment entre elles. Ces problèmes peuvent se produire si les instances sont plus éloignées que prévu.
Plus précisément, les informations sur la topologie sont compatibles comme suit :
Les informations sur la topologie fonctionnent mieux avec la capacité liée à la réservation, qui est requise pour afficher la topologie d'une réservation.
Pour les VM Spot, les informations sur la topologie ne s'affichent que lorsqu'une machine utilise une stratégie d'emplacement compact ou une stratégie de charge de travail.
Pour en savoir plus, consultez les ressources suivantes :
- Pour les instances et les clusters Slurm, consultez la section Afficher la topologie des instances de calcul.
- Pour les clusters GKE, consultez la section Afficher la topologie des nœuds GKE et Planifier des charges de travail GKE avec la planification sensible à la topologie.
Mode de fonctionnement du cluster
Lorsque vous réservez une capacité liée à la réservation pour créer des instances de calcul ou des clusters, le type de machine que vous réservez détermine le mode de fonctionnement du cluster pour les instances. Ce mode spécifie le comportement de vos instances après des erreurs d'hôte ou des rapports d'hôte défectueux. Les modes de fonctionnement disponibles pour une instance sont le mode géré, dans lequel Compute Engine remplace automatiquement toutes les machines défectueuses mais retient une partie de votre capacité réservée pour fournir à vos instances les ressources nécessaires au redémarrage. Ou le mode pleine capacité, dans lequel vous avez accès à l'intégralité de votre capacité réservée, mais vous êtes responsable de la gestion des défaillances et de la maintenance planifiée.
Pour en savoir plus, consultez la section Mode de fonctionnement des réservations.
Planification et contrôles de la maintenance du cluster
Vous contrôlez la maintenance des GPU en cluster à l'aide de la planification tenant compte de la topologie dans un bloc de ressources. Cette fonctionnalité permet de synchroniser les mises à niveau afin que vos charges de travail soient plus résilientes aux événements hôtes et de minimiser les perturbations. Cette approche permet d'améliorer le débit utile de votre charge de travail.
Pour faciliter le contrôle total des événements de maintenance, vous pouvez utiliser les fonctionnalités suivantes :
Type de planification de la maintenance
Lorsque vous réservez une capacité liée à la réservation pour créer des instances de calcul ou des clusters de GPU en cluster, vous pouvez définir la façon dont Compute Engine gère l'infrastructure sur laquelle vos instances s'exécutent. En fonction du type de machine que vous souhaitez utiliser pour vos instances, vous pouvez choisir entre une maintenance synchronisée sur toutes les instances (groupée) ou des calendriers de maintenance différents (indépendants).
Pour en savoir plus, consultez la section Types de planification de la maintenance.
Gérer les événements hôtes
Une fois que vous avez créé des GPU en cluster et démarré votre charge de travail, vous pouvez configurer des alertes et recevoir des notifications lorsque la maintenance de vos instances ou de vos blocs réservés est planifiée, démarre ou est terminée. Vous pouvez également afficher et, si nécessaire, démarrer manuellement la maintenance sur une instance ou un bloc réservé avant l'heure prévue. Ces options vous aident à contrôler de manière proactive et à minimiser les temps d'arrêt de vos charges de travail.
Pour en savoir plus, consultez les ressources suivantes :
Outils de surveillance et de diagnostic du cluster
Pour la surveillance et le dépannage, les types de machines GPU en cluster incluent les services suivants pour la capacité liée à la réservation :
Prédiction de la dégradation de l'état des VM, qui vous aide à identifier les VM susceptibles de se dégrader au cours des cinq prochaines heures.
Rapports d'hôte défectueux, que vous pouvez utiliser pour signaler des problèmes avec des machines hôtes individuelles.
Compatibilité avec les métriques Cloud Monitoring, qui vous aident à surveiller les performances des réseaux et des GPU.