À propos des règles de charge de travail dans les MIG

Ce document explique les exigences et les limites à appliquer lorsque vous utilisez des stratégies de charge de travail avec des groupes d'instances gérés (MIG). Par défaut, vous ne gérez l'emplacement de vos instances Compute Engine qu'en spécifiant leurs zones. Les règles de charge de travail vous permettent de définir l'emplacement physique et la topologie de vos instances de calcul dans une zone. Cette approche vous aide, par exemple, à minimiser la latence réseau entre vos instances de calcul en les plaçant plus près les unes des autres.

Vous ne pouvez appliquer des règles de charge de travail qu'aux MIG qui utilisent des instances A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU), H4D ou TPU (TPU7x, v6e ou v5p). Si vous utilisez des instances A4X Max ou A4X, ou si vous créez un MIG avec une tranche TPU multi-hôte, une stratégie de charge de travail est requise, sauf si vous créez une instance de calcul unique à des fins de test. Pour les autres séries de machines compatibles, les règles de charge de travail sont facultatives.

Pour contrôler l'emplacement des instances de calcul qui utilisent d'autres séries de machines, utilisez des stratégies d'emplacement.

Comprendre les règles de charge de travail

Les sections suivantes décrivent les cas d'utilisation des règles de charge de travail et les propriétés que vous spécifiez lorsque vous créez des règles de charge de travail.

Gérer l'emplacement et la topologie des instances de calcul

Une fois que vous avez créé une stratégie de charge de travail et que vous l'avez appliquée à un MIG, elle vous aide à effectuer les opérations suivantes :

  • Créer des instances de calcul proches les unes des autres : si la capacité est disponible, Compute Engine crée des instances de calcul proches les unes des autres. Sinon, Compute Engine ne créera qu'une partie ou aucune des instances de calcul demandées.

  • Gagnez en visibilité sur la topologie de vos instances de calcul : après avoir appliqué une stratégie de charge de travail de type haut débit (HIGH_THROUGHPUT) à un MIG et que le MIG a créé des instances de calcul, vous pouvez afficher la position des instances de calcul les unes par rapport aux autres. Ces informations vous aident à minimiser la latence du réseau et à résoudre les erreurs. Pour en savoir plus, consultez Afficher l'emplacement physique d'une instance Compute Engine.

Vous pouvez appliquer la même stratégie de charge de travail à plusieurs MIG. Dans ce cas, Compute Engine applique les règles d'emplacement à chaque MIG de manière indépendante.

La section suivante décrit les propriétés que vous devez spécifier lorsque vous créez des règles de charge de travail.

Configurer les propriétés des règles de charge de travail

Lorsque vous créez une règle de charge de travail, vous devez spécifier les propriétés suivantes :

  • Type de charge de travail (type) : ce champ définit l'objectif général de votre cluster. Vous ne pouvez spécifier que HIGH_THROUGHPUT, ce qui indique à Compute Engine de placer les instances de calcul le plus près possible les unes des autres pour accélérer la communication.

  • En fonction de la série de machines utilisée par les instances de calcul de votre MIG, vous pouvez éventuellement spécifier l'une des propriétés suivantes :

    • Topologie de l'accélérateur (acceleratorTopology) : cette propriété vous aide à obtenir des performances élevées pour les charges de travail distribuées qui s'exécutent sur plusieurs instances A4X Max ou A4X, ou sur des tranches de TPU multi-hôte, qui utilisent une configuration de réseau inter-accélérateur spécialisée. Pour en savoir plus, consultez la section Propriété de topologie de l'accélérateur.

    • Distance topologique maximale (maxTopologyDistance) : cette propriété définit la limite physique la plus stricte pour créer vos instances A4, A3 Ultra, A3 Mega, A3 High (8 GPU) ou H4D, comme le même bloc ou sous-bloc. Si Compute Engine ne peut pas respecter cette limite stricte en raison d'erreurs de disponibilité des ressources, il ne crée qu'une partie ou aucune des instances de calcul demandées. Pour en savoir plus, consultez la section Propriété "Distance maximale de la topologie".

Propriété de la topologie de l'accélérateur

Pour obtenir des performances réseau non bloquantes à grande échelle, Compute Engine organise les instances A4X Max et A4X dans une hiérarchie physique de blocs et de sous-blocs.

Pour créer un MIG avec des instances A4X Max ou A4X, ou des tranches TPU multihôtes, vous devez appliquer au MIG une règle de charge de travail qui spécifie la propriété de topologie d'accélérateur (acceleratorTopology). Cette propriété définit la configuration physique du réseau pour une tranche d'instances de calcul. Une tranche agit comme un accélérateur unique et massif qui fournit un débit maximal pour vos charges de travail d'IA ou de ML distribuées.

Le tableau suivant indique les valeurs de la topologie de l'accélérateur pour les A4X Max et A4X. Pour en savoir plus sur les valeurs de topologie pour les tranches TPU multi-hôtes, consultez Topologie TPU.

Valeur de la topologie de l'accélérateur Description Séries de machines compatibles Nombre maximal d'instances de calcul
1x72 Compute Engine organise les instances de calcul en sous-blocs à allocation dense de 18 instances de calcul, soit 72 GPU au total. Étant donné que chaque sous-bloc nécessite son propre MIG, vous pouvez créer au maximum 18 instances de calcul par MIG. Un bloc complet se compose de 25 MIG, soit 450 instances de calcul. A4X Max et A4X 18

Pour en savoir plus sur les instances A4X Max et A4X, consultez Série de machines A4X Max et A4X.

Propriété "Distance maximale de la topologie"

Lorsque vous créez et appliquez une règle de charge de travail à un MIG, Compute Engine s'efforce de créer vos instances de calcul à proximité les unes des autres. Si vous avez besoin d'une compacité maximale dans une zone, nous vous recommandons de spécifier la propriété de distance maximale de la topologie (maxTopologyDistance). Une valeur de distance topologique maximale permet de créer des instances A4, A3 Ultra, A3 Mega, A3 High (8 GPU) ou H4D dans le même cluster, bloc ou sous-bloc.

Le tableau suivant indique les valeurs de distance de topologie maximales et les séries de machines qu'elles prennent en charge :

Valeur maximale de la distance de la topologie Description Séries de machines compatibles Nombre maximal d'instances de calcul
Non spécifié (non recommandé) Compute Engine s'efforce de placer les instances de calcul aussi près que possible les unes des autres, mais sans garantie de distance maximale entre les instances de calcul d'une zone. A4, A3 Ultra, A3 Mega, A3 High (8 GPU) et H4D 1 500
CLUSTER Compute Engine crée des instances de calcul dans des blocs adjacents d'un cluster. A4 et H4D 1 500
BLOCK Compute Engine crée des instances de calcul dans le même bloc. A4, A3 Ultra, A3 Mega, A3 High (8 GPU) ou H4D
  • Pour A4 ou H4D : 150
  • Pour A3 Ultra, A3 Mega ou A3 High (8 GPU) : 256
SUBBLOCK Compute Engine crée des instances de calcul dans le même sous-bloc, ce qui minimise autant que possible la latence du réseau. A4, A3 Ultra et H4D 22

Tarifs

La création, la suppression ou l'application de règles de charge de travail à un MIG n'entraîne aucuns frais supplémentaires.

Séries de machines compatibles

Vous ne pouvez appliquer des règles de charge de travail qu'aux MIG avec des instances de calcul qui utilisent les combinaisons suivantes de séries de machines et de modèles de provisionnement :

Série de machines Démarrage flexible Spot Lié à la réservation Standard
A4X Max Non Non Oui Non
A4X Non Non Oui Non
A4 Oui Oui Oui Non
A3 Ultra Oui Oui Oui Non
A3 Mega Non Oui Oui Non
A3 High (8 GPU) Non Oui Oui Non
H4D Oui Oui Oui Non
TPU7x Oui Oui Oui Oui
TPU v6e Oui Oui Oui Oui
TPU v5p Oui Oui Oui Oui

Limites

Pour les stratégies de charge de travail dans les MIG, les limites suivantes s'appliquent :

  • Vous ne pouvez appliquer une stratégie de charge de travail à un MIG existant, ou modifier sa stratégie de charge de travail, que s'il ne contient aucune instance de calcul.

  • Vous ne pouvez appliquer des règles de charge de travail aux MIG régionaux que si ceux-ci utilisent les formes de distribution cible suivantes :

    • Pour les MIG avec une taille cible : ANY ou ANY_SINGLE_ZONE

    • Pour les requêtes de redimensionnement de MIG : ANY_SINGLE_ZONE

  • Vous ne pouvez pas modifier une règle de charge de travail après l'avoir créée.

  • Vous ne pouvez pas configurer de deuxième modèle d'instance si votre MIG utilise une stratégie de charge de travail.

  • Vous ne pouvez pas utiliser de stratégies de charge de travail avec des stratégies d'emplacement.

Étapes suivantes