Présentation des règles d'emplacement compact et des règles de charge de travail

Ce document fournit une présentation et une comparaison des stratégies d'emplacement compact et des stratégies de charge de travail. Ces deux stratégies vous permettent de configurer l'emplacement des instances Compute Engine afin de réduire la latence du réseau.

Par défaut, vous gérez l'emplacement de vos instances de calcul en spécifiant uniquement leurs zones. Lorsque vous utilisez des réservations futures ou des demandes de redimensionnement de groupe d'instances géré (MIG) pour obtenir des machines A4X, A4, A3 Ultra, A3 Mega et A3 High (8 GPU), les instances de calcul que vous recevez sont fortement colocalisées. Toutefois, vous pouvez placer des instances de calcul spécifiques plus près les unes des autres pour optimiser les performances entre les instances. Pour placer des instances de calcul plus près les unes des autres, vous pouvez appliquer des stratégies d'emplacement compact aux instances de calcul ou des stratégies de charge de travail aux MIG.

Stratégies d'emplacement compact pour les instances de calcul

Lorsque vous appliquez des stratégies d'emplacement compact à des instances de calcul autonomes ou à des instances de calcul créées de manière groupée, Compute Engine fait de son mieux pour créer des instances de calcul aussi proches les unes des autres que possible. Si votre application nécessite une latence réseau minimale, spécifiez le maxDistance champ (aperçu) lorsque vous créez une stratégie d'emplacement compact.

Pour en savoir plus, consultez À propos des stratégies d'emplacement compact dans la documentation Compute Engine.

Stratégies de charge de travail pour les MIG

Lorsque vous appliquez des stratégies de charge de travail aux MIG, vous pouvez spécifier l'emplacement et l'infrastructure sous-jacente des instances de calcul de vos MIG. En utilisant des stratégies de charge de travail avec A4X Max, A4X, A4, A3 Ultra, A3 Mega et A3 High (8 GPU), vous pouvez réduire la latence réseau entre vos instances de calcul et optimiser les performances.

En fonction des types de machines utilisés par les instances de calcul de votre MIG, les stratégies de charge de travail sont obligatoires ou facultatives dans les cas suivants :

  • Pour déployer des sous-blocs d'instances A4X Max ou A4X, les stratégies de charge de travail sont obligatoires.

  • Pour utiliser des instances A4, A3 Ultra, A3 Mega ou A3 High (8 GPU), les stratégies de charge de travail sont facultatives.

Pour en savoir plus, consultez À propos des stratégies de charge de travail dans les MIG dans la documentation Compute Engine.

Comparaison des stratégies d'emplacement compact et des stratégies de charge de travail

Le tableau suivant récapitule les différences entre les stratégies d'emplacement compact et les stratégies de charge de travail :

Stratégie d'emplacement compact Stratégie de charge de travail
Utilisation de la stratégie
  • Instances autonomes
  • Instances déployées à l'aide de l'API groupée
Groupes d'instances gérés (MIG)
Types de machines compatibles A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High, A3 Edge, A2 et G2
  • Pour le démarrage flexible : A4 et A3 Ultra
  • Pour les instances Spot ou les réservations : A4X, A4, A3 Ultra, A3 Mega et A3 High (8 GPU)
Sémantique de regroupement

Compute Engine place les instances qui utilisent la même stratégie d'emplacement compact plus près les unes des autres.

Nous vous recommandons d'utiliser une stratégie d'emplacement différente pour chaque charge de travail. Si vous réutilisez une stratégie d'emplacement sur des instances qui exécutent des charges de travail différentes, toutes ces instances seront placées ensemble. Cette colocation peut rendre difficile la création d'instances proches les unes des autres lorsque vous effectuer un scaling horizontal d'une charge de travail spécifique.

Compute Engine place les instances d'un MIG qui utilise une stratégie de charge de travail plus près les unes des autres.

Si vous réutilisez une stratégie de charge de travail sur plusieurs MIG qui exécutent des charges de travail différentes , les instances des MIG individuels seront placées ensemble. La réutilisation est idéale pour les grands modèles d'entraînement dans lesquels chaque groupe d' instances doit être isolé des autres.

Configuration de la colocation des instances de calcul

Pour une colocation optimale des instances de calcul, définissez le groupPlacementPolicy.collocation champ sur COLLOCATED.

Pour une colocation optimale des instances de calcul, définissez le workloadPolicy.type champ sur HIGH_THROUGHPUT.

Configurations supplémentaires
  • Pour un placement strict des instances de calcul, spécifiez le maxDistance champ.
  • Pour les familles de GPU compatibles avec le partitionnement, telles que A4X, spécifiez le gpuTopology champ.
  • Pour un placement strict des instances de calcul, spécifiez le maxTopologyDistance champ.
  • Pour les familles de GPU compatibles avec le partitionnement, telles que A4X, spécifiez le acceleratorTopology champ.

Comparaison des valeurs de distance maximale

Une valeur de distance maximale inférieure garantit un placement plus proche des instances de calcul, mais augmente également le risque que certaines instances de calcul ne soient pas créées.

Le tableau suivant indique la série de machines et le nombre d'instances de calcul compatibles pour chaque valeur de distance maximale :

maxDistance dans une stratégie d'emplacement compact maxTopologyDistance dans une stratégie de charge de travail Description Séries de machines compatibles Nombre maximal d'instances de calcul
Non spécifié (déconseillé) Non spécifié (déconseillé) Compute Engine fait de son mieux pour placer les instances de calcul aussi près les unes des autres que possible, mais sans distance maximale entre elles. A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU) 1500
3 CLUSTER Compute Engine crée des instances de calcul dans des blocs adjacents. A4 1 500
2 BLOCK Compute Engine crée des instances de calcul dans le même bloc. A4 et A3 Ultra
  • Pour les instances A4 : 150
  • Pour les instances A3 Ultra, A3 Mega et A3 High (8 GPU) : 256
1 SUBBLOCK Compute Engine crée des instances de calcul dans le même sous-bloc. A4 et A3 Ultra 22

Étape suivante