Créer des règles de charge de travail pour les MIG

Ce document explique comment créer des règles pour les groupes d'instances gérés (MIG) qui comportent des instances Compute Engine A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU) ou H4D. Pour en savoir plus sur les exigences et les limites que vous appliquez lorsque vous créez des règles de charge de travail, consultez À propos des règles de charge de travail.

Une règle de charge de travail vous permet de spécifier l'emplacement ou la topologie des instances Compute Engine de votre MIG. Par exemple, vous pouvez utiliser des stratégies de charge de travail pour placer les instances de calcul plus près les unes des autres, ce qui minimise la latence réseau pour les charges de travail d'intelligence artificielle (IA), de machine learning (ML) ou de calcul hautes performances (HPC).

Avant de commencer

Rôles requis

Pour obtenir les autorisations nécessaires pour créer et appliquer des stratégies de charge de travail aux MIG, demandez à votre administrateur de vous accorder le rôle IAM Administrateur d'instances Compute (v1) (roles/compute.instanceAdmin.v1) sur le projet. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient les autorisations requises pour créer et appliquer des règles de charge de travail aux MIG. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour créer et appliquer des règles de charge de travail aux MIG :

  • Pour créer une règle de charge de travail : compute.resourcePolicies.create sur le projet

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer une règle de charge de travail

Pour créer une règle de charge de travail, utilisez l'une des méthodes suivantes en fonction de la série de machines utilisée par les instances de calcul de votre MIG :

Créer une règle de charge de travail pour les instances A4X Max ou A4X

Si vous appliquez une règle de charge de travail aux instances A4X Max ou A4X d'un MIG, vous devez spécifier une valeur de topologie d'accélérateur lorsque vous créez votre règle. Cette action aide vos charges de travail à atteindre des performances réseau à grande échelle et non bloquantes.

Pour créer une règle de charge de travail pour les instances A4X Max ou A4X, sélectionnez l'une des options suivantes :

gcloud

Pour créer une règle de charge de travail pour les instances A4X Max ou A4X, utilisez la commande gcloud compute resource-policies create workload-policy avec l'option --accelerator-topology=1x72 :

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --accelerator-topology=1x72 \
    --type=high-throughput \
    --region=REGION

Remplacez les éléments suivants :

  • WORKLOAD_POLICY_NAME : nom de votre règle de charge de travail.

  • REGION : région dans laquelle créer votre stratégie de charge de travail. Spécifiez une région dans laquelle vous souhaitez créer le MIG et où le type de machine que vous souhaitez utiliser est disponible. Pour connaître les régions dans lesquelles les types de machines A4X Max ou A4X sont disponibles, consultez Régions et zones disponibles.

REST

Pour créer une règle de charge de travail pour les instances A4X Max ou A4X, envoyez une requête POST à la méthode resourcePolicies.insert. Dans le corps de la requête, incluez le champ acceleratorTopology défini sur 1x72 :

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "acceleratorTopology": "1x72",
    "type": "HIGH_THROUGHPUT"
  }
}

Remplacez les éléments suivants :

  • PROJECT_ID : ID du projet dans lequel créer votre règle de charge de travail.

  • REGION : région dans laquelle créer votre stratégie de charge de travail. Spécifiez une région dans laquelle vous souhaitez créer le MIG et où le type de machine que vous souhaitez utiliser est disponible. Pour connaître les régions dans lesquelles les types de machines A4X Max ou A4X sont disponibles, consultez Régions et zones disponibles.

  • WORKLOAD_POLICY_NAME : nom de votre règle de charge de travail.

Créer une règle de charge de travail pour les instances A4, A3 Ultra, A3 Mega, A3 High (8 GPU) ou H4D

Si vous souhaitez appliquer une règle de charge de travail aux instances A4, A3 Ultra, A3 Mega, A3 High (8 GPU) ou H4D dans un MIG, nous vous recommandons de spécifier une valeur de distance maximale de la topologie lorsque vous créez votre règle. Cette action permet de rapprocher vos instances de calcul. Toutefois, plus le placement que vous spécifiez est compact, moins il y aura de ressources disponibles dans la zone où vous souhaitez créer vos instances de calcul.

Pour créer une règle de charge de travail pour les instances A4, A3 Ultra, A3 Mega ou A3 High (8 GPU), sélectionnez l'une des options suivantes :

gcloud

Pour créer une règle de charge de travail, utilisez la commande gcloud compute resource-policies create workload-policy. En fonction de la proximité souhaitée entre les instances de calcul d'un MIG, incluez les indicateurs suivants dans la commande :

  • Pour placer vos instances de calcul à proximité les unes des autres au mieux, incluez le flag --type=high-throughput :

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • Pour mieux contrôler l'emplacement de vos instances de calcul, incluez les options --max-topology-distance et --type=high-throughput :

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --type=high-throughput \
    --region=REGION

Remplacez les éléments suivants :

  • WORKLOAD_POLICY_NAME : nom de votre règle de charge de travail.

  • REGION : région dans laquelle créer votre stratégie de charge de travail. Spécifiez une région dans laquelle vous souhaitez créer le MIG et où le type de machine que vous souhaitez utiliser est disponible. Pour connaître les régions dans lesquelles les types de machines GPU sont disponibles, consultez Régions et zones disponibles.

  • TOPOLOGY_DISTANCE : distance maximale de la topologie. Une distance maximale plus courte peut réduire la probabilité de disponibilité des VM. Spécifiez une des valeurs suivantes :

    • Pour placer des instances A4 ou H4D dans le même cluster : CLUSTER

    • Pour placer des instances A4, A3 Ultra, A3 Mega, A3 High (8 GPU) ou H4D dans le même bloc : BLOCK

    • Pour placer des instances A4, A3 Ultra ou H4D dans le même sous-bloc : SUBBLOCK

REST

Pour créer une règle de charge de travail, envoyez une requête POST à la méthode resourcePolicies.insert. En fonction de la proximité souhaitée entre les instances de calcul d'un MIG, incluez les champs suivants dans le corps de la requête :

  • Pour placer vos instances de calcul les unes à côté des autres au mieux, incluez le champ type dans le corps de la requête :

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "type": "HIGH_THROUGHPUT"
  }
}

  • Pour mieux contrôler l'emplacement de vos instances de calcul, incluez les champs maxTopologyDistance et type dans le corps de la requête :

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "maxTopologyDistance": "TOPOLOGY_DISTANCE",
    "type": "HIGH_THROUGHPUT"
  }
}

Remplacez les éléments suivants :

  • PROJECT_ID : ID du projet dans lequel créer votre règle de charge de travail.

  • REGION : région dans laquelle créer votre stratégie de charge de travail. Spécifiez une région dans laquelle vous souhaitez créer le MIG et où le type de machine que vous souhaitez utiliser est disponible. Pour connaître les régions dans lesquelles les types de machines GPU sont disponibles, consultez Régions et zones disponibles.

  • WORKLOAD_POLICY_NAME : nom de votre règle de charge de travail.

  • TOPOLOGY_DISTANCE : distance maximale de la topologie. Une distance maximale plus courte peut réduire la probabilité de disponibilité des VM. Spécifiez une des valeurs suivantes :

    • Pour placer des instances A4 ou H4D dans le même cluster : CLUSTER

    • Pour placer des instances A4, A3 Ultra, A3 Mega, A3 High (8 GPU) ou H4D dans le même bloc : BLOCK

    • Pour placer des instances A4, A3 Ultra ou H4D dans le même sous-bloc : SUBBLOCK

Étapes suivantes