Créer des règles de charge de travail pour les MIG

Ce document explique comment créer des stratégies pour les groupes d'instances gérés (MIG) qui comportent des instances Compute Engine A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPU) ou H4D. Pour en savoir plus sur les exigences et les limites que vous appliquez lorsque vous créez des stratégies de charge de travail, consultez À propos des stratégies de charge de travail.

Une stratégie de charge de travail vous permet de spécifier l'emplacement ou la topologie des instances Compute Engine de votre MIG. Par exemple, vous pouvez utiliser des stratégies de charge de travail pour rapprocher les instances de calcul les unes des autres, ce qui réduit la latence réseau pour les charges de travail d'intelligence artificielle (IA), de machine learning (ML) ou de calcul haute performance (HPC).

Avant de commencer

  • Si ce n'est pas déjà fait, configurez l'authentification. L'authentification permet de valider votre identité pour accéder aux Google Cloud services et aux API. Pour exécuter du code ou des exemples depuis un environnement de développement local, vous pouvez vous authentifier auprès de Compute Engine en sélectionnant l'une des options suivantes :

    Sélectionnez l'onglet correspondant à la façon dont vous prévoyez d'utiliser les exemples de cette page :

    gcloud

    1. Installez la Google Cloud CLI. Une fois que la Google Cloud CLI est installée, initialisezla en exécutant la commande suivante : 

      gcloud init

      Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

  • Définissez une région et une zone par défaut.

    • REST

    Pour utiliser les exemples API REST de cette page dans un environnement de développement local, vous devez utiliser les identifiants que vous fournissez à la gcloud CLI.

      Installez la Google Cloud CLI.

      Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

    Pour en savoir plus, consultez la section S'authentifier pour utiliser REST dans la documentation sur l' Google Cloud authentification.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer et appliquer des stratégies de charge de travail aux MIG, demandez à votre administrateur de vous accorder le rôle IAM Administrateur d'instances Compute (v1) (roles/compute.instanceAdmin.v1) sur le projet. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient les autorisations requises pour créer et appliquer des stratégies de charge de travail aux MIG. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour créer et appliquer des stratégies de charge de travail aux MIG :

  • Pour créer une stratégie de charge de travail : compute.resourcePolicies.create sur le projet

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Créer une stratégie de charge de travail

Pour créer une stratégie de charge de travail, utilisez l'une des méthodes suivantes en fonction de la série de machines utilisée par les instances de calcul de votre MIG :

Créer une stratégie de charge de travail pour les instances A4X Max ou A4X

Si vous appliquez une stratégie de charge de travail aux instances A4X Max ou A4X d'un MIG, vous devez spécifier une valeur de topologie d'accélérateur lorsque vous créez votre stratégie. Cette action permet à vos charges de travail d'atteindre des performances réseau à grande échelle et sans blocage.

Pour créer une stratégie de charge de travail pour les instances A4X Max ou A4X, sélectionnez l'une des options suivantes :

gcloud

Pour créer une stratégie de charge de travail pour les instances A4X Max ou A4X, utilisez la gcloud compute resource-policies create workload-policy commande avec l'option --accelerator-topology=1x72 :

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --accelerator-topology=1x72 \
    --type=high-throughput \
    --region=REGION

Remplacez les éléments suivants :

  • WORKLOAD_POLICY_NAME: nom de votre stratégie de charge de travail.

  • REGION: région dans laquelle créer votre stratégie de charge de travail. Spécifiez une région dans laquelle vous souhaitez créer le MIG et où le type de machine que vous souhaitez utiliser est disponible. Pour connaître les régions dans lesquelles les types de machines A4X Max ou A4X sont disponibles, consultez Régions et zones disponibles.

REST

Pour créer une stratégie de charge de travail pour les instances A4X Max ou A4X, envoyez une POST requête à la resourcePolicies.insert méthode. Dans le corps de la requête, incluez le champ acceleratorTopology défini sur 1x72 :

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "acceleratorTopology": "1x72",
    "type": "HIGH_THROUGHPUT"
  }
}

Remplacez les éléments suivants :

  • PROJECT_ID: ID du projet dans lequel créer votre stratégie de charge de travail.

  • REGION: région dans laquelle créer votre stratégie de charge de travail. Spécifiez une région dans laquelle vous souhaitez créer le MIG et où le type de machine que vous souhaitez utiliser est disponible. Pour connaître les régions dans lesquelles les types de machines A4X Max ou A4X sont disponibles, consultez Régions et zones disponibles.

  • WORKLOAD_POLICY_NAME: nom de votre stratégie de charge de travail.

Créer une stratégie de charge de travail pour les instances A4, A3 Ultra, A3 Mega, A3 High (8 GPU) ou H4D

Si vous souhaitez appliquer une stratégie de charge de travail aux instances A4, A3 Ultra, A3 Mega, A3 High (8 GPU) ou H4D d'un MIG, nous vous recommandons de spécifier une valeur de distance de topologie maximale lorsque vous créez votre stratégie. Cette action permet de rapprocher vos instances de calcul. Toutefois, plus l'emplacement que vous spécifiez est compact, moins de ressources peuvent être disponibles dans la zone où vous souhaitez créer vos instances de calcul.

Pour créer une stratégie de charge de travail pour les instances A4, A3 Ultra, A3 Mega ou A3 High (8 GPU), sélectionnez l'une des options suivantes :

gcloud

Pour créer une stratégie de charge de travail, utilisez la gcloud compute resource-policies create workload-policy commande. En fonction de la proximité souhaitée des instances de calcul dans un MIG, incluez les options suivantes dans la commande :

  • Pour placer vos instances de calcul à proximité les unes des autres au mieux, incluez l'option --type=high-throughput :

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • Pour mieux contrôler l'emplacement de vos instances de calcul, incluez les options --max-topology-distance et --type=high-throughput :

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --type=high-throughput \
    --region=REGION

Remplacez les éléments suivants :

  • WORKLOAD_POLICY_NAME: nom de votre stratégie de charge de travail.

  • REGION: région dans laquelle créer votre stratégie de charge de travail. Spécifiez une région dans laquelle vous souhaitez créer le MIG et où le type de machine que vous souhaitez utiliser est disponible. Pour connaître les régions dans lesquelles les types de machines GPU sont disponibles, consultez Régions et zones disponibles.

  • TOPOLOGY_DISTANCE : distance maximale de la topologie. Une distance maximale plus courte peut réduire la probabilité de disponibilité des VM. Spécifiez une des valeurs suivantes :

    • Pour placer des instances A4 ou H4D dans le même cluster : CLUSTER

    • Pour placer des instances A4, A3 Ultra, A3 Mega, A3 High (8 GPU) ou H4D dans le même bloc : BLOCK

    • Pour placer des instances A4, A3 Ultra ou H4D dans le même sous-bloc : SUBBLOCK

REST

Pour créer une stratégie de charge de travail, envoyez une POST requête à la resourcePolicies.insert méthode. En fonction de la proximité souhaitée des instances de calcul dans un MIG, incluez les champs suivants dans le corps de la requête :

  • Pour placer vos instances de calcul à proximité les unes des autres au mieux, incluez le champ type dans le corps de la requête :

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "type": "HIGH_THROUGHPUT"
  }
}

  • Pour mieux contrôler l'emplacement de vos instances de calcul, incluez les champs maxTopologyDistance et type dans le corps de la requête :

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "maxTopologyDistance": "TOPOLOGY_DISTANCE",
    "type": "HIGH_THROUGHPUT"
  }
}

Remplacez les éléments suivants :

  • PROJECT_ID: ID du projet dans lequel créer votre stratégie de charge de travail.

  • REGION: région dans laquelle créer votre stratégie de charge de travail. Spécifiez une région dans laquelle vous souhaitez créer le MIG et où le type de machine que vous souhaitez utiliser est disponible. Pour connaître les régions dans lesquelles les types de machines GPU sont disponibles, consultez Régions et zones disponibles.

  • WORKLOAD_POLICY_NAME: nom de votre stratégie de charge de travail.

  • TOPOLOGY_DISTANCE : distance maximale de la topologie. Une distance maximale plus courte peut réduire la probabilité de disponibilité des VM. Spécifiez une des valeurs suivantes :

    • Pour placer des instances A4 ou H4D dans le même cluster : CLUSTER

    • Pour placer des instances A4, A3 Ultra, A3 Mega, A3 High (8 GPU) ou H4D dans le même bloc : BLOCK

    • Pour placer des instances A4, A3 Ultra ou H4D dans le même sous-bloc : SUBBLOCK

Étape suivante