Signaler un hôte défectueux

Si une instance A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega et A3 High (8 GPU) rencontre des problèmes matériels que vous ne pouvez pas résoudre vous-même (par exemple, des performances plus lentes ou des températures de GPU constamment élevées), vous pouvez signaler son hôte comme défectueux afin de minimiser les temps d'arrêt de votre charge de travail.

Ce document explique comment signaler un hôte défectueux et suivre l'état de la réparation pour les clusters Slurm et les autres clusters qui utilisent des instances Compute Engine. Pour signaler des hôtes défectueux dans un cluster Google Kubernetes Engine (GKE), consultez plutôt Signaler des hôtes défectueux via GKE.

Limites

Lorsque vous signalez un hôte défectueux, les limites suivantes s'appliquent :

  • Vous ne pouvez signaler un hôte défectueux que si l'instance de calcul qui s'exécute sur l'hôte remplit toutes les conditions suivantes :

    • L'instance de calcul est en cours d'exécution.

    • L'instance de calcul utilise un type de machine A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega ou A3 High (8 GPU).

    • L'instance de calcul utilise le modèle de provisionnement standard, de démarrage flexible ou lié à une réservation.

  • Si vous supprimez une instance de calcul alors que l'opération reportHostAsFaulty est en cours, l'opération reportHostAsFaulty échoue.

  • Google Cloud s'efforce de répondre à toutes vos demandes de signalement d'hôte défectueux. Toutefois, en raison de contraintes de capacité ou de limites de débit, une requête peut ne pas toujours être satisfaite.

Comprendre le processus de signalement d'un hôte défectueux

Une fois que vous avez signalé un hôte défectueux pour une instance de calcul, le délai de redémarrage de l'instance de calcul varie en fonction du mode opérationnel de réservation spécifié dans la réservation utilisée par l'instance de calcul. Pour vérifier le mode opérationnel d'une réservation, affichez le champ reservationOperationalMode dans la réservation. Le tableau suivant récapitule le processus d'hôte défaillant pour les deux modes opérationnels de réservation disponibles : le mode de capacité totale et le mode géré.
Mode Toute la capacité (ALL_CAPACITY) Mode géré (HIGHLY_AVAILABLE_CAPACITY)
Types de machines compatibles A4X Max et A4X A4, A3 Ultra, A3 Mega et A3 High (8 GPU)
Limitation du débit de l'API de signalement d'hôte défectueux Aucune limite de débit ne s'applique. Le débit des appels d'API peut être limité.
Processus de signalement d'un hôte défectueux

Lorsque vous signalez un hôte défectueux pour une instance de calcul qui s'exécute en mode de capacité totale, voici ce qui se passe :

  1. Signaler l'hôte défectueux : l'instance de calcul reste à l'état RUNNING pendant toute l'opération de signalement de l'hôte défectueux, qui prend généralement entre 10 et 12 minutes. Pour examiner l'état de l'opération, consultez la section Examiner les opérations de signalement d'hôte défectueux de ce document.
  2. Réparer l'hôte : une fois l'opération de signalement d'hôte défectueux terminée, l'opération de réparation de l'hôte démarre en moins d'une minute. Lorsque l'opération de réparation de l'hôte démarre, l'instance de calcul s'arrête et son état change en fonction du paramètre de redémarrage automatique (automaticRestart) spécifié pour l'instance de calcul :

    • Si le redémarrage automatique est activé pour l'instance de calcul, l'état de l'instance de calcul passe à REPAIRING.
    • Si le redémarrage automatique est désactivé pour l'instance de calcul, l'état de l'instance de calcul passe à TERMINATED.

    La réparation de l'hôte défectueux peut prendre de 3 à 14 jours, voire plus dans certains cas.

  3. Redémarrer l'instance de calcul : une fois l'opération de réparation de l'hôte terminée, l'un des événements suivants se produit :

    • Si l'instance de calcul est à l'état REPAIRING et que les ressources sont disponibles une fois la réparation terminée, Compute Engine redémarre automatiquement l'instance de calcul sur l'hôte réparé.
    • Sinon, si l'instance de calcul est à l'état TERMINATED ou si les ressources ne sont pas disponibles une fois la réparation terminée, l'état de l'instance de calcul reste ou passe à TERMINATED. Vous devez redémarrer manuellement l'instance de calcul lorsque vous souhaitez l'exécuter. Toutefois, si les ressources ne sont pas disponibles lorsque vous redémarrez l'instance de calcul (par exemple, si d'autres instances de calcul utilisent déjà l'hôte réparé), le redémarrage peut échouer.

Lorsque vous signalez un hôte défectueux pour une instance de calcul qui s'exécute en mode géré, voici ce qui se produit :

  1. Signaler l'hôte défectueux : l'instance de calcul reste à l'état RUNNING pendant toute l'opération de signalement de l'hôte défectueux, qui prend généralement entre 10 et 12 minutes. Pour examiner l'état de l'opération, consultez la section Examiner les opérations de signalement d'hôte défectueux de ce document.
  2. Démarrer la réparation de l'hôte : une fois l'opération de signalement de l'hôte défectueux terminée, l'opération de réparation de l'hôte démarre dans un délai d'une minute.

    Le comportement de l'instance de calcul au démarrage de l'opération de réparation de l'hôte varie selon la série de machines :

    • A4 et A3 Ultra : Compute Engine tente de migrer à chaud l'instance de calcul vers un autre hôte. Si vous ne disposez pas d'une capacité réservée suffisante ou si la capacité n'est pas disponible dans la zone de l'instance de calcul, l'instance de calcul s'arrête.
    • A3 Mega et A3 High : Compute Engine arrête l'instance de calcul et la redémarre sur un hôte opérationnel.

    Si une instance de calcul s'arrête, son état change en fonction du paramètre de redémarrage automatique (automaticRestart) spécifié pour l'instance de calcul :

    • Si le redémarrage automatique est activé pour l'instance de calcul, l'état de l'instance de calcul passe à REPAIRING. Sauf si vous arrêtez d'abord l'instance de calcul, elle redémarre automatiquement lorsque son hôte est opérationnel.
    • Si le redémarrage automatique est désactivé pour l'instance de calcul, l'état de l'instance de calcul passe à TERMINATED. Une fois l'hôte opérationnel, vous devez redémarrer manuellement l'instance de calcul.

    La réparation de l'hôte défectueux d'origine peut prendre de 3 à 14 jours, voire plus dans certains cas.

  3. Migrer ou redémarrer l'instance de calcul : une fois l'opération de réparation de l'hôte lancée, Compute Engine tente de réserver un hôte opérationnel pour remplacer l'hôte défectueux signalé dans votre capacité réservée. Si Compute Engine trouve un hôte de remplacement, les événements suivants se produisent :

    • A4 et A3 Ultra : si l'instance de calcul a été migrée à chaud à l'étape précédente, elle continue de s'exécuter sur l'hôte de remplacement. Si l'instance de calcul a été arrêtée, elle redémarre sur l'hôte de remplacement.
    • A3 Mega et A3 High : l'instance de calcul redémarre sur l'hôte de remplacement.

    Si Compute Engine ne trouve pas d'hôte de remplacement immédiatement, l'instance de calcul redémarre comme suit :

    • Si l'instance de calcul est à l'état REPAIRING et que des ressources sont disponibles avant ou au moment de la fin de la réparation, Compute Engine redémarre automatiquement l'instance de calcul sur un hôte opérationnel.
    • Sinon, si l'instance de calcul est à l'état TERMINATED ou si les ressources ne sont pas disponibles avant ou lorsque la réparation est terminée, l'état de l'instance de calcul reste ou passe à TERMINATED. Vous devez redémarrer manuellement l'instance de calcul lorsque vous souhaitez l'exécuter.

    Contrairement au mode "Toute la capacité", vous n'avez pas besoin d'attendre que l'hôte défectueux d'origine soit réparé pour que votre charge de travail puisse reprendre.

Résoudre les problèmes avant de signaler un hôte défectueux

Avant de signaler un hôte défectueux, nous vous recommandons de résoudre le problème pour confirmer qu'il s'agit d'un problème matériel, plutôt que d'un problème lié à votre charge de travail ou à la configuration de votre cluster. Cette approche permet d'éviter les temps d'arrêt inutiles pour vos charges de travail.

Rechercher des erreurs de mémoire GPU ou Xid

Si vous observez des erreurs de mémoire GPU ou Xid sur une instance de calcul, vérifiez si des mesures de récupération manuelles (par exemple, réinitialiser les GPU ou redémarrer l'instance de calcul) peuvent résoudre le problème avant de signaler l'hôte comme défectueux. Pour en savoir plus, consultez Examiner les messages Xid.

Vérifier les problèmes de performances et les traînards du GPU

Si vous remarquez des performances lentes, utilisez le service de détection des traînards pour identifier les instances de calcul qui pourraient être plus lentes que les autres dans le cluster.

Surveiller les températures des GPU et les violations thermiques

Si vous voyez des avertissements de violation thermique dans vos journaux ou signalés par DCGM, consultez les conseils suivants :

  • Avertissements et erreurs critiques : les diagnostics DCGM peuvent signaler des violations thermiques sous forme d'avertissements de niveau de gravité monitor. Ce niveau de gravité signifie que les GPU sont toujours prêts à exécuter des charges de travail, mais nous vous recommandons de les surveiller.

  • Faux positifs : NVIDIA étudie une augmentation de la fréquence des rapports de violation thermique sur les GPU qui ne présentent pas de signes de problèmes thermiques réels.

  • Recommandation : Avant de signaler un hôte comme défectueux en raison d'avertissements thermiques, vérifiez si les températures réelles du GPU dépassent les seuils de sécurité et si les performances de votre charge de travail sont affectées. Si les températures restent stables et que les performances sont normales, nous vous recommandons de surveiller le GPU au lieu de le signaler comme défectueux.

Pour en savoir plus sur le dépannage des GPU, consultez Résoudre les problèmes liés aux VM GPU dans la documentation Compute Engine.

Avant de commencer

Sélectionnez l'onglet correspondant à la façon dont vous prévoyez d'utiliser les exemples de cette page :

Console

Lorsque vous utilisez la console Google Cloud pour accéder aux services et aux API Google Cloud , vous n'avez pas besoin de configurer l'authentification.

gcloud

Dans la console Google Cloud , activez Cloud Shell.

Activer Cloud Shell

En bas de la console Google Cloud , une session Cloud Shell démarre et affiche une invite de ligne de commande. Cloud Shell est un environnement de shell dans lequel la Google Cloud CLI est déjà installée, et dans lequel des valeurs sont déjà définies pour votre projet actuel. L'initialisation de la session peut prendre quelques secondes.

REST

Pour utiliser les exemples API REST de cette page dans un environnement de développement local, vous devez utiliser les identifiants que vous fournissez à la gcloud CLI.

    Installez la Google Cloud CLI.

    Si vous utilisez un fournisseur d'identité (IdP) externe, vous devez d'abord vous connecter à la gcloud CLI avec votre identité fédérée.

Pour en savoir plus, consultez la section S'authentifier pour utiliser REST dans la documentation sur l'authentification Google Cloud .

Rôles requis

Pour obtenir les autorisations nécessaires pour signaler un hôte défectueux, demandez à votre administrateur de vous accorder les rôles IAM suivants :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour signaler un hôte défectueux. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour signaler un hôte défectueux :

  • Pour signaler un hôte défectueux : compute.instances.update sur l'instance de calcul ou le projet
  • Pour afficher la liste des opérations à l'aide de Logging : logging.logEntries.list sur le projet
  • Pour afficher la liste des opérations dans Compute Engine : compute.zoneOperations.list sur le projet
  • Pour afficher les détails d'une opération dans Compute Engine : compute.zoneOperations.get sur le projet

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Signaler un hôte défectueux

Pour signaler un hôte défectueux, procédez comme suit :

  1. Examinez l'hôte sur lequel votre instance de calcul s'exécute. Vous devez vérifier l'ID de l'hôte sur lequel votre instance de calcul s'exécute.

    Pour obtenir des instructions, consultez Afficher la topologie d'une instance de calcul.

  2. Facultatif : sauvegardez les données des disques SSD locaux. Lorsque l'instance de calcul s'arrête, Compute Engine supprime automatiquement les données de tous les disques SSD locaux qui lui sont associés. Vous ne pouvez pas récupérer les données des disques SSD locaux une fois que Compute Engine les a supprimées.

    Pour savoir comment conserver les données des disques SSD locaux, consultez Sauvegarde des données des disques SSD locaux.

  3. Signalez l'hôte défectueux. L'opération de réparation de l'hôte démarre immédiatement, dans la minute qui suit la fin de l'opération de signalement d'un hôte défectueux. Si l'instance de calcul ne répond plus après le démarrage de l'opération de signalement d'hôte défectueux, nous vous recommandons de la redémarrer après avoir attendu au moins 15 minutes.

    Pour signaler un hôte défectueux, sélectionnez l'une des options suivantes :

    gcloud

    Pour signaler un hôte défectueux, utilisez la commande gcloud compute instances report-host-as-faulty :

    gcloud compute instances report-host-as-faulty INSTANCE_NAME \
        --async \
        --disruption-schedule=IMMEDIATE \
        --fault-reasons=behavior=FAULT_REASON,description=DESCRIPTION \
        --zone=ZONE
    

    Remplacez les éléments suivants :

    • INSTANCE_NAME : nom de l'instance de calcul.

    • FAULT_REASON : liste des problèmes d'hôte rencontrés par votre instance de calcul, séparés par des virgules (par exemple, ISSUE_1,ISSUE_2). Vous pouvez spécifier les valeurs suivantes :

      • PERFORMANCE : les GPU associés à l'instance de calcul présentent des problèmes de performances par rapport aux autres GPU du cluster, vous ne voyez aucune erreur Xid dans les journaux et Compute Engine ne détecte aucun autre schéma d'échec habituel, tel qu'une corruption de données silencieuse.

      • SILENT_DATA_CORRUPTION : vous constatez une corruption des données dans votre instance de calcul, mais celle-ci continue de s'exécuter. La corruption silencieuse des données peut être due à des problèmes tels que des défauts de processeurs virtuels, des bugs logiciels ou des problèmes de noyau.

      • UNRECOVERABLE_GPU_ERROR : vous avez identifié une erreur de GPU irrécupérable avec un Xid.

      • BEHAVIOR_UNSPECIFIED : vous ne savez pas quel est le problème de votre instance de calcul.

    • DESCRIPTION : description du problème qui affecte votre instance de calcul, par exemple des informations Xid ou des problèmes de performances suspectés.

    • ZONE : zone où se trouve l'instance de calcul.

    REST

    Pour signaler un hôte défectueux, envoyez une requête POST à la méthode instances.reportHostAsFaulty.

    Lorsque vous signalez un hôte défectueux, vous pouvez spécifier plusieurs raisons de défaillance à la fois. Par exemple, pour spécifier deux motifs d'erreur, envoyez une requête comme suit :

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/INSTANCE_NAME/reportHostAsFaulty
    
    {
      "disruptionSchedule": "IMMEDIATE",
      "faultReasons": [
        {
          "behavior": "FAULT_REASON_1",
          "description": "DESCRIPTION_1"
        },
        {
          "behavior": "FAULT_REASON_2",
          "description": "DESCRIPTION_2"
        }
      ]
    }
    

    Remplacez les éléments suivants :

    • PROJECT_ID : ID du projet dans lequel l'instance de calcul existe.

    • ZONE : zone où se trouve l'instance de calcul.

    • INSTANCE_NAME : nom de l'instance de calcul.

    • FAULT_REASON_1 et FAULT_REASON_2 : chaque problème d'hôte rencontré par votre instance de calcul. Vous pouvez spécifier les valeurs suivantes :

      • PERFORMANCE : les GPU associés à l'instance de calcul présentent des problèmes de performances par rapport aux autres GPU du cluster, vous ne voyez aucune erreur Xid dans les journaux et Compute Engine ne détecte aucun autre schéma d'échec courant, tel qu'une corruption de données silencieuse.

      • SILENT_DATA_CORRUPTION : vous constatez une corruption des données dans votre instance de calcul, mais celle-ci continue de s'exécuter. La corruption silencieuse des données peut être due à des problèmes tels que des défauts de processeurs virtuels, des bugs logiciels ou des problèmes de noyau.

      • UNRECOVERABLE_GPU_ERROR : vous avez identifié une erreur de GPU irrécupérable avec un Xid.

      • BEHAVIOR_UNSPECIFIED : vous ne savez pas quel est le problème de votre instance de calcul.

    • DESCRIPTION_1 et DESCRIPTION_2 : description de chaque problème d'hôte que vous avez spécifié, tel que des informations Xid ou des problèmes de performances suspectés.

Examiner les opérations de signalement d'un hôte défectueux

Une fois que vous avez signalé un hôte défectueux, Compute Engine lance une série d'opérations pour marquer l'hôte comme défectueux et le préparer à la réparation. Plus précisément, lors d'une opération de signalement d'hôte défectueux, le processus suivant se produit :

  1. Marquez l'hôte comme défectueux. Compute Engine crée l'opération de signalement d'hôte défectueux. L'opération de signalement d'un hôte défectueux crée ensuite une séquence de sous-opérations. Ces sous-opérations marquent l'hôte sous-jacent comme défectueux.

  2. Préparez l'hôte pour les réparations. Une fois toutes les sous-opérations terminées, l'opération de signalement d'hôte défectueux démarre. Compute Engine arrête l'instance de calcul et lance l'opération de réparation de l'hôte défaillant. En fonction du mode opérationnel de réservation de la réservation et de la disponibilité de l'hôte, Compute Engine maintient l'instance de calcul à l'arrêt ou tente de la migrer et de la redémarrer.

  3. Signaler la fin de la maintenance et réparer l'hôte. Compute Engine termine l'opération de signalement d'hôte défectueux, et l'opération de réparation de l'hôte s'exécute.

Pour en savoir plus sur les autres opérations que vous pouvez utiliser pour suivre les réparations, la migration et le redémarrage automatique, consultez Comportements de maintenance et de redémarrage et Surveiller et planifier un événement de maintenance de l'hôte dans la documentation Compute Engine.

Pour suivre l'état des opérations de signalement d'hôte défectueux (compute.instances.reportHostAsFaulty) dans votre projet, sélectionnez l'une des options suivantes :

Console (opérations sur les instances)

  1. Dans la console Google Cloud , accédez à la page Opérations.

    Accéder à la page Opérations

  2. Dans le tableau qui s'affiche, recherchez l'instance de calcul que vous avez signalée.

  3. Dans la ligne contenant l'instance de calcul, dans la colonne État, vous pouvez voir l'état de l'opération de signalement d'hôte défectueux. Une fois l'opération terminée, la valeur est Done.

  4. Facultatif : Pour vérifier si Compute Engine a redémarré l'instance de calcul, consultez les détails de l'instance.

Console (journaux d'instances de calcul)

  1. Dans la console Google Cloud , accédez à la page Explorateur de journaux.

    Accéder à l'explorateur de journaux

  2. Vérifiez que l'option Afficher la requête est activée.

  3. Dans Query editor (éditeur de requête), saisissez la requête suivante :

    resource.type="gce_instance" AND protoPayload.methodName=~"compute\.instances\.reportHostAsFaulty"
    
  4. Cliquez sur Exécuter la requête. Le volet Résultats de la requête affiche les résultats de la requête.

gcloud

  1. Pour afficher l'état des opérations de signalement d'hôte défectueux dans votre projet, utilisez la commande gcloud compute operations list avec l'option --filter définie sur operationType:reportHostAsFaulty :

    gcloud compute operations list --filter="operationType:reportHostAsFaulty"
    
  2. Si vous souhaitez afficher les détails d'une opération d'hôte défectueux spécifique, utilisez la commande gcloud compute operations describe :

    gcloud compute operations describe OPERATION_NAME \
        --zone="ZONE"
    

    Remplacez les éléments suivants :

    • OPERATION_NAME : nom de l'opération.

    • ZONE : zone où se trouve l'opération.

REST

Pour afficher l'état des opérations de signalement d'hôte défectueux dans votre projet, envoyez une requête GET à la méthode zoneOperations.list. Dans l'URL de la requête, incluez le paramètre de requête filter défini sur items.operationType:reportHostAsFaulty.

GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/operations&filter=items.operationType:reportHostAsFaulty

Remplacez les éléments suivants :

  • PROJECT_ID : ID du projet dans lequel les opérations existent.

  • ZONE : zone où se trouvent les opérations.

Étapes suivantes