Résoudre les problèmes de lenteur

Ce document explique comment résoudre les problèmes de performances lentes que vous avez identifiés pour les charges de travail exécutées sur des VM ou des clusters optimisés pour l'IA.

Pour savoir comment identifier les performances lentes, consultez Surveiller les instances Compute Engine et les clusters Slurm.

1. Identifier et résoudre les problèmes liés aux VM lentes pour votre charge de travail: procédez comme suit :

   1. Vérifiez si vous pouvez utiliser la détection des VM lentes pour votre charge de travail. Pour consulter les limites et les exigences liées à l'utilisation de la détection des VM lentes, consultez Surveiller les instances Compute Engine et les clusters Slurm.

      Si vous ne pouvez pas utiliser la détection des VM lentes, alors utilisez d'autres options pour résoudre les problèmes de performances lentes.

   2. Pour vérifier si des VM de votre charge de travail sont suspectées d'être lentes, consultez les métriques de détection des VM lentes.

      Par exemple, pour visualiser toutes les VM suspectées d'être lentes pour votre projet dans Cloud Monitoring, procédez comme suit :

      Conseil : Si vous souhaitez filtrer les VM suspectées d'être lentes pour votre projet, suivez les instructions pour afficher les journaux de détection des VM lentes et spécifiez la requête pour les journaux contenant des VM suspectées d'être lentes.

      1. Dans la Google Cloud console, accédez à la  page Tableaux de bord :

         Accéder à la page Tableaux de bord

         Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Monitoring.

      2. Dans la section Type du volet "Filtres", cliquez sur Services Google.

      3. Dans la colonne Nom, cliquez sur Cluster Director Health Monitoring (Surveillance de l'état de Cluster Director).

         La page d'informations du tableau de bord s'ouvre.

      4. Utilisez le sélecteur de période dans la barre d'outils pour sélectionner la période de performances lentes. La détection des VM lentes prend généralement jusqu'à 10 minutes pour signaler une VM lente.

      5. Pour vérifier si des VM de votre charge de travail sont suspectées d'être lentes, consultez la section Straggler Detection (Détection des VM lentes). Utilisez cette requête pour voir si le tableau Suspected Straggler Instances (Instances suspectées d'être lentes) répertorie des VM pour votre charge de travail.

   3. En fonction du nombre de VM de votre charge de travail suspectées d'être lentes, procédez comme suit :

      • Si aucune VM n'est suspectée d'être lente, vérifiez si la détection des VM lentes s'exécute correctement. Pour vérifier si le service de détection des VM lentes est en cours d'exécution pour votre projet, suivez les instructions pour afficher les journaux de détection des VM lentes et spécifiez la requête pour tous les journaux de détection des VM lentes de votre projet. Ensuite, procédez comme suit :

        • Si votre projet ne comporte pas de journaux de détection des VM lentes alors que des VM sont en cours d'exécution depuis au moins 10 minutes, cela signifie que le service de détection des VM lentes n'est pas en cours d'exécution pour votre projet. Pour résoudre ce problème, contactez Cloud Customer Care ou réessayez plus tard.

        • Sinon, si vous avez vérifié que la détection des VM lentes est en cours d'exécution pour votre projet et que votre charge de travail la prend en charge, les performances lentes peuvent être dues à un autre problème. Utilisez d'autres options pour résoudre les problèmes de performances lentes.

      • Si un petit nombre de VM de votre charge de travail sont signalées comme suspectées d'être lentes, testez la migration de votre charge de travail en dehors des VM suspectées. Ensuite, procédez comme suit :

        • Si la migration rétablit les performances de votre charge de travail, alors les VM suspectées peuvent être défectueuses. Pour chacune de ces VM, suivez les étapes pour signaler un hôte défectueux, et définissez FAULT_REASON sur PERFORMANCE et définissez DESCRIPTION sur straggler node.

        • Si la migration ne rétablit pas les performances, il peut y avoir d'autres VM suspectées d'être lentes ou les performances lentes peuvent être dues à un autre problème. Vous pouvez vérifier si d'autres VM de votre charge de travail sont suspectées d'être lentes ou utiliser d'autres options pour résoudre les problèmes de performances lentes.

      • Si un grand nombre de VM de votre charge de travail sont signalées comme suspectées d'être lentes, alors utilisez d'autres options pour résoudre les problèmes de performances lentes.

2. Utiliser d'autres options pour résoudre les problèmes de performances lentes : si la liste signalée de VM suspectées d'être lentes est longue ou si la suppression des VM lentes signalées ne rétablit pas les performances, utilisez d'autres options pour résoudre les problèmes de performances lentes, telles que les suivantes :

   • Tester les clusters à l'aide de l'outil d'analyse de l'état des clusters.
   • Examiner d'autres métriques de performances.
   • Consulter d'autres documents de dépannage Par exemple, consultez Résoudre les problèmes liés aux VM GPU dans la documentation Compute Engine.