Problèmes connus

GPU en cluster

Cette page décrit les problèmes connus que vous pouvez rencontrer lorsque vous exécutez vos VM ou clusters optimisés pour l'IA. Pour les problèmes liés aux VM Compute Engine, consultez la section Problèmes connus dans Compute Engine.

Problèmes

La section suivante répertorie les problèmes connus et les solutions de contournement pour AI Hypercomputer.

Interruptions de charge de travail sur les VM A4 en raison de problèmes de micrologiciel pour les GPU NVIDIA B200

NVIDIA a identifié deux problèmes de micrologiciel pour les GPU B200, que les VM A4 utilisent. Ces problèmes peuvent entraîner des interruptions de charge de travail, par exemple lorsque la commande nvidia-smi ne répond pas. Si vous constatez des interruptions de charge de travail sur les VM A4, vérifiez que l'une des conditions suivantes est remplie :

• La durée de fonctionnement de la VM (lastStartTimestamp) dépasse 65 jours.
• Les journaux affichent un Xid 149 message d'erreur qui mentionne 0x02a.

Si l'une de ces conditions est remplie, vous devez réinitialiser les GPU associés à vos VM A4. Pour éviter de futures interruptions de votre charge de travail en raison de problèmes de micrologiciel, nous vous recommandons de réinitialiser vos GPU au moins une fois tous les 60 jours. Pour en savoir plus, consultez la section Réinitialiser les GPU.

Remarque : Si vos VM A4 font partie d'un cluster GKE, vous pouvez utiliser l' outil de réinitialisation des nœuds GPU GKE pour résoudre les problèmes mineurs liés aux GPU, tels que les commandes nvidia-smi qui ne répondent pas, sans redémarrer vos VM.

Le serveur de métadonnées peut afficher d'anciennes métadonnées de VM physicalHost

Après avoir rencontré une erreur d'hôte ou utilisé l' API signalant un hôte défectueux pour déplacer une instance de calcul vers un nouvel hôte, lorsque vous interrogez le serveur de métadonnées, il peut afficher les métadonnées physicalHost de l'hôte précédent de l'instance de calcul.

Pour contourner ce problème, effectuez l'une des opérations suivantes :

• Utilisez la méthode instances.get ou la gcloud compute instances describe commande pour récupérer les informations physicalHost correctes.
• Arrêtez, puis démarrez votre instance. Ce processus met à jour les informations physicalHost dans le serveur de métadonnées.
• Attendez 24 heures que les informations physicalHost de l'instance concernée soient mises à jour.