Ce document explique comment générer un rapport de bug GPU complet pour les VM Compute Engine et les nœuds Google Kubernetes Engine (GKE) qui utilisent des GPU NVIDIA Blackwell et des architectures ultérieures. Pour identifier le modèle de GPU utilisé par votre type de machine, consultez Modèles de GPU.
Pour les architectures de GPU NVIDIA Blackwell et ultérieures, le script nvidia-bug-report.sh standard ne capture pas toutes les données matérielles et de structure de bas niveau requises pour résoudre les problèmes tels que les erreurs Xid du GPU ou la dégradation des performances multinœuds. Un rapport de bug GPU complet inclut les données de diagnostic suivantes :
- Diagnostics standards du GPU et du système : état du GPU, journaux des pilotes, informations sur le bus PCI et journaux du noyau de
nvidia-bug-report.sh, ainsi que la topologie d'interconnexion du GPU, de la carte d'interface réseau et du CPU, les statistiques d'E/S de stockage, et l'état de l'appareil et du port RDMA (ce qui est utile pour les types de machines avec des liaisons de carte d'interface réseau NVIDIA ConnectX). - Données NVIDIA Firmware Tools (MFT) : sur les GPU Blackwell et versions ultérieures,
nvidia-bug-report.shutilise NVIDIA MFT pour collecter l'état de la couche physique des connexions NVLink, les valeurs des registres GPU internes et les segments de diagnostic bruts du micrologiciel. - Diagnostics de domaine NVIDIA IMEX : les types de machines NVLink multinœuds, tels que A4X et A4X Max, s'appuient sur le daemon NVIDIA Internode Memory Exchange (IMEX) pour gérer le domaine NVLink multinœuds. Pour diagnostiquer les problèmes de domaine NVLink, vous devez connaître l'état du domaine IMEX sur les nœuds et disposer des journaux du daemon IMEX.
Avant de commencer
Pour connaître l'ensemble des conditions préalables et des instructions de configuration, consultez le README du rapport de bug du GPU. La liste suivante récapitule les conditions préalables :
- Assurez-vous que le pilote de GPU NVIDIA est installé sur votre VM Compute Engine ou votre nœud GKE.
- Sur les VM Compute Engine, configurez Docker pour qu'il s'authentifie auprès d'Artifact Registry afin de pouvoir extraire l'image de conteneur du collecteur.
- Facultatif : Sur les VM Compute Engine qui exécutent un OS non COS (par exemple, Ubuntu, Debian ou un OS de la famille RHEL), installez et configurez NVIDIA Container Toolkit pour Docker. Si le kit d'outils n'est pas disponible,
run-goog-gpu-bug-report.shtente d'installer les répertoires du pilote NVIDIA de l'hôte à la place. - Facultatif : Pour importer le rapport de bug dans un bucket Cloud Storage, vérifiez que le compte de service de la VM ou du nœud GKE dispose d'un accès en écriture au bucket.
Générer un rapport de bug GPU complet
Utilisez l'outil Open Source Google Cloud GPU Bug Report Collector pour collecter tous les journaux de diagnostic précédents en une seule commande sur Container-Optimized OS (COS) et d'autres distributions Linux, y compris Ubuntu, Debian et les systèmes d'exploitation invités de la famille RHEL (comme Rocky Linux), sur les instances x86 (linux/amd64) et Arm (linux/arm64).
Gestion des modules de kernel MFT
Pour les GPU Blackwell et ultérieurs, le collecteur installe automatiquement les outils d'espace utilisateur MFT dans le conteneur et gère les modules de noyau MFT (mst_pci et mst_pciconf) en fonction de votre système d'exploitation invité :
- Container-Optimized OS (COS) : télécharge et charge les modules de kernel MFT précompilés et signés par COS qui correspondent à la version de kernel COS en cours d'exécution.
- Autres distributions Linux (y compris Ubuntu, Debian et les OS de la famille RHEL) : tente de compiler et de charger les modules de noyau MFT à partir de la source à l'aide de DKMS sur les en-têtes de noyau en cours d'exécution de l'hôte.
- Création de remplacement automatique sans pilote : sur COS et d'autres distributions Linux, si le chargement ou la compilation des modules de noyau MFT échoue, le collecteur revient automatiquement au mode MFT sans pilote, qui collecte toujours les diagnostics NVLink du GPU via le pilote NVIDIA.
Exécuter le collecteur
Exécutez le collecteur pour votre environnement :
Sur une VM Compute Engine : téléchargez et exécutez
run-goog-gpu-bug-report.sh:bash run-goog-gpu-bug-report.shPour importer également l'archive
.tar.gzgénérée dans un bucket Cloud Storage, transmettez--gcs_bucketaprès--:bash run-goog-gpu-bug-report.sh -- --gcs_bucket=BUCKET_NAMESur un cluster GKE : mettez à jour
GKE_NODE_NAMEetNUMBER_OF_GPUSdansbug-report-pod.yaml, puis appliquez le fichier manifeste du pod (consultez le fichier README pour en savoir plus) :kubectl apply -f bug-report-pod.yaml
Options du collecteur et emplacement de sortie
Par défaut, le collecteur écrit les fichiers de diagnostic individuels et les regroupe dans une seule archive au niveau du chemin d'accès suivant sur la VM hôte :
/tmp/goog_gpu_bug_reports/utc_TIMESTAMP/vm_id_VM_ID/goog_gpu_bug_report_VM_ID_utc_TIMESTAMP.tar.gz
Vous pouvez transmettre les options de collecteur suivantes (après -- lorsque vous utilisez run-goog-gpu-bug-report.sh) :
| Option de collecteur | Description |
|---|---|
--gcs_bucket=BUCKET_NAME |
Importe l'archive de rapport de bug .tar.gz groupée dans le bucket Cloud Storage spécifié (gs://BUCKET_NAME/bug_report/utc_TIMESTAMP/vm_id_VM_ID/). |
--mft_kernel_modules=auto |
Par défaut. Tente de charger les modules de noyau MFT (modules signés COS sur COS ou compilation DKMS sur d'autres distributions Linux) et revient automatiquement à un MFT sans pilote si le chargement du module échoue. |
--mft_kernel_modules=never |
Ignore la compilation ou le chargement des kernel modules MFT sur l'hôte (et les décharge s'ils sont déjà chargés), en exécutant MFT en mode sans pilote. |
Par exemple, pour exécuter MFT en mode sans pilote sans charger de modules de noyau sur l'hôte et importer le rapport dans un bucket Cloud Storage :
bash run-goog-gpu-bug-report.sh -- --mft_kernel_modules=never --gcs_bucket=BUCKET_NAME
Pour obtenir des commandes docker run directes, des builds d'images personnalisées et des instructions sur la vérification de la sortie MFT dans nvidia-bug-report.log.gz, consultez le fichier README du collecteur.