In diesem Dokument wird erläutert, wie Sie einen umfassenden GPU-Fehlerbericht für Compute Engine-VMs und GKE-Knoten (Google Kubernetes Engine) erstellen, die NVIDIA Blackwell-GPUs und neuere Architekturen verwenden. Informationen dazu, welches GPU-Modell Ihr Maschinentyp verwendet, finden Sie unter GPU-Modelle.
Bei NVIDIA Blackwell- und neueren GPU-Architekturen erfasst das Standardskript nvidia-bug-report.sh nicht alle Low-Level-Hardware- und Fabric-Daten, die zur Behebung von Problemen wie GPU-Xid-Fehlern oder Leistungseinbußen bei mehreren Knoten erforderlich sind. Ein umfassender GPU-Fehlerbericht enthält die folgenden Diagnosedaten:
- Standard-GPU- und Systemdiagnose: GPU-Status, Treiberlogs, PCI-Bus-Informationen und Kernel-Logs von
nvidia-bug-report.shsowie GPU-, NIC- und CPU-Interconnect-Topologie, Speicher-E/A-Statistiken und RDMA-Geräte- und Portstatus (nützlich für Maschinentypen mit NVIDIA ConnectX-NIC-Links). - NVIDIA Firmware Tools (MFT)-Daten: Auf Blackwell- und neueren GPUs verwendet
nvidia-bug-report.shNVIDIA MFT, um den Status der Bitübertragungsschicht von NVLink-Verbindungen, interne GPU-Registerwerte und Rohdiagnosesegmente aus der Firmware zu erfassen. - NVIDIA IMEX-Domaindiagnose: NVLink-Maschinentypen mit mehreren Knoten, z. B. A4X und A4X Max, verwenden den NVIDIA Internode Memory Exchange (IMEX)-Daemon, um die NVLink-Domain mit mehreren Knoten zu verwalten. Für die Diagnose von NVLink-Domainproblemen sind der IMEX-Domainstatus auf allen Knoten und die IMEX-Daemon-Logs erforderlich.
Hinweis
Die vollständigen Voraussetzungen und Einrichtungsanleitungen finden Sie in der README zum GPU-Fehlerbericht. In der folgenden Liste sind die Voraussetzungen zusammengefasst:
- Achten Sie darauf, dass der NVIDIA-GPU-Treiber auf Ihrer Compute Engine-VM oder Ihrem GKE-Knoten installiert ist.
- Konfigurieren Sie Docker auf Compute Engine-VMs für die Authentifizierung bei Artifact Registry, damit Docker das Collector-Container-Image abrufen kann.
- Optional: Installieren und konfigurieren Sie auf Compute Engine-VMs, auf denen ein Nicht-COS-Betriebssystem ausgeführt wird (z. B. Ubuntu, Debian oder ein Betriebssystem der RHEL-Familie), das NVIDIA Container Toolkit für Docker. Wenn das Toolkit nicht verfügbar ist, versucht
run-goog-gpu-bug-report.shstattdessen, die NVIDIA-Treiberverzeichnisse des Hosts bereitzustellen. - Optional: Wenn Sie den Fehlerbericht in einen Cloud Storage-Bucket hochladen möchten, prüfen Sie, ob das Dienstkonto der VM oder des GKE-Knotens Schreibzugriff auf den Bucket hat.
Umfassenden GPU-Fehlerbericht erstellen
Verwenden Sie den Open-Source-Google Cloud GPU Bug Report Collector, um alle oben genannten Diagnoselogs mit einem einzigen Befehl für Container-Optimized OS (COS) und andere Linux-Distributionen zu erfassen, einschließlich Ubuntu, Debian und Gastbetriebssystemen der RHEL-Familie (z. B. Rocky Linux) auf x86- (linux/amd64) und Arm-Instanzen (linux/arm64).
Umgang mit MFT-Kernelmodulen
Bei Blackwell- und neueren GPUs installiert der Collector automatisch die MFT-Userspace-Tools im Container und verarbeitet die MFT-Kernelmodule (mst_pci und mst_pciconf) basierend auf Ihrem Gastbetriebssystem:
- Container-Optimized OS (COS): Lädt die vorkompilierten, COS-signierten MFT-Kernelmodule herunter, die Ihrer ausgeführten Kernel-Version von COS entsprechen.
- Andere Linux-Distributionen (einschließlich Ubuntu, Debian und RHEL-Familien-Betriebssysteme): Versucht, die MFT-Kernelmodule mithilfe von DKMS aus der Quelle für die laufenden Kernel-Header des Hosts zu erstellen und zu laden.
- Automatischer Fallback ohne Treiber: Wenn das Laden oder Erstellen der MFT-Kernelmodule auf COS und anderen Linux-Distributionen fehlschlägt, greift der Collector automatisch auf den treiberlosen MFT-Modus zurück, in dem die GPU-NVLink-Diagnose weiterhin über den NVIDIA-Treiber erfasst wird.
Collector ausführen
Führen Sie den Collector für Ihre Umgebung aus:
Auf einer Compute Engine-VM: Laden Sie
run-goog-gpu-bug-report.shherunter und führen Sie es aus:bash run-goog-gpu-bug-report.shWenn Sie das generierte
.tar.gz-Archiv auch in einen Cloud Storage-Bucket hochladen möchten, übergeben Sie--gcs_bucketnach--:bash run-goog-gpu-bug-report.sh -- --gcs_bucket=BUCKET_NAMEIn einem GKE-Cluster: Aktualisieren Sie
GKE_NODE_NAMEundNUMBER_OF_GPUSinbug-report-pod.yamlund wenden Sie das Pod-Manifest an (Details finden Sie in der README):kubectl apply -f bug-report-pod.yaml
Collector-Flags und Ausgabespeicherort
Standardmäßig schreibt der Collector die einzelnen Diagnosedateien und bündelt sie in einem einzigen Archiv im folgenden Pfad auf der Host-VM:
/tmp/goog_gpu_bug_reports/utc_TIMESTAMP/vm_id_VM_ID/goog_gpu_bug_report_VM_ID_utc_TIMESTAMP.tar.gz
Sie können die folgenden Collector-Flags übergeben (nach --, wenn Sie run-goog-gpu-bug-report.sh verwenden):
| Collector-Flag | Beschreibung |
|---|---|
--gcs_bucket=BUCKET_NAME |
Lädt das gebündelte .tar.gz-Fehlerberichtarchiv in den angegebenen Cloud Storage-Bucket (gs://BUCKET_NAME/bug_report/utc_TIMESTAMP/vm_id_VM_ID/) hoch. |
--mft_kernel_modules=auto |
Standardeinstellung. Versucht, MFT-Kernelmodule (COS-signierte Module auf COS oder DKMS-Build auf anderen Linux-Distributionen) zu laden, und greift automatisch auf treiberloses MFT zurück, wenn das Laden des Moduls fehlschlägt. |
--mft_kernel_modules=never |
Überspringt das Erstellen oder Laden von MFT-Kernelmodulen auf dem Host (und entlädt sie, falls sie bereits geladen sind) und führt MFT im treiberlosen Modus aus. |
So führen Sie beispielsweise MFT im treiberlosen Modus aus, ohne Kernelmodule auf dem Host zu laden, und laden den Bericht in einen Cloud Storage-Bucket hoch:
bash run-goog-gpu-bug-report.sh -- --mft_kernel_modules=never --gcs_bucket=BUCKET_NAME
Direkte docker run-Befehle, benutzerdefinierte Image-Builds und eine Anleitung zum Prüfen der MFT-Ausgabe in nvidia-bug-report.log.gz finden Sie in der README des Collectors.