Membuat laporan bug untuk GPU Blackwell dan yang lebih baru

Dokumen ini menjelaskan cara membuat laporan bug GPU yang komprehensif untuk VM Compute Engine dan node Google Kubernetes Engine (GKE) yang menggunakan GPU NVIDIA Blackwell dan arsitektur yang lebih baru. Untuk mengidentifikasi model GPU yang digunakan jenis mesin Anda, lihat Model GPU.

Untuk NVIDIA Blackwell dan arsitektur GPU yang lebih baru, skrip nvidia-bug-report.sh standar tidak menangkap semua data hardware dan fabric tingkat rendah yang diperlukan untuk memecahkan masalah seperti error Xid GPU atau penurunan performa multi-node. Laporan bug GPU yang komprehensif mencakup data diagnostik berikut:

  • GPU standar dan diagnostik sistem: Status GPU, log driver, informasi bus PCI, dan log kernel dari nvidia-bug-report.sh, beserta topologi interkoneksi GPU, NIC, dan CPU, statistik I/O penyimpanan, serta status perangkat dan port RDMA (yang berguna untuk jenis mesin dengan link NIC NVIDIA ConnectX).
  • Data NVIDIA Firmware Tools (MFT): Pada GPU Blackwell dan yang lebih baru, nvidia-bug-report.sh menggunakan NVIDIA MFT untuk mengumpulkan status lapisan fisik koneksi NVLink, nilai register GPU internal, dan segmen diagnostik mentah dari firmware.
  • Diagnostik domain NVIDIA IMEX: Jenis mesin NVLink multi-node, seperti A4X dan A4X Max, mengandalkan daemon NVIDIA Internode Memory Exchange (IMEX) untuk mengelola domain NVLink multi-node. Mendiagnosis masalah domain NVLink memerlukan status domain IMEX di seluruh node dan log daemon IMEX.

Sebelum memulai

Untuk mengetahui prasyarat dan petunjuk penyiapan lengkap, lihat README laporan bug GPU. Daftar berikut merangkum prasyaratnya:

  • Pastikan driver GPU NVIDIA diinstal di VM Compute Engine atau node GKE Anda.
  • Di VM Compute Engine, konfigurasikan Docker untuk melakukan autentikasi ke Artifact Registry agar Docker dapat mengambil image container kolektor.
  • Opsional: Di VM Compute Engine yang menjalankan OS non-COS (misalnya, Ubuntu, Debian, atau OS keluarga RHEL), instal dan konfigurasi NVIDIA Container Toolkit untuk Docker. Jika toolkit tidak tersedia, run-goog-gpu-bug-report.sh akan mencoba memasang direktori driver NVIDIA host.
  • Opsional: Untuk mengupload laporan bug ke bucket Cloud Storage, pastikan akun layanan VM atau node GKE memiliki akses tulis ke bucket.

Membuat laporan bug GPU yang komprehensif

Gunakan Google Cloud GPU Bug Report Collector open source untuk mengumpulkan semua log diagnostik sebelumnya dalam satu perintah di Container-Optimized OS (COS) dan distribusi Linux lainnya, termasuk Ubuntu, Debian, dan sistem operasi tamu keluarga RHEL (seperti Rocky Linux), pada instance x86 (linux/amd64) dan Arm (linux/arm64).

Cara penanganan modul kernel MFT

Untuk GPU Blackwell dan yang lebih baru, kolektor akan otomatis menginstal alat userspace MFT di dalam container dan menangani modul kernel MFT (mst_pci dan mst_pciconf) berdasarkan sistem operasi tamu Anda:

  • Container-Optimized OS (COS): Mendownload dan memuat modul kernel MFT yang telah dikompilasi dan ditandatangani COS, yang cocok dengan versi kernel COS yang sedang berjalan.
  • Distribusi Linux lainnya (termasuk Ubuntu, Debian, dan OS keluarga RHEL): Mencoba membangun dan memuat modul kernel MFT dari sumber menggunakan DKMS terhadap header kernel yang berjalan di host.
  • Penggantian otomatis tanpa driver: Di COS dan distribusi Linux lainnya, jika pemuatan atau pembuatan modul kernel MFT gagal, kolektor akan otomatis beralih ke mode MFT tanpa driver, yang masih mengumpulkan diagnostik NVLink GPU melalui driver NVIDIA.

Menjalankan kolektor

  1. Hubungkan ke instance GPU Linux Anda.

  2. Jalankan kolektor untuk lingkungan Anda:

    • Di VM Compute Engine: Download dan jalankan run-goog-gpu-bug-report.sh:

      bash run-goog-gpu-bug-report.sh
      

      Untuk juga mengupload arsip .tar.gz yang dihasilkan ke bucket Cloud Storage, teruskan --gcs_bucket setelah --:

      bash run-goog-gpu-bug-report.sh -- --gcs_bucket=BUCKET_NAME
      
    • Di cluster GKE: Perbarui GKE_NODE_NAME dan NUMBER_OF_GPUS di bug-report-pod.yaml dan terapkan manifes Pod (lihat README untuk mengetahui detailnya):

      kubectl apply -f bug-report-pod.yaml
      

Flag kolektor dan lokasi output

Secara default, kolektor menulis file diagnostik individual dan menggabungkannya ke dalam satu arsip di jalur berikut pada VM host:

/tmp/goog_gpu_bug_reports/utc_TIMESTAMP/vm_id_VM_ID/goog_gpu_bug_report_VM_ID_utc_TIMESTAMP.tar.gz

Anda dapat meneruskan flag kolektor berikut (setelah -- saat menggunakan run-goog-gpu-bug-report.sh):

Flag kolektor Deskripsi
--gcs_bucket=BUCKET_NAME Mengupload arsip laporan bug .tar.gz yang dipaketkan ke bucket Cloud Storage yang ditentukan (gs://BUCKET_NAME/bug_report/utc_TIMESTAMP/vm_id_VM_ID/).
--mft_kernel_modules=auto Default. Mencoba memuat modul kernel MFT (modul bertanda tangan COS di COS, atau build DKMS di distribusi Linux lainnya) dan otomatis beralih ke MFT tanpa driver jika pemuatan modul gagal.
--mft_kernel_modules=never Melewati pembuatan atau pemuatan modul kernel MFT di host (dan menghapus muatannya jika sudah dimuat), menjalankan MFT dalam mode tanpa driver.

Misalnya, untuk menjalankan MFT dalam mode tanpa driver tanpa memuat modul kernel di host dan mengupload laporan ke bucket Cloud Storage:

bash run-goog-gpu-bug-report.sh -- --mft_kernel_modules=never --gcs_bucket=BUCKET_NAME

Untuk perintah docker run langsung, build image kustom, dan petunjuk tentang cara memverifikasi output MFT di dalam nvidia-bug-report.log.gz, lihat README kolektor.