本文档介绍了如何为使用 NVIDIA Blackwell GPU 及更高版本架构的 Compute Engine 虚拟机和 Google Kubernetes Engine (GKE) 节点生成全面的 GPU bug 报告。如需确定您的机器类型使用的 GPU 型号,请参阅 GPU 型号。
对于 NVIDIA Blackwell 及更高版本的 GPU 架构,标准 nvidia-bug-report.sh 脚本不会捕获排查 GPU Xid 错误或多节点性能下降等问题所需的所有低级硬件和网络数据。全面的 GPU bug 报告包含以下诊断数据:
- 标准 GPU 和系统诊断:GPU 状态、驱动程序日志、PCI 总线信息以及来自
nvidia-bug-report.sh的内核日志,以及 GPU、NIC 和 CPU 互连拓扑、存储 I/O 统计信息以及 RDMA 设备和端口状态(这对于具有 NVIDIA ConnectX NIC 链接的机器类型非常有用)。 - NVIDIA 固件工具 (MFT) 数据:在 Blackwell 及更高版本的 GPU 上,
nvidia-bug-report.sh使用 NVIDIA MFT 收集 NVLink 连接的物理层状态、内部 GPU 寄存器值以及固件中的原始诊断片段。 - NVIDIA IMEX 网域诊断:多节点 NVLink 机器类型(例如 A4X 和 A4X Max)依赖 NVIDIA 节点间内存交换 (IMEX) 守护程序来管理多节点 NVLink 网域。诊断 NVLink 网域问题需要跨节点的 IMEX 网域状态和 IMEX 守护程序日志。
准备工作
如需查看完整的前提条件和设置说明,请参阅 GPU bug 报告 README。以下列表总结了前提条件:
- 确保 Compute Engine 虚拟机或 GKE 节点上已安装 NVIDIA GPU 驱动程序。
- 在 Compute Engine 虚拟机上,配置 Docker 以向 Artifact Registry 进行身份验证,以便 Docker 可以拉取收集器容器映像。
- 可选:在运行非 COS 操作系统(例如 Ubuntu、Debian 或 RHEL 系列操作系统)的 Compute Engine 虚拟机上,安装并配置适用于 Docker 的 NVIDIA Container Toolkit。如果该工具包不可用,
run-goog-gpu-bug-report.sh会尝试改为装载主机的 NVIDIA 驱动程序目录。 - 可选:如需将 bug 报告上传到 Cloud Storage 存储桶,请验证虚拟机或 GKE 节点的服务账号是否具有对该存储桶的写入权限。
生成全面的 GPU bug 报告
使用开源 Google Cloud GPU 错误报告收集器,只需一条命令即可在 Container-Optimized OS (COS) 和其他 Linux 发行版(包括 Ubuntu、Debian 和 RHEL 系列客机操作系统,例如 Rocky Linux)上收集上述所有诊断日志,同时支持 x86 (linux/amd64) 和 Arm (linux/arm64) 实例。
MFT 内核模块的处理方式
对于 Blackwell 及更高版本的 GPU,收集器会自动在容器内安装 MFT 用户空间工具,并根据您的客户机操作系统处理 MFT 内核模块(mst_pci 和 mst_pciconf):
- Container-Optimized OS (COS):下载并加载与您正在运行的 COS 内核版本匹配的预编译、COS 签名的 MFT 内核模块。
- 其他 Linux 发行版(包括 Ubuntu、Debian 和 RHEL 系列操作系统):尝试使用 DKMS 针对主机的运行内核头文件从源代码构建和加载 MFT 内核模块。
- 自动无驱动程序回退:在 COS 和其他 Linux 发行版上,如果加载或构建 MFT 内核模块失败,收集器会自动回退到无驱动程序 MFT 模式,该模式仍会通过 NVIDIA 驱动程序收集 GPU NVLink 诊断信息。
运行收集器
为您的环境运行收集器:
在 Compute Engine 虚拟机上:下载并运行
run-goog-gpu-bug-report.sh:bash run-goog-gpu-bug-report.sh如需同时将生成的
.tar.gz归档上传到 Cloud Storage 存储桶,请在--之后传递--gcs_bucket:bash run-goog-gpu-bug-report.sh -- --gcs_bucket=BUCKET_NAME在 GKE 集群上:更新
bug-report-pod.yaml中的GKE_NODE_NAME和NUMBER_OF_GPUS,并应用 Pod 清单(如需了解详情,请参阅 README):kubectl apply -f bug-report-pod.yaml
收集器标志和输出位置
默认情况下,收集器会写入各个诊断文件,并将其捆绑到主机虚拟机上以下路径中的单个归档文件中:
/tmp/goog_gpu_bug_reports/utc_TIMESTAMP/vm_id_VM_ID/goog_gpu_bug_report_VM_ID_utc_TIMESTAMP.tar.gz
您可以传递以下收集器标志(使用 run-goog-gpu-bug-report.sh 时在 -- 之后):
| 收集器标志 | 说明 |
|---|---|
--gcs_bucket=BUCKET_NAME |
将打包的 .tar.gz 错误报告归档上传到指定的 Cloud Storage 存储桶 (gs://BUCKET_NAME/bug_report/utc_TIMESTAMP/vm_id_VM_ID/)。 |
--mft_kernel_modules=auto |
默认。尝试加载 MFT 内核模块(COS 上经过 COS 签名的模块,或在其他 Linux 发行版上构建的 DKMS),如果模块加载失败,则会自动回退到无驱动程序的 MFT。 |
--mft_kernel_modules=never |
跳过在主机上构建或加载 MFT 内核模块(如果已加载,则卸载),在无驱动模式下运行 MFT。 |
例如,如需在无驱动程序模式下运行 MFT,而不加载主机上的内核模块,并将报告上传到 Cloud Storage 存储桶,请运行以下命令:
bash run-goog-gpu-bug-report.sh -- --mft_kernel_modules=never --gcs_bucket=BUCKET_NAME
如需了解直接 docker run 命令、自定义映像构建以及在 nvidia-bug-report.log.gz 中验证 MFT 输出的说明,请参阅收集器的 README。