Genera un informe de errores para las GPU Blackwell y posteriores

En este documento, se explica cómo generar un informe de errores de GPU completo para las VMs de Compute Engine y los nodos de Google Kubernetes Engine (GKE) que usan GPUs NVIDIA Blackwell y arquitecturas posteriores. Para identificar qué modelo de GPU usa tu tipo de máquina, consulta Modelos de GPU.

Para las arquitecturas de GPU NVIDIA Blackwell y posteriores, la secuencia de comandos estándar nvidia-bug-report.sh no captura todos los datos de hardware y de tejido de bajo nivel necesarios para solucionar problemas, como errores de Xid de GPU o la degradación del rendimiento de varios nodos. Un informe de errores de GPU completo incluye los siguientes datos de diagnóstico:

  • Diagnóstico estándar de GPU y del sistema: Estado de la GPU, registros de controladores, información del bus PCI y registros del kernel de nvidia-bug-report.sh, junto con la topología de interconexión de GPU, NIC y CPU, estadísticas de E/S de almacenamiento y estado del dispositivo y del puerto de RDMA (lo que es útil para los tipos de máquinas con vínculos de NIC de NVIDIA ConnectX).
  • Datos de NVIDIA Firmware Tools (MFT): En las GPU Blackwell y posteriores, nvidia-bug-report.sh usa NVIDIA MFT para recopilar el estado de la capa física de las conexiones de NVLink, los valores de registro internos de la GPU y los segmentos de diagnóstico sin procesar del firmware.
  • Diagnóstico de dominio de NVIDIA IMEX: Los tipos de máquinas NVLink de varios nodos, como A4X y A4X Max, dependen del daemon de NVIDIA Internode Memory Exchange (IMEX) para administrar el dominio de NVLink de varios nodos. Para diagnosticar problemas del dominio de IMEX, se requiere el estado del dominio de IMEX en los nodos y los registros del daemon de IMEX.

Antes de comenzar

Para conocer todos los requisitos previos y las instrucciones de configuración, consulta el archivo README del informe de errores de GPU. En la siguiente lista, se resumen los requisitos previos:

  • Asegúrate de que el controlador de GPU de NVIDIA esté instalado en tu VM de Compute Engine o en el nodo de GKE.
  • En las VMs de Compute Engine, configura Docker para que se autentique en Artifact Registry, de modo que Docker pueda extraer la imagen de contenedor del recopilador.
  • Opcional: En las VMs de Compute Engine que ejecutan un SO que no es COS (por ejemplo, Ubuntu, Debian o un SO de la familia RHEL), instala y configura el NVIDIA Container Toolkit para Docker. Si el kit de herramientas no está disponible, run-goog-gpu-bug-report.sh intenta activar los directorios del controlador de NVIDIA del host.
  • Opcional: Para subir el informe de errores a un bucket de Cloud Storage, verifica que la cuenta de servicio de la VM o del nodo de GKE tenga acceso de escritura al bucket.

Genera un informe de errores de GPU completo

Usa el recopilador de informes de errores de GPU de Google Cloud de código abierto para recopilar todos los registros de diagnóstico anteriores en un solo comando en Container-Optimized OS (COS) y otras distribuciones de Linux, incluidos Ubuntu, Debian y los sistemas operativos invitados de la familia RHEL (como Rocky Linux), en instancias x86 (linux/amd64) y Arm (linux/arm64).

Cómo se manejan los módulos de kernel de MFT

Para las GPUs Blackwell y posteriores, el recopilador instala automáticamente las herramientas de espacio de usuario de MFT dentro del contenedor y controla los módulos de kernel de MFT (mst_pci y mst_pciconf) según el sistema operativo invitado:

  • Container-Optimized OS (COS): Descarga y carga los módulos de kernel de MFT precompilados y firmados por COS que coinciden con la versión de kernel de COS en ejecución.
  • Otras distribuciones de Linux (incluidos Ubuntu, Debian y los SO de la familia RHEL): Intenta compilar y cargar los módulos de kernel de MFT desde la fuente con DKMS en los encabezados del kernel en ejecución del host.
  • Resguardo automático sin controladores: Tanto en COS como en otras distribuciones de Linux, si la carga o la compilación de los módulos de kernel de MFT fallan, el recopilador vuelve automáticamente al modo de MFT sin controladores, que sigue recopilando los diagnósticos de NVLink de la GPU a través del controlador de NVIDIA.

Ejecuta el recopilador

  1. Conéctate a tu instancia de GPU de Linux.

  2. Ejecuta el recopilador para tu entorno:

    • En una VM de Compute Engine: Descarga y ejecuta run-goog-gpu-bug-report.sh:

      bash run-goog-gpu-bug-report.sh
      

      Para subir también el archivo .tar.gz generado a un bucket de Cloud Storage, pasa --gcs_bucket después de --:

      bash run-goog-gpu-bug-report.sh -- --gcs_bucket=BUCKET_NAME
      
    • En un clúster de GKE: Actualiza GKE_NODE_NAME y NUMBER_OF_GPUS en bug-report-pod.yaml y aplica el manifiesto del Pod (consulta el README para obtener más detalles):

      kubectl apply -f bug-report-pod.yaml
      

Marcas del recopilador y ubicación de salida

De forma predeterminada, el recopilador escribe los archivos de diagnóstico individuales y los agrupa en un solo archivo en la siguiente ruta de acceso de la VM host:

/tmp/goog_gpu_bug_reports/utc_TIMESTAMP/vm_id_VM_ID/goog_gpu_bug_report_VM_ID_utc_TIMESTAMP.tar.gz

Puedes pasar las siguientes marcas de recopilador (después de -- cuando uses run-goog-gpu-bug-report.sh):

Marca del recopilador Descripción
--gcs_bucket=BUCKET_NAME Sube el archivo de informe de errores .tar.gz empaquetado al bucket de Cloud Storage especificado (gs://BUCKET_NAME/bug_report/utc_TIMESTAMP/vm_id_VM_ID/).
--mft_kernel_modules=auto Predeterminado. Intenta cargar módulos de kernel de MFT (módulos firmados por COS en COS o compilación de DKMS en otras distribuciones de Linux) y recurre automáticamente a MFT sin controladores si falla la carga del módulo.
--mft_kernel_modules=never Omite la compilación o carga de módulos de kernel de MFT en el host (y los descarga si ya están cargados), lo que ejecuta MFT en modo sin controladores.

Por ejemplo, para ejecutar MFT en modo sin controladores sin cargar módulos de kernel en el host y subir el informe a un bucket de Cloud Storage, haz lo siguiente:

bash run-goog-gpu-bug-report.sh -- --mft_kernel_modules=never --gcs_bucket=BUCKET_NAME

Para obtener comandos directos de docker run, compilaciones de imágenes personalizadas y, también, instrucciones para verificar el resultado de MFT dentro de nvidia-bug-report.log.gz, consulta el archivo README del recopilador.