Gerar um relatório de bugs para GPUs Blackwell e posteriores

Neste documento, explicamos como gerar um relatório de bugs abrangente de GPU para VMs do Compute Engine e nós do Google Kubernetes Engine (GKE) que usam GPUs NVIDIA Blackwell e arquiteturas posteriores. Para identificar qual modelo de GPU seu tipo de máquina usa, consulte Modelos de GPU.

Para as arquiteturas de GPU NVIDIA Blackwell e posteriores, o script padrão nvidia-bug-report.sh não captura todos os dados de hardware e malha de baixo nível necessários para resolver problemas como erros de Xid de GPU ou degradação de desempenho de vários nós. Um relatório de bugs de GPU abrangente inclui os seguintes dados de diagnóstico:

  • Diagnóstico padrão de GPU e sistema: estado da GPU, registros de driver, informações de barramento PCI e registros de kernel de nvidia-bug-report.sh, além de topologia de interconexão de GPU, NIC e CPU, estatísticas de E/S de armazenamento e status de dispositivo e porta RDMA (útil para tipos de máquina com links de NIC NVIDIA ConnectX).
  • Dados das ferramentas de firmware da NVIDIA (MFT): nas GPUs Blackwell e posteriores, o nvidia-bug-report.sh usa o MFT da NVIDIA para coletar o status da camada física das conexões NVLink, os valores de registro interno da GPU e os segmentos de diagnóstico brutos do firmware.
  • Diagnóstico de domínio do NVIDIA IMEX: os tipos de máquina NVLink de vários nós, como A4X e A4X Max, dependem do daemon NVIDIA Internode Memory Exchange (IMEX) para gerenciar o domínio NVLink de vários nós. Para diagnosticar problemas de domínio do NVLink, é necessário o status do domínio do IMEX nos nós e os registros do daemon do IMEX.

Antes de começar

Para ver todos os pré-requisitos e instruções de configuração, consulte o README do relatório de bugs da GPU. A lista a seguir resume os pré-requisitos:

  • Verifique se o driver da GPU NVIDIA está instalado na VM do Compute Engine ou no nó do GKE.
  • Nas VMs do Compute Engine, configure o Docker para autenticar no Artifact Registry para que ele possa extrair a imagem do contêiner do coletor.
  • Opcional: em VMs do Compute Engine que executam um SO que não é COS (por exemplo, Ubuntu, Debian ou um SO da família RHEL), instale e configure o NVIDIA Container Toolkit para Docker. Se o kit de ferramentas não estiver disponível, o run-goog-gpu-bug-report.sh tentará montar os diretórios do driver NVIDIA do host.
  • Opcional: para fazer upload do relatório de bugs em um bucket do Cloud Storage, verifique se a conta de serviço da VM ou do nó do GKE tem acesso de gravação ao bucket.

Gerar um relatório de bugs abrangente da GPU

Use o Coletor de relatórios de bugs de Cloud GPUs do Google Cloud de código aberto para coletar todos os registros de diagnóstico anteriores em um único comando no Container-Optimized OS (COS) e em outras distribuições do Linux, incluindo Ubuntu, Debian e sistemas operacionais convidados da família RHEL (como o Rocky Linux), em instâncias x86 (linux/amd64) e Arm (linux/arm64).

Como os módulos do kernel do MFT são processados

Para GPUs Blackwell e posteriores, o coletor instala automaticamente as ferramentas de espaço do usuário do MFT no contêiner e processa os módulos do kernel do MFT (mst_pci e mst_pciconf) com base no sistema operacional convidado:

  • Container-Optimized OS (COS): faz o download e carrega os módulos do kernel do MFT pré-compilados e assinados pelo COS que correspondem à versão do kernel do COS em execução.
  • Outras distribuições do Linux (incluindo Ubuntu, Debian e sistemas operacionais da família RHEL): tenta criar e carregar os módulos do kernel do MFT da origem usando o DKMS com os cabeçalhos do kernel em execução do host.
  • Fallback automático sem driver: no COS e em outras distribuições do Linux, se o carregamento ou a criação dos módulos do kernel do MFT falhar, o coletor vai voltar automaticamente para o modo MFT sem driver, que ainda coleta os diagnósticos do NVLink da GPU pelo driver da NVIDIA.

Executar o coletor

  1. Conecte-se à instância de GPU do Linux.

  2. Execute o coletor para seu ambiente:

    • Em uma VM do Compute Engine: faça o download e execute run-goog-gpu-bug-report.sh:

      bash run-goog-gpu-bug-report.sh
      

      Para também fazer upload do arquivo .tar.gz gerado para um bucket do Cloud Storage, transmita --gcs_bucket depois de --:

      bash run-goog-gpu-bug-report.sh -- --gcs_bucket=BUCKET_NAME
      
    • Em um cluster do GKE: atualize GKE_NODE_NAME e NUMBER_OF_GPUS em bug-report-pod.yaml e aplique o manifesto do pod (consulte o README para mais detalhes):

      kubectl apply -f bug-report-pod.yaml
      

Sinalizações do coletor e local de saída

Por padrão, o coletor grava os arquivos de diagnóstico individuais e os agrupa em um único arquivo no seguinte caminho na VM do host:

/tmp/goog_gpu_bug_reports/utc_TIMESTAMP/vm_id_VM_ID/goog_gpu_bug_report_VM_ID_utc_TIMESTAMP.tar.gz

É possível transmitir as seguintes flags do coletor (depois de -- ao usar run-goog-gpu-bug-report.sh):

Flag do coletor Descrição
--gcs_bucket=BUCKET_NAME Faz upload do arquivo de relatório de bugs .tar.gz agrupado para o bucket do Cloud Storage especificado (gs://BUCKET_NAME/bug_report/utc_TIMESTAMP/vm_id_VM_ID/).
--mft_kernel_modules=auto Padrão. Tenta carregar módulos do kernel MFT (módulos assinados pelo COS no COS ou build DKMS em outras distribuições do Linux) e volta automaticamente para o MFT sem driver se o carregamento do módulo falhar.
--mft_kernel_modules=never Ignora a criação ou o carregamento de módulos do kernel do MFT no host (e os descarrega se já estiverem carregados), executando o MFT no modo sem driver.

Por exemplo, para executar o MFT no modo sem driver sem carregar módulos do kernel no host e fazer upload do relatório em um bucket do Cloud Storage:

bash run-goog-gpu-bug-report.sh -- --mft_kernel_modules=never --gcs_bucket=BUCKET_NAME

Para comandos docker run diretos, builds de imagens personalizadas e instruções sobre como verificar a saída do MFT dentro de nvidia-bug-report.log.gz, consulte o README do coletor.