Esta página descreve problemas conhecidos que podem ocorrer ao executar clusters ou VMs otimizadas para IA. Para problemas com VMs do Compute Engine, consulte Problemas conhecidos do Compute Engine.
Problemas
A seção a seguir lista problemas conhecidos e soluções alternativas para o Hipercomputador de IA.
Interrupções de carga de trabalho em VMs A4 devido a problemas de firmware para GPUs NVIDIA B200
A NVIDIA identificou dois problemas de firmware para GPUs B200, que são usadas pelas VMs A4. Esses problemas podem causar interrupções de carga de trabalho, como o comando nvidia-smi não responder. Se você notar interrupções de carga de trabalho em VMs A4, confirme se uma das seguintes condições é verdadeira:
- O tempo de atividade da VM (
lastStartTimestamp) excede 65 dias. - Os registros mostram uma mensagem de erro
Xid 149que menciona0x02a.
Se uma dessas condições for verdadeira, será necessário redefinir as GPUs anexadas às VMs A4. Para evitar futuras interrupções na carga de trabalho devido a problemas de firmware, recomendamos que você redefina as GPUs pelo menos uma vez a cada 60 dias. Para mais informações, consulte Redefinir GPUs.
O servidor de metadados pode mostrar metadados de VM physicalHost antigos
Depois de um
erro de host ou
usar a
API report faulty host para
mover uma instância de computação para um novo host, ao
consultar o servidor de metadados,
ele poderá mostrar os metadados physicalHost do host anterior da instância de computação.
Para contornar esse problema, faça uma das seguintes ações:
- Use o
instances.getmétodo ou ogcloud compute instances describecomando para recuperar as informaçõesphysicalHostcorretas. - Interrompa e inicie a
instância. Esse processo atualiza as informações
physicalHostno servidor de metadados. - Aguarde 24 horas para que as informações
physicalHostda instância afetada sejam atualizadas.