Denunciar um host com falha

Se uma instância A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega e A3 High (8 GPUs) tiver problemas de hardware que você não consegue resolver por conta própria, como desempenho mais lento ou temperaturas de GPU consistentemente altas, informe que o host está com defeito para minimizar o tempo de inatividade da carga de trabalho.

Neste documento, descrevemos como informar um host com falha e acompanhar o status de reparo de clusters do Slurm e de outros clusters que usam instâncias do Compute Engine. Para informar hosts com falha em um cluster do Google Kubernetes Engine (GKE), consulte Informar hosts com falha pelo GKE.

Limitações

Ao denunciar um host com falha, as seguintes limitações se aplicam:

  • Só é possível informar um host com falha se a instância de computação em execução nele atender a todas as seguintes condições:

    • A instância de computação está em execução.

    • A instância de computação usa um tipo de máquina A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega e A3 High (8 GPUs).

    • A instância de computação usa o modelo de provisionamento padrão, de início flexível ou vinculado à reserva.

  • Se você excluir uma instância de computação enquanto a operação reportHostAsFaulty estiver em andamento, ela reportHostAsFaultyvai falhar.

  • OGoogle Cloud faz o possível para atender a todas as solicitações de relatório de host com falha. No entanto, devido a restrições de capacidade ou limitação de taxa, uma solicitação nem sempre é atendida.

Entender o processo de relatório de host com falha

Depois que você relata um host com falha para uma instância de computação, o tempo de reinicialização da instância varia de acordo com o modo operacional de reserva especificado na reserva que a instância de computação usa. Para verificar o modo operacional de uma reserva, confira o campo reservationOperationalMode na reserva. A tabela a seguir resume o processo de host com falha para os dois modos operacionais de reserva disponíveis: modo de capacidade total e modo gerenciado.
Modo de capacidade total (ALL_CAPACITY) Modo gerenciado (HIGHLY_AVAILABLE_CAPACITY)
Tipos de máquina compatíveis A4X Max e A4X A4, A3 Ultra, A3 Mega e A3 High (8 GPUs)
Limitação de taxa da API de relatório de host com falha Não há limites de taxa. As chamadas de API podem ter limitação de taxa.
Processo de relatório de host com falha

Quando você informa um host com falha para uma instância de computação que é executada no modo de capacidade total, ocorre o seguinte:

  1. Informar o host com falha: a instância de computação permanece no estado RUNNING durante toda a operação de informar o host com falha, que geralmente leva entre 10 e 12 minutos para ser concluída. Para analisar o estado da operação, consulte Analisar operações de host com falha no relatório neste documento.
  2. Reparar o host: depois que a operação de relatório de host com falha é concluída, a operação de reparo do host começa em um minuto. Quando a operação de reparo do host começa, a instância de computação é interrompida e o estado dela muda dependendo da configuração de reinicialização automática (automaticRestart) especificada para a instância de computação:

    • Se a reinicialização automática estiver ativada para a instância de computação, o estado dela será alterado para REPAIRING.
    • Se a reinicialização automática estiver desativada para a instância de computação, o estado dela vai mudar para TERMINATED.

    O reparo do host com falha pode levar de 3 a 14 dias ou até mais.

  3. Reiniciar a instância de computação: após a conclusão da operação de reparo do host, ocorre uma das seguintes situações:

    • Se a instância de computação estiver no estado REPAIRING e os recursos estiverem disponíveis quando o reparo for concluído, o Compute Engine reiniciará automaticamente a instância de computação no host reparado.
    • Caso contrário, se a instância de computação estiver no estado TERMINATED ou se os recursos não estiverem disponíveis quando o reparo for concluído, o estado da instância de computação vai permanecer ou mudar para TERMINATED. É preciso reiniciar manualmente a instância de computação quando quiser que ela seja executada. No entanto, se os recursos não estiverem disponíveis quando você reiniciar a instância de computação, por exemplo, se outras instâncias de computação já estiverem usando o host reparado, a reinicialização poderá falhar.

Quando você informa um host com falha para uma instância de computação que é executada no modo gerenciado, ocorre o seguinte:

  1. Informar o host com falha: a instância de computação permanece no estado RUNNING durante toda a operação de informar o host com falha, que geralmente leva de 10 a 12 minutos para ser concluída. Para analisar o estado da operação, consulte Relatório de resenhas de operações de host com falha neste documento.
  2. Começar a reparar o host: depois que a operação de relatório de host com falha for concluída, a operação de reparo do host será iniciada em um minuto.

    O comportamento da instância de computação quando a operação de reparo do host começa varia de acordo com a série de máquinas:

    • A4 e A3 Ultra: o Compute Engine tenta migrar em tempo real a instância de computação para um host diferente. Se você não tiver capacidade reservada suficiente ou se a capacidade não estiver disponível na zona da instância de computação, ela será interrompida.
    • A3 Mega e A3 High: o Compute Engine interrompe a instância de computação e a reinicia em um host íntegro.

    Se uma instância de computação for interrompida, o estado dela vai mudar dependendo da configuração de reinicialização automática (automaticRestart) especificada para a instância:

    • Se a reinicialização automática estiver ativada para a instância de computação, o estado dela será alterado para REPAIRING. A menos que você interrompa a instância de computação primeiro, ela será reiniciada automaticamente quando o host estiver íntegro.
    • Se a reinicialização automática estiver desativada para a instância de computação, o estado dela vai mudar para TERMINATED. Depois que o host estiver íntegro, você precisará reiniciar manualmente a instância de computação.

    O reparo do host com defeito original pode levar de 3 a 14 dias ou até mais, às vezes.

  3. Migrar ou reiniciar a instância de computação: depois que a operação de reparo do host é iniciada, o Compute Engine tenta reservar um host íntegro para substituir o host com falha na capacidade reservada. Se o Compute Engine encontrar um host de substituição, vai acontecer o seguinte:

    • A4 e A3 Ultra: se a instância de computação foi migrada em tempo real na etapa anterior, ela continua em execução no host de substituição. Se a instância de computação tiver sido interrompida, ela será reiniciada no host de substituição.
    • A3 Mega e A3 High: a instância de computação é reiniciada no host de substituição.

    Se o Compute Engine não encontrar um host de substituição imediatamente, a instância de computação será reiniciada da seguinte maneira:

    • Se a instância de computação estiver no estado REPAIRING e os recursos estiverem disponíveis antes ou quando o reparo for concluído, o Compute Engine vai reiniciar automaticamente a instância de computação em um host íntegro.
    • Caso contrário, se a instância de computação estiver no estado TERMINATED ou se os recursos não estiverem disponíveis antes ou quando o reparo for concluído, o estado da instância de computação vai permanecer ou mudar para TERMINATED. É preciso reiniciar manualmente a instância de computação quando quiser que ela seja executada.

    Ao contrário do modo de capacidade total, não é necessário esperar que o host original com falha seja reparado antes que a carga de trabalho possa ser retomada.

Resolver problemas antes de informar um host com falha

Antes de informar um host com falha, recomendamos que você resolva o problema para confirmar se é um problema de hardware, e não um problema com a configuração da carga de trabalho ou do cluster. Essa abordagem ajuda a evitar inatividade desnecessária para as cargas de trabalho.

Verificar se há erros de memória da GPU ou Xid

Se você observar erros de memória da GPU ou Xid em uma instância de computação, verifique se as medidas de recuperação manual, como redefinir as GPUs ou reiniciar a instância de computação, podem resolver o problema antes de informar que o host está com defeito. Para mais informações, consulte Analisar mensagens Xid.

Verificar problemas de desempenho da GPU e atrasos

Se você notar um desempenho lento, use o serviço de detecção de retardatários para identificar instâncias de computação que podem estar com um desempenho mais lento do que outras no cluster.

Monitorar temperaturas da GPU e violações térmicas

Se você encontrar avisos de violação térmica nos registros ou relatados pelo DCGM, consulte as seguintes orientações:

  • Avisos versus erros críticos: o diagnóstico do DCGM pode relatar violações térmicas como avisos com uma gravidade de monitor. Essa gravidade significa que as GPUs ainda estão prontas para executar cargas de trabalho, mas recomendamos que você as monitore.

  • Falsos positivos: a NVIDIA está investigando um aumento na frequência de relatórios de violação térmica em GPUs que não mostram sinais de problemas térmicos reais.

  • Recomendação: antes de informar que um host está com defeito devido a avisos térmicos, verifique se as temperaturas reais da GPU excedem os limites seguros e se a performance da carga de trabalho é afetada. Se as temperaturas permanecerem estáveis e o desempenho estiver normal, recomendamos que você monitore a GPU em vez de informar que ela está com defeito.

Para mais informações sobre solução de problemas de GPU, consulte Solução de problemas de VMs de GPU na documentação do Compute Engine.

Antes de começar

Selecione a guia para como planeja usar as amostras nesta página:

Console

Quando você usa o console do Google Cloud para acessar os serviços e as APIs do Google Cloud , não é necessário configurar a autenticação.

gcloud

No console do Google Cloud , ative o Cloud Shell.

Ativar o Cloud Shell

Na parte de baixo do console do Google Cloud , uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.

REST

Para usar as amostras da API REST desta página em um ambiente de desenvolvimento local, use as credenciais fornecidas para a CLI gcloud.

    Instale a CLI do Google Cloud.

    Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.

Saiba mais em Autenticar para usar REST na documentação de autenticação do Google Cloud .

Funções exigidas

Para receber as permissões necessárias para informar um host com falha, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para informar um host com falha. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para informar um host com falha:

  • Para informar um host com falha: compute.instances.update na instância de computação ou no projeto
  • Para ver uma lista de operações usando o Logging: logging.logEntries.list no projeto
  • Para ver uma lista de operações no Compute Engine: compute.zoneOperations.list no projeto
  • Para ver os detalhes de uma operação no Compute Engine: compute.zoneOperations.get no projeto

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Reportar um host com falha

Para informar um host com falha, siga estas etapas:

  1. Analise o host em que a instância de computação é executada. Verifique o ID do host em que a instância de computação é executada.

    Para instruções, consulte Ver a topologia de uma instância de computação.

  2. Opcional: faça backup dos dados do SSD local. Quando a instância de computação é interrompida, o Compute Engine descarta automaticamente os dados de todos os discos SSD locais anexados a ela. Não é possível recuperar dados do SSD local depois que o Compute Engine os descarta.

    Para instruções sobre como preservar dados do SSD local, consulte Backup de dados do SSD local.

  3. Denuncie o host com falha. A operação de reparo do host começa imediatamente, em até um minuto após a conclusão da operação de relatório de host com falha. Se a instância de computação não responder depois que você iniciar a operação de relatório de host com falha, aguarde pelo menos 15 minutos e reinicie a instância de computação.

    Para informar um host com falha, selecione uma das seguintes opções:

    gcloud

    Para informar um host com falha, use o comando gcloud compute instances report-host-as-faulty:

    gcloud compute instances report-host-as-faulty INSTANCE_NAME \
        --async \
        --disruption-schedule=IMMEDIATE \
        --fault-reasons=behavior=FAULT_REASON,description=DESCRIPTION \
        --zone=ZONE
    

    Substitua:

    • INSTANCE_NAME: o nome da instância de computação.

    • FAULT_REASON: uma lista de problemas de host que sua instância de computação encontrou, separados por vírgulas, por exemplo, ISSUE_1,ISSUE_2. É possível especificar os seguintes valores:

      • PERFORMANCE: as GPUs anexadas à instância de computação têm problemas de desempenho em comparação com outras GPUs no cluster, você não vê erros Xid nos registros e o Compute Engine não detecta outros padrões de falha comuns, como corrupção silenciosa de dados.

      • SILENT_DATA_CORRUPTION: você vê corrupção de dados na instância de computação, mas ela continua em execução. A corrupção silenciosa de dados pode ser causada por problemas como defeitos de vCPUs, bugs de software ou problemas de kernel.

      • UNRECOVERABLE_GPU_ERROR: você identificou um erro de GPU irrecuperável com um Xid.

      • BEHAVIOR_UNSPECIFIED: você não tem certeza de qual é o problema com sua instância de computação.

    • DESCRIPTION: uma descrição do problema que está afetando sua instância de computação, como informações de Xid ou suspeitas de problemas de desempenho.

    • ZONE: a zona em que a instância de computação está.

    REST

    Para informar um host com falha, faça uma solicitação POST ao método instances.reportHostAsFaulty.

    Ao informar um host com defeito, é possível especificar vários motivos de falha de uma só vez. Por exemplo, para especificar dois motivos de falha, faça uma solicitação da seguinte maneira:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/INSTANCE_NAME/reportHostAsFaulty
    
    {
      "disruptionSchedule": "IMMEDIATE",
      "faultReasons": [
        {
          "behavior": "FAULT_REASON_1",
          "description": "DESCRIPTION_1"
        },
        {
          "behavior": "FAULT_REASON_2",
          "description": "DESCRIPTION_2"
        }
      ]
    }
    

    Substitua:

    • PROJECT_ID: o ID do projeto em que a instância de computação está.

    • ZONE: a zona em que a instância de computação está.

    • INSTANCE_NAME: o nome da instância de computação.

    • FAULT_REASON_1 e FAULT_REASON_2: cada problema de host que a instância de computação encontrou. É possível especificar os seguintes valores:

      • PERFORMANCE: as GPUs anexadas à instância de computação têm problemas de desempenho em comparação com outras GPUs no cluster, você não vê erros de Xid nos registros e o Compute Engine não detecta outros padrões de falha comuns, como corrupção de dados silenciosa.

      • SILENT_DATA_CORRUPTION: você vê corrupção de dados na instância de computação, mas ela continua em execução. A corrupção silenciosa de dados pode ser causada por problemas como defeitos de vCPUs, bugs de software ou problemas de kernel.

      • UNRECOVERABLE_GPU_ERROR: você identificou um erro de GPU irrecuperável com um Xid.

      • BEHAVIOR_UNSPECIFIED: você não tem certeza de qual é o problema com sua instância de computação.

    • DESCRIPTION_1 e DESCRIPTION_2: uma descrição de cada problema de host especificado, como informações de Xid ou suspeitas de problemas de desempenho.

Relatório de resenhas de operações de host com falha

Depois que você relata um host com falha, o Compute Engine inicia uma série de operações para marcar o host como defeituoso e o prepara para reparo. Especificamente, durante uma operação de relatório de host com falha, ocorre o seguinte processo:

  1. Marque o host como defeituoso. O Compute Engine cria a operação de host com falha no relatório. A operação de relatório de host com falha cria uma sequência de suboperações. Essas suboperações marcam o host subjacente como defeituoso.

  2. Prepare o host para reparos. Depois que todas as suboperações forem concluídas, a operação de relatório de host com falha será iniciada. O Compute Engine interrompe a instância de computação e inicia a operação de reparo do host com falha. Dependendo do modo operacional da reserva e da disponibilidade do host, o Compute Engine mantém a instância de computação interrompida ou tenta migrá-la e reiniciá-la.

  3. Conclusão do relatório e reparo do host. O Compute Engine conclui a operação de relatório de host com falha, e a operação de reparo do host é executada.

Para mais informações sobre outras operações que podem ser usadas para rastrear reparos, migração e reinicialização automática, consulte Comportamentos de manutenção e reinicialização e Monitorar e planejar um evento de manutenção do host na documentação do Compute Engine.

Para acompanhar o status das operações de relatório de host com falha (compute.instances.reportHostAsFaulty) no projeto, selecione uma das seguintes opções:

Console (operações de instância)

  1. No console do Google Cloud , acesse a página Operações.

    Acessar "Operações"

  2. Na tabela que aparece, localize a instância de computação que você informou.

  3. Na linha que contém a instância de computação, na coluna Status, é possível ver o status da operação de relatório de host com falha. Quando a operação é concluída, o valor é Concluído.

  4. Opcional: para verificar se o Compute Engine reiniciou a instância de computação, confira os detalhes da instância.

Console (registros de instâncias de computação)

  1. No console do Google Cloud , acesse a página Análise de registros.

    Acessar a Análise de registros

  2. Verifique se a opção Mostrar consulta está ativada.

  3. No Editor de consultas, insira a seguinte consulta:

    resource.type="gce_instance" AND protoPayload.methodName=~"compute\.instances\.reportHostAsFaulty"
    
  4. Clique em Executar consulta. O painel Resultados da consulta mostra os resultados da consulta.

gcloud

  1. Para conferir o status das operações de relatório de host com falha no projeto, use o comando gcloud compute operations list com a flag --filter definida como operationType:reportHostAsFaulty:

    gcloud compute operations list --filter="operationType:reportHostAsFaulty"
    
  2. Se você quiser ver os detalhes de uma operação de host com falha específica, use o comando gcloud compute operations describe:

    gcloud compute operations describe OPERATION_NAME \
        --zone="ZONE"
    

    Substitua:

    • OPERATION_NAME: o nome da operação.

    • ZONE: a zona em que a operação existe.

REST

Para conferir o status das operações de relatório de host com falha no projeto, faça uma solicitação GET ao método zoneOperations.list. No URL da solicitação, inclua o parâmetro de consulta filter definido como items.operationType:reportHostAsFaulty.

GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/operations&filter=items.operationType:reportHostAsFaulty

Substitua:

  • PROJECT_ID: o ID do projeto em que as operações estão.

  • ZONE: a zona em que as operações existem.

A seguir