Monitorar a integridade do Cloud TPU

O monitoramento de integridade do Cloud TPU fornece informações em tempo real sobre o status de integridade das VMs e frações de TPU. Usando o console do Cloud Monitoring ou a Google Cloud CLI, é possível identificar falhas de hardware à medida que ocorrem e realocar recursos, evitando falhas de jobs e minimizando a degradação de desempenho.

O monitoramento de integridade do TPU atribui um status HEALTHY ou UNHEALTHY a cada instância de TPU em uso. As TPUs que funcionam conforme o esperado recebem um HEALTHY status, e aquelas que não estão mais funcionais ou que estão com desempenho muito reduzido recebem um UNHEALTHY status.

Além de um status de integridade, o monitoramento de integridade do TPU fornece métricas de registro para jobs específicos. É possível usar essas métricas para diagnosticar ainda mais problemas de integridade e desempenho do TPU que não são causados por problemas de hardware.

Detecção de TPU não íntegra

Quando o monitoramento de integridade do TPU atribui um status UNHEALTHY a um TPU, ele fornece informações de identificação do TPU com falha pelo endpoint de serviço compute.googleapis.com/instance/tpu/infra_health.

Causas do status de integridade do TPU

Uma máquina é categorizada como UNHEALTHY quando há problemas com o hardware físico. Quando uma máquina é categorizada como UNHEALTHY, o monitoramento de integridade do TPU fornece uma das seguintes causas:

  • BAD_TPU_CHIP: uma falha física no próprio hardware da TPU. A VM pode estar em execução conforme o esperado, mas uma TPU conectada a ela está com falha.
  • NETWORKING_ISSUE: problemas de hardware na comunicação de rede subjacente entre os diferentes workers ou componentes do sistema de TPU distribuído, como chamadas de procedimento remoto (RPCs, na sigla em inglês) de transferência descartadas.
  • BAD_SC_CHIP: uma falha física em um SparseCore de um chip de TPU.

Rótulos de métrica

O monitoramento de integridade do TPU fornece os seguintes rótulos de métrica para identificar a TPU não íntegra específica:

Nome do rótulo Tipo Descrição
health_status STRING O estado geral de integridade da instância de TPU.
unhealthy_category STRING A causa do status de integridade. Esse rótulo é preenchido apenas quando o valor da métrica é UNHEALTHY.
machine_type STRING O tipo de máquina do Compute Engine da instância.
reservation_id STRING O ID da reserva da máquina física.

O monitoramento de integridade do TPU também fornece os seguintes rótulos de recursos:

Nome do rótulo Tipo Descrição
project STRING O número do projeto.
service STRING O serviço de API (compute.googleapis.com).
resource_type STRING A instância de VM.
location STRING A zona da instância.
resource_id STRING O ID da instância do Compute Engine.

O monitoramento de integridade do TPU fornece os seguintes rótulos de métrica adicionais para reservas de modo de capacidade total pelo TPU Cluster Director:

Nome do rótulo Tipo Descrição
machine_id STRING O ID da máquina física que hospeda a VM.
block_id STRING O ID do bloco no cluster que hospeda a VM.
cluster_id STRING O ID do cluster que hospeda a VM.
subblock_id STRING O ID do sub-bloco que hospeda a VM.

Logging

Uma máquina sem problemas físicos pode ser prejudicada ou não funcional devido a problemas não relacionados ao hardware. Nesses casos, o monitoramento de integridade do TPU continua categorizando a máquina como HEALTHY, mas também registra possíveis causas do problema com o Cloud Logging no projeto associado. Os registros fornecem detalhes sobre o problema, incluindo uma breve descrição, a possível causa raiz, possíveis culpados e próximas etapas acionáveis.

Os registros contêm uma das seguintes causas:

  • FINGERPRINT_MISMATCH: programas que deveriam executar o mesmo módulo de TPU contêm impressões digitais binárias diferentes. Isso provavelmente ocorre devido a inconsistências causadas por problemas do compilador.
  • DATA_INPUT_STALL: as TPUs ficam presas durante operações de acesso direto à memória (DMA) ou transferências de dados. As TPUs não podem continuar até que as operações de DMA sejam concluídas.
  • UNRECOVERABLE_ERROR: um ou mais workers encontraram um erro irrecuperável e estão em um estado indefinido.
  • DIFFERENT_MODULE: os workers estão executando módulos de TPU diferentes quando deveriam estar executando o mesmo módulo.
  • UNKNOWN_CAUSE: causa indeterminada do erro.

É possível conferir os registros usando a Análise de registros ou a API Logs. Para mais informações sobre Google Cloud o Logging, consulte Google Cloud Logging.

Como monitorar com o console

O painel de monitoramento no Google Cloud console fornece visualizações em tempo real do status de integridade da máquina, tendências históricas e contagens totais. A tabela Evento de falha vincula falhas de jobs às causas raiz.

Para visualizar um painel pré-criado no Cloud Monitoring:

  1. No Google Cloud console, acesse a página do Cloud Monitoring.
    Acessar o console do Monitoring
  2. No painel de navegação, clique em Painéis.
  3. No campo Pesquisa de filtros, insira "Painel de integridade da instância de TPU".

O painel mostra as seguintes métricas por padrão:

  • Integridade geral da instância de TPU: a porcentagem de instâncias de TPU que são categorizadas como HEALTHY.
  • Número de instâncias: o número total de instâncias de TPU em uso.
  • Número de instâncias de TPU íntegras: o número total de instâncias de TPU categorizadas como HEALTHY.
  • Número de instâncias de TPU não íntegras: o número total de instâncias de TPU categorizadas como UNHEALTHY.
  • Distribuição de integridade da infraestrutura de VM: o número de instâncias HEALTHY ao longo do tempo.

Para adicionar uma consulta personalizada, clique em Adicionar consulta e escreva uma consulta PromQL. Por exemplo, a consulta a seguir recupera todas as instâncias de TPU não íntegras:

count({__name__="compute.googleapis.com/instance/tpu/infra_health", monitored_resource="gce_instance", health_status="UNHEALTHY"})

Para mais informações sobre como monitorar com o Google Cloud console, consulte a documentação do Cloud Monitoring.

Como monitorar com a CLI

A Google Cloud CLI fornece dados de integridade de TPU em tempo real. O exemplo de solicitação a seguir recupera todas as TPUs UNHEALTHY:

export TOKEN=$(gcloud auth application-default print-access-token)

export PROMQL_QUERY='count({__name__="compute.googleapis.com/instance/tpu/infra_health", monitored_resource="gce_instance", health_status="UNHEALTHY"})'

export LOCATION="global"

curl -G \
  --header "Authorization: Bearer ${TOKEN}" \
  --header "Content-Type: application/json" \
  --header "X-Goog-User-Project: ${PROJECT_ID}" \
  --data-urlencode "query=${PROMQL_QUERY}" \
  "https://monitoring.googleapis.com/v1/projects/${PROJECT_ID}/location/${LOCATION}/prometheus/api/v1/query"

Uma resposta semelhante a esta vai aparecer:

{"status":"success","data":{"resultType":"vector","result":[65]}}

Para mais informações sobre a CLI gcloud, consulte Visão geral da CLI gcloud.