Monitorar a integridade do Cloud TPU
O monitoramento de integridade do Cloud TPU fornece informações em tempo real sobre o status de integridade das VMs e frações de TPU. Usando o console do Cloud Monitoring ou a Google Cloud CLI, é possível identificar falhas de hardware à medida que ocorrem e realocar recursos, evitando falhas de jobs e minimizando a degradação de desempenho.
O monitoramento de integridade do TPU atribui um status HEALTHY ou UNHEALTHY a cada
instância de TPU em uso. As TPUs que funcionam conforme o esperado recebem um HEALTHY
status, e aquelas que não estão mais funcionais ou que estão com desempenho muito
reduzido recebem um UNHEALTHY status.
Além de um status de integridade, o monitoramento de integridade do TPU fornece métricas de registro para jobs específicos. É possível usar essas métricas para diagnosticar ainda mais problemas de integridade e desempenho do TPU que não são causados por problemas de hardware.
Detecção de TPU não íntegra
Quando o monitoramento de integridade do TPU atribui um status UNHEALTHY a um TPU, ele fornece informações de identificação do TPU com falha pelo endpoint de serviço compute.googleapis.com/instance/tpu/infra_health.
Causas do status de integridade do TPU
Uma máquina é categorizada como UNHEALTHY quando há problemas com o hardware físico. Quando uma máquina é categorizada como UNHEALTHY, o monitoramento de integridade do TPU fornece uma das seguintes causas:
BAD_TPU_CHIP: uma falha física no próprio hardware da TPU. A VM pode estar em execução conforme o esperado, mas uma TPU conectada a ela está com falha.NETWORKING_ISSUE: problemas de hardware na comunicação de rede subjacente entre os diferentes workers ou componentes do sistema de TPU distribuído, como chamadas de procedimento remoto (RPCs, na sigla em inglês) de transferência descartadas.BAD_SC_CHIP: uma falha física em um SparseCore de um chip de TPU.
Rótulos de métrica
O monitoramento de integridade do TPU fornece os seguintes rótulos de métrica para identificar a TPU não íntegra específica:
| Nome do rótulo | Tipo | Descrição |
|---|---|---|
health_status |
STRING |
O estado geral de integridade da instância de TPU. |
unhealthy_category |
STRING |
A causa do status de integridade. Esse rótulo é preenchido apenas quando o valor da métrica é UNHEALTHY. |
machine_type |
STRING |
O tipo de máquina do Compute Engine da instância. |
reservation_id |
STRING |
O ID da reserva da máquina física. |
O monitoramento de integridade do TPU também fornece os seguintes rótulos de recursos:
| Nome do rótulo | Tipo | Descrição |
|---|---|---|
project |
STRING |
O número do projeto. |
service |
STRING |
O serviço de API (compute.googleapis.com). |
resource_type |
STRING |
A instância de VM. |
location |
STRING |
A zona da instância. |
resource_id |
STRING |
O ID da instância do Compute Engine. |
O monitoramento de integridade do TPU fornece os seguintes rótulos de métrica adicionais para reservas de modo de capacidade total pelo TPU Cluster Director:
| Nome do rótulo | Tipo | Descrição |
|---|---|---|
machine_id |
STRING |
O ID da máquina física que hospeda a VM. |
block_id |
STRING |
O ID do bloco no cluster que hospeda a VM. |
cluster_id |
STRING |
O ID do cluster que hospeda a VM. |
subblock_id |
STRING |
O ID do sub-bloco que hospeda a VM. |
Logging
Uma máquina sem problemas físicos pode ser prejudicada ou não funcional devido a problemas não relacionados ao hardware. Nesses casos, o monitoramento de integridade do TPU continua categorizando a máquina como HEALTHY, mas também registra possíveis causas do problema com o Cloud Logging no projeto associado. Os registros fornecem detalhes sobre o problema, incluindo uma breve descrição, a possível causa raiz, possíveis culpados e próximas etapas acionáveis.
Os registros contêm uma das seguintes causas:
FINGERPRINT_MISMATCH: programas que deveriam executar o mesmo módulo de TPU contêm impressões digitais binárias diferentes. Isso provavelmente ocorre devido a inconsistências causadas por problemas do compilador.DATA_INPUT_STALL: as TPUs ficam presas durante operações de acesso direto à memória (DMA) ou transferências de dados. As TPUs não podem continuar até que as operações de DMA sejam concluídas.UNRECOVERABLE_ERROR: um ou mais workers encontraram um erro irrecuperável e estão em um estado indefinido.DIFFERENT_MODULE: os workers estão executando módulos de TPU diferentes quando deveriam estar executando o mesmo módulo.UNKNOWN_CAUSE: causa indeterminada do erro.
É possível conferir os registros usando a Análise de registros ou a API Logs. Para mais informações sobre Google Cloud o Logging, consulte Google Cloud Logging.
Como monitorar com o console
O painel de monitoramento no Google Cloud console fornece visualizações em tempo real do status de integridade da máquina, tendências históricas e contagens totais. A tabela Evento de falha vincula falhas de jobs às causas raiz.
Para visualizar um painel pré-criado no Cloud Monitoring:
- No Google Cloud console, acesse a página do Cloud Monitoring.
Acessar o console do Monitoring - No painel de navegação, clique em Painéis.
- No campo Pesquisa de filtros, insira "Painel de integridade da instância de TPU".
O painel mostra as seguintes métricas por padrão:
- Integridade geral da instância de TPU: a porcentagem de instâncias de TPU que são
categorizadas como
HEALTHY. - Número de instâncias: o número total de instâncias de TPU em uso.
- Número de instâncias de TPU íntegras: o número total de instâncias de TPU
categorizadas como
HEALTHY. - Número de instâncias de TPU não íntegras: o número total de instâncias de TPU
categorizadas como
UNHEALTHY. - Distribuição de integridade da infraestrutura de VM: o número de instâncias
HEALTHYao longo do tempo.
Para adicionar uma consulta personalizada, clique em Adicionar consulta e escreva uma consulta PromQL. Por exemplo, a consulta a seguir recupera todas as instâncias de TPU não íntegras:
count({__name__="compute.googleapis.com/instance/tpu/infra_health", monitored_resource="gce_instance", health_status="UNHEALTHY"})
Para mais informações sobre como monitorar com o Google Cloud console, consulte a documentação do Cloud Monitoring.
Como monitorar com a CLI
A Google Cloud CLI fornece dados de integridade de TPU em tempo real. O exemplo de solicitação a seguir recupera todas as TPUs UNHEALTHY:
export TOKEN=$(gcloud auth application-default print-access-token)
export PROMQL_QUERY='count({__name__="compute.googleapis.com/instance/tpu/infra_health", monitored_resource="gce_instance", health_status="UNHEALTHY"})'
export LOCATION="global"
curl -G \
--header "Authorization: Bearer ${TOKEN}" \
--header "Content-Type: application/json" \
--header "X-Goog-User-Project: ${PROJECT_ID}" \
--data-urlencode "query=${PROMQL_QUERY}" \
"https://monitoring.googleapis.com/v1/projects/${PROJECT_ID}/location/${LOCATION}/prometheus/api/v1/query"
Uma resposta semelhante a esta vai aparecer:
{"status":"success","data":{"resultType":"vector","result":[65]}}
Para mais informações sobre a CLI gcloud, consulte Visão geral da CLI gcloud.