Supervisa el estado de la Cloud TPU

El monitoreo del estado de las Cloud TPU proporciona información en tiempo real sobre el estado de las VMs y los segmentos de TPU. Con la consola de Cloud Monitoring o la CLI de Google Cloud, puedes identificar las fallas de hardware a medida que ocurren y reasignar recursos, lo que evita fallas en los trabajos y minimiza la degradación del rendimiento.

La supervisión del estado de la TPU asigna un estado HEALTHY o UNHEALTHY a cada instancia de TPU en uso. Las TPU que funcionan según lo esperado reciben el estado HEALTHY, y las que ya no funcionan o tienen un rendimiento muy reducido reciben el estado UNHEALTHY.

Junto con un estado de salud, la supervisión de la salud de la TPU proporciona métricas de registro para trabajos específicos. Puedes usar estas métricas para diagnosticar aún más los problemas de rendimiento y estado de la TPU que no se deben a problemas de hardware.

Detección de TPU en mal estado

Cuando la supervisión del estado de la TPU asigna un estado UNHEALTHY a una TPU, proporciona información de identificación de la TPU con errores a través del extremo de servicio compute.googleapis.com/instance/tpu/infra_health.

Causas del estado de la TPU

Una máquina se clasifica como UNHEALTHY cuando hay problemas con el hardware físico. Cuando una máquina se clasifica como UNHEALTHY, la supervisión del estado de la TPU proporciona una de las siguientes causas:

  • BAD_TPU_CHIP: Es una falla física dentro del hardware de la TPU. Es posible que la VM se ejecute según lo previsto, pero que una TPU conectada a la VM esté defectuosa.
  • NETWORKING_ISSUE: Problemas de hardware en la comunicación de red subyacente entre los diferentes trabajadores o componentes del sistema de TPU distribuido, como las llamadas de procedimiento remoto (RPC) de transferencia descartadas.
  • BAD_SC_CHIP: Es una falla física dentro de un SparseCore de un chip de TPU.

Etiquetas de métricas

La supervisión del estado de la TPU proporciona las siguientes etiquetas de métricas para identificar la TPU específica en mal estado:

Nombre de la etiqueta Tipo Descripción
health_status STRING Es el estado general de la instancia de TPU.
unhealthy_category STRING Es la causa del estado de salud. Esta etiqueta solo se propaga cuando el valor de la métrica es UNHEALTHY.
machine_type STRING Es el tipo de máquina de Compute Engine de la instancia.
reservation_id STRING Es el ID de la reserva de la máquina física.

La supervisión del estado de la TPU también proporciona las siguientes etiquetas de recursos:

Nombre de la etiqueta Tipo Descripción
project STRING Número del proyecto.
service STRING Servicio de API (compute.googleapis.com).
resource_type STRING Es la instancia de VM.
location STRING Zona de la instancia.
resource_id STRING Es el ID de la instancia de Compute Engine.

La supervisión del estado de la TPU proporciona las siguientes etiquetas de métricas adicionales para las reservas en el modo All Capacity a través de Cluster Director de TPU:

Nombre de la etiqueta Tipo Descripción
machine_id STRING Es el ID de la máquina física que aloja la VM.
block_id STRING Es el ID del bloque dentro del clúster que aloja la VM.
cluster_id STRING Es el ID del clúster que aloja la VM.
subblock_id STRING Es el ID del subbloque que aloja la VM.

Logging

Una máquina sin problemas físicos puede estar dañada o no funcionar debido a problemas no relacionados con el hardware. En estos casos, la supervisión del estado de la TPU sigue clasificando la máquina como HEALTHY, pero también registra las posibles causas del problema con Cloud Logging en el proyecto asociado. En los registros, se proporcionan detalles sobre el problema, como una breve descripción, la posible causa raíz, los posibles culpables y los próximos pasos prácticos.

Los registros contienen una de las siguientes causas:

  • FINGERPRINT_MISMATCH: Los programas que se espera que ejecuten el mismo módulo de TPU contienen diferentes huellas digitales binarias. Es probable que esto se deba a incoherencias causadas por problemas del compilador.
  • DATA_INPUT_STALL: Las TPU se bloquean durante las operaciones de acceso directo a la memoria (DMA) o las transferencias de datos. Las TPU no pueden continuar hasta que se completen las operaciones de DMA.
  • UNRECOVERABLE_ERROR: Uno o más trabajadores encontraron un error irrecuperable y se encuentran en un estado indefinido.
  • DIFFERENT_MODULE: Los trabajadores ejecutan diferentes módulos de TPU cuando se espera que ejecuten el mismo módulo.
  • UNKNOWN_CAUSE: Causa indeterminada del error.

Puedes ver los registros con el Explorador de registros o la API de Logging. Para obtener más información sobre el registro de Google Cloud , consulta Google CloudLogging.

Supervisión con la consola

El panel de supervisión de la consola de Google Cloud proporciona visualizaciones en tiempo real del estado de las máquinas, las tendencias históricas y los recuentos totales. La tabla Evento de falla vincula las fallas del trabajo con sus causas raíz.

Para ver un panel prediseñado en Cloud Monitoring, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página Cloud Monitoring.
    Ir a la consola de Monitoring
  2. En el panel de navegación, haz clic en Paneles.
  3. En el campo Filter search, ingresa "Panel de instancias de TPU".

En el panel, se muestran las siguientes métricas de forma predeterminada:

  • Estado general de las instancias de TPU: Es el porcentaje de instancias de TPU que se categorizan como HEALTHY.
  • Cantidad de instancias: Es la cantidad total de instancias de TPU en uso.
  • Cantidad de instancias de TPU en buen estado: Es la cantidad total de instancias de TPU categorizadas como HEALTHY.
  • Cantidad de instancias de TPU en mal estado: Es la cantidad total de instancias de TPU categorizadas como UNHEALTHY.
  • Distribución del estado de la infraestructura de la VM: Es la cantidad de instancias de HEALTHY a lo largo del tiempo.

Para agregar una consulta personalizada, haz clic en Agregar consulta y escribe una consulta de PromQL. Por ejemplo, la siguiente consulta recupera todas las instancias de TPU en mal estado:

count({__name__="compute.googleapis.com/instance/tpu/infra_health", monitored_resource="gce_instance", health_status="UNHEALTHY"})

Para obtener más información sobre el monitoreo con la consola de Google Cloud , consulta la documentación de Cloud Monitoring.

Supervisión con la CLI

Google Cloud CLI proporciona datos de estado de la TPU en tiempo real. En el siguiente ejemplo de solicitud, se recuperan todas las TPU UNHEALTHY:

export TOKEN=$(gcloud auth application-default print-access-token)

export PROMQL_QUERY='count({__name__="compute.googleapis.com/instance/tpu/infra_health", monitored_resource="gce_instance", health_status="UNHEALTHY"})'

export LOCATION="global"

curl -G \
  --header "Authorization: Bearer ${TOKEN}" \
  --header "Content-Type: application/json" \
  --header "X-Goog-User-Project: ${PROJECT_ID}" \
  --data-urlencode "query=${PROMQL_QUERY}" \
  "https://monitoring.googleapis.com/v1/projects/${PROJECT_ID}/location/${LOCATION}/prometheus/api/v1/query"

Deberías ver una respuesta similar a la siguiente:

{"status":"success","data":{"resultType":"vector","result":[65]}}

Para obtener más información sobre gcloud CLI, consulta la descripción general de la CLI de gcloud.