監控 Cloud TPU 健康狀態

Cloud TPU 健康狀態監控功能可即時提供 TPU VM 和配量的健康狀態資訊。您可以使用 Cloud Monitoring 控制台或 Google Cloud CLI,在發生硬體故障時找出問題並重新分配資源,避免工作失敗並盡量減少效能下降。

TPU 健康狀態監控會為每個使用中的 TPU 執行個體指派 HEALTHY 或 UNHEALTHY 狀態。運作正常的 TPU 會指派 HEALTHY 狀態,不再運作或效能大幅降低的 TPU 則會指派 UNHEALTHY 狀態。

除了健康狀態,TPU 健康狀態監控功能還會提供特定作業的記錄指標。您可以利用這些指標,進一步診斷並解決非硬體問題造成的 TPU 健康狀態和效能問題。

偵測到健康狀態不良的 TPU

如果 TPU 健康狀態監控功能將 TPU 指派為 UNHEALTHY 狀態,就會透過 compute.googleapis.com/instance/tpu/infra_health 服務端點提供故障 TPU 的識別資訊。

造成 TPU 健康狀態不佳的原因

如果實體硬體有問題,機器就會歸類為 UNHEALTHY。如果機器歸類為 UNHEALTHY,TPU 健康狀態監控功能會提供下列其中一個原因:

  • BAD_TPU_CHIP:TPU 硬體本身發生實體故障。VM 可能會照常執行,但連線至 VM 的 TPU 有故障。
  • NETWORKING_ISSUE:分散式 TPU 系統的不同工作者或元件之間,底層網路通訊發生硬體問題,例如傳輸的遠端程序呼叫 (RPC) 遭捨棄。
  • BAD_SC_CHIP:TPU 晶片的 SparseCore 發生實體故障。

指標標籤

TPU 健康狀態監控功能提供下列指標標籤,可識別健康狀態不良的特定 TPU:

標籤名稱 類型 說明
health_status STRING TPU 執行個體的整體健康狀態。
unhealthy_category STRING 健康狀態原因。只有在指標值為 UNHEALTHY 時,系統才會填入這個標籤。
machine_type STRING 執行個體的 Compute Engine 機器類型。
reservation_id STRING 實體機器預訂 ID。

TPU 健康狀態監控功能也會提供下列資源標籤:

標籤名稱 類型 說明
project STRING 專案編號。
service STRING API 服務 (compute.googleapis.com)。
resource_type STRING VM 執行個體。
location STRING 執行個體的區域。
resource_id STRING Compute Engine 執行個體 ID。

透過 TPU 叢集導向器,TPU 健康狀態監控功能會為「所有容量」模式預留項目提供下列額外指標標籤:

標籤名稱 類型 說明
machine_id STRING 託管 VM 的實體機器 ID。
block_id STRING 叢集中代管 VM 的區塊 ID。
cluster_id STRING 代管 VM 的叢集 ID。
subblock_id STRING 代管 VM 的子區塊 ID。

記錄

如果機器沒有任何實體問題,但因與硬體無關的問題而無法正常運作或功能受損,在這些情況下,TPU 健康狀態監控會繼續將機器歸類為 HEALTHY,但也會在相關聯專案中,透過 Cloud Logging 記錄問題的可能原因。記錄檔會提供問題的詳細資料,包括簡短說明、疑似根本原因、可能導致問題的因素,以及可採取的後續步驟。

記錄包含下列其中一個原因:

  • FINGERPRINT_MISMATCH:預期會執行相同 TPU 模組的程式包含不同的二進位檔指紋。這可能是因為編譯器問題導致不一致。
  • DATA_INPUT_STALL:TPU 在直接記憶體存取 (DMA) 作業或資料移轉期間停滯。DMA 作業完成前,TPU 無法繼續運作。
  • UNRECOVERABLE_ERROR:一或多個工作人員發生無法復原的錯誤,且處於未定義的狀態。
  • DIFFERENT_MODULE:工作站應執行相同模組,但卻執行不同的 TPU 模組。
  • UNKNOWN_CAUSE:錯誤原因不明。

您可以使用記錄檔探索工具或 Logs API 查看記錄。如要進一步瞭解記錄功能,請參閱「 Google Cloud記錄」。 Google Cloud

使用主控台監控

Google Cloud 控制台中的監控資訊主頁會即時顯示電腦健康狀態、歷史趨勢和總數。「失敗事件」表格會將工作失敗與根本原因連結。

如要在 Cloud Monitoring 中查看預先建立的資訊主頁,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的 Cloud Monitoring 頁面。
    前往 Monitoring 主控台
  2. 在導覽窗格中,按一下「資訊主頁」。
  3. 在「Filter search」(篩選器搜尋) 欄位中,輸入「TPU Instance Health Dashboard」。

資訊主頁預設會顯示下列指標:

  • 整體 TPU 執行個體健康狀態:分類為 HEALTHY 的 TPU 執行個體百分比。
  • 執行個體數量:使用的 TPU 執行個體總數。
  • 健康狀態良好的 TPU 執行個體數:歸類為 HEALTHY 的 TPU 執行個體總數。
  • 健康狀態不良的 TPU 執行個體數:歸類為 UNHEALTHY 的 TPU 執行個體總數。
  • VM 基礎架構健康狀態分布:一段時間內的 HEALTHY 執行個體數量。

如要新增自訂查詢,請按一下「新增查詢」,然後撰寫 PromQL 查詢。舉例來說,下列查詢會擷取所有健康狀態不良的 TPU 執行個體:

count({__name__="compute.googleapis.com/instance/tpu/infra_health", monitored_resource="gce_instance", health_status="UNHEALTHY"})

如要進一步瞭解如何使用 Google Cloud 控制台進行監控,請參閱 Cloud Monitoring 說明文件。

使用 CLI 監控

Google Cloud CLI 提供即時 TPU 健康狀態資料。以下範例要求會擷取所有 UNHEALTHY TPU:

export TOKEN=$(gcloud auth application-default print-access-token)

export PROMQL_QUERY='count({__name__="compute.googleapis.com/instance/tpu/infra_health", monitored_resource="gce_instance", health_status="UNHEALTHY"})'

export LOCATION="global"

curl -G \
  --header "Authorization: Bearer ${TOKEN}" \
  --header "Content-Type: application/json" \
  --header "X-Goog-User-Project: ${PROJECT_ID}" \
  --data-urlencode "query=${PROMQL_QUERY}" \
  "https://monitoring.googleapis.com/v1/projects/${PROJECT_ID}/location/${LOCATION}/prometheus/api/v1/query"

您應該會看到類似以下的回覆:

{"status":"success","data":{"resultType":"vector","result":[65]}}

如要進一步瞭解 gcloud CLI,請參閱 gcloud CLI 總覽。