監控 Cloud TPU 健康狀態
Cloud TPU 健康狀態監控功能可即時提供 TPU VM 和配量的健康狀態資訊。您可以使用 Cloud Monitoring 控制台或 Google Cloud CLI,在發生硬體故障時找出問題並重新分配資源,避免工作失敗並盡量減少效能下降。
TPU 健康狀態監控會為每個使用中的 TPU 執行個體指派 HEALTHY 或 UNHEALTHY 狀態。運作正常的 TPU 會指派 HEALTHY 狀態,不再運作或效能大幅降低的 TPU 則會指派 UNHEALTHY 狀態。
除了健康狀態,TPU 健康狀態監控功能還會提供特定作業的記錄指標。您可以利用這些指標,進一步診斷並解決非硬體問題造成的 TPU 健康狀態和效能問題。
偵測到健康狀態不良的 TPU
如果 TPU 健康狀態監控功能將 TPU 指派為 UNHEALTHY 狀態,就會透過 compute.googleapis.com/instance/tpu/infra_health 服務端點提供故障 TPU 的識別資訊。
造成 TPU 健康狀態不佳的原因
如果實體硬體有問題,機器就會歸類為 UNHEALTHY。如果機器歸類為 UNHEALTHY,TPU 健康狀態監控功能會提供下列其中一個原因:
BAD_TPU_CHIP:TPU 硬體本身發生實體故障。VM 可能會照常執行,但連線至 VM 的 TPU 有故障。NETWORKING_ISSUE:分散式 TPU 系統的不同工作者或元件之間,底層網路通訊發生硬體問題,例如傳輸的遠端程序呼叫 (RPC) 遭捨棄。BAD_SC_CHIP:TPU 晶片的 SparseCore 發生實體故障。
指標標籤
TPU 健康狀態監控功能提供下列指標標籤,可識別健康狀態不良的特定 TPU:
| 標籤名稱 | 類型 | 說明 |
|---|---|---|
health_status |
STRING |
TPU 執行個體的整體健康狀態。 |
unhealthy_category |
STRING |
健康狀態原因。只有在指標值為 UNHEALTHY 時,系統才會填入這個標籤。 |
machine_type |
STRING |
執行個體的 Compute Engine 機器類型。 |
reservation_id |
STRING |
實體機器預訂 ID。 |
TPU 健康狀態監控功能也會提供下列資源標籤:
| 標籤名稱 | 類型 | 說明 |
|---|---|---|
project |
STRING |
專案編號。 |
service |
STRING |
API 服務 (compute.googleapis.com)。 |
resource_type |
STRING |
VM 執行個體。 |
location |
STRING |
執行個體的區域。 |
resource_id |
STRING |
Compute Engine 執行個體 ID。 |
透過 TPU 叢集導向器,TPU 健康狀態監控功能會為「所有容量」模式預留項目提供下列額外指標標籤:
| 標籤名稱 | 類型 | 說明 |
|---|---|---|
machine_id |
STRING |
託管 VM 的實體機器 ID。 |
block_id |
STRING |
叢集中代管 VM 的區塊 ID。 |
cluster_id |
STRING |
代管 VM 的叢集 ID。 |
subblock_id |
STRING |
代管 VM 的子區塊 ID。 |
記錄
如果機器沒有任何實體問題,但因與硬體無關的問題而無法正常運作或功能受損,在這些情況下,TPU 健康狀態監控會繼續將機器歸類為 HEALTHY,但也會在相關聯專案中,透過 Cloud Logging 記錄問題的可能原因。記錄檔會提供問題的詳細資料,包括簡短說明、疑似根本原因、可能導致問題的因素,以及可採取的後續步驟。
記錄包含下列其中一個原因:
FINGERPRINT_MISMATCH:預期會執行相同 TPU 模組的程式包含不同的二進位檔指紋。這可能是因為編譯器問題導致不一致。DATA_INPUT_STALL:TPU 在直接記憶體存取 (DMA) 作業或資料移轉期間停滯。DMA 作業完成前,TPU 無法繼續運作。UNRECOVERABLE_ERROR:一或多個工作人員發生無法復原的錯誤,且處於未定義的狀態。DIFFERENT_MODULE:工作站應執行相同模組,但卻執行不同的 TPU 模組。UNKNOWN_CAUSE:錯誤原因不明。
您可以使用記錄檔探索工具或 Logs API 查看記錄。如要進一步瞭解記錄功能,請參閱「 Google Cloud記錄」。 Google Cloud
使用主控台監控
Google Cloud 控制台中的監控資訊主頁會即時顯示電腦健康狀態、歷史趨勢和總數。「失敗事件」表格會將工作失敗與根本原因連結。
如要在 Cloud Monitoring 中查看預先建立的資訊主頁,請按照下列步驟操作:
- 前往 Google Cloud 控制台的 Cloud Monitoring 頁面。
前往 Monitoring 主控台 - 在導覽窗格中,按一下「資訊主頁」。
- 在「Filter search」(篩選器搜尋) 欄位中,輸入「TPU Instance Health Dashboard」。
資訊主頁預設會顯示下列指標:
- 整體 TPU 執行個體健康狀態:分類為
HEALTHY的 TPU 執行個體百分比。 - 執行個體數量:使用的 TPU 執行個體總數。
- 健康狀態良好的 TPU 執行個體數:歸類為
HEALTHY的 TPU 執行個體總數。 - 健康狀態不良的 TPU 執行個體數:歸類為
UNHEALTHY的 TPU 執行個體總數。 - VM 基礎架構健康狀態分布:一段時間內的
HEALTHY執行個體數量。
如要新增自訂查詢,請按一下「新增查詢」,然後撰寫 PromQL 查詢。舉例來說,下列查詢會擷取所有健康狀態不良的 TPU 執行個體:
count({__name__="compute.googleapis.com/instance/tpu/infra_health", monitored_resource="gce_instance", health_status="UNHEALTHY"})
如要進一步瞭解如何使用 Google Cloud 控制台進行監控,請參閱 Cloud Monitoring 說明文件。
使用 CLI 監控
Google Cloud CLI 提供即時 TPU 健康狀態資料。以下範例要求會擷取所有 UNHEALTHY TPU:
export TOKEN=$(gcloud auth application-default print-access-token)
export PROMQL_QUERY='count({__name__="compute.googleapis.com/instance/tpu/infra_health", monitored_resource="gce_instance", health_status="UNHEALTHY"})'
export LOCATION="global"
curl -G \
--header "Authorization: Bearer ${TOKEN}" \
--header "Content-Type: application/json" \
--header "X-Goog-User-Project: ${PROJECT_ID}" \
--data-urlencode "query=${PROMQL_QUERY}" \
"https://monitoring.googleapis.com/v1/projects/${PROJECT_ID}/location/${LOCATION}/prometheus/api/v1/query"
您應該會看到類似以下的回覆:
{"status":"success","data":{"resultType":"vector","result":[65]}}
如要進一步瞭解 gcloud CLI,請參閱 gcloud CLI 總覽。