叢集健康狀態掃描器是一項自助式診斷工具,可在您排定工作負載前,驗證 GPU 和 Cloud TPU 容量是否已準備就緒。叢集健康狀態掃描器會執行基準測試,在加速器節點模擬實際工作負載流量,藉此評估加速器、記憶體和加速器之間的互連效能。您可以根據結果找出並移除故障節點,以免訓練或推論工作停止回應、執行速度緩慢或失敗。
針對 TPU,叢集健康狀態掃描器可與 TPU 健康狀態監控功能相輔相成,持續回報硬體健康狀態信號。叢集健康狀態掃描器會主動在閒置容量上執行工作負載,藉此評估效能,並找出只有在負載下才會出現的錯誤。
叢集健康狀態掃描器完全開放原始碼。如要查看原始碼、貢獻內容或回報問題,請前往叢集健康狀態掃描器 GitHub 存放區。
本文件說明如何安裝叢集健康狀態掃描器、對 GPU 和 TPU 預留項目執行健康狀態掃描、解讀結果,以及修復健康狀態不良的節點。
支援的環境
叢集健康狀態掃描器支援下列部署環境:
| 環境 | 支援的加速器 | 用戶端環境 | 安裝選項 |
|---|---|---|---|
| Google Kubernetes Engine (GKE) 叢集 | GPU 和 TPU (使用靜態或動態配量的節點集區) | 可透過 kubectl 存取目標叢集的 Linux 機器 |
Python 套件或容器映像檔 |
| Slurm 叢集 | 僅限 GPU | Slurm 控制器或登入節點,可使用 sinfo 和 sbatch 指令 |
僅限 Python 套件 |
| 獨立 TPU 執行個體 | 僅限 TPU | TPU 執行個體本身 | Python 套件或容器映像檔 (Container-Optimized OS) |
叢集健康狀態掃描器支援下列 GPU 和 TPU 機型:
- GPU 機器類型:
- TPU 機型:
診斷套件
您可以將叢集健康狀態掃描器安裝為 Python 套件或容器映像檔。這兩種選項都提供 chs 指令列介面 (CLI) 和診斷基準。您可以在可存取 GKE 叢集的機器、Slurm 控制器或登入節點上,或直接在獨立 TPU 執行個體上執行 CLI。接著,CLI 會在目標 GPU 或 TPU 節點上執行診斷測試。
叢集健康狀態掃描器會為每種加速器類型提供兩套診斷套件:
- 精簡:執行快速篩檢。在 GPU 和獨立 TPU 執行個體上,Lite 套件會檢查個別主機。在 GKE TPU 節點集區中,也會對 TPU 配量執行快速集體檢查 (
tpu-collectives)。集體作業是一種通訊模式,所有加速器都會交換資料,例如AllReduce,這項作業會結合每個加速器的值,並與所有加速器共用結果。如要快速檢查健康狀態,或在執行單一主機工作負載前,請使用 Lite 套件。 - 標準:對目標容量執行全面驗證。在 GPU 上,Standard 套件會跨多個節點執行集體作業,並評估 GPU 記憶體頻寬。在 TPU 上,這項測試會執行所有 Lite 測試,以及持續運算、記憶體和網路壓力測試。執行多主機訓練或推論工作負載前,請使用 Standard 套件,因為在持續負載下,網路效能和穩定性會直接影響工作效能。
| 套裝組合 | 加速器 | 測試 | 聚焦 |
|---|---|---|---|
lite |
GPU | nvidia-smi、dcgm、gemm、nccl-single-node |
快速驗證 GPU 和驅動程式健康狀態、運算處理量,以及節點內 GPU 通訊。 |
| TPU | tpu-info、tpu-gemm、tpu-hbm、tpu-host-device、tpu-collectives |
快速驗證裝置健康狀態、運算處理量、高頻寬記憶體 (HBM) 頻寬、主機對裝置頻寬,以及晶片間互連 (ICI) 集體頻寬。 | |
standard |
GPU | nvidia-smi、dcgm、gemm、nccl-cluster、nccl-pairwise、stream |
目標節點的多節點網路驗證,以及記憶體頻寬。 |
| TPU | 所有 TPU lite 測試,以及 tpu-compute-stress、tpu-hbm-stress 和 tpu-network-stress |
持續進行壓力測試,找出不穩定、無訊息資料損毀和 ICI 位元錯誤。 |
nccl-domain GPU 測試不屬於任何套件。如要執行 nccl-domain,請使用 --tests 旗標。
GPU 套件和測試
叢集健康狀態掃描器提供下列 GPU 節點套件:
- Lite:驗證 GPU 驅動程式和硬體、評估運算處理量,並在每個節點內執行 NVIDIA Collective Communications Library (NCCL) 測試。
- 標準:在所有目標節點和節點組合之間執行 NCCL 集合,藉此評估節點間網路的效能,並評估記憶體頻寬。
下表說明各項 GPU 測試:
| 測試 | 說明 | 套件 |
|---|---|---|
nccl-single-node |
在單一節點內的 GPU 之間執行 NCCL 集合測試。 | lite |
nvidia-smi |
使用 NVIDIA 系統管理介面,檢查基本 GPU 健康狀態和 GPU 驅動程式。 | lite、standard |
dcgm |
執行 NVIDIA Data Center GPU Manager (DCGM) 診斷,對每個 GPU 執行深度硬體檢查。 | lite、standard |
gemm |
執行一般矩陣乘法 (GEMM),測量 GPU 運算處理量。 | lite、standard |
nccl-cluster |
在所有目標節點執行 NCCL 集合測試,測量整個叢集的網路頻寬。 | standard |
nccl-pairwise |
在節點配對之間執行 NCCL 測試,測量節點間的延遲時間,並找出故障的節點或連結。 | standard |
stream |
執行 STREAM 基準測試,評估 GPU 記憶體頻寬。 | standard |
nccl-domain |
在每個多節點 NVLink 網域中執行 NCCL 集合測試。僅支援具備多節點 NVLink 網域的機型。 | 無 (使用 --tests 執行) |
TPU 套件和測試
叢集健康狀態掃描器提供下列 TPU 節點套件:
- Lite:驗證各主機的 TPU 晶片和 HBM 效能、測量主機對裝置的頻寬,以及執行集體作業測試來測量 ICI 頻寬。
- 標準:在切片中的 TPU 晶片上執行集體作業,並對 TPU 晶片、HBM 和 ICI 連結執行持續壓力測試。
下表說明各項 TPU 測試:
| 測試 | 說明 | 套件 |
|---|---|---|
tpu-info |
檢查基本 TPU 健康狀態,包括裝置數量、LibTPU 版本和 TPU 裝置類型。 | lite、standard |
tpu-gemm |
執行一般矩陣乘法 (GEMM),測量持續尖峰 TFLOPS。 | lite、standard |
tpu-hbm |
評估 HBM 讀取和寫入頻寬。 | lite、standard |
tpu-collectives |
測量集體作業 (例如 AllReduce 和 AllGather) 的時間,以評估 ICI 頻寬 (僅限 GKE 叢集)。 | lite、standard |
tpu-host-device |
測量主機到裝置的頻寬。 | lite、standard |
tpu-compute-stress |
持續執行矩陣乘法,驗證運算穩定性,並找出無聲資料毀損。 | standard |
tpu-hbm-stress |
對 HBM 進行壓力測試,測量最大頻寬並驗證資料完整性。 | standard |
tpu-network-stress |
透過 ICI 連結傳送大型隨機酬載,藉此測量持續頻寬及偵測位元錯誤 (僅限 GKE 叢集)。 | standard |
事前準備
使用叢集健康狀態掃描器前,請先安裝必要工具、設定權限,並連線至叢集或執行個體。
安裝
執行健康狀態掃描前,請先完成部署環境的安裝作業。
GKE 叢集
如要在 GKE 叢集執行健康狀態掃描,請確認您有目標叢集,並在要執行掃描的機器上安裝必要工具:
- Google Cloud CLI:安裝並初始化 gcloud CLI。
kubectl和gke-gcloud-auth-plugin:安裝kubectl並設定叢集存取權。- 叢集健康狀態掃描器必要條件:
- Python 套件:Python 3.12 以上版本和 Git。
- 容器映像檔:Docker。
- GKE 叢集:確認您有具備一或多個 GPU 或 TPU 節點集區的 GKE 叢集。詳情請參閱「關於 GKE 中的 GPU」和「關於 GKE 中的 TPU」。
Slurm 叢集
如要在 Slurm 叢集執行健康狀態掃描,請確認您有目標 GPU 叢集,並在 Slurm 控制器或登入節點上安裝必要工具,以便使用 sinfo 和 sbatch 指令:
- gcloud CLI:安裝並初始化 gcloud CLI。
- Python 套件必要條件:安裝 Python 3.12 以上版本和 Git。
- Slurm 叢集:確認您有具備 GPU 節點的 Slurm 叢集。詳情請參閱「建立 Slurm 全代管叢集,用於 AI 工作負載」和「建立 Slurm 自行管理叢集,用於 AI 工作負載」。
如果是 Slurm 叢集,請使用 Python 套件安裝選項。Slurm 不支援容器映像檔選項。
獨立 TPU 執行個體
如要在獨立 TPU 執行個體上執行健康狀態掃描,請確認您有目標 TPU 執行個體,並直接在執行個體上安裝必要工具:
- gcloud CLI:安裝並初始化 gcloud CLI。
- 叢集健康狀態掃描器必要條件:根據您打算使用的叢集健康狀態掃描器安裝選項,安裝對應的工具:
- Python 套件:Python 3.12 (具體來說,是 Linux
x86_64上的 Python 3.12,而非 3.13 以上版本) 和 Git。如果執行個體上的預設python3版本早於或晚於 3.12,您可以使用uv建立 Python 3.12 虛擬環境 (請參閱「排解叢集健康狀態掃描器的問題」)。 - 容器映像檔:Docker。在 Container-Optimized OS 上,容器映像檔是唯一支援的安裝選項。
- Python 套件:Python 3.12 (具體來說,是 Linux
- 獨立 TPU 執行個體:請確認您有獨立 TPU 執行個體 (TPU7x 或 TPU v6e),其 TPU 裝置會顯示在
/dev/vfio下方 (您可以在執行個體上執行ls /dev/vfio來驗證)。詳情請參閱「建立 Cloud TPU VM」。
必要的角色
如要取得執行健康狀態掃描所需的權限,請要求管理員授予您專案的 roles/compute.viewer 角色。這個角色可讓叢集健康狀態掃描器讀取節點的 Compute Engine 中繼資料和拓撲資訊。
視部署環境而定,您也需要下列 Identity and Access Management (IAM) 角色:
| 環境 | 必要的角色 |
|---|---|
| GKE 叢集 | Kubernetes Engine 開發人員 (roles/container.developer) |
| Slurm 叢集 |
|
| 獨立 TPU 執行個體 |
|
如果您設定 Cloud Storage bucket 來存放報表,則還需要具備該 bucket 的 Storage 物件管理員角色 (roles/storage.objectAdmin)。這個角色可讓叢集健康狀態掃描器將結果構件 (例如健康狀態報告) 上傳至 bucket。
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
連線至叢集或執行個體
連線至要執行健康狀態掃描的環境。
GKE 叢集
設定應用程式預設憑證 (ADC),並設定 kubectl 與 GKE 叢集通訊:
gcloud auth application-default login
gcloud container clusters get-credentials CLUSTER_NAME \
--location=LOCATION \
--project=PROJECT_ID
Slurm 叢集
使用 SSH 連線至 Slurm 控制器或登入節點:
gcloud compute ssh SLURM_NODE_NAME \
--zone=ZONE \
--project=PROJECT_ID
獨立 TPU 執行個體
使用 SSH 連線至獨立 TPU 執行個體:
gcloud compute tpus tpu-vm ssh TPU_NAME \
--zone=ZONE \
--project=PROJECT_ID
安裝叢集健康狀態掃描器
請在執行掃描作業的機器上安裝叢集健康狀態掃描器,具體步驟取決於您的環境:
- GKE 叢集:任何可
kubectl存取叢集的機器。 - Slurm 叢集:Slurm 控制器或登入節點。
- 獨立 TPU 執行個體:TPU 執行個體本身。
在 GKE 和 Slurm 叢集上,叢集健康狀態掃描器會自動提取與 GPU 或 TPU 節點相符的診斷容器映像檔,並在叢集上排定這些映像檔,因此您不必在個別運算節點上安裝任何軟體。在獨立 TPU 執行個體上,您可以直接在執行個體上安裝及執行叢集健康狀態掃描器。
您可以將叢集健康狀態掃描器安裝為 Python 套件或容器映像檔。本文件其餘部分的 chs 指令適用於任一安裝選項。如要查看任何指令的詳細使用資訊,請附加 --help 旗標。
Python 套件
建立 Python 虛擬環境,並從 GitHub 安裝叢集健康狀態掃描器套件。在 GKE 和 Slurm 叢集上,請使用 Python 3.12 以上版本。在獨立 TPU 執行個體 (x86_64) 上,您必須使用 Python 3.12 (如果使用 Python 3.13 以上版本,pip install 不會安裝 TPU 基準測試依附元件,且 chs run 會略過執行個體):
python3 -m venv chs-venv
source chs-venv/bin/activate
pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git
如要安裝特定版本,請在存放區網址後方加上 @VERSION:
pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git@VERSION
如需版本清單,請參閱 GitHub 上的叢集健康狀態掃描器版本。
容器映像檔
叢集健康狀態掃描器會以容器映像檔的形式,在 Artifact Registry 中發布。這個映像檔同時支援 GPU 和 TPU。容器映像檔可用於 GKE 叢集和獨立 TPU 執行個體,但不適用於 Slurm 叢集。
設定 Docker 向 Artifact Registry 驗證,並提取叢集健康狀態掃描器容器映像檔:
gcloud auth configure-docker us-docker.pkg.dev docker pull us-docker.pkg.dev/gce-ai-infra/chs/chs:latest如要提取特定版本而非
latest,請將latest替換為版本號碼。例如,GitHub 版本v0.3.0的0.3.0。如需版本清單,請參閱 GitHub 上的叢集健康狀態掃描器版本。建立殼層別名,直接執行
chs指令。建立的別名取決於您的環境:GKE 叢集:別名會以唯讀模式掛接
kubeconfig檔案和 Google Cloud 憑證。別名也會將執行作業的狀態儲存在chs-local-stateDocker 磁碟區中,並將輸出檔案寫入目前目錄中的chs-output目錄:alias chs='docker run --rm -it --network host \ -v ~/.kube:/workspace/.kube:ro \ -v ~/.config/gcloud:/workspace/.config/gcloud:ro \ -v chs-local-state:/workspace/.local/share \ -v "$(pwd)/chs-output":/workspace/chs-output \ us-docker.pkg.dev/gce-ai-infra/chs/chs:latest'獨立 TPU 執行個體:在執行 Container-Optimized OS 的 TPU 執行個體上,容器映像檔是唯一支援的安裝選項。別名會授予容器存取 TPU 裝置和執行個體主機 PID 命名空間的權限、將主機根檔案系統掛接在
/host,並以唯讀模式掛接 Google Cloud憑證。別名也會將執行狀態儲存在chs-local-stateDocker 磁碟區中,並將輸出檔案寫入目前目錄中的chs-output目錄:alias chs='docker run --rm -it --privileged --pid=host \ -v /:/host \ -v ~/.config/gcloud:/workspace/.config/gcloud:ro \ -v chs-local-state:/workspace/.local/share \ -v "$(pwd)/chs-output":/workspace/chs-output \ us-docker.pkg.dev/gce-ai-infra/chs/chs:latest'
選用:設定報表的 Cloud Storage bucket
根據預設,叢集健康狀態掃描器會將報告和診斷記錄儲存至本機輸出目錄。您可以設定 Cloud Storage bucket,將這些檔案也儲存在遠端。
如果沒有健康狀態掃描報告的值區,請建立一個:
gcloud storage buckets create gs://BUCKET_NAME \ --location=BUCKET_LOCATION \ --project=PROJECT_ID將 Storage 物件管理員角色 (
roles/storage.objectAdmin) 授予主體使用者帳戶或服務帳戶:gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \ --member=PRINCIPAL \ --role=roles/storage.objectAdminPRINCIPAL成員是撰寫報表的主體。例如user:EMAIL或serviceAccount:SERVICE_ACCOUNT_EMAIL。設定叢集健康狀態掃描器儲存報表的值區。由於叢集健康狀態掃描器不會自動建立 bucket,因此 bucket 必須已存在。每個環境只需執行這個指令一次:
chs configure storage gcs BUCKET_NAME如要將報表儲存在 bucket 的資料夾前置字串下,請將前置字串附加至 bucket 名稱:
chs configure storage gcs BUCKET_NAME/PREFIX
執行健康狀態掃描
本節說明如何確認節點處於閒置狀態、啟動掃描,以及監控掃描進度。
確認目標節點處於閒置狀態
叢集健康狀態掃描器只會在閒置容量上執行,不會自動停止或剔除工作負載。開始掃描前,請先排空或停止在目標節點或執行個體上執行的所有工作負載。
如果叢集健康狀態掃描器在目標節點或執行個體上偵測到執行中的工作負載,會以下列方式處理容量:
- GPU:叢集健康狀態掃描器會略過忙碌的節點,並在其餘閒置節點上執行掃描。
- TPU:叢集健康狀態掃描器處理忙碌容量的方式,取決於環境:
- GKE 叢集:多主機 TPU 測試 (
tpu-collectives和tpu-network-stress) 需要完整的閒置配量,而單一主機 TPU 測試則可在個別閒置節點上執行:- 靜態切片節點集區 (
--nodepools或--nodes):執行lite或standard套件時,如果集區中的某些節點忙碌中,叢集健康狀態掃描器會記錄警告、略過多主機測試,並在其餘閒置節點上執行單一主機 TPU 測試。 - 動態配量節點集區 (
--nodepools或--nodes):如要指定--nodepools集區,整個節點集區必須處於閒置狀態,叢集健康狀態掃描器才能佈建整個集區的Slice資源。如果您使用--nodes指定特定節點 (GKE1.36.0-gke.3712000以上版本),叢集健康狀態掃描器會為每個閒置節點佈建個別的2x2x1子切片、略過忙碌節點,並在閒置節點上執行單一主機 TPU 測試。
- 靜態切片節點集區 (
- 獨立 TPU 執行個體:如果有其他程序使用
/dev/vfio下的 TPU 裝置,叢集健康狀態掃描器就無法執行。
- GKE 叢集:多主機 TPU 測試 (
為確保目標容量處於閒置狀態,請按照環境適用的步驟操作。
GKE 叢集
停止或刪除目標節點集區中任何執行中的工作負載工作或 Pod,或等待執行中的工作負載完成。
如果您使用
kubectl drain從節點集區中剔除工作負載,請先取消封鎖節點,再開始掃描,叢集健康狀態掃描器才能在節點上排定診斷 Pod (叢集健康狀態掃描器會略過封鎖的節點):kubectl drain -l cloud.google.com/gke-nodepool=NODE_POOL_NAME \ --ignore-daemonsets --delete-emptydir-data kubectl uncordon -l cloud.google.com/gke-nodepool=NODE_POOL_NAME請確認掃描期間,節點集區不會排定新的工作負載。
確認節點集區中沒有任何工作負載 Pod:
kubectl get pods --all-namespaces -o wide \ --field-selector=status.phase=Running | grep NODE_POOL_NAME系統 Pod (例如由
kube-system命名空間中的 DaemonSet 管理的 Pod) 可以繼續執行。
Slurm 叢集
檢查目標分區中是否有執行中的工作:
squeue --partition=PARTITION_NAME如果分區中有工作正在執行,請等待工作完成,或使用
scancel JOB_ID取消工作。確認目標分區中的節點處於
idle狀態:sinfo --partition=PARTITION_NAME
獨立 TPU 執行個體
確認沒有其他程序正在使用執行個體上的 TPU 裝置:
sudo fuser -v /dev/vfio/*
如果畫面上列出任何程序,請等待工作負載完成,或先停止程序再開始掃描。
開始掃描
傳送至 chs run 指令的旗標,取決於執行叢集健康狀態掃描器的環境。叢集健康狀態掃描器會自動偵測排程器和加速器類型,因此您不必指定。
如要列出加速器類型的可用診斷套件和測試,請執行下列指令:
GPU:
chs list suites --gpu chs list tests --gpuTPU:
chs list suites --tpu chs list tests --tpu
GKE 節點集區
從任何可透過 kubectl 存取叢集的機器 (例如本機電腦或 Cloud Shell) 執行叢集健康狀態掃描器。
如要對一或多個節點集區啟動掃描,請執行下列指令:
chs run \
--nodepools=NODE_POOL_NAMES \
--suite=SUITE
更改下列內容:
NODE_POOL_NAMES:以半形逗號分隔的清單,列出要掃描的 GPU 或 TPU 節點集區。例如:a4-pool-1,a4-pool-2或tpu7x-pool-1,tpu7x-pool-2。所有目標節點集區都必須使用相同的機器類型。SUITE:要執行的診斷套件,可為lite或standard。如要進一步瞭解各項套件,請參閱「診斷套件」。
如要執行特定測試,而非完整套件,請將 --suite 旗標替換為 --tests 旗標,並指定以半形逗號分隔的測試名稱清單:
chs run \
--nodepools=NODE_POOL_NAMES \
--tests=TEST_NAMES
如要掃描特定節點,而非整個節點集區,請將 --nodepools 旗標改為 --nodes 旗標,並指定以半形逗號分隔的節點名稱清單。
在 --nodepools 旗標中指定多個節點集區時,叢集健康狀態掃描器會根據加速器類型處理這些集區:
- GPU 節點集區:將指定節點集區中所有閒置的 GPU 節點合併為單一目標集,並在所有節點上執行多節點測試 (
nccl-cluster和nccl-pairwise)。 - TPU 節點集區:在單次執行中,獨立並行評估每個節點集區 (TPU 配量),不進行跨配量 (多配量) 測試。
Slurm 分區
在 Slurm 控制器或登入節點上執行叢集健康狀態掃描器,其中 sinfo 和 sbatch 指令可用。Slurm 需要 Python 套件安裝選項。如需安裝操作說明,請參閱「Python 套件」。
開始掃描前,請先在叢集上設定 Enroot 憑證,讓節點可以從 us-docker.pkg.dev 提取基準映像檔:
gcloud auth configure-docker us-docker.pkg.dev
mkdir -p ~/.enroot
cat <<EOF > "${HOME}/.enroot/.credentials"
machine us-docker.pkg.dev login oauth2accesstoken password $(gcloud auth application-default print-access-token)
EOF
對一或多個分區啟動掃描:
chs run \
--partitions=PARTITION_NAMES \
--suite=SUITE
更改下列內容:
PARTITION_NAMES:以半形逗號分隔的清單,列出要掃描的 Slurm 分區。SUITE:要執行的診斷套件,可為lite或standard。如要進一步瞭解各項套件,請參閱「診斷套件」。
如要執行特定 GPU 測試,而非完整套件,請將 --suite 旗標替換為 --tests 旗標,並指定以半形逗號分隔的測試名稱清單 (例如 nccl-pairwise,gemm 或 nccl-domain):
chs run \
--partitions=PARTITION_NAMES \
--tests=TEST_NAMES
獨立 TPU 執行個體
直接在 TPU 執行個體上執行叢集健康狀態掃描器。TPU 執行個體必須在 /dev/vfio 下公開 TPU 裝置 (您可以在執行個體上執行 ls /dev/vfio 來驗證)。
如果不是以 root 使用者身分執行叢集健康狀態掃描器,請先提高 memlock 限制,再執行 TPU 測試:
ulimit -l unlimited
如要開始掃描 TPU 執行個體,請執行下列指令:
chs run --suite=SUITE
將 SUITE 替換為要執行的診斷套件,可以是 lite 或 standard。如要進一步瞭解各項套件,請參閱「診斷套件」。
如要執行特定 TPU 測試,而非完整套件,請將 --suite 旗標替換為 --tests 旗標,並指定以半形逗號分隔的測試名稱清單 (例如 tpu-host-device,tpu-hbm-stress):
chs run --tests=TEST_NAMES
查看執行作業和結果
叢集健康狀態掃描器會將執行記錄和設定儲存在本機,也就是您執行 chs 指令的用戶端機器上 (位於 ~/.local/share/chs/,或使用容器映像檔時位於 chs-local-state Docker 磁碟區)。因此,chs history 和 chs results 指令只會列出從該環境啟動的執行作業。
如要列出先前的執行作業和執行 ID,請執行下列指令:
chs history
如要顯示執行結果,以及互動式 HTML 報表 (bill_of_health.html) 和 JSON 報表 (bill_of_health.json) 的位置,請執行下列指令:
chs results RUN_ID
如果省略 RUN_ID,叢集健康狀態掃描器會提示您選取執行作業。這個指令會輸出本機路徑,如果您設定了 bucket,則會輸出 Cloud Storage URI。系統會讀取過去執行的儲存結果,不會在叢集或執行個體上啟動新工作。
取消掃描
如要取消掃描、停止掃描工作,以及移除掃描在叢集或執行個體上建立的資源,請執行下列任一指令:
取消最近一次執行作業:
chs cancel取消特定執行作業:
chs cancel RUN_ID取消在叢集或執行個體上執行的所有叢集健康狀態掃描器,包括其他使用者啟動的執行作業:
chs cancel --all
解讀結果
掃描完成後,叢集健康狀態掃描器會將下列構件儲存至本機輸出目錄,並上傳至 Cloud Storage bucket (如果您已設定儲存空間):
- 互動式 HTML 報表 (
bill_of_health.html):顯示各項測試、測量指標和狀態。 - JSON 報表 (
bill_of_health.json):包含各項測試的參數掃描和測量指標。 - Workspace directory:包含診斷記錄。
查看健康狀態報告
如要找出掃描報告的確切本機路徑或 Cloud Storage URI (gs://BUCKET/PREFIX/bills_of_health/RUN_ID.html 和 gs://BUCKET/PREFIX/bills_of_health/RUN_ID.json),請執行下列指令:
chs results RUN_ID
如果您設定了 Cloud Storage bucket,可以直接從 chs results 傳回的 URI 查看 JSON 報表:
gcloud storage cat gs://BUCKET_NAME/PREFIX/bills_of_health/RUN_ID.json
報告內容
健康狀態報告會列出叢集健康狀態掃描器測試的每個節點,以及各節點的基準測試結果。GPU 和 TPU 掃描作業使用相同的報表格式。每個節點都會獲得下列其中一種狀態:
| 狀態 | 說明 |
|---|---|
HEALTHY |
所有測試均達到該機型的預期效能。 |
DEGRADED |
節點已完成測試,但有一或多項結果低於預期效能。 |
POTENTIALLY DEGRADED |
篩檢測試結果低於預期,且未執行對應的壓力測試來確認結果。 |
INCOMPLETE |
一或多項測試無法執行、逾時、取消,或未回報節點指標。 |
bill_of_health.json 檔案包含下列頂層欄位:
report_id:掃描執行的專屬 ID。chs_version:生成報告的叢集健康狀態掃描器版本。created_at:報表生成時的時間戳記。system_info:受測系統的中繼資料,例如叢集類型和機器類型。test_results:測試結果物件清單。每個項目都包含下列欄位:test_name:診斷測試的名稱。result_status:測試結果,例如RESULT_STATUS_SUCCESS或RESULT_STATUS_FAILED。target_resources:執行測試的節點 (node_name和instance_id)。metrics:測試的評估指標和驗證條件。
健康狀態報告採用一致的結構化 JSON 格式。您可以將報表載入 BigQuery 或其他分析工具,並比較相同容量連續掃描的報表,偵測效能是否逐漸下降。
修復健康狀態不良的節點
如果健康狀態報告指出節點或執行個體處於 DEGRADED、POTENTIALLY DEGRADED 或 INCOMPLETE 狀態,請按照下列步驟操作:
如要排除暫時性問題,請先在 GKE 節點集區或節點、Slurm 分區或獨立 TPU 執行個體上重新執行掃描,再封鎖或排空節點 (叢集健康狀態掃描器會略過封鎖的 GKE 節點和排空的 Slurm 節點)。如需操作說明,請參閱「開始掃描」。
如果問題持續發生,請避免在受影響的節點或執行個體上排定新的工作負載:
GKE 叢集:限制健康狀態不良的節點:
kubectl cordon NODE_NAMESlurm 叢集:排空健康狀態不良的節點:
sudo scontrol update NodeName=NODE_NAME State=DRAIN Reason="CHS unhealthy"獨立 TPU 執行個體:在問題解決前,請勿在 TPU 執行個體上啟動新的工作負載。
視加速器類型和環境而定,使用下列其中一種選項修復或更換節點或執行個體:
- GPU:
- GKE 叢集:回報故障的主機,讓 Compute Engine 進行修復。詳情請參閱「透過 GKE 回報故障主機」。
- Slurm 叢集:回報故障的主機,讓 Compute Engine 進行修復。詳情請參閱「回報故障主機」。
- 如需 Google 協助,請與 Cloud Customer Care 聯絡。
- TPU (GKE 叢集和獨立 TPU 執行個體):
- 如果您在「所有容量」模式下使用 TPU,請回報故障的主機。詳情請參閱「在『所有容量』模式中回報及修復故障主機」。
- 如要瞭解其他容量模式,請參閱「TPU 執行個體的故障復原」。
- 如需 Google 協助,請與 Cloud TPU 支援團隊聯絡。
與支援團隊聯絡時,請附上本機輸出目錄或 Cloud Storage bucket 中的工作區目錄 (內含診斷記錄),並提供執行 ID。
- GPU:
修復或更換節點或執行個體後,請再次將其設為可排程,以免叢集健康狀態掃描器略過該節點或執行個體,然後執行新的掃描,確認容量健康狀態良好:
GKE 叢集:取消節點的 cordon 狀態,然後重新執行掃描,再排定新的工作負載:
kubectl uncordon NODE_NAMESlurm 叢集:繼續執行節點,使其返回
idle狀態,然後在排定新工作前重新執行掃描:sudo scontrol update NodeName=NODE_NAME State=RESUME獨立 TPU 執行個體:重新掃描執行個體,並在掃描確認執行個體健康狀態良好後,繼續執行工作負載。
遙測
叢集健康狀態掃描器會將匿名使用指標傳送給 Google,協助改善工具,且不會收集個人識別資訊 (PII)。遙測功能預設為啟用。如要選擇不採用,請執行 chs configure telemetry
disable 或設定 CHS_TELEMETRY=0 環境變數。
後續步驟
如要解決叢集健康狀態掃描器的常見問題,請參閱「排解叢集健康狀態掃描器問題」。