您可以設定 GKE,將 NVIDIA 資料中心 GPU Manager (DCGM) 指標傳送至 Cloud Monitoring,藉此監控 GPU 使用率、效能和健康狀態。
啟用 DCGM 指標後,GKE 會安裝 DCGM-Exporter 工具、安裝 Google 代管的 GPU 驅動程式,並部署 ClusterPodMonitoring 資源,將指標傳送至 Google Cloud Managed Service for Prometheus。如果是執行 1.32.1-gke.1357000 以上版本的新建 GKE 叢集,系統預設會啟用 DCGM 指標套件。如果叢集執行的是舊版,您可以使用 Google Cloud 控制台、gcloud CLI 或 Terraform,啟用 DCGM 指標收集功能。
如要自訂 DCGM 指標組合,或叢集不符合代管 DCGM 指標的需求條件,也可以設定自行管理的 DCGM。
什麼是 DCGM
NVIDIA Data Center GPU Manager (DCGM) 是 NVIDIA 提供的一組工具,可讓您管理及監控 NVIDIA GPU。DCGM 會使用 fields 公開各種觀測能力結構和計數器。每個欄位都有符號 ID 和欄位編號。如需完整清單,請參閱「NVIDIA DCGM 欄位 ID 清單」。
在 GKE 啟用 DCGM 指標後,Cloud Monitoring 會自動提供支援的指標。這些指標可讓您全面掌握 GPU 使用率、效能和健康狀態。
- GPU 使用率指標可指出受監控 GPU 的忙碌程度,以及是否有效用於處理工作。包括核心處理、記憶體、I/O 和電源使用率的指標。
- GPU 效能指標是指 GPU 執行運算工作的效率和效能。包括時脈速度和溫度指標。
- NVlink 和 PCIe 等 GPU I/O 指標會測量資料移轉頻寬。
事前準備
開始之前,請確認您已執行下列工作:
- 啟用 Google Kubernetes Engine API。 啟用 Google Kubernetes Engine API
- 如要使用 Google Cloud CLI 執行這項工作,請安裝並初始化 gcloud CLI。如果您先前已安裝 gcloud CLI,請執行
gcloud components update指令,取得最新版本。較舊的 gcloud CLI 版本可能不支援執行本文件中的指令。
NVIDIA 資料中心 GPU Manager (DCGM) 指標的需求條件
如要收集 NVIDIA Data Center GPU Manager (DCGM) 指標,GKE 叢集必須符合下列需求:
- 叢集必須執行 GKE 1.30.1-gke.1204000 以上版本。
- 必須啟用系統指標收集功能
- 必須啟用 Google Cloud Managed Service for Prometheus 代管收集功能
- 節點集區必須執行 GKE 代管的 GPU 驅動程式。也就是說,您必須使用
default或latest建立--gpu-driver-version的節點集區。 - 如果是 GKE 1.32.0-gke.1764000 以上版本,系統會收集所有 GKE 支援 GPU 類型的分析指標。如果是較舊的 GKE 版本,系統只會收集 NVIDIA H100 80GB GPU 的剖析指標。
限制
如果您執行的是自行部署的 NVIDIA 資料中心 GPU Manager (DCGM) 指標套件,必須先停止收集,再啟用代管 NVIDIA 資料中心 GPU Manager (DCGM) 指標,否則可能會產生重複或不正確的指標。
代管 DCGM 指標 (包括基礎資訊清單和容器映像檔) 僅適用於 GKE 叢集。請勿單獨使用代管 DCGM 指標,或在 GKE 以外執行。
設定 DCGM 指標收集
您可以使用 Google Cloud 控制台、gcloud CLI 或 Terraform,啟用 GKE 收集現有叢集的 DCGM 指標。
控制台
-
「GPU Driver Installation」(GPU 驅動程式安裝) 必須使用「Default」(預設) 或「Latest」(最新)。
前往 Google Cloud 控制台的「Google Kubernetes Engine」頁面。
按一下叢集名稱。
按一下「Cloud Monitoring」旁邊的 edit。
選取
SYSTEM和DCGM。按一下「儲存」。
gcloud
建立 GPU 節點集區。
--gpu-driver-version必須使用default或latest。更新叢集:
gcloud container clusters update CLUSTER_NAME \ --location=COMPUTE_LOCATION \ --enable-managed-prometheus \ --monitoring=SYSTEM,DCGM更改下列內容:
CLUSTER_NAME:現有叢集的名稱。COMPUTE_LOCATION:叢集的 Compute Engine 位置。
Terraform
如要使用 Terraform 設定 DCGM 指標收集功能,請參閱 google_container_cluster 的 Terraform 註冊資料庫中的 monitoring_config 區塊。如需搭配使用 Google Cloud 與 Terraform 的一般資訊,請參閱「搭配使用 Terraform 與 Google Cloud」。
使用 DCGM 指標
您可以使用Google Cloud 控制台中的資訊主頁,或直接在叢集總覽和叢集詳細資料頁面中查看 DCGM 指標。詳情請參閱「查看觀測能力指標」。
您可以使用 Grafana DCGM 指標資訊主頁查看指標。詳情請參閱「使用 Grafana 查詢」。如果遇到任何錯誤,請參閱「API 相容性」。
定價
DCGM 指標會使用 Google Cloud Managed Service for Prometheus,將指標載入 Cloud Monitoring。Cloud Monitoring 會根據擷取的樣本數,收取這些指標的擷取費用。
詳情請參閱 Cloud Monitoring 定價。
配額
DCGM 指標會耗用 Cloud Monitoring API 的「每分鐘時間序列擷取要求數」配額。啟用指標套件前,請查看該配額最近的用量高峰。如果同一個專案中有多個叢集,或已接近配額上限,可以先要求提高配額上限,再啟用觀測能力套件。
DCGM 指標
這個表格中的 Cloud Monitoring 指標名稱必須加上 prometheus.googleapis.com/ 前置字元。表格中的項目已省略該前置字元。
除了 prometheus_target 受監控資源的標籤外,GKE 上收集的所有 DCGM 指標都會附加下列標籤:
GPU 標籤:
UUID:GPU 裝置 UUIDdevice:GPU 裝置名稱。-
gpu:節點上 GPU 裝置的索引編號 (整數)。舉例來說,如果連接了 8 個 GPU,這個值的範圍可能介於0到7之間。 modelName:GPU 裝置型號的名稱,例如NVIDIA L4。
Kubernetes 標籤:
container:使用 GPU 裝置的 Kubernetes 容器名稱。-
namespace:使用 GPU 裝置的 Pod 和容器的 Kubernetes 命名空間。 pod:使用 GPU 裝置的 Kubernetes Pod。
下表列出在 GKE 收集的 DCGM 指標:
| PromQL 指標名稱和 Cloud Monitoring 指標名稱 | 種類、類型、單位、受監控資源和必要 GKE 版本 | 說明 |
|---|---|---|
|
|
1.30.1-gke.1204000 |
可用框架緩衝區 (MB)。 |
|
|
1.30.1-gke.1204000 |
GPU 的總訊框緩衝區 (MB)。 |
|
|
1.30.1-gke.1204000 |
已使用的訊框緩衝區 (MB)。 |
|
|
1.30.1-gke.1204000 |
裝置目前的溫度讀數 (以 °C 為單位)。 |
|
|
1.30.1-gke.1204000 |
GPU 使用率 (百分比)。 |
|
|
1.30.1-gke.1204000 |
記憶體使用率 (以百分比表示)。 |
|
|
1.30.1-gke.1204000 |
裝置的記憶體溫度 (單位為 °C)。 |
|
|
1.30.1-gke.1204000 |
裝置的功耗 (瓦特)。 |
|
|
1.30.1-gke.1204000 |
SM 時脈頻率 (MHz)。 |
|
|
1.30.1-gke.1204000 |
上次重新載入驅動程式以來,GPU 的能源消耗量總和,單位為毫焦耳。 |
|
|
1.30.1-gke.1204000 |
裝置記憶體介面主動傳送或接收資料的週期比率。 |
|
|
1.30.1-gke.1204000 |
圖形引擎處於使用中狀態的時間比率。 |
|
|
1.30.1-gke.1204000 |
作用中 NvLink rx (讀取) 資料的速率 (以位元組為單位),包含標頭和酬載。 |
|
|
1.30.1-gke.1204000 |
作用中 NvLink tx (傳輸) 資料的速率 (以位元組為單位),包含標頭和酬載。 |
|
|
1.30.1-gke.1204000 |
PCIe rx (讀取) 資料的有效速率 (以位元組為單位),包括標頭和酬載。 |
|
|
1.30.1-gke.1204000 |
PCIe 傳輸 (tx) 資料的有效速率 (以位元組為單位),包括標頭和酬載。 |
|
|
1.30.1-gke.1204000 |
fp16 管道處於活躍狀態的週期比率。 |
|
|
1.30.1-gke.1204000 |
fp32 管道活躍的週期比率。 |
|
|
1.30.1-gke.1204000 |
fp64 管道處於活躍狀態的週期比率。 |
|
|
1.30.1-gke.1204000 |
任何張量管道處於使用中狀態的週期比率。 |
|
|
1.30.1-gke.1204000 |
SM 獲派至少 1 個經紗的週期比率。 |
為協助您瞭解如何使用這些指標,我們將指標分組如下:
運算或核心使用率
您可以根據這些指標找出使用率偏低的裝置,並調整運算或 GPU 分配,盡可能提高使用率。使用率偏低代表您可能支付了不必要的 GPU 容量費用。這些指標可協助您將運算作業整合到較少裝置上,進而節省成本。
DCGM_FI_DEV_GPU_UTIL
這項指標代表 GPU 處於使用中狀態的時間占比。
預期用量: 概略瞭解 GPU 平均使用率。 這項指標與 DCGM_FI_PROF_GR_ENGINE_ACTIVE 類似,後者可能更準確地反映 GPU 使用率。
DCGM_FI_PROF_GR_ENGINE_ACTIVE
這項指標代表每個取樣間隔中,圖形引擎的忙碌程度。這個值是根據取樣間隔內,活躍週期平均數量與可能可用週期最大數量的比值計算得出。舉例來說,如果在一秒的取樣間隔內,有 1,000 個週期可用,且平均有 324 個週期實際處於活動狀態 (執行工作),則產生的指標值為 0.324。這大致可解讀為 (0.324 x 100) 32.4% 的使用率。
預期用量: 概略瞭解 GPU 平均使用率。如果使用率持續偏高,表示 GPU 可能是造成系統效能問題的瓶頸。如果使用率持續偏低,代表應用程式未充分運用可用的處理能力。
DCGM_FI_PROF_PIPE_FP16_ACTIVE、DCGM_FI_PROF_PIPE_FP32_ACTIVE、DCGM_FI_PROF_PIPE_FP64_ACTIVE、DCGM_FI_PROF_PIPE_TENSOR_ACTIVE
這些指標代表任何指定 GPU 管道處於活躍狀態的週期,在過往長期最大週期的占比。
預期用途:評估 GPU 中各種運算管道的使用效率。
DCGM_FI_PROF_SM_ACTIVE
這項指標代表串流多處理器 (SM) 中,至少有一個 Warp 處於使用中狀態的時間占比,為所有 SM 的平均值。舉例來說,如果 GPU 有 80 個可用的 SM,且在取樣期間有 16 個 SM 執行 warp,則產生的 sm_active 值為 (16/80) 0.20,這可以解讀為有 20% 的可用 SM 執行 warp。
預期用量: 衡量 GPU 平行處理作業的使用情況。
記憶體使用率
這些指標的主要用途是偵測 GPU 裝置是否沒有足夠的記憶體供應用程式使用。這類應用程式可能需要分配更多 GPU 容量。
DCGM_FI_DEV_FB_FREE、DCGM_FI_DEV_FB_USED、DCGM_FI_DEV_FB_TOTAL
這些指標適用於訊框緩衝區記憶體,也就是 GPU 上的記憶體。指標會回報可用記憶體和已用記憶體,兩者相加即為總量。以及可用記憶體總量。
預期用量: 判斷 GPU 記憶體的使用模式。這樣一來,您就能將實際的 GPU 記憶體用量與預期用量建立關聯,判斷應用程式的記憶體效率。
DCGM_FI_DEV_MEM_COPY_UTIL
這項指標代表過去取樣期間內,讀取或寫入全域 (裝置) 記憶體的時間比例。
預期用途: 判斷 GPU 記憶體轉入和轉出資料的模式。如果這項指標的值偏高,而運算資源使用率指標的值偏低,可能代表記憶體移轉作業是執行中應用程式的瓶頸。
DCGM_FI_PROF_DRAM_ACTIVE
這項指標代表 GPU 記憶體介面傳送或接收資料的週期比率。包括在 SM 上執行的執行緒載入和儲存,以及 GPU 記憶體之間的記憶體複製。值越高,表示記憶體流量越大。
預期用途:這項指標與 DCGM_FI_DEV_MEM_COPY_UTIL 類似,但可能更精確。
I/O 使用率
下列指標可讓您深入瞭解 GPU 與主機之間,或多個 GPU 裝置之間的資料傳輸用量。其中一種做法是偵測應用程式何時會使互連網路超載。由於這類傳輸具有固有的突發性,因此可能需要探索更高解析度的資料 (例如分布),以更精細地瞭解互連網路的行為。
DCGM_FI_PROF_NVLINK_RX_BYTES、DCGM_FI_PROF_NVLINK_TX_BYTES
這些指標代表 NVLink 傳輸 (tx) 和接收 (rx) 處理量,以位元組為單位。
預期用途: 追蹤 GPU 晶片之間,NVLink 連接器的負載。如果這些指標的值接近 NVLink 總可用頻寬,且運算資源使用率指標偏低,可能代表 NVLink 是執行中應用程式的瓶頸。
DCGM_FI_PROF_PCIE_RX_BYTES、DCGM_FI_PROF_PCIE_TX_BYTES
這些指標代表 PCIe 傳輸 (tx) 和接收 (rx) 處理量,以位元組為單位,其中 tx 是 GPU 傳輸資料,rx 是 GPU 接收資料。
預期用途: 追蹤 CPU 和 GPU 之間,PCIe 匯流排的負載。如果這些指標的值接近 PCIe 匯流排的總頻寬,且運算資源使用率指標偏低,可能代表 PCIe 匯流排是執行中應用程式的瓶頸。
電力使用率
下列指標可讓您深入瞭解 GPU 耗電量,這有時對工作負載效能和效率至關重要。
DCGM_FI_DEV_GPU_TEMP
這項指標代表所有 GPU 核心的平均溫度。
預期用途:追蹤 GPU 何時接近過熱,主要用於與時脈節流建立關聯。您也可以使用這項指標,找出容易過熱的 GPU,以便在更進階的應用程式中減輕負載。
DCGM_FI_DEV_POWER_USAGE
這項指標代表 GPU 耗電量 (以瓦特為單位)。您可能需要追蹤耗電量,做為 GPU 忙碌指標。NVIDIA GPU 會根據工作量調整引擎時脈。隨著時脈速度 (以及使用率) 提高,耗電量也會增加。
預期用量:追蹤 GPU 用於使用者應用程式的耗電量。
DCGM_FI_DEV_TOTAL_ENERGY_CONSUMPTION
這項指標代表驅動程式上次重新載入後,GPU 的總能源消耗,單位為毫焦耳 (mJ)。根據這項指標計算出的比率,應與耗電量指標相對應。
預期用量:追蹤 GPU 用於使用者應用程式的耗電量。
GPU 效能指標
GPU 效能是指 GPU 執行運算工作的效率和效能。
DCGM_FI_DEV_MEMORY_TEMP
這項指標代表記憶體區塊的平均溫度。
預期用途: 顯示記憶體區塊的溫度,並與 GPU 溫度建立關聯。
DCGM_FI_DEV_SM_CLOCK
這項指標代表所有 SM 的平均時脈速度。這項指標是根據指定的時間間隔計算。
預期用途: 追蹤時脈速度,偵測節流情形,並與應用程式效能建立關聯。
後續步驟
- 瞭解如何查看觀測能力指標。