收集及查看 Kube State Metrics

本頁面說明如何設定 Google Kubernetes Engine (GKE) 叢集,使用 Google Cloud Managed Service for Prometheus,將精選的 kube 狀態 (包括 Pod 和 Deployment 的指標) 傳送至 Cloud Monitoring。此外,本頁面也說明這些指標寫入 Monitoring 時的格式,以及如何查詢指標。

事前準備

開始之前,請確認您已執行下列工作:

  • 啟用 Google Kubernetes Engine API。
  • 啟用 Google Kubernetes Engine API
  • 如要使用 Google Cloud CLI 執行這項工作,請安裝並初始化 gcloud CLI。如果您先前已安裝 gcloud CLI,請執行 gcloud components update 指令,取得最新版本。較舊的 gcloud CLI 版本可能不支援執行本文件中的指令。

需求條件

如要收集 kube 狀態指標,GKE 叢集必須符合下列規定:

  • 叢集必須執行下列版本,具體取決於您要啟用的指標:
    • 如要啟用 JobSet 指標套件,叢集必須執行 1.32.1-gke.1357001 以上版本。從 1.32.1-gke.1357001 版開始,新建立的 GKE Standard 和 Autopilot 叢集預設會啟用 JobSet 指標套件。
    • kube_jobset_restarts 指標適用於 1.32.4-gke.1767000 以上版本的 1.32 叢集,以及 1.33.0-gke.1868000 以上版本的 1.33 叢集。
    • 如要啟用本頁所述的其他指標套件,叢集必須執行 GKE 1.27.2-gke.1200 以上版本。自 GKE Standard 叢集 1.29.2-gke.2000 版和 GKE Autopilot 叢集 1.27.4-gke.900 版起,Kube 狀態指標套件預設為啟用。
  • 叢集必須啟用系統指標。
  • 叢集必須啟用 Google Cloud Managed Service for Prometheus 代管收集功能。新叢集預設會啟用 Google Cloud Managed Service for Prometheus 代管收集功能。

設定 kube 狀態指標的收集作業

您可以使用 Google Cloud 控制台、gcloud CLI 或 Terraform 啟用 kube 狀態指標:

控制台

您可以在「觀測能力」分頁中,為叢集或叢集內的 Deployment 啟用 kube state metrics。您也可以先預覽可用的圖表和指標,再啟用指標套件。

在叢集的「Observability」(觀測能力) 分頁中,您可以依據下列兩項篩選 kube 狀態指標的圖表:

  • 工作負載狀態:包括 Pod、Deployment、StatefulSet、DaemonSet 和 HorizontalPodAutoscaler 資源的指標。
  • Storage > Persistent:包含 PersistentVolume 和 PersistentVolumeClaim 的指標。

您可以啟用其中一組或兩組指標。

如要從叢集的「Observability」(觀測能力) 分頁啟用 kube 狀態指標,請按照下列步驟操作:

  1. 在 Google Cloud 控制台中,前往「Kubernetes clusters」(Kubernetes 叢集) 頁面:

    前往「Kubernetes clusters」(Kubernetes 叢集)

    如果您是使用搜尋列尋找這個頁面,請選取子標題為「Kubernetes Engine」的結果。

  2. 按一下叢集名稱,然後選取「Observability」(觀測能力) 分頁標籤。

  3. 從功能清單中選取「Workloads State」(工作負載狀態) 或「Storage > Persistent」(儲存空間 > 永久)。

  4. 按一下「啟用套件」。

    如果已啟用 kube 狀態指標套件,則會改為顯示一組 kube 狀態指標圖表。

如要從 Deployment 的「Observability」(觀測能力) 分頁啟用 kube 狀態指標,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Workloads」(工作負載) 頁面:

    前往「Workloads」(工作負載)

    如果您是使用搜尋列尋找這個頁面,請選取子標題為「Kubernetes Engine」的結果。

  2. 按一下 Deployment 名稱,然後選取「Observability」(觀測能力) 分頁標籤。

  3. 從功能清單中選取「Kube State」。

  4. 按一下「啟用套件」。整個叢集都會啟用這個套件。

    如果已啟用 kube state metrics 套件,您會看到一組圖表,顯示 Pod、Deployment 和水平 Pod 自動配置器的指標。

如要透過叢集的「Details」(詳細資料) 分頁設定 kube 狀態指標,請按照下列步驟操作:

  1. 在 Google Cloud 控制台中,前往「Kubernetes clusters」(Kubernetes 叢集) 頁面:

    前往「Kubernetes clusters」(Kubernetes 叢集)

    如果您是使用搜尋列尋找這個頁面,請選取子標題為「Kubernetes Engine」的結果。

  2. 按一下叢集名稱。

  3. 在標示為「Cloud Monitoring」的「Features」(功能) 列中,按一下「Edit」(編輯) 圖示。

  4. 在隨即顯示的「Edit Cloud Monitoring」(編輯 Cloud Monitoring) 對話方塊中,確認已選取「Enable Cloud Monitoring」(啟用 Cloud Monitoring)。

  5. 在「Components」(元件) 下拉式選單中,選取要收集指標的 kube 狀態元件。

  6. 按一下 [確定]。

  7. 按一下 [儲存變更]。

gcloud

更新叢集以收集指標:

gcloud container clusters update CLUSTER_NAME \
    --location=COMPUTE_LOCATION \
    --enable-managed-prometheus \
    --monitoring=SYSTEM,DAEMONSET,DEPLOYMENT,HPA,POD,STATEFULSET,STORAGE

更改下列內容:

提供給 monitoring 旗標的值組合會覆寫任何先前的設定。

Terraform

如要使用 Terraform 設定 kube 狀態指標的收集作業,請參閱 google_container_cluster 的 Terraform 註冊資料庫中的 monitoring_config 區塊。如需搭配使用 Google Cloud 與 Terraform 的一般資訊,請參閱「搭配使用 Terraform 與 Google Cloud」。

配額

Kube 狀態指標會耗用 Cloud Monitoring API 的「每分鐘時間序列擷取要求數」配額。啟用 kube state metrics 前,請先查看該配額最近的用量高峰。如果同一個專案中有多個叢集,或已接近配額上限,可以先申請提高配額上限,再啟用觀測能力套件。

定價

Kube 狀態指標會使用 Google Cloud Managed Service for Prometheus,將指標載入 Cloud Monitoring。Cloud Monitoring 會根據擷取的樣本數,收取這些指標的擷取費用。

詳情請參閱 Cloud Monitoring 定價。

指標格式

所有寫入 Cloud Monitoring 的 Kubernetes kube 狀態指標,都會使用資源類型 prometheus_target。每個指標名稱的開頭都是 prometheus.googleapis.com/,結尾則會指出 Prometheus 指標類型,例如 /gauge、/histogram 或 /counter。否則,每個指標名稱都會與開放原始碼 Kubernetes 公開的指標名稱相同。

從 Cloud Monitoring 匯出

您可以使用 Cloud Monitoring API,從 Cloud Monitoring 匯出 kube 狀態指標。所有 kube 狀態指標都是使用 Google Cloud Managed Service for Prometheus 擷取,因此您可以使用 Prometheus 查詢語言 (PromQL) 查詢 kube 狀態指標。您也可以使用 Monitoring 查詢語言 (MQL) 查詢這些指標。

查詢指標

查詢 kube 狀態指標時,使用的名稱取決於您是否使用 PromQL 或 Cloud Monitoring 相關功能,例如 MQL 或 Metrics Explorer 選單導向介面。

下列 kube 狀態指標表格顯示每個指標名稱的兩個版本:

  • PromQL 指標名稱:在 Google Cloud 控制台的 Cloud Monitoring 頁面使用 PromQL,或在 Cloud Monitoring API 的 PromQL 欄位使用 PromQL 時,請使用 PromQL 指標名稱。
  • Cloud Monitoring 指標名稱:使用其他 Cloud Monitoring 功能時,請使用下表中的 Cloud Monitoring 指標名稱。這個名稱必須加上 prometheus.googleapis.com/ 前置字元,表格中的項目已省略這個前置字元。

儲存空間指標

這個表格中的 Cloud Monitoring 指標名稱必須加上 prometheus.googleapis.com/ 前置字元。表格中的項目已省略該前置字元。

PromQL 指標名稱
Cloud Monitoring 指標名稱
種類、類型、單位
受監控資源
必要的 GKE 版本
說明
標籤
kube_persistentvolume_capacity_bytes
kube_persistentvolume_capacity_bytes/gauge
GAUGE、DOUBLE、By
prometheus_target
1.27.2-gke.1200
永久磁碟區容量 (以位元組為單位)。每 30 秒取樣一次。

persistentvolume:persistentvolume。
kube_persistentvolume_claim_ref
kube_persistentvolume_claim_ref/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
永久磁碟區要求參照的相關資訊。每 30 秒取樣一次。

claim_name:claim_name。
name:名稱。
persistentvolume:persistentvolume。
kube_persistentvolume_info
kube_persistentvolume_info/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
persistentvolume 相關資訊。每 30 秒取樣一次。

csi_driver:csi_driver。
csi_volume_handle:csi_volume_handle。
local_fs:local_fs。
local_path:local_path。
persistentvolume:persistentvolume。
storageclass:storageclass。
kube_persistentvolume_status_phase
kube_persistentvolume_status_phase/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
階段會指出磁碟區是否可用、是否繫結至要求,或是否由要求釋出。每 30 秒取樣一次。

persistentvolume:persistentvolume。
phase:階段。
kube_persistentvolumeclaim_info
kube_persistentvolumeclaim_info/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
永久磁碟區要求的相關資訊。 每 30 秒取樣一次。

persistentvolumeclaim:persistentvolumeclaim。
storageclass:storageclass。
volumename:磁碟區名稱。
kube_persistentvolumeclaim_resource_requests_storage_bytes
kube_persistentvolumeclaim_resource_requests_storage_bytes/gauge
GAUGE、DOUBLE、By
prometheus_target
1.27.2-gke.1200
永久磁碟區要求要求的儲存空間容量。每 30 秒取樣一次。

persistentvolumeclaim:persistentvolumeclaim。
kube_persistentvolumeclaim_status_phase
kube_persistentvolumeclaim_status_phase/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
永久磁碟區要求目前所處的階段。每 30 秒取樣一次。

persistentvolumeclaim:persistentvolumeclaim。
phase:階段。

詳情請參閱「PersistentVolume 指標」和「PersistentVolumeClaim 指標」。

Pod 指標

Pod 是一組容器,包含一或多個容器,並附有容器執行方式的規格,這些容器會共用儲存空間和網路資源。

Pod 指標表格

Pod 指標可讓您監控 Pod 的行為,並在發生問題時發出警告。下表列出 kube 狀態指標套件中可用的指標。

這個表格中的 Cloud Monitoring 指標名稱必須加上 prometheus.googleapis.com/ 前置字元。表格中的項目已省略該前置字元。

PromQL 指標名稱
Cloud Monitoring 指標名稱
種類、類型、單位
受監控資源
必要的 GKE 版本
說明
標籤
kube_pod_container_status_ready
kube_pod_container_status_ready/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
說明容器的完備性檢查是否成功。每 30 秒取樣一次。

container:容器。
pod:Pod。
uid:UID。
kube_pod_container_status_waiting_reason
kube_pod_status_container_status_waiting_reason/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
說明容器目前處於等待狀態的原因。每 30 秒取樣一次。

container:容器。
pod:Pod。
reason:原因。
uid:UID。
kube_pod_status_phase
kube_pod_status_phase/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
Pod 的目前階段。每 30 秒取樣一次。

phase:階段。
pod:Pod。
uid:UID。
kube_pod_status_unschedulable
kube_pod_status_unschedulable/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
說明 Pod 的無法排程狀態。每 30 秒取樣一次。

pod:Pod。
uid:UID。

詳情請參閱「Pod 指標」。

Pod 指標的查詢範例

如要判斷是否有無法排定的 Pod,請使用下列 PromQL 運算式:

sum(kube_pod_status_unschedulable{cluster="CLUSTER", namespace="NAMESPACE"})

如要針對命名空間中無法排程的 Pod 數量發出警告,可以使用下列 PromQL 運算式:

sum(kube_pod_status_unschedulable{cluster="CLUSTER", namespace="NAMESPACE"}) > LIMIT

您可以使用 kube_pod_container_status_waiting_reason 指標,透過如下的 PromQL 運算式,為卡在特定等待狀態的容器建立警告:

max_over_time(kube_pod_container_status_waiting_reason{reason="REASON", cluster="CLUSTER", namespace="NAMESPACE"}[5m]) >= 1

REASON 的值會指定容器的等待狀態,例如:

  • CrashLoopBackOff
  • ImagePullBackOff
  • ContainerCreating

如要為卡在任何等待狀態的容器建立快訊,請使用下列 PromQL 運算式:

max_over_time(kube_pod_container_status_waiting_reason{cluster="CLUSTER", namespace="NAMESPACE"}[5m]) >= 1

如要判斷有多少容器未通過完備性檢查,請使用下列 PromQL 運算式

sum(kube_pod_container_status_ready) by (pod, container) == 0

本節中的部分查詢和警告運算式,是改編自 GitHub 上 Prometheus 社群 Kubernetes Helm 圖表存放區中的 kubernetes-apps.yaml 檔案。

互動式教戰手冊

GKE 互動式應對手冊也會使用 Kube 狀態指標,排解無法排程或 CrashLooping Pod 的問題。如要進一步瞭解這些失敗模式,請參閱下列疑難排解文件:

如果未啟用 kube state metrics 套件,偵測 Pod 排程問題的主要方法是查詢「Failed Scheduling」記錄事件。啟用 kube state metrics 套件後,您可以使用 kube_pod_status_unschedulable 指標,這個指標的用途相同,但更容易匯總及製成圖表。您可以透過這項指標,查看無法排定的 Pod 數量,以及問題開始發生的時間。

同樣地,GKE 系統指標 kubernetes.io/container/restart_count 可協助您偵測當機迴圈 Pod。kube_pod_container_status_waiting_reason 指標也會列舉 CrashLooping Pod,並讓您判斷 Pod 是否卡在 CrashLookBackOff 以外的等待狀態,例如 ImagePullBackOff 和 ContainerCreating。

如要探索互動式教戰手冊,請按照下列步驟操作:

  1. 在 Google Cloud 控制台中,前往「Dashboards」(資訊主頁) 頁面:

    前往「Dashboards」(資訊主頁)

    如果您是使用搜尋列尋找這個頁面,請選取子標題為「Monitoring」的結果。

  2. 按一下「GCP」類別,篩選資訊主頁清單。
  3. 在清單中,按一下「GKE Interactive Playbook」資訊主頁的名稱。

部署指標

Deployment 是一種控制器,可更新 Pod 等資源的狀態,以管理推出和停用等事件。

部署作業指標表格

Deployment 指標可讓您監控控制器行為並發出警示。下表列出 kube 狀態指標套件中可用的指標:

這個表格中的 Cloud Monitoring 指標名稱必須加上 prometheus.googleapis.com/ 前置字元。表格中的項目已省略該前置字元。

Kube 狀態 Deployment 指標
PromQL 指標名稱 (推出階段) 和 Cloud Monitoring 指標名稱 種類、類型、單位、受監控資源和必要 GKE 版本 說明和標籤

kube_deployment_spec_replicas

kube_deployment_spec_replicas/gauge

GAUGE、DOUBLE、1

prometheus_target

1.27.2-gke.1200

部署作業所需的 Pod 數量。每 30 秒取樣一次。

deployment:部署作業。

kube_deployment_status_replicas_available

kube_deployment_status_replicas_available/gauge

GAUGE、DOUBLE、1

prometheus_target

1.27.2-gke.1200

每個 Deployment 的可用副本數量。每 30 秒取樣一次。

deployment:部署作業。

kube_deployment_status_replicas_updated

kube_deployment_status_replicas_updated/gauge

GAUGE、DOUBLE、1

prometheus_target

1.27.2-gke.1200

每個 Deployment 的更新副本數量。每 30 秒取樣一次。

deployment:部署作業。

詳情請參閱「部署作業指標」。

Deployment 指標的查詢範例

您可以依叢集、命名空間和 Deployment 名稱篩選 Deployment 指標,為個別 Deployment 建立圖表和警告政策。

舉例來說,如要比較單一 Deployment 中可用副本數量與預期副本數量,您可以使用下列 PromQL 查詢,在單一圖表上繪製這兩項指標:

kube_deployment_spec_replicas{cluster="CLUSTER", namespace="NAMESPACE", deployment=DEPLOYMENT"}
和
kube_deployment_status_replicas_available{cluster="CLUSTER", namespace="NAMESPACE", deployment=DEPLOYMENT"}

如要針對失敗或停滯的 Deployment 發出快訊,可以使用下列 PromQL 運算式:

(
  kube_deployment_spec_replicas{cluster="CLUSTER", namespace="NAMESPACE", deployment="DEPLOYMENT"}
    >
  kube_deployment_status_replicas_available{cluster="CLUSTER", namespace="NAMESPACE", deployment="DEPLOYMENT"}
) and (
  changes(kube_deployment_status_replicas_updated{cluster="CLUSTER", namespace="NAMESPACE", deployment="DEPLOYMENT"}[10m])
    ==
  0
)

本節中的部分查詢和警告運算式,是改編自 GitHub 上 Prometheus 社群 Kubernetes Helm 圖表存放區中的 kubernetes-apps.yaml 檔案。

StatefulSet 指標

StatefulSet 是控制器,可管理有狀態應用程式的一組 Pod 部署和資源調度作業。這個控制器會管理 Pod 的順序和獨特性。

StatefulSet 指標表格

StatefulSet 指標可讓您監控控制器行為,並在發生問題時收到快訊。下表列出 kube 狀態指標套件中可用的指標:

這個表格中的 Cloud Monitoring 指標名稱必須加上 prometheus.googleapis.com/ 前置字元。表格中的項目已省略該前置字元。

Kube 狀態 StatefulSet 指標
PromQL 指標名稱 (推出階段) 和 Cloud Monitoring 指標名稱 種類、類型、單位、受監控資源和必要 GKE 版本 說明和標籤

kube_statefulset_replicas

kube_statefulset_replicas/gauge

GAUGE、DOUBLE、1

prometheus_target

1.27.2-gke.1200

StatefulSet 的所需 Pod 數量。每 30 秒取樣一次。

statefulset:statefulset。

kube_statefulset_status_replicas_ready

kube_statefulset_status_replicas_ready/gauge

GAUGE、DOUBLE、1

prometheus_target

1.27.2-gke.1200

每個 StatefulSet 的就緒副本數量。每 30 秒取樣一次。

statefulset:statefulset。

kube_statefulset_status_replicas_updated

kube_statefulset_status_replicas_updated/gauge

GAUGE、DOUBLE、1

prometheus_target

1.27.2-gke.1200

每個 StatefulSet 的更新副本數量。每 30 秒取樣一次。

statefulset:statefulset。

詳情請參閱「StatefulSet 指標」。

StatefulSet 指標的查詢範例

您可以依叢集、命名空間和 StatefulSet 名稱篩選 StatefulSet 指標,為個別 StatefulSet 建立圖表和警告政策。

舉例來說,如要比較單一 StatefulSet 中可用副本數量與預期副本數量,可以使用下列 PromQL 查詢,在單一圖表上繪製這兩項指標:

kube_statefulset_replicas{cluster="CLUSTER", namespace="NAMESPACE", statefulset="STATEFULSET"}
和
kube_statefulset_status_replicas_ready{cluster="CLUSTER", namespace="NAMESPACE", statefulset="STATEFULSET"}

如要在 StatefulSet 推出失敗或停滯時發出快訊,可以使用下列 PromQL 運算式:

(
  kube_statefulset_replicas{cluster="CLUSTER", namespace="NAMESPACE", statefulset="STATEFULSET"}
    >
  kube_statefulset_status_replicas_ready{cluster="CLUSTER", namespace="NAMESPACE", statefulset="STATEFULSET"}
) and (
  changes(kube_statefulset_status_replicas_updated{cluster="CLUSTER", namespace="NAMESPACE", statefulset="STATEFULSET"}[10m])
    ==
  0
)

本節中的部分查詢和警告運算式,是改編自 GitHub 上 Prometheus 社群 Kubernetes Helm 圖表存放區中的 kubernetes-apps.yaml 檔案。

DaemonSet 指標

DaemonSet 是控制器,可確保一組節點執行 Pod 的副本。舉例來說,當節點新增至叢集時,DaemonSet 會將 Pod 新增至節點。這個控制器可確保特定程序在每個節點上執行。

DaemonSet 指標表格

您可以透過 DaemonSet 指標監控控制器行為,並設定快訊。下表列出 kube 狀態指標套件中可用的指標:

這個表格中的 Cloud Monitoring 指標名稱必須加上 prometheus.googleapis.com/ 前置字元。表格中的項目已省略該前置字元。

PromQL 指標名稱
Cloud Monitoring 指標名稱
種類、類型、單位
受監控資源
必要的 GKE 版本
說明
標籤
kube_daemonset_status_desired_number_scheduled
kube_daemonset_status_desired_number_scheduled/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
應執行 Daemon Pod 的節點數量。每 30 秒取樣一次。

daemonset:DaemonSet。
kube_daemonset_status_number_misscheduled
kube_daemonset_status_number_misscheduled/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
不在排程內,但目前正在執行 Daemon Pod 的節點數量。每 30 秒取樣一次。

daemonset:DaemonSet。
kube_daemonset_status_number_ready
kube_daemonset_status_number_ready/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
應執行 Daemon Pod,且有一或多個 Daemon Pod 正在執行並準備就緒的節點數量。每 30 秒取樣一次。

daemonset:DaemonSet。
kube_daemonset_status_updated_number_scheduled
kube_daemonset_status_updated_number_scheduled/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
執行更新版 Daemon Pod 的節點數量。每 30 秒取樣一次。

daemonset:DaemonSet。

詳情請參閱「DaemonSet 指標」。

DaemonSet 指標的查詢範例

您可以依叢集、命名空間和 DaemonSet 名稱篩選 DaemonSet 指標,為個別 DaemonSet 建立圖表和警告政策。

舉例來說,如要比較單一 DaemonSet 中可用副本數量與預期副本數量,可以使用下列 PromQL 查詢,在單一圖表上繪製這兩項指標:

kube_daemonset_status_updated_number_scheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonsetset=DAEMONSET"}
和
kube_daemonset_status_desired_number_scheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonset=DAEMONSET"}

如要針對 DaemonSet 推出失敗或停滯的情況發出警告,可以使用下列 PromQL 運算式:

(
  (
    kube_daemonset_status_number_misscheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonset="DAEMONSET"}
      !=
    0
  ) or (
    kube_daemonset_status_updated_number_scheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonset="DAEMONSET"}
      !=
    kube_daemonset_status_desired_number_scheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonset="DAEMONSET"}
  )
) and (
  changes(kube_daemonset_status_updated_number_scheduled{cluster="CLUSTER", namespace="NAMESPACE", daemonset="DAEMONSET"}[5m])
    ==
  0
)

本節中的部分查詢和警告運算式,是改編自 GitHub 上 Prometheus 社群 Kubernetes Helm 圖表存放區中的 kubernetes-apps.yaml 檔案。

HorizontalPodAutoscaler 指標

HorizontalPodAutoscaler (HPA) 是一種控制器,會根據 CPU 或記憶體使用率等指標,定期變更工作負載 (例如 Deployment 或 StatefulSet) 中的 Pod 數量。變更工作負載可用的 Pod 數量,可讓工作負載保持回應速度,同時兼顧效率。

如要進一步瞭解 HPA,請參閱「查看水平 Pod 自動配置器的詳細資料」。

HPA 指標表格

HorizontalPodAutoscaler 指標可讓您監控控制器的行為,並在發生問題時發出警示。下表列出 kube 狀態指標套件中可用的指標:

這個表格中的 Cloud Monitoring 指標名稱必須加上 prometheus.googleapis.com/ 前置字元。表格中的項目已省略該前置字元。

PromQL 指標名稱
Cloud Monitoring 指標名稱
種類、類型、單位
受監控資源
必要的 GKE 版本
說明
標籤
kube_horizontalpodautoscaler_spec_max_replicas
kube_horizontalpodautoscaler_spec_max_replicas/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
自動調度資源工具可設定的 Pod 數量上限,不得小於 MinReplicas。每 30 秒取樣一次。

horizontalpodautoscaler:horizontalpodautoscaler。
kube_horizontalpodautoscaler_spec_min_replicas
kube_horizontalpodautoscaler_spec_min_replicas/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
自動配置器可設定的 Pod 數量下限,預設為 1。每 30 秒取樣一次。

horizontalpodautoscaler:horizontalpodautoscaler。
kube_horizontalpodautoscaler_spec_target_metric
kube_horizontalpodautoscaler_spec_target_metric/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
這個自動配置器在計算所需副本數量時,使用的指標規格。每 30 秒取樣一次。

horizontalpodautoscaler:horizontalpodautoscaler。
metric_name:metric_name。
metric_target_type:metric_target_type。
kube_horizontalpodautoscaler_status_condition
kube_horizontalpodautoscaler_status_condition/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
這個自動配置器的條件。每 30 秒取樣一次。

condition:條件。
horizontalpodautoscaler:horizontalpodautoscaler。
namespace:命名空間。
status:狀態。
kube_horizontalpodautoscaler_status_current_replicas
kube_horizontalpodautoscaler_status_status_current_replicas/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
這個自動配置器目前管理的 Pod 副本數量。每 30 秒取樣一次。

horizontalpodautoscaler:horizontalpodautoscaler。
kube_horizontalpodautoscaler_status_desired_replicas
kube_horizontalpodautoscaler_status_desired_replicas/gauge
GAUGE、DOUBLE、1
prometheus_target
1.27.2-gke.1200
這個自動配置器管理的 Pod 副本數量。每 30 秒取樣一次。

horizontalpodautoscaler:horizontalpodautoscaler。

詳情請參閱「水平 Pod 自動配置器指標」。

HPA 指標的查詢範例

舉例來說,如要判斷 HPA 是否接近副本數量上限,可以繪製下列比率:

kube_horizontalpodautoscaler_status_current_replicas{cluster="CLUSTER", namespace="NAMESPACE", horizontalpodautoscaler="HPA"} /
kube_horizontalpodautoscaler_spec_max_replicas{cluster="CLUSTER", namespace="NAMESPACE", horizontalpodautoscaler="HPA"}

如果 HPA 以副本數量上限執行,建議您提高 Pod 數量上限規格。您可以使用下列 PromQL 運算式建立警告,在發生這種情況時通知您:

kube_horizontalpodautoscaler_status_current_replicas{cluster="CLUSTER", namespace="NAMESPACE", horizontalpodautoscaler="HPA"}
  ==
kube_horizontalpodautoscaler_spec_max_replicas{cluster="CLUSTER", namespace="NAMESPACE", horizontalpodautoscaler="HPA"}

您也可以比較 kube_horizontalpodautoscaler_status_current_replicas 和 kube_horizontalpodautoscaler_status_desired_replicas 指標的值,判斷目前和所需的副本數量是否有差異。如果兩者有差異,可能代表叢集資源受限。下列 PromQL 運算式會找出目前副本數量與所需、最小和最大副本數量之間的差異,以及目前副本數量的變化:

(kube_horizontalpodautoscaler_status_desired_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"}
  !=
kube_horizontalpodautoscaler_status_current_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"})
  and
(kube_horizontalpodautoscaler_status_current_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"}
  >
kube_horizontalpodautoscaler_spec_min_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"})
  and
(kube_horizontalpodautoscaler_status_current_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"}
  <
kube_horizontalpodautoscaler_spec_max_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"})
  and
changes(kube_horizontalpodautoscaler_status_current_replicas{job="kube-state-metrics", namespace=~"NAMESPACE"}[15m]) == 0

kube_horizontalpodautoscaler_status_condition 指標上的 condition 和 status 標籤,也能協助您偵測 HPA 何時會遇到各種失敗模式。例如:

  • ScalingLimited 條件和 true 狀態表示 HPA 受限於副本數量下限或上限:
    kube_horizontalpodautoscaler_status_condition{status="true", condition="ScalingLimited"} == 1
  • 如果條件為 AbleToScale,且狀態為 false,表示 HPA 在擷取或更新資源調度時發生問題:

    kube_horizontalpodautoscaler_status_condition{status="false", condition="AbleToScale"} == 1

  • ScalingActive 條件和 false 狀態表示 HPA 已停用或無法計算新的資源調度:

    kube_horizontalpodautoscaler_status_condition{status="false", condition="ScalingActive"} == 1

本節中的部分查詢和警告運算式,是改編自 GitHub 上 Prometheus 社群 Kubernetes Helm 圖表存放區中的 kubernetes-apps.yaml 檔案。

JobSet 指標

JobSet 是工作負載 API,可讓您將一組 Kubernetes 工作視為一個單位管理。JobSet 最常見的用途是分散式訓練,但您也可以用來執行批次工作負載。

如要進一步瞭解 JobSet,請參閱 JobSet 說明文件。

JobSet 指標表格

您可以透過 JobSet 指標監控 JobSet 行為,並接收相關快訊。下表列出 kube 狀態指標套件中可用的指標:

這個表格中的 Cloud Monitoring 指標名稱必須加上 prometheus.googleapis.com/ 前置字元。表格中的項目已省略該前置字元。

Kube 狀態 JobSet 指標
PromQL 指標名稱 (推出階段) 和 Cloud Monitoring 指標名稱 種類、類型、單位、受監控資源和必要 GKE 版本 說明和標籤

kube_jobset_specified_replicas

kube_jobset_specified_replicas/gauge

GAUGE、DOUBLE、1

prometheus_target

1.32.1-gke.1357001

JobSet 中個別複製工作的指定副本數量。 每 30 秒取樣一次。

  • jobset_name:jobset_name。
  • replicated_job_name:replicated_job_name。

kube_jobset_ready_replicas

kube_jobset_ready_replicas/gauge

GAUGE、DOUBLE、1

prometheus_target

1.32.1-gke.1357001

JobSet 中個別複製工作的「已就緒」狀態副本數量。每 30 秒取樣一次。

  • jobset_name:jobset_name。
  • replicated_job_name:replicated_job_name。

kube_jobset_succeeded_replicas

kube_jobset_succeeded_replicas/gauge

GAUGE、DOUBLE、1

prometheus_target

1.32.1-gke.1357001

JobSet 中個別複製工作的「SUCCEEDED」狀態副本數量。每 30 秒取樣一次。

  • jobset_name:jobset_name。
  • replicated_job_name:replicated_job_name。

kube_jobset_failed_replicas

kube_jobset_failed_replicas/gauge

GAUGE、DOUBLE、1

prometheus_target

1.32.1-gke.1357001

JobSet 中個別複製工作的「失敗」狀態副本數量。每 30 秒取樣一次。

  • jobset_name:jobset_name。
  • replicated_job_name:replicated_job_name。

kube_jobset_active_replicas

kube_jobset_active_replicas/gauge

GAUGE、DOUBLE、1

prometheus_target

1.32.1-gke.1357001

JobSet 中個別複製工作的「ACTIVE」狀態副本數量。每 30 秒取樣一次。

  • jobset_name:jobset_name。
  • replicated_job_name:replicated_job_name。

kube_jobset_suspended_replicas

kube_jobset_suspended_replicas/gauge

GAUGE、DOUBLE、1

prometheus_target

1.32.1-gke.1357001

JobSet 中個別複製工作的「SUSPENDED」狀態副本數量。 每 30 秒取樣一次。

  • jobset_name:jobset_name。
  • replicated_job_name:replicated_job_name。

kube_jobset_status_condition

kube_jobset_status_condition/gauge

GAUGE、DOUBLE、1

prometheus_target

1.32.1-gke.1357001

JobSet 的目前狀態條件。每 30 秒取樣一次。

  • jobset_name:jobset_name。
  • condition:條件。

kube_jobset_restarts

kube_jobset_restarts/gauge

GAUGE、DOUBLE、1

prometheus_target

1.32.4-gke.1767000

1.33.0-gke.1868000

JobSet 重新啟動次數。每 30 秒取樣一次。

jobset_name:jobset_name。

JobSet 指標的查詢範例

您可以依叢集、命名空間和 JobSet 名稱篩選 JobSet 指標,為個別 JobSet 建立圖表和警告政策。

舉例來說,如要比較處於 READY 狀態的副本數量,與單一 JobSet 中預期的副本數量,請使用下列 PromQL 查詢,在單一圖表中繪製這兩項指標:

kube_jobset_specified_replicas{cluster="CLUSTER", namespace="NAMESPACE", jobset_name="JOBSET_NAME"}
和
kube_jobset_ready_replicas{cluster="CLUSTER", namespace="NAMESPACE", jobset_name="JOBSET_NAME"}

如要在 JobSet 推出失敗或無法使用時發出警告,可以使用下列 PromQL 運算式:

kube_jobset_specified_replicas{cluster="CLUSTER", namespace="NAMESPACE", jobset_name="JOBSET_NAME"}
  >
kube_jobset_ready_replicas{cluster="CLUSTER", namespace="NAMESPACE", jobset_name="JOBSET_NAME"}

kube_jobset_status_condition 指標上的 condition 標籤,也能 協助您偵測 JobSet 何時發生各種失敗模式,例如:

  • Failed 條件表示 JobSet 執行失敗:
    kube_jobset_status_condition{jobset_name="JOBSET_NAME, condition="Failed"} == 1
  • Suspended 條件表示 JobSet 已暫停:
    kube_jobset_status_condition{jobset_name="JOBSET_NAME, condition="Suspended"} == 1

本節中的部分查詢和警告運算式,是改編自 GitHub 上 Prometheus 社群 Kubernetes Helm 圖表存放區中的 kubernetes-apps.yaml 檔案。

後續步驟