排查系统指标问题

Autopilot Standard

本页面介绍如何解决 Google Kubernetes Engine (GKE) 集群上与系统指标相关的问题。

集群中的指标未显示在 Cloud Monitoring 中

确保您已在项目中启用 Monitoring API 和 Logging API。您还应确认自己能够在Google Cloud 控制台的 Cloud Monitoring 概览部分中查看项目。

如果问题仍然存在，请检查是否有以下现象：

您是否已在集群上启用监控？

对于通过 Google Cloud 控制台和 Google Cloud CLI 创建的集群，Monitoring 默认处于启用状态，不过您可以通过运行以下命令，点击 Google Cloud 控制台中的集群详情进行验证：
```
gcloud container clusters describe CLUSTER_NAME
```
此命令的输出应包含 monitoringConfig 部分的 enableComponents 列表中的 SYSTEM_COMPONENTS，类似于以下示例：
```
monitoringConfig:
  componentConfig:
    enableComponents:
    - SYSTEM_COMPONENTS
```
如果未启用监控，请运行以下命令启用：
```
gcloud container clusters update CLUSTER_NAME --monitoring=SYSTEM
```
自创建集群或启用其监控功能以来已经有多长时间了？

新集群的指标最多可能需要一个小时才能开始显示在 Cloud Monitoring 中。
heapster 或 gke-metrics-agent（OpenTelemetry 收集器）是否正在 kube-system 命名空间中的集群中运行？

此 Pod 可能无法调度工作负载，因为您的集群没有足够资源。通过运行 kubectl get pods --namespace=kube-system 并检查名称中带有 heapster 或 gke-metrics-agent 的 Pod，检查 Heapster 或 OpenTelemetry 是否正在运行。
集群的控制层面是否能够与节点通信？

Cloud Monitoring 依赖于这种通信。您可以通过运行以下命令来检查控制平面是否正在与节点通信：
```
kubectl logs POD_NAME
```
如果此命令返回错误，则问题可能是 SSH 隧道导致的。如需查看问题排查步骤，请参阅排查 SSH 问题。

识别并解决写入指标的权限问题

GKE 使用关联到节点的 IAM 服务账号来运行日志记录和监控等系统任务。这些节点服务账号必须至少拥有项目的 Kubernetes Engine Default Node Service Account (roles/container.defaultNodeServiceAccount) 角色。默认情况下，GKE 会将 Compute Engine 默认服务账号（在您的项目中自动创建）用作节点服务账号。

如果您的组织强制执行 iam.automaticIamGrantsForDefaultServiceAccounts 组织政策限制，则项目中的默认 Compute Engine 服务账号可能无法自动获得 GKE 所需的权限。

如需找出问题，请检查集群的系统监控工作负载中的 401 错误：
```
[[ $(kubectl logs -l k8s-app=gke-metrics-agent -n kube-system -c gke-metrics-agent | grep -cw "Received 401") -gt 0 ]] && echo "true" || echo "false"
```
如果输出为 true，则表示系统工作负载发生 401 错误，这表明缺少权限。如果输出为 false，请跳过其余步骤，并尝试其他问题排查步骤。

如需向 Compute Engine 默认服务账号授予 roles/container.defaultNodeServiceAccount 角色，请完成以下步骤：

控制台

前往欢迎页面：
前往“欢迎”页面
在项目编号字段中，点击 复制到剪贴板。
转到 IAM 页面：
转到 IAM
点击 授予访问权限。
在新的主账号字段中，指定以下值：
```
PROJECT_NUMBER-compute@developer.gserviceaccount.com
```
将 PROJECT_NUMBER 替换为您复制的项目编号。
在选择角色菜单中，选择 Kubernetes Engine Default Node Service Account 角色。
点击保存。

gcloud

找到您的 Google Cloud 项目编号：
```
gcloud projects describe PROJECT_ID \
    --format="value(projectNumber)"
```
将 PROJECT_ID 替换为您的项目 ID。

输出内容类似如下：
```
12345678901
```

将 roles/container.defaultNodeServiceAccount 角色授予 Compute Engine 默认服务账号：

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
    --role="roles/container.defaultNodeServiceAccount"

将 PROJECT_NUMBER 替换为上一步中的项目编号。

确认指标代理具有足够的内存

如果您已尝试上述问题排查步骤，但指标仍未显示，则表示指标代理的内存不足。

在大多数情况下，默认向 GKE 指标代理分配的资源是足够的。但是，如果 DaemonSet 反复崩溃，您可以按照以下说明检查终止原因：

获取 GKE 指标代理 Pod 的名称：

kubectl get pods -n kube-system -l component=gke-metrics-agent

查找状态为 CrashLoopBackOff 的 Pod。

输出类似于以下内容：

NAME                    READY STATUS           RESTARTS AGE
gke-metrics-agent-5857x 0/1   CrashLoopBackOff 6        12m

描述状态为 CrashLoopBackOff 的 Pod：

kubectl describe pod POD_NAME -n kube-system

将 POD_NAME 替换为上一步中 Pod 的名称。

如果 Pod 的终止原因为 OOMKilled，则代理需要额外的内存。