建立警告規則後,您可以使用 Google Distributed Cloud (GDC) 實體隔離設備的警告監控功能,追蹤及排解專案中的有效通知。您可以在 GDC 控制台中查看警告嚴重性、持續時間、狀態和標籤。如要編寫指令碼、Cron 工作和自訂整合,請使用 curl 查詢專案的 Cortex Alertmanager HTTP 端點。
事前準備
如要取得查詢及視覺化呈現警告所需的權限,請要求專案 IAM 管理員在專案命名空間中,授予您其中一個相關聯的 Project Cortex Alertmanager 角色。視您需要的存取層級和權限而定,您可能會在專案中取得這項資源的編輯者或檢視者角色。
如要取得匯出記錄所需的權限,請要求專案 IAM 管理員授予您專案 Grafana 檢視者 (project-grafana-viewer) 角色。這項角色式存取控管程序可讓您安全地存取資料圖表。如要進一步瞭解這些角色,請參閱「準備 IAM 權限」。
下表彙整 PA and AO persona 的 Role 規定。
| 角色 | 物件 | 叢集 | 角色 | 命名空間 | 群組/使用者 | 設定 |
|---|---|---|---|---|---|---|
| PA | alertmanager | org-admin | project-cortex-alertmanager-viewer |
platform-obs | 群組 | 1 |
| PA | alertmanager | org-admin | project-cortex-alertmanager-viewer |
platform-obs | 使用者 | 2 |
| AO | alertmanager | org-admin | project-cortex-alertmanager-viewer |
PROJECT_NAMESPACE | 群組 | 1 |
| AO | alertmanager | org-admin | project-cortex-alertmanager-viewer |
PROJECT_NAMESPACE | 使用者 | 2 |
請視需要替換下列變數:
| 變數 | 說明 |
|---|---|
KUBECONFIG |
您需要特定叢集的 kubeconfig,其中包含要套用這個 RoleBinding 的 NAMESPACE。 |
RULE_NAME |
命名空間中這個 RoleBinding 資源的不重複名稱。例如:pa-cortex-alertmanager-viewer。 |
NAMESPACE |
要建立及套用這個 RoleBinding 的 Kubernetes 命名空間。請查看上一個表格中的「Namespace」欄。 |
EMAIL_ADDRESS |
獲派角色的使用者 ID。通常是電子郵件地址。例如 platform-administrator@example.com。 |
ROLE |
Role 的名稱,其中包含您要授予使用者的權限。查看上表中的可用角色 |
GROUP_NAME |
PA/AO 使用者所屬的Group名稱。例如:pa-group。 |
ZONE |
可用區名稱 |
設定 1
這項設定會授予使用者群組權限,允許存取 org 叢集中的 PA/AO 快訊。完成這項設定後,請參閱本文件的「控制台」一節,瞭解如何在 GDC 控制台查看警告。
Kubectl 指令
一般指令格式如下:
kubectl --kubeconfig `KUBECONFIG` create rolebinding `RULE_NAME` -n `NAMESPACE` --group=`GROUP_NAME` --role=project-cortex-alertmanager-viewer範例:
kubectl --kubeconfig <path-to-kubeconfig> create rolebinding project-cortex-alertmanager-viewer-binding --role=project-cortex-alertmanager-viewer --group=my-team --namespace=platform-obsYAML 檔案
apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: RULE_NAME namespace: NAMESPACE subjects: - kind: Group name: GROUP_NAME apiGroup: rbac.authorization.k8s.io roleRef: kind: Role name: project-cortex-alertmanager-viewer apiGroup: rbac.authorization.k8s.io
設定 2
這項設定會授予使用者權限,允許存取 org 叢集中的 PA/AO 快訊。完成這項設定後,請參閱本文件的「控制台」一節,瞭解如何在 GDC 控制台查看警告。
Kubectl 指令
一般指令格式如下:
kubectl --kubeconfig `KUBECONFIG` create rolebinding `RULE_NAME` -n `NAMESPACE` --user=`EMAIL_ADDRESS` --role=project-cortex-alertmanager-viewer範例:
kubectl --kubeconfig <path-to-kubeconfig> create rolebinding project-cortex-alertmanager-viewer-binding --role=project-cortex-alertmanager-viewer --user=my-email@example.com --namespace=platform-obsIAC 檔案路徑
/infrastructure/zonal/zones/`ZONE`/org-admin/rolebindings/`EMAIL_ADDRESS`/<YAML_FILE>YAML 檔案
apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: RULE_NAME namespace: NAMESPACE subjects: - kind: User name: EMAIL_ADDRESS apiGroup: rbac.authorization.k8s.io roleRef: kind: Role name: project-cortex-alertmanager-viewer apiGroup: rbac.authorization.k8s.io如要進一步瞭解這些角色,請參閱「準備 IAM 權限」
Grafana 端點
應用程式操作員 (AO):
開啟下列網址,存取專案的端點:
https://GDC_URL/PROJECT_NAMESPACE/grafana
更改下列內容:
- GDC_URL:貴組織在 GDC 的網址。
- PROJECT_NAMESPACE:專案的命名空間。
專案的使用者介面包含預設資訊主頁,例如「快訊 - 總覽」資訊主頁,其中包含快訊相關資訊。透過使用者介面查詢快訊,即可從專案中擷取快訊資訊,並取得資源的整合檢視畫面,以便瞭解及快速解決問題。
平台管理員 (PA):
開啟下列網址,存取 platform-obs 專案的端點:
https://GDC_URL/platform-obs/grafana
將 GDC_URL 替換為貴組織在 GDC 中的網址。
系統監控執行個體的使用者介面 (UI) 包含預設資訊主頁,例如「快訊 - 總覽」資訊主頁,其中包含資料觀測能力的快訊資訊。透過使用者介面查詢快訊,即可從專案中擷取快訊資訊,並取得資源的整合檢視畫面,以便瞭解及快速解決問題。

圖 1.Grafana UI 的「Alerts - Overview」(快訊 - 總覽) 資訊主頁。
查看及篩選待處理的警告
選取下列其中一種方法,查詢及篩選專案命名空間中的待處理警告:
控制台
如要透過 GDC 控制台查看專案中待處理的警告,請按照下列步驟操作:
- 登入 GDC 控制台。
- 在 GDC 控制台中選取專案。
- 在導覽選單中,依序選取「Operations」>「Alerting」(快訊)。
- 選取「快訊」分頁標籤。
- 查看快訊清單。
- 在「Alerts opened」(已開啟的快訊) 區段中,按一下「Filter」(篩選器),只顯示開啟的快訊。您也可以依其他屬性名稱或值篩選快訊。
- 按一下快訊名稱,即可查看快訊詳細資料。
Cortex 端點
本節說明如何使用 Cortex Alertmanager 端點存取警告。
找出 Cortex 端點
下列網址是專案 Cortex 執行個體的端點:
https://GDC_URL/PROJECT_NAMESPACE/cortex/alertmanager/
更改下列內容:
GDC_URL:組織在 GDC 中的網址。PROJECT_NAMESPACE:專案命名空間。舉例來說,
org-1組織中platform-obs專案的 Cortex 端點為https://org-1/platform-obs/cortex/alertmanager/。
驗證 curl 要求
- 下載並安裝 gdcloud CLI。
設定 gdcloud
core/organization_console_url屬性:gdcloud config set core/organization_console_url https://GDC_URL-
gdcloud auth login 使用使用者名稱和密碼驗證身分並登入。
登入成功後,您可以使用
gdcloud auth print-identity-token指令,在 cURL 要求中使用授權標頭。詳情請參閱「gdcloud auth」。
呼叫 Cortex 端點
請完成下列步驟,使用 curl 工具連至 Cortex 端點:
- 驗證
curl要求。 使用
curl呼叫 Cortex 端點,並使用標準 Alertmanager API 規格 (https://prometheus.io/docs/prometheus/latest/querying/api/#alertmanagers) 擴充網址,以查詢警告。以下是
curl要求範例:curl https://GDC_URL/PROJECT_NAME/cortex/alertmanager/api/v1/alertmanagers \ -H "Authorization: Bearer $(gdcloud auth print-identity-token \ --audiences=https://GDC_URL)"您會取得指令後的輸出內容。API 回應會以 JSON 格式呈現。
Alertmanager
Alertmanager 可讓您監控用戶端應用程式的警告通知。您可以使用 Alertmanager 檢查及關閉快訊,以及篩選或分組快訊:

圖 2:從 Alertmanager 查詢稽核記錄的選單選項。
預先定義的警告政策
下表列出 Prometheus 預先安裝的警告規則:
| 名稱 | 說明 |
|---|---|
| KubeAPIDown (重大) | KubeAPI 已從 Prometheus 目標探索中消失 15 分鐘。 |
| KubeClientErrors (警告) | Kubernetes API 伺服器用戶端錯誤率 > 0.01,持續 15 分鐘。 |
| KubeClientErrors (重大) | Kubernetes API 伺服器用戶端錯誤率 > 0.1,持續 15 分鐘。 |
| KubePodCrashLooping (警告) | Pod 處於當機迴圈狀態超過 15 分鐘。 |
| KubePodNotReady (警告) | Pod 處於未就緒狀態超過 15 分鐘。 |
| KubePersistentVolumeFillingUp (重大) | 已要求的 PersistentVolume 可用位元組數 < 0.03。 |
| KubePersistentVolumeFillingUp (警告) | 已宣告 PersistentVolume 的可用位元組數 < 0.15。 |
| KubePersistentVolumeErrors (重大) | 永久磁碟區處於「失敗」或「待處理」階段達五分鐘。 |
| KubeNodeNotReady(警告) | 節點未準備就緒的時間超過 15 分鐘。 |
| KubeNodeCPUUsageHigh (重大) | 節點 CPU 使用率 > 80%。 |
| KubeNodeMemoryUsageHigh (重大) | 節點記憶體用量超過 80%。 |
| NodeFilesystemSpaceFillingUp (警告) | 節點檔案系統用量 > 60%。 |
| NodeFilesystemSpaceFillingUp (重大) | 節點檔案系統用量 > 85%。 |
| CertManagerCertExpirySoon (警告) | 憑證將於 21 天後到期。 |
| CertManagerCertNotReady (重大) | 10 分鐘後,憑證仍無法處理流量。 |
| CertManagerHittingRateLimits (重大) | 建立及更新憑證的頻率限制已達上限,請等待五分鐘。 |
| DeploymentNotReady (重大)。 | 機構組織管理員叢集上的 Deployment 處於未就緒狀態超過 15 分鐘。 |
alertmanagerConfigurationConfigmaps 範例
alertmanagerConfigurationConfigmaps 列出的 ConfigMap 設定語法必須遵循 https://prometheus.io/docs/alerting/latest/configuration/
apiVersion: observability.gdc.goog/v1alpha1
kind: ObservabilityPipeline
metadata:
# Choose namespace that matches the project's namespace
namespace: kube-system
name: observability-config
# Configure Alertmanager
alerting:
# Storage size for alerting data within organization
# Permission: PA
localStorageSize: 1Gi
# Permission: PA & AO
# alertmanager config must be under the key "alertmanager.yml" in the configMap
alertmanagerConfig: <configmap-for-alertmanager-config>
# Permission: PA
volumes:
- <volume referenced in volumeMounts>
# Permission: PA
volumeMounts:
- <volumeMount referenced in alertmanagerConfig>
規則設定範例
# Configures either an alert or a target record for precomputation
apiVersion: monitoring.gdc.goog/v1alpha1
kind: MonitoringRule
metadata:
# Choose namespace that contains the metrics that rules are based on
# Note: alert/record will be produced in the same namespace
namespace: g-fleetns-a
name: alerting-config
spec:
# Rule evaluation interval
interval: <duration>
# Configure limit for number of alerts (0: no limit)
# Optional, Default: 0 (no limit)
limit: <int>
# Configure record rules
recordRules:
# Define which timeseries to write to (must be a valid metric name)
- record: <string>
# Define PromQL expression to evaluate for this rule
expr: <string>
# Define labels to add or overwrite
# Optional, Map of {key, value} pairs
labels:
<labelname>: <labelvalue>
# Configure alert rules
alertRules:
# Define alert name
- alert: <string>
# Define PromQL expression to evaluate for this rule
# https://prometheus.io/docs/prometheus/latest/configuration/alerting_rules/
expr: <string>
# Define when an active alert moves from pending to firing
# Optional, Default: 0s
for: <duration>
# Define labels to add or overwrite
# Required, Map of {key, value} pairs
# Required labels:
# severity: [error, critical, warning, info]
# code:
# resource: component/service/hardware related to alert
# additional labels are optional
labels:
severity: <enum: [error, critical, warning, info]>
code:
resource: <Short name of the related operable component>
<labelname>: <tmpl_string>
# Define annotations to add
# Optional, Map of {key, value} pairs
# Recommended annotations:
# message: value of Message field in UI
# expression: value of Rule field in UI
# runbookurl: URL for link in Actions to take field in UI
annotations:
<labelname>: <tmpl_string>
# Configures either an alert or a target record for precomputation
apiVersion: logging.gdc.goog/v1alpha1
kind: LoggingRule
metadata:
# Choose namespace that contains the logs that rules are based on
# Note: alert/record will be produced in the same namespace
namespace: g-fleetns-a
name: alerting-config
spec:
# Choose which log source to base alerts on (Operational/Audit/Security Logs)
# Optional, Default: Operational
source: <string>
# Rule evaluation interval
interval: <duration>
# Configure limit for number of alerts (0: no limit)
# Optional, Default: 0 (no limit)
limit: <int>
# Configure record rules
recordRules:
# Define which timeseries to write to (must be a valid metric name)
- record: <string>
# Define LogQL expression to evaluate for this rule
# https://grafana.com/docs/loki/latest/rules/
expr: <string>
# Define labels to add or overwrite
# Optional, Map of {key, value} pairs
labels:
<labelname>: <labelvalue>
# Configure alert rules
alertRules:
# Define alert name
- alert: <string>
# Define LogQL expression to evaluate for this rule
expr: <string>
# Define when an active alert moves from pending to firing
# Optional, Default: 0s
for: <duration>
# Define labels to add or overwrite
# Required, Map of {key, value} pairs
# Required labels:
# severity: [error, critical, warning, info]
# code:
# resource: component/service/hardware related to alert
# additional labels are optional
labels:
severity: <enum: [error, critical, warning, info]>
code:
resource: <Short name of the related operable component>
<labelname>: <tmpl_string>
# Define annotations to add
# Optional, Map of {key, value} pairs
# Recommended annotations:
# message: value of Message field in UI
# expression: value of Rule field in UI
# runbookurl: URL for link in Actions to take field in UI
annotations:
<labelname>: <tmpl_string>
透過 HTTP API 查詢快訊
觀測能力平台會公開 HTTP API 端點,用於查詢及讀取專案的指標、警告和其他時間序列資料,以便監控系統。直接從 Observability HTTP API 查詢快訊,即可根據用途設定自動化工作、調整回應及建立整合項目。例如,將輸出內容插入其他指令、將詳細資料匯出為文字檔案格式,或設定 Linux cron 工作。您可以透過指令列介面 (CLI) 或網路瀏覽器呼叫 Observability HTTP API,並取得 JSON 格式的結果。
本節說明如何使用API 規格,從 CLI 呼叫 Observability HTTP API 端點,查詢警告。
直接從 Observability HTTP API 查詢快訊,設定自動化工作、調整回應,並根據用途建立整合。例如,將輸出內容插入其他指令、將詳細資料匯出為文字檔案格式,或設定 Linux cron 工作。您可以透過指令列介面 (CLI) 或網路瀏覽器呼叫 Observability HTTP API,並取得 JSON 格式的結果。
本節說明如何使用 Alertmanager API 規格,從 CLI 呼叫 Observability HTTP API 端點,藉此查詢指標。
事前準備
如要取得存取觀測能力 HTTP API 端點所需的權限,請要求專案 IAM 管理員,在專案命名空間中授予您 Project Cortex Alertmanager 檢視者 (project-cortex-alertmanager-viewer) 角色。
專案 IAM 管理員可以建立角色繫結,授予您存取權:
a. 基礎架構營運商 (IO) 根管理員 - Project Cortex Alertmanager Viewer:
kubectl --kubeconfig $HOME/root-admin-kubeconfig create rolebinding
io-cortex-alertmanager-viewer-binding -n infra-obs
--user=fop-infrastructure-operator@example.com
--role=project-cortex-alertmanager-viewer
b. 平台管理員 (PA) 根管理員 - Project Cortex Alertmanager Viewer:
kubectl --kubeconfig $HOME/root-admin-kubeconfig create rolebinding
pa-cortex-alertmanager-viewer-binding -n platform-obs
--user=fop-platform-admin@example.com
--role=project-cortex-alertmanager-viewer
c. 應用程式操作員 (AO) 根管理員 - Project Cortex Alertmanager 檢視者: 專案:$AO_PROJECT AO 使用者名稱:$AO_USER
kubectl --kubeconfig $HOME/root-admin-kubeconfig create rolebinding
project-cortex-alertmanager-viewer-binding -n $AO_PROJECT
--user=$AO_USER
--role=project-cortex-alertmanager-viewer
建立角色繫結後,您可以使用登入使用者名稱存取對應的 Alertmanager。
驗證角色繫結
kubectl --kubeconfig $HOME/org-1-admin-kubeconfig get rolebinding -n platform-obs
如要瞭解如何透過 GDC 控制台設定角色繫結,請參閱「授予資源存取權」。
Cortex 端點
下列網址是存取警示的 Cortex 端點:
https://GDC_URL/PROJECT_NAME/cortex/alertmanager/
更改下列內容:
- GDC_URL:貴組織在 GDC 的網址。
- PROJECT_NAME:專案名稱。
呼叫 API 端點
請按照下列步驟,從 CLI 存取 Cortex API 端點並查詢警告:
- 確認您符合必要條件。
- 開啟 CLI。
使用
curl工具呼叫 Cortex 端點網址,並使用標準 https://prometheus.io/docs/prometheus/latest/querying/api/#alertmanagers 擴充網址,以查詢警告。例如:curl https://console.org-1.zone1.google.gdch.test/alice/cortex/alertmanager/api/v1/alertmanagers
您會在指令後方的 CLI 中取得輸出內容。API 回應格式為 JSON。