排解快訊政策問題

如果警告政策的行為不符合預期,您可以診斷並解決常見問題,包括條件評估、警告建立和關閉、權限和通知。如要瞭解會影響警告政策評估資料方式的配置設定,例如重新測試時間範圍和對齊週期,請參閱「指標型警告政策的行為」。

磁碟使用率政策建立非預期的警告

您建立了警告政策,用於監控系統中磁碟的「已用」容量。這項政策會監控指標 agent.googleapis.com/disk/percent_used。您希望只有在任何實體磁碟的使用率超過條件中設定的門檻時,才收到通知。不過,當每個實體磁碟的磁碟使用率低於門檻時,這項政策就會建立警告。

這些政策會出現非預期警告,已知原因在於條件不限於監控實體磁碟。而是監控所有磁碟,包括回送裝置等虛擬磁碟。如果虛擬磁碟的建構方式導致使用率達到 100%,就會觸發政策建立警告。

舉例來說,請參考下列 Linux df 指令的輸出內容,其中顯示一個系統上已掛接檔案系統的可用磁碟空間:

$ df
/dev/root     9983232  2337708  7629140   24%  /
devtmpfs      2524080        0  2524080    0%  /dev
tmpfs         2528080        0  2528080    0%  /dev/shm
...
/dev/sda15     106858     3934   102924    4%  /boot/efi
/dev/loop0      56704    56704        0  100%  /snap/core18/1885
/dev/loop1     129536   129536        0  100%  /snap/google-cloud-sdk/150
...

在這個系統中,應設定磁碟使用率警告政策,篩除回送裝置 /dev/loop0 和 /dev/loop1 的時間序列。舉例來說,您可以新增篩選器 device !=~ ^/dev/loop.*,排除 device 標籤與規則運算式 ^/dev/loop.* 不符的所有時間序列。

異常快訊的常見原因

您建立的警告政策似乎過早或錯誤地建立警告。

您可能會收到看似不正確的警示通知,原因如下:

  • 如果資料有缺漏,尤其是缺少指標或「低於」門檻條件的警告政策,則可能會建立看似異常的警告。有時快訊不會顯示資料落差,有時資料落差會自動修正:

    • 舉例來說,在圖表中,由於遺漏資料的值會插補,因此可能不會出現缺口。即使缺少幾分鐘的資料,圖表也會連接缺少的資料點,確保視覺連續性。基礎資料中的這類差距可能足以讓警告政策建立警告。

    • 記錄指標中的資料點可能會延遲抵達並回填,最多可回溯至過去 10 分鐘。回填行為可有效修正落差,在資料最終送達時填補落差。因此,記錄指標中無法再查看的缺口,可能會導致警告政策建立警告。

  • 系統會即時評估指標缺失和「低於」門檻條件,但查詢會稍微延遲。從評估條件到 Monitoring 顯示對應快訊,這段期間條件狀態可能會改變。

  • 如果條件設定為根據單一測量結果建立警告,可能會導致警告過早或不正確。為避免這種情況,請將條件的重新測試時間範圍設為指標取樣率的兩倍以上,確認系統必須進行多次測量,才會建立快訊。

    舉例來說,如果指標每 60 秒取樣一次,請將重新測試時間範圍設為至少 3 分鐘。如果將重新測試時間範圍設為「most recent value」(最近的值),或設為 0 秒,則單一測量結果就可能導致系統建立快訊。

  • 編輯警告政策的條件後,變更可能需要幾分鐘才會套用至警告基礎架構。在這段時間範圍內,您可能會收到符合原始警告政策條件的警告通知。

  • 時間序列資料送達後,最多可能需要一分鐘,才會傳播至整個警告基礎架構。在這個過程中,即使時間序列資料尚未傳播到時間序列圖表,警告政策仍可能評估為符合條件。因此,即使圖表未顯示符合條件,您仍可能收到通知。為降低這種情況發生的可能性,請使用至少五分鐘的校正週期。

  • 將 App Hub 標籤 metadata.system_labels.apphub_host_project_id 重新命名為 metadata.system_labels.apphub_application_container,可能會產生一些新的警告,且部分未解決的警告不會關閉。

    您無須採取任何行動。如果資料停止傳入,警告會在自動關閉時間長度到期後自動關閉。詳情請參閱「部分指標資料」。

資料停止傳入時,不關閉警告

您可以設定警告政策,在資料停止傳入時關閉警告。在某些情況下,資料會停止傳入,但快訊仍會保持開啟狀態。舉例來說,如果您監控 Google Kubernetes Engine Pod、Cloud Run 工作或修訂版本,或批次工作等臨時工作負載,則在工作負載完成且指標資料停止傳入後,警告可能會保持開啟狀態。

如果警告政策監控的基礎資源包含 metadata.system_labels.state 標籤,且該政策並非以 Monitoring 查詢語言編寫,則 Monitoring 可以判斷資源的狀態。如果資源狀態已知為停用,則 Monitoring 不會在資料停止傳入時自動關閉警告。

如要解決這個問題,請採用下列任一方法:

  • 編輯警告政策,並進行下列變更:

    1. 在 Google Cloud 控制台編輯警告政策。

    2. 在「Configure trigger」(設定觸發條件) 頁面中,展開「Advanced options」(進階選項),然後將「Evaluation of missing data」(評估缺少的資料) 選單設為「Missing data points treated as values that don't violate the policy condition」(缺少資料點會視為未違反政策條件的值)。這個選項與列舉 EVALUATION_MISSING_DATA_INACTIVE 一致。

    3. 在「Notifications and name」(通知和名稱) 頁面中,將「Alert autoclose duration」(警告自動關閉時間長度) 選單設為 30 分鐘。

    更新警告政策後,如果觀測資料停止傳入,且條件評估缺少資料,或自動關閉時間長度到期,Monitoring 就會關閉警告。

  • 手動關閉快訊。詳情請參閱「無法手動關閉警告」。視資源狀態而定,您或許可以手動關閉警告。

發生權限錯誤,無法查看快訊詳細資料

您前往 Google Cloud 控制台的「快訊」頁面,並選取要查看的快訊。您預期會開啟詳細資料頁面。不過,詳細資料頁面無法開啟,並顯示「Permission denied」(權限遭拒) 訊息。

如要查看指標資料以外的所有警告詳細資料,請確認您具備 Monitoring Cloud 控制台事件檢視者 (roles/monitoring.cloudConsoleIncidentViewer) 和 Stackdriver 帳戶檢視者 (roles/stackdriver.accounts.viewer) 的 Identity and Access Management (IAM) 角色。

如要查看所有警告詳細資料 (包括指標資料),以及確認或關閉警告,請確認您具備 Monitoring 檢視者 (roles/monitoring.viewer) 和 Monitoring Cloud 控制台事件編輯者 (roles/monitoring.cloudConsoleIncidentEditor) 的 IAM 角色。

自訂角色無法授予查看快訊詳細資料所需的權限。

符合條件時不會建立警告

您建立了一項警告政策,其中包含一個條件。警告政策的圖表顯示監控資料違反條件,但您未收到通知,也未建立警告。

如果符合警告政策條件後,符合下列任一條件,Monitoring 就不會開啟警告。

  • 警告政策已延後。
  • 警告政策已停用。
  • 警告政策可同時開啟的警告數量已達上限。
  • 警告政策監控的資源狀態已知為停用。如果資源包含 metadata.system_labels.state 標籤,且警告政策並非以 Monitoring 查詢語言編寫,Monitoring 就能判斷資源的狀態。

警告詳細資料列出錯誤的專案

您會收到通知,且條件摘要會列出建立警告的Google Cloud 專案,也就是範圍設定專案。不過,您希望警告列出 Google Cloud 專案的名稱,該專案儲存的時間序列導致 Monitoring 建立警告。

警告政策條件中指定的匯總選項,會決定通知中參照的 Google Cloud 專案:

  • 如果匯總選項會移除儲存專案 ID 的標籤,快訊資訊就會列出限定範圍專案。舉例來說,如果只依可用區將資料分組,則分組後,系統會移除儲存專案 ID 的標籤。

  • 如果匯總選項保留儲存專案 ID 的標籤,快訊通知就會包含 Google Cloud 專案名稱,該專案儲存的時間序列會導致快訊發生。如要保留專案 ID 標籤,請在分組欄位中加入 project_id 標籤,或不要將時間序列分組。

無法手動關閉警告

您收到系統發出的警示通知。您前往快訊詳細資料頁面,然後按一下「Close alert」(關閉快訊)。您預期警告會關閉,但卻收到錯誤訊息:

Unable to close alert with active conditions.

只有在最近的警告期間內沒有收到任何觀測資料時,才能關閉警告。警告週期通常預設為 5 分鐘,定義為警告政策條件的一部分,且可設定。上述錯誤訊息表示系統在警告期間內收到資料。

如果因內部錯誤而無法關閉快訊,系統會顯示下列錯誤:

Unable to close alert. Please try again in a few minutes.

看到上述錯誤訊息時,您可以重試關閉作業,或讓 Monitoring 自動關閉快訊。

詳情請參閱「管理警告」。

多條件政策會建立多則通知

您建立的警告政策包含多個條件,並使用邏輯 AND 連結這些條件。您預期在所有條件都符合時,會收到一則通知並建立一則警告。不過,您會收到多則通知,並看到系統建立多個警告。

每當時間序列符合條件時,Monitoring 就會傳送通知並建立快訊。因此,如果警告政策有多個條件,您可能會收到每個時間序列的通知和警告,導致符合彙整條件。

舉例來說,假設您有一項警告政策,其中包含兩個條件,每個條件監控 3 個時間序列。只有在同時符合這兩項條件時,政策才會傳送通知。符合政策條件時,您可能會收到 2 則 (每個條件中符合一個時間序列) 到 6 則 (每個條件中符合所有時間序列) 通知和警告。

您無法設定 Monitoring 建立單一警告並傳送單一通知。

詳情請參閱「Monitoring 傳送通知和建立警告的時機」。

指標標籤的變數值為空值

您建立警告政策,並在說明文件部分新增指標標籤的變數。您預期通知會顯示變數參照的標籤值。不過,變數的值會設為 null。

如要解決這個問題,請嘗試下列做法:

  • 確認警告政策的匯總設定會保留您要顯示的標籤。

    舉例來說,假設您建立警告政策,監控 VM 執行個體寫入的磁碟位元組。您希望說明文件列出引發通知的裝置,因此在說明文件欄位中新增下列內容:device: ${metric.label.device}。

    您也必須確認匯總設定會保留 device 標籤的值。如要保留這個標籤,請將匯總函式設為 none,或確認分組選項包含 device。

  • 請驗證變數的語法和適用性。如要瞭解語法,請參閱「使用使用者定義的文件為通知加上註解」。

    舉例來說,變數 log.extracted_label.KEY 僅適用於記錄檔警告政策。當警告政策監控指標 (甚至是記錄指標) 時,這個變數一律會顯示為 null。

變更指標定義後沒有新資料

您變更了使用者定義指標的定義,例如修改記錄指標中使用的篩選器,但警告政策未反映您對指標定義所做的變更。

如要解決這個問題,請編輯政策的顯示名稱,強制更新警告政策。

缺少指標,因此無法在 API 中建立警告政策

您最近建立了指標,並在嘗試透過 Cloud Monitoring API 建立警告政策時,參照了該指標。不過,API 指令會失敗,並顯示下列錯誤:

Error 404: Cannot find metric(s) that match type = "METRIC_NAME".
If a metric was created recently, it could take up to 10 minutes to become
available. Please try again soon.

如要解決這個問題,請等待至少十分鐘,然後重新提交 API 要求。

警告政策圖表未顯示違反門檻

您收到通知,指出警告政策已觸發警告。不過,當您前往政策的詳細資料頁面時,圖表並未指出違反門檻。

如要解決這個問題,請嘗試縮短圖表的日期範圍。您可以使用工具列中的日期範圍選取器,或用指標在圖表上醒目顯示日期範圍,縮短日期範圍。

圖表的解析度有限,可能不會顯示某些日期範圍內的每項測量結果。