您可以使用 JSON 或 YAML 檔案描述警告政策設定。您可以使用 Google Cloud CLI 或 Cloud Monitoring API,透過這些檔案建立、備份及還原政策。本文說明如何將現有政策匯出為 JSON 或 YAML,並提供使用監控篩選器的 JSON 政策範例。
無論條件是使用 Monitoring 篩選器或 Prometheus 查詢語言 (PromQL),您都可以使用 JSON 或 YAML 定義政策。gcloud CLI 支援這兩種格式,但 REST API 僅接受 JSON。如要瞭解以 PromQL 為基礎的政策,請參閱「使用 PromQL 建立警告政策」。如需欄位設定詳細資料,請參閱「建立指標門檻警告政策」和「使用 API 建立警告政策」。
為現有政策產生 YAML
如要產生現有警告政策的 YAML 表示法,請使用 gcloud monitoring policies list 指令列出政策,並使用 gcloud monitoring policies describe 指令輸出政策。
如要產生現有通知管道的 YAML 表示法,請使用 gcloud monitoring channels list 指令列出管道,並使用 gcloud monitoring channels describe 指令列印管道設定。
如果未在 Google Cloud CLI 指令中加入 --format 旗標,則兩個 gcloud ... describe 指令的格式都會預設為 YAML。
例如,下列 gcloud monitoring policies describe 指令會擷取名為 projects/a-gcp-project/alertPolicies/12669073143329903307 的單一政策,而重新導向 (>) 會將輸出內容複製到 test-policy.yaml 檔案:
gcloud monitoring policies describe projects/a-gcp-project/alertPolicies/12669073143329903307 > test-policy.yaml
為現有政策產生 JSON
如要為現有警告政策和通知管道產生 JSON 表示法,請執行下列任一操作:
將
--format=json旗標新增至「為現有政策產生 YAML」一節所述的gcloudCLI 指令。例如,如要列出政策,請執行下列指令:gcloud monitoring policies list --format=json在各個 API 方法的參考資料頁面,使用 APIs Explorer 小工具:
如需警告政策,請參閱
alertPolicies.list和alertPolicies.get方法。如需通知管道,請參閱
notificationChannels.list和notificationChannels.get方法。
詳情請參閱 API Explorer。
政策範例
如備份/還原範例所示,您可以使用已儲存的政策建立這些政策的新副本。
您可以利用儲存在某個專案中的政策,在另一個專案中建立全新或類似的政策。但是,您必須在儲存政策的副本中先進行下列變更:
- 從任何通知管道中移除下列欄位:
nameverificationStatus
- 建立通知管道,然後在快訊政策中參照這些通知管道 (您需要新的管道 ID)。
- 從您重新建立的任何警告政策中移除下列欄位:
namecondition.namecreationRecordmutationRecord
本文件中的政策採用與 Google Cloud 控制台中的 Monitoring 相同的術語,例如「變化率政策」,且有兩種條件類型:
- 門檻條件;UI 中提及的政策類型幾乎都是門檻條件的變體
- 不存在條件
在以下範例中,這些條件對應至 conditionThreshold 和 conditionAbsent。詳情請參閱 Condition 的參考頁面。
您可以使用 Google Cloud 控制台手動建立許多這類政策,但有些政策只能使用 Monitoring API 建立。詳情請參閱「[建立警告政策 (UI)][alert-ui]」或「使用 API 建立警告政策」。
指標臨界值政策
指標門檻政策會偵測某個值是否超過預定界線。門檻政策可讓您知道某個項目即將達到重要點,以便採取行動。舉例來說,當可用磁碟空間低於總磁碟空間的 10% 時,即符合指標門檻政策的條件。
下列警告政策會使用平均 CPU 使用率,做為一組 VM 健康狀態的指標。當專案中 VM 的平均 CPU 使用率 (以 60 秒為間隔測量) 超過 90% 的使用率門檻達 15 分鐘 (900 秒) 時,即符合政策條件:
{
"displayName": "Very high CPU usage",
"combiner": "OR",
"conditions": [
{
"displayName": "CPU usage is extremely high",
"conditionThreshold": {
"aggregations": [
{
"alignmentPeriod": "60s",
"crossSeriesReducer": "REDUCE_MEAN",
"groupByFields": [
"project"
],
"perSeriesAligner": "ALIGN_MAX"
}
],
"comparison": "COMPARISON_GT",
"duration": "900s",
"filter": "metric.type=\"compute.googleapis.com/instance/cpu/utilization\"
AND resource.type=\"gce_instance\"",
"thresholdValue": 0.9,
"trigger": {
"count": 1
}
}
}
],
}
指標不存在政策
如果在 duration 欄位定義的日期範圍內,沒有任何資料寫入指標,則符合指標缺失條件。
其中一種做法是建立自訂指標。
以下是自訂指標的範例描述元。您可以使用 APIs Explorer 建立指標。
{
"description": "Number of times the pipeline has run",
"displayName": "Pipeline runs",
"metricKind": "GAUGE",
"type": "custom.googleapis.com/pipeline_runs",
"labels": [
{
"description": "The name of the pipeline",
"key": "pipeline_name",
"valueType": "STRING"
},
],
"unit": "1",
"valueType": "INT64"
}
詳情請參閱「使用者定義指標總覽」。
如果資料停止寫入指標的時間約為一小時,則會符合下列警告政策中的條件:換句話說,每小時管道無法執行。請注意,這裡使用的條件是 conditionAbsent。
{
"displayName": "Data ingestion functioning",
"combiner": "OR",
"conditions": [
{
"displayName": "Hourly pipeline is up",
"conditionAbsent": {
"duration": "3900s",
"filter": "resource.type=\"global\"
AND metric.type=\"custom.googleapis.com/pipeline_runs\"
AND metric.label.pipeline_name=\"hourly\"",
}
}
],
}
預測政策
符合下列情況時,即滿足預測條件:
- 在
duration欄位定義的日期範圍內,時間序列的所有預測值都相同。 - Cloud Monitoring 預測時間序列會在預測範圍內違反門檻。
預測條件是設定為使用預測功能的指標門檻條件。如下列範例所示,這些條件包含 forecastOptions 欄位,可啟用預測功能並指定預測時間範圍。在下列範例中,預測時間範圍設為一小時,這是最小值:
{
"displayName": "NFS free bytes alert",
"combiner": "OR",
"conditions": [
{
"displayName": "Filestore Instance - Free disk space percent",
"conditionThreshold": {
"aggregations": [
{
"alignmentPeriod": "300s",
"perSeriesAligner": "ALIGN_MEAN"
}
],
"comparison": "COMPARISON_LT",
"duration": "900s",
"filter": "resource.type = \"filestore_instance\" AND metric.type = \"file.googleapis.com/nfs/server/free_bytes_percent\"",
"forecastOptions": {
"forecastHorizon": "3600s"
},
"thresholdValue": 20,
"trigger": {
"count": 1
}
}
}
],
}
變更頻率政策
當時間序列中的值增加或減少至少達到門檻指定的百分比時,即符合變化率條件。建立這類條件時,系統會先對時間序列套用變化百分比計算,再與門檻進行比較。
條件會計算過去 10 分鐘內指標值的平均值,然後將結果與對齊週期開始前測得的 10 分鐘平均值進行比較。您無法變更變化率警告政策中用於比較的 10 分鐘時間範圍。不過,您在建立條件時,確實需要指定對齊週期。
這項警告政策會監控 CPU 使用率是否快速增加:
{
"displayName": "High CPU rate of change",
"combiner": "OR",
"conditions": [
{
"displayName": "CPU usage is increasing at a high rate",
"conditionThreshold": {
"aggregations": [
{
"alignmentPeriod": "900s",
"perSeriesAligner": "ALIGN_PERCENT_CHANGE",
}],
"comparison": "COMPARISON_GT",
"duration": "180s",
"filter": "metric.type=\"compute.googleapis.com/instance/cpu/utilization\" AND resource.type=\"gce_instance\"",
"thresholdValue": 0.5,
"trigger": {
"count": 1
}
}
}
],
}
群組匯總政策
這項警告政策會監控 Google Kubernetes Engine 叢集的平均 CPU 使用率是否超過門檻:
{
"displayName": "CPU utilization across GKE cluster exceeds 10 percent",
"combiner": "OR",
"conditions": [
{
"displayName": "Group Aggregate Threshold across All Instances in Group GKE cluster",
"conditionThreshold": {
"filter": "group.id=\"3691870619975147604\" AND metric.type=\"compute.googleapis.com/instance/cpu/utilization\" AND resource.type=\"gce_instance\"",
"comparison": "COMPARISON_GT",
"thresholdValue": 0.1,
"duration": "300s",
"trigger": {
"count": 1
},
"aggregations": [
{
"alignmentPeriod": "60s",
"perSeriesAligner": "ALIGN_MEAN",
"crossSeriesReducer": "REDUCE_MEAN",
"groupByFields": [
"project"
]
},
{
"alignmentPeriod": "60s",
"perSeriesAligner": "ALIGN_SUM",
"crossSeriesReducer": "REDUCE_MEAN"
}
]
},
}
],
}
這個政策會假設存在下列群組:
{
"name": "projects/a-gcp-project/groups/3691870619975147604",
"displayName": "GKE cluster",
"filter": "resource.metadata.name=starts_with(\"gke-kuber-cluster-default-pool-6fe301a0-\")"
}
如要找出群組的對應欄位,請在 project.groups.list 參考頁面使用 APIs Explorer 列出群組詳細資料。
運作時間檢查政策
運作時間檢查的狀態會顯示在「Uptime checks」(運作時間檢查) 頁面上,但您可以設定警告政策,讓 Cloud Monitoring 在運作時間檢查失敗時傳送通知。
舉例來說,下列 JSON 描述了 Google Cloud 網站的 HTTPS 運作時間檢查。警告政策每 5 分鐘會檢查一次可用性。
運作時間檢查是透過 Google Cloud 控制台建立。這裡的 JSON 表示法是使用 Monitoring API 列出專案中的運作時間檢查而建立,詳情請參閱 uptimeCheckConfigs.list。您也可以使用 Monitoring API 建立運作時間檢查。
{
"name": "projects/a-gcp-project/uptimeCheckConfigs/uptime-check-for-google-cloud-site",
"displayName": "Uptime check for Google Cloud site",
"monitoredResource": {
"type": "uptime_url",
"labels": {
"host": "cloud.google.com"
}
},
"httpCheck": {
"path": "/index.html",
"useSsl": true,
"port": 443,
"authInfo": {}
},
"period": "300s",
"timeout": "10s",
"contentMatchers": [
{}
]
}
如要為運作時間檢查建立警告政策,請依 UPTIME_CHECK_ID 參照運作時間檢查。這組 ID 是在建立檢查時設定,會顯示為 name 欄位的最後一個元件,並在 UI 的設定摘要中顯示為 Check ID。如果您使用的是 Monitoring API,uptimeCheckConfigs.create 方法會傳回 ID。
ID 是從 displayName 衍生而來,在本例中是在 UI 中設定。您可以列出運作時間檢查並查看 name 值,藉此驗證這項資訊。
先前所述的運作時間檢查 ID 為 uptime-check-for-google-cloud-site。
如果運作時間檢查失敗,或 Google Cloud 網站的 SSL 憑證將在 15 天內到期,則符合下列警告政策的條件。如果符合任一條件,Monitoring 就會傳送通知至指定的通知管道:
{
"displayName": "Google Cloud site uptime failure",
"combiner": "OR",
"conditions": [
{
"displayName": "Failure of uptime check_id uptime-check-for-google-cloud-site",
"conditionThreshold": {
"aggregations": [
{
"alignmentPeriod": "1200s",
"perSeriesAligner": "ALIGN_NEXT_OLDER",
"crossSeriesReducer": "REDUCE_COUNT_FALSE",
"groupByFields": [ "resource.label.*" ]
}
],
"comparison": "COMPARISON_GT",
"duration": "600s",
"filter": "metric.type=\"monitoring.googleapis.com/uptime_check/check_passed\"
AND metric.label.check_id=\"uptime-check-for-google-cloud-site\"
AND resource.type=\"uptime_url\"",
"thresholdValue": 1,
"trigger": {
"count": 1
}
}
},
{
"displayName": "SSL Certificate for google-cloud-site expiring soon",
"conditionThreshold": {
"aggregations": [
{
"alignmentPeriod": "1200s",
"perSeriesAligner": "ALIGN_NEXT_OLDER",
"crossSeriesReducer": "REDUCE_MEAN",
"groupByFields": [ "resource.label.*" ]
}
],
"comparison": "COMPARISON_LT",
"duration": "600s",
"filter": "metric.type=\"monitoring.googleapis.com/uptime_check/time_until_ssl_cert_expires\"
AND metric.label.check_id=\"uptime-check-for-google-cloud-site\"
AND resource.type=\"uptime_url\"",
"thresholdValue": 15,
"trigger": {
"count": 1
}
}
}
],
}
條件中的篩選器會依類型和標籤,指定要監控的指標。指標類型為 monitoring.googleapis.com/uptime_check/check_passed 和 monitoring.googleapis.com/uptime_check/time_until_ssl_cert_expires。指標標籤會識別受監控的特定運作時間檢查。在本例中,標籤欄位 check_id 包含運作時間檢查 ID。
AND metric.label.check_id=\"uptime-check-for-google-cloud-site\"
詳情請參閱監控篩選器一文。
程序健康狀態政策
如果符合某種模式的程序數超過臨界值,程序健康狀態政策就會通知您。舉例來說,這個政策可用來告知您,程序已經停止執行。
如果沒有任何與字串 nginx 相符、以使用者 www 身分執行的程序可用超過 5 分鐘,這項警告政策會導致 Monitoring 傳送通知至指定的通知管道:
{
"displayName": "Server health",
"combiner": "OR",
"conditions": [
{
"displayName": "Process 'nginx' is not running",
"conditionThreshold": {
"filter": "select_process_count(\"has_substring(\\\"nginx\\\")\", \"www\") AND resource.type=\"gce_instance\"",
"comparison": "COMPARISON_LT",
"thresholdValue": 1,
"duration": "300s"
}
}
],
}
詳情請參閱「程序健康狀態」。
指標比率
建議您使用 PromQL 建立以比率為依據的警告政策。雖然 Cloud Monitoring API 支援建構部分以篩選器為基礎的比率,但 PromQL 提供更靈活且強大的解決方案:
如要瞭解如何使用 PromQL 建立警告政策,請參閱「使用 PromQL 建立警告政策」。
如要瞭解如何繪製或監控指標比率,請參閱「指標比率」。
本節說明以篩選器為基礎的比率。您可以使用 API 建立及查看政策,計算兩項相關指標的比率,並在比率超過門檻時觸發。相關指標必須具有相同的 MetricKind。舉例來說,如果兩項指標都是量測指標,您就能建立以比率為基礎的警告政策。如要判斷指標類型的 MetricKind,請參閱指標清單。
比率條件是指指標門檻條件的變體,其中比率政策中的條件會使用兩個篩選器:一般的 filter (做為比率的分子) 和 denominatorFilter (做為比率的分母)。
兩個篩選器的時間序列必須以相同方式匯總,這樣計算出的值比率才有意義。當篩選器的比率違反 duration 欄位定義的日期範圍門檻值時,即符合警告政策的條件。
下一節將說明如何設定警告政策,監控 HTTP 錯誤回應與所有 HTTP 回應的比率。
HTTP 錯誤率
下列警告政策的門檻條件,是根據 HTTP 錯誤回應數量與所有 HTTP 回應數量的比率建立。
{
"displayName": "HTTP error count exceeds 50 percent for App Engine apps",
"combiner": "OR",
"conditions": [
{
"displayName": "Ratio: HTTP 500s error-response counts / All HTTP response counts",
"conditionThreshold": {
"filter": "metric.label.response_code>=\"500\" AND
metric.label.response_code<\"600\" AND
metric.type=\"appengine.googleapis.com/http/server/response_count\" AND
project=\"a-gcp-project\" AND
resource.type=\"gae_app\"",
"aggregations": [
{
"alignmentPeriod": "300s",
"crossSeriesReducer": "REDUCE_SUM",
"groupByFields": [
"project",
"resource.label.module_id",
"resource.label.version_id"
],
"perSeriesAligner": "ALIGN_DELTA"
}
],
"denominatorFilter": "metric.type=\"appengine.googleapis.com/http/server/response_count\" AND
project=\"a-gcp-project\" AND
resource.type=\"gae_app\"",
"denominatorAggregations": [
{
"alignmentPeriod": "300s",
"crossSeriesReducer": "REDUCE_SUM",
"groupByFields": [
"project",
"resource.label.module_id",
"resource.label.version_id"
],
"perSeriesAligner": "ALIGN_DELTA",
}
],
"comparison": "COMPARISON_GT",
"thresholdValue": 0.5,
"duration": "0s",
"trigger": {
"count": 1
}
}
}
]
}
指標和資源類型
這項政策的指標類型為 appengine.googleapis.com/http/server/response_count,有兩個標籤:
response_code:64 位元整數,代表要求的 HTTP 狀態碼。這項政策會依據這個標籤篩選時間序列資料,因此可以判斷下列事項:- 收到的回覆數量。
- 收到的錯誤回應數量。
- 錯誤回應與所有回應的比率。
loading:布林值,表示要求是否正在載入。loading標籤與這項警告政策無關。
警告政策會評估 App Engine 應用程式的回應資料,也就是來自受監控資源類型 gae_app 的資料。這項受監控資源有三個標籤:
project_id: Google Cloud 專案的 ID。module_id:應用程式中的服務或模組名稱。version_id:應用程式版本。
如需這些指標和受監控資源類型的參考資訊,請參閱指標清單中的「App Engine 指標」,以及受監控資源清單中的「gae_app 項目」。
這項政策的作用
這項條件會計算錯誤回應與總回應的比率。如果比率在 5 分鐘的對齊週期內大於 50% (即比率大於 0.5),則符合條件。
這項政策會依據這些標籤的值,將每個篩選器中的時間序列分組,藉此擷取違反條件的應用程式模組和版本。
- 條件中的篩選器會查看 App Engine 應用程式的 HTTP 回應,並選取錯誤範圍 5xx 內的回應。這是比率中的分子。
- 條件中的分母篩選器會查看 App Engine 應用程式的所有 HTTP 回應。
符合條件後,Monitoring 會立即傳送新警告的通知;條件中 duration 欄位的允許時間範圍為零秒。這項條件使用的 trigger 計數為一,也就是需要違反條件的時間序列數量,才會觸發警告。如果 App Engine 應用程式只有一項服務,trigger 數量為一即可。如果應用程式有 20 項服務,而您希望在 3 項以上服務違反條件時收到警告,請將 trigger 數量設為 3。
設定比率
分子和分母篩選器完全相同,但分子中的條件篩選器會比對錯誤範圍內的回應代碼,而分母中的條件篩選器則會比對所有回應代碼。下列子句只會出現在分子條件中:
metric.label.response_code>=\"500\" AND
metric.label.response_code<\"600\"
否則,分子和分母篩選器會相同。
每個篩選器選取的時間序列都必須以相同方式匯總,才能有效計算比率。每個篩選器可能會收集多個時間序列,因為標籤值的每個組合都會有不同的時間序列。這項政策會依據指定的資源標籤,將時間序列組合分組,將時間序列組合劃分為一組群組。每組中的部分時間序列符合分子篩選器,其餘則符合分母篩選器。
如要計算比率,必須將符合各篩選條件的時間序列組合,分別匯總為單一時間序列。這樣一來,每個群組都會有兩個時間序列,一個用於分子,另一個用於分母。接著,系統會計算各組分子和分母時間序列中的資料點比率。
在這項政策中,兩個篩選器的時間序列會匯總如下:
每個篩選器都會建立多個時間序列,並以 5 分鐘為間隔對齊,值則代表在 5 分鐘對齊期間內,對值計算
ALIGN_DELTA的結果。這個對齊器會以 64 位元整數的形式,傳回該對齊週期內相符的回應數量。每個篩選器中的時間序列也會依模組和版本的資源標籤值分組,因此每個群組都會包含兩組對齊的時間序列,分別與分子篩選器和分母篩選器相符。
系統會使用
REDUCER_SUM跨序列縮減器,加總個別時間序列中的值,將每個群組中符合分子或分母篩選器的時間序列匯總為單一時間序列。這會產生一個分子時間序列和一個分母時間序列,每個時間序列都會回報對齊期間內所有相符時間序列的回應數量。
接著,政策會計算代表各群組的分子和分母時間序列的值比率。如果比率大於 50%,就會符合警告政策的條件。