監控您的記錄檔

本文說明如何使用 Cloud Monitoring 觀察記錄資料的趨勢,並在發生您指定的情況時收到通知。為提供 Cloud Monitoring 記錄資料,Logging 支援下列功能:

  • 您可以從記錄項目產生自訂指標。這些指標稱為「記錄指標」。您也可以建立以指標為基礎的快訊政策,在記錄指標符合條件時收到通知。詳情請參閱「使用記錄指標將記錄項目資料視覺化」一文。

  • 您可以透過快訊政策,近乎即時地監控記錄項目中是否出現特定訊息。這類快訊政策稱為「記錄檔快訊政策」。詳情請參閱「監控郵件的個別記錄項目」。

  • 您可以在 Observability Analytics 中撰寫 SQL 查詢,並建立監控查詢結果的警告政策。這類警告政策稱為「以 SQL 為準的警告政策」。詳情請參閱「監控 SQL 查詢結果」。

    以 SQL 為基礎的警告政策目前為公開預先發布版。

本文的其餘部分將說明這三項快訊政策的差異,並提供授權、費用和限制的相關資訊。

使用記錄指標以視覺化方式呈現記錄項目資料

如要監控記錄資料中隨時間重複發生的事件,請使用記錄指標。記錄指標會從記錄資料產生數值資料,適合用於下列用途:

  • 計算記錄資料中警告或錯誤等訊息的出現次數,並在次數超過門檻時收到通知。
  • 觀察資料趨勢,例如記錄資料中的延遲值,並在值發生不符規定的變化時收到通知。
  • 建立圖表,顯示擷取的數值資料。

由於記錄指標會根據記錄資料產生數值資料,因此您可以在快訊政策中使用這些指標,並在圖表中顯示這些指標。如要瞭解如何為記錄指標建立快訊政策和圖表,請參閱「設定記錄指標的通知」。

Cloud Monitoring 提供一組預先定義的記錄指標,您也可以自行定義。如要查看系統定義的記錄指標清單,請點選下列 按鈕:

使用者定義的記錄指標

您可以建立記錄指標,從記錄資料中擷取數值資料。使用者定義的記錄指標會根據納入和排除的記錄項目計算值。

根據預設,使用者定義的記錄指標會從 Google Cloud 專案中記錄檔路由器接收的所有記錄項目收集資料,但您可以定義記錄指標,從轉送至特定記錄檔 bucket 的記錄項目收集資料。

如果您定義自己的記錄指標,可能會產生費用。如要進一步瞭解指標擷取相關費用,請參閱「Google Cloud Observability 定價」。

監控郵件的個別記錄項目

如要在記錄項目中出現特定訊息時收到通知,請使用記錄式快訊政策。記錄式警告政策有助於在記錄項目中找出安全性相關事件,例如:

  • 您希望在稽核記錄中出現事件時收到通知,例如人類使用者存取服務帳戶的安全金鑰。
  • 您的應用程式會將部署訊息寫入記錄,您希望在記錄部署變更時收到通知。

記錄式警告政策適用於您預期會很少發生,但非常重要的事件。您不想瞭解趨勢或模式,而是想知道發生了什麼事。

以記錄為準的快訊政策是在專案中定義,且會在符合下列條件時掃描記錄項目:

  • 已啟用計費功能。
  • 記錄項目源自專案。
  • 記錄項目來源專案或記錄項目轉送至的專案中的接收器,會將記錄項目轉送至記錄檔 bucket。

    舉例來說,假設記錄項目源自專案 A。如果專案 A 中的記錄檔接收器將記錄項目轉送至記錄檔 bucket,專案 A 中定義的記錄型警告政策就會掃描該記錄項目。

    再舉一個例子,假設記錄項目源自專案 X,且專案 X 中的記錄檔接收器會將記錄項目轉送至專案 Y。如果專案 Y 中的接收器將記錄項目轉送至記錄檔 bucket,則專案 X 和專案 Y 中定義的記錄快訊政策會掃描該記錄項目。

您無法使用以記錄為準的快訊政策,監控源自資料夾、帳單帳戶或機構的記錄項目,也無法監控未儲存在記錄 bucket 中的記錄項目。如果您建立匯總接收器,這些接收器可能會攔截記錄項目,導致記錄項目無法透過來源專案中的接收器傳送。

如要瞭解如何建立以記錄為基礎的快訊政策,請參閱「設定以記錄為基礎的快訊政策」。

監控 SQL 查詢結果

您可以設定警告政策,使用 Observability Analytics 對記錄項目資料執行 SQL 查詢。如果想根據記錄警報政策無法評估的模式 (例如記錄項目中的複雜模式或記錄資料的匯總) 接收通知,這類警報政策就非常實用。詳情請參閱「使用警告政策監控 SQL 查詢結果」。

比較快訊選項

本節將比較以記錄指標為準的警告政策、記錄式警告政策和以 SQL 為準的警告政策。

摘要表格

下表彙整了各種快訊技術,並提供額外資訊的連結:

以指標為準的快訊政策 以記錄為準的快訊政策 以 SQL 為基礎的警告政策 更多資訊
根據從記錄項目衍生的指標 根據個別記錄項目的字串 根據對記錄檔項目執行 SQL 查詢後傳回的資料表 記錄指標
記錄警報
以 SQL 為基礎的警報
用於通知您隨時間變化的趨勢 用於在記錄檔中出現特定訊息時通知您 用於在記錄檔項目視窗中通知您某種模式 記錄指標
記錄警報
以 SQL 為基礎的警報
計算依據:
  • 含記錄項目 (系統定義的記錄指標)
  • 包含和排除的記錄檔項目 (使用者定義的記錄指標)
只比對收錄的記錄項目 根據滑動區間內的記錄項目計算 可用的記錄檔項目
以 SQL 為基礎的快訊
對範圍專案指標範圍內所有專案的指標執行作業 對符合下列條件的記錄項目執行作業:
  • 記錄項目源自於定義政策的專案。
  • 記錄項目來源專案或記錄項目轉送至的專案中的接收器,會將記錄項目轉送至記錄檔 bucket。
對可透過連結的 BigQuery 資料集存取的記錄檢視畫面執行作業。這些資料集可位於任何專案中。 指標範圍
連結的 BigQuery 資料集
當指標值在指定時間內符合條件時,系統就會建立快訊 每當特定記錄項目符合篩選條件時,系統就會建立快訊 當查詢結果資料表符合條件時,系統會建立快訊 快訊和通知
在「監控」中建立及管理 在 Logging 中建立;
在 Monitoring 中管理
在 Observability Analytics 中建立,在 Monitoring 中管理 建立及管理快訊政策
以 SQL 為基礎的快訊
在 Monitoring 中查看 在 Monitoring 中查看 在 Monitoring 中查看 查看快訊政策
可以使用 Monitoring 支援的任何通知管道 可以使用 Monitoring 支援的任何通知管道 可以使用 Monitoring 支援的任何通知管道 通知管道

可用的記錄項目

本節說明記錄指標可計數的記錄項目,以及記錄警告政策可監控的記錄項目。

記錄指標可計數的記錄項目

使用者定義的記錄指標是根據 Logging API 為 Google Cloud 專案接收的所有記錄項目計算而得,不論 Google Cloud 專案是否套用納入篩選器或排除篩選器。如果根據使用者定義的記錄指標建立警告政策,該政策就會監控所有記錄項目的資料。

系統定義的記錄指標只會根據Google Cloud 專案中記錄 bucket 儲存的記錄項目計算。如果記錄已明確排除,就不會包含在這些指標中。如果根據系統定義的記錄指標建立警告政策,該政策只會監控所含記錄項目的資料。

記錄檔快訊政策可監控的記錄項目

以記錄為準的快訊政策是在專案中定義,且會在符合下列條件時掃描記錄項目:

  • 已啟用計費功能。
  • 記錄項目源自專案。
  • 記錄項目來源專案或記錄項目轉送至的專案中的接收器,會將記錄項目轉送至記錄檔 bucket。

    舉例來說,假設記錄項目源自專案 A。如果專案 A 中的記錄檔接收器將記錄項目轉送至記錄檔 bucket,專案 A 中定義的記錄型警告政策就會掃描該記錄項目。

    再舉一個例子,假設記錄項目源自專案 X,且專案 X 中的記錄檔接收器會將記錄項目轉送至專案 Y。如果專案 Y 中的接收器將記錄項目轉送至記錄檔 bucket,則專案 X 和專案 Y 中定義的記錄快訊政策會掃描該記錄項目。

您無法使用以記錄為準的快訊政策,監控源自資料夾、帳單帳戶或機構的記錄項目,也無法監控未儲存在記錄 bucket 中的記錄項目。如果您建立匯總接收器,這些接收器可能會攔截記錄項目,導致記錄項目無法透過來源專案中的接收器傳送。

SQL 警告政策可監控的記錄項目

SQL 警告政策無法存取個別記錄。而是查詢連結的 BigQuery 資料集,然後監控查詢結果。連結的 BigQuery 資料集可存取記錄檢視區塊中的資料。

每個記錄檢視區都位於記錄檔 bucket 中。將記錄檔 bucket 升級為使用 Observability Analytics 後,即可為該記錄檔 bucket 建立連結的 BigQuery 資料集。

如要進一步瞭解以 SQL 為基礎的警告政策,請參閱「使用警告政策監控 SQL 查詢結果」。

監控多項專案的指標

您可以設定指標範圍,監控多項專案的指標。指標範圍會列出所有監控的專案和帳戶。限定範圍專案會代管指標範圍。範圍專案會儲存您為指標範圍建立的警告政策和其他設定。指標範圍的範圍界定專案,是透過 Google Cloud 控制台專案挑選器選取的專案。

以記錄指標為準的警告政策,與以其他指標為準的警告政策一樣,適用於範圍專案指標範圍內的所有專案。

指標範圍與以記錄項目為準的快訊政策無關,例如以記錄為準和以 SQL 為準的政策。

如要進一步瞭解指標範圍 (包括多專案指標範圍) 和限定範圍專案,請參閱下列文章:

快訊與通知

當符合警告政策的條件時,Monitoring 會開啟警告,並將通知傳送至警告政策的通知管道。如要查看快訊詳細資料,請按一下通知訊息中的「查看快訊」,或直接前往「監控」中的「快訊」頁面。

以指標為準的快訊政策的快訊

以記錄指標為準的警告政策會建立警告和通知,就像 Monitoring 中的所有其他以指標為準的警告政策一樣,詳情請參閱「警告行為」。如要進一步瞭解如何管理以指標為準的快訊政策,請參閱「以指標為準的快訊政策」。

記錄檔警報政策的快訊

本節內容僅適用於以記錄為準的快訊政策。 這些政策會監控個別記錄項目。不適用於監控指標資料 (包括以記錄為準的指標) 或 SQL 查詢結果的快訊政策。

當 Cloud Logging 將記錄項目寫入記錄檔 bucket 時,每個以記錄為準的警告政策都會掃描該記錄項目。如果記錄項目符合快訊政策的篩選條件,Cloud Logging 會擷取標籤,並將資料轉送至 Cloud Monitoring。

收到 Cloud Logging 的資料後,Cloud Monitoring 會根據下列規則判斷要採取的動作:

  • 如果警告政策沒有未解決的警告,Monitoring 會開啟新的警告並傳送通知。

    如果系統已擷取標籤,快訊的識別資訊就會包含這些標籤。

  • 如果已關閉的快訊的擷取標籤值,與目前記錄項目的擷取標籤值相符,則 Monitoring 會重新開啟已關閉的快訊,或開啟新的快訊。監控功能會根據已關閉的警示是否已清除,決定要採取的動作,這可能需要最多三分鐘。

  • 如果目前記錄項目有未解決的快訊,且標籤值與擷取的標籤值相符,系統會再次傳送通知或不採取任何行動。系統行為取決於警告政策是否超過警告或通知限制。

每項以記錄為準的警告政策適用下列限制:

  • 每項記錄型警告政策每天最多可產生 20 則警告。

    達到上限時,通知會顯示類似下列的訊息:「每日快訊數量已達上限 (20 則)。這項政策的快訊會在 24 小時內恢復。"

    每日上限會在隨機時間重設。使用者無法設定這個重設間隔。

  • 每個記錄型警告政策每分鐘最多可發出 2 則新快訊。

    如果以記錄為準的警告政策擷取標籤值,這項限制可能會導致您無法收到預期通知。舉例來說,假設記錄式警告政策擷取一個標籤,該標籤有五個可能值。在任何一分鐘間隔內,系統最多可開啟 2 個快訊。

  • 開啟的快訊重複通知間隔下限為 5 分鐘。建立或編輯警告政策時,可以設定這個間隔。

當自動關閉時間範圍到期時,系統會自動關閉警報,不會重複警報原因。系統預設的自動關閉時間為 7 天。由於活動重複發生,警報開啟時間可能比自動關閉時間長。

如要進一步瞭解如何管理記錄型警告政策的快訊,請參閱管理記錄型警告政策的快訊。

以 SQL 為準的快訊政策的快訊

如果是以 SQL 為基礎的警告政策,當 SQL 查詢結果首次符合政策中指定的條件時,Cloud Monitoring 就會建立警告。每項警告政策只會有一則未解決的警告。在警告開啟期間,如果再次符合條件,監控服務不會建立其他警告或傳送額外通知。除非您設定較短的警告關閉期限或自行關閉警告,否則 Monitoring 會在七天後關閉以 SQL 為基礎的警告。

如要進一步瞭解如何管理以 SQL 為基礎的快訊政策快訊,請參閱「管理以 SQL 為基礎的快訊政策快訊」。

建立及管理快訊政策

在 Cloud Monitoring 中,您可以根據記錄指標建立、修改及刪除警告政策,就像其他以指標為準的警告政策一樣。詳情請參閱「管理政策」。

您可以使用 Logs Explorer 或 Cloud Monitoring API,建立記錄檔快訊政策。您可以在 Monitoring 中或使用 Cloud Monitoring API,修改及刪除記錄型快訊政策。詳情請參閱「管理記錄型快訊政策」。

您可以使用 Observability Analytics 或 Cloud Monitoring API,建立以 SQL 為基礎的快訊政策。您可以在 Monitoring 中修改及刪除以 SQL 為基礎的快訊政策,也可以使用 Cloud Monitoring API 進行這項操作。詳情請參閱「使用警告政策監控 SQL 查詢結果」。

查看快訊政策

監控服務的「政策」頁面會列出 Google Cloud 專案中的所有快訊政策。這份清單包含使用記錄指標和記錄警告政策的政策。

  1. 前往 Google Cloud 控制台的 「Alerting」(警告) 頁面:

    前往「Alerting」(警告)

    如果您是使用搜尋列尋找這個頁面,請選取子標題為「Monitoring」的結果。

  2. 選取「查看所有政策」。

以記錄為準的快訊政策會顯示在清單中,且「類型」欄中的值為 Logs。清單中會顯示以指標為準的警報政策,包括記錄指標,且「類型」欄中的值為 Metrics。以 SQL 為基礎的警報政策會顯示在清單中,且「類型」欄中的值為 SQL。 以下螢幕截圖顯示政策清單的摘錄內容:

如要依類型查看快訊政策,請使用快訊政策清單中的「類型」欄。

通知管道

您可以從任何類型的警告政策,將通知傳送至 Monitoring 支援的任何通知管道。您必須先設定這些管道,才能在警告政策中使用。

詳情請參閱「管理通知管道」。

授權規定

使用記錄指標或記錄警報政策時,必須同時授權 Cloud Logging 和 Cloud Monitoring。

限制

本節列出記錄指標的限制,以及快訊政策的限制。快訊政策的限制取決於政策監控的資料類型。

記錄指標的限制

使用者定義的記錄指標數量和結構都有所限制。如要進一步瞭解這些限制,請參閱記錄指標的限制。

快訊政策的限制

下表的前兩欄列出類別和限制值。第三欄會列出適用限制的政策類型:

  • 指標:適用於監控指標資料的警告政策,包括記錄指標。
  • LBA:適用於監控記錄項目的快訊政策。這些政策稱為記錄檔快訊政策。
  • SQL:適用於監控 SQL 查詢結果的快訊政策。
  • 全部:適用於所有快訊政策。
類別 值 政策類型
每個指標範圍的警告政策 (指標和記錄的總和) 1 2,000 指標、LBA
每個以指標為準的警告政策的條件 6 指標
每個以 SQL 為基礎的警告政策
條件(公開預先發布版)
1 SQL

以 SQL 為基礎的警告政策
(公開測試版) 的查詢執行時間上限
5 分鐘 SQL
指標缺少條件的評估時間範圍上限
2
1 天 指標
指標門檻值條件的評估時間範圍上限
2
25 小時 指標
PromQL 條件評估
的時間範圍上限
2 年 指標
指標門檻值條件中使用的篩選器長度上限
2,048 個萬國碼 (Unicode) 字元 指標
預測條件監控的時間序列數量上限
64 指標
最短預測期間 1 小時 (3,600 秒) 指標
最長預測期間 2.5 天 (216,000 秒) 指標
每個警告政策的通知管道 16 全部
每個記錄型警告政策最多可建立
個新快訊
每天 20 則快訊 LBA
每個記錄式警告政策最多可發送 3
則通知
每天 20 則通知 LBA
每個記錄檔警告政策的新快訊最高速率
每分鐘 2 則新快訊 LBA
每個記錄檔警告政策的未解決警告通知間隔下限4
5 分鐘 LBA
每個專案可同時觸發的警報政策數量上限
80,000 全部
每個警告政策可同時開啟的警告數量上限
1,000 全部
警告在沒有新資料的情況下
自動關閉的時間長度
7 天 指標、SQL
如果未手動關閉,警報的最長持續時間 7 天 LBA
保留已關閉的快訊 13 個月 不適用
保留未解決的警告 無限期 不適用
每個指標範圍的通知管道 4,000 不適用
每次延後最多可延後的快訊政策數量 16 全部
延後保留時間 13 個月 不適用
1:您可以要求提高這項限制,將每個指標範圍的預設政策數從 2,000 項提高至 10,000 項。
2條件評估的最大時間範圍是比對期和持續時間範圍值的總和。舉例來說,如果對齊週期設為 15 小時,時間範圍設為 15 小時,則評估條件時需要 30 小時的資料。
3如果通知間隔時間達到下限,且記錄項目符合快訊標籤,監控功能就會為開啟的快訊產生通知。如果 Monitoring 產生通知時,記錄型快訊政策處於暫緩狀態,系統會捨棄通知,不會傳送至政策的通知管道。否則,Monitoring 會將通知傳送至快訊政策的通知管道。Monitoring 產生的所有通知都會計入警告政策的每日 20 則通知上限。
4 如果記錄式警告政策的查詢會擷取標籤,則每個擷取的標籤值組合都會代表各自的警告時間軸。因此,您可能會在 5 分鐘內收到多則通知。

定價

如要瞭解 Cloud Logging 的定價,請參閱「Google Cloud Observability 定價」頁面。