瞭解規則偵測延遲

支援:

本文說明 Google Security Operations 的規則偵測延遲情形、找出資料擷取和處理管道中的影響因素、概述結構化疑難排解方法,並提供縮短偵測延遲時間的技巧。

偵測規則總覽

偵測規則會檢查正規化的原始記錄 (包括一般和實體通用資料模型 (UDM) 事件),並根據規則規格產生安全性偵測結果。實體 UDM 事件通常包含背景資訊,例如使用者或資產中繼資料。偵測規則也可以評估先前產生的偵測結果,產生複合式警示。

預期和非預期的延遲

偵測延遲時間會因規則邏輯、資料依賴關係和系統處理週期而異。延遲分為兩種類型:

  • 預期延遲:因結構性因素而造成的延遲,例如擷取程序、規則類型、執行頻率、偵測產生方法、比對時間範圍長度,以及已知系統限制。您可以調整偵測規則設定和排程參數,盡可能縮短預期延遲時間。
  • 無法預測的延遲:因外部或動態管道狀況而造成的延遲,包括資料來源的記錄檔傳送瓶頸、Google SecOps 服務中的暫時處理延遲、內容可用性延遲,以及 UDM 重新擴充週期。

偵測結果生成方法

Google SecOps 會透過下列執行管道產生規則偵測:

  • 串流引擎:高速管道,可近乎即時 (通常在擷取後 5 分鐘內) 持續評估標準和時間範圍單一事件規則。在標準執行期間,系統會持續評估延遲到達的事件和追溯擴充。
  • 查詢引擎:評估需要跨多個事件或外部資料彙整,進行時間型事件關聯的規則:
    • 複雜單一事件規則:包含查詢參考清單或資料表的單一事件規則。
    • 多重事件規則:根據設定的時間表,以批次事件時間區塊 (例如 10 分鐘或 1 小時間隔,或 match_window / 10 適用於超過 48 小時的時間範圍) 查詢資料。
  • 針對歷來資料執行規則:透過回溯搜尋,根據歷來記錄回溯評估規則。偵測結果會在歷來掃描作業完成後顯示。
  • 重新擴充 UDM 事件:當歷來事件新增情境或更新實體資料時,重新評估先前處理的時間區塊。

導致規則偵測延遲的因素

偵測結果的顯示速度取決於規則複雜度、排程間隔、資料擷取延遲時間,以及內容擴充管道。

規則類型和複雜度

偵測規則分為幾類,延遲時間各有不同:

單一事件規則

單一事件規則會在連續串流引擎上近乎即時執行,偵測延遲時間最短。這類規則會評估個別事件,不會彙整外部資料集、資料表或多事件比對時間範圍。

複雜的單一事件規則

這類規則會評估單一事件,但會納入其他資料依賴:

  • 有時間範圍的單一事件規則:包含 match 區段的單一事件規則 (例如評估單一事件是否在特定時間範圍內符合條件)。資料擷取時,這些規則會在連續串流引擎上近乎即時地評估。
  • 參照單一事件規則:將事件屬性與參照清單或資料表進行比較的單一事件規則。

多事件規則

多重事件規則會將指定比對時間範圍內的兩個以上 UDM 事件條件建立關聯,並按照排定的批次間隔執行。

  • 標準多重事件規則:匯總多個時間範圍內的事件,並每隔 10 分鐘或 1 小時執行一次 (如果時間範圍超過 48 小時,則為 match_window / 10)。
  • 情境感知規則:使用情境感知分析,將事件資料與 UDM 實體事件 (例如 user_context 或 asset_context) 建立關聯。由於內容感知規則仰賴多個資料動態饋給,因此對擷取時間更為敏感。詳情請參閱「在規則中使用情境強化資料」。

規則執行頻率

設定的執行頻率會決定查詢引擎評估事件時間區塊的頻率:

  • 近乎即時:持續評估單一事件規則 (標準和時間範圍)。
  • 10 分鐘:適用於比對時間範圍不超過 60 分鐘的多事件規則。
  • 1 小時:比對時間範圍為 48 小時以內的多事件規則預設間隔。
  • match_window / 10 頻率:系統會自動為比對時間範圍超過 48 小時的多事件規則指派頻率 (例如,比對時間範圍為 100 小時,則每 10 小時執行一次;比對時間範圍為 10 天,則每 24 小時執行一次)。

比對時間範圍長度

如果是多重事件規則,比對時間範圍長度會定義匯總事件所需的觀察期。偵測結果必須等到完整時間範圍結束後才會顯示。

記錄擷取延遲

「擷取延遲時間」是指從來源發生事件,到 Google SecOps 收到並剖析記錄所經過的時間。

如果事件在該時段的初始排定評估後才送達,就會錯過第一次執行。系統會在後續的自動背景執行作業 (校正執行作業) 中擷取延遲到達的資料,這些作業會在主要執行作業後約 4 小時 (可選擇 30 小時,並完成擴充) 執行。

  • 範例:規則會在 30 分鐘的時間範圍內,建立事件 A (事件時間上午 9:03) 和事件 B (事件時間上午 9:05) 的關聯。如果事件 A 在上午 10:05 抵達 (晚了一小時),就會錯過上午 9:00 至 9:30 區塊的初始執行。系統會在主要執行作業後約 4 小時 (下午 2:00 左右) 進行後續的精算執行作業,重新評估封鎖,並在事件發生後約 5 小時產生偵測結果。

如要瞭解第三方 API 輪詢動態饋給的上游索引延遲時間,請參閱「輪詢動態饋給中延遲抵達的事件」。

時區差異

Google SecOps 預設會將記錄時間戳記解讀為世界標準時間。如果記錄來源省略明確的時區偏移,系統會將時間戳記視為世界標準時間,這可能會導致記錄顯示為延遲到達,即使立即收到也是如此。

  • 範例:事件發生於美國東部時間上午 10:00 (世界標準時間 15:00),並於世界標準時間 15:05 抵達 Google SecOps,不含時區中繼資料。系統會將時間戳記解讀為世界標準時間 10:00,造成 5 小時的資料擷取延遲,導致規則評估作業延後至背景校正執行。

解決方法:如要解決時區不一致的問題,請按照下列步驟操作:

  • 設定記錄來源,在事件時間戳記中加入明確的世界標準時間時區偏移量。
  • 請與支援團隊聯絡,為特定攝入動態饋給設定時區覆寫值。
  • 使用 BindPlane 處理器,將記錄主體時間戳記正規化為世界標準時間,再進行擷取。詳情請參閱「使用 BindPlane 修改記錄主體時間戳記」。

情境彙整與資料充實

Google SecOps 會從次要來源新增身分、資產和威脅中繼資料,充實 UDM 事件。如果背景資訊延遲提供,偵測時間可能會延長。

別名和擴充機制

別名和擴充功能會將原始指標與組織背景資訊建立關聯:

  • 別名:識別並連結不同資料來源中同一實體的不同 ID (例如將 DHCP 記錄中的 IP 位址對應至 MAC 位址和主機名稱,如 alex-macbook,或將使用者 ID 對應至員工職稱)。
  • 擴充:使用別名背景資訊填入正規化 UDM 事件欄位 (例如,原始事件中只有 IP 位址時,填入 $udm.event.principal.hostname)。

支援的擴充類型包括資產、使用者、程序、檔案雜湊中繼資料、地理位置和雲端資源。詳情請參閱「UDM 擴充和別名總覽」。

重新擴充 UDM 事件

隨著情境來源演變,系統會持續更新歷史事件:

  • 基礎資料變更:擷取後,歷來事件最多可更新 24 小時,因為新的比對內容資料會送達。
  • 擴充系統更新:實體中繼資料、IP 地理位置或 VirusTotal 威脅情報更新時,規則引擎會重新評估歷來區塊 (通常在排定的調整執行或重新處理期間),產生含有更新內容的偵測結果。
  • 延遲的比對內容資料:如果比對內容資料 (例如主機名稱) 在事件記錄產生後一天才送達,系統會重新擴充 UDM 事件,後續的校正執行作業則會評估擴充後的記錄。
  • 情境修改:如果擴充更新變更了事件屬性 (例如將 IP 經緯度從 USA 更新為 Canada),則在後續重新評估期間,符合更新值的規則會觸發偵測。

實體背景資訊圖 (ECG) 處理

實體情境圖 (ECG) 會將入侵指標 (IOC) 和企業資產圖資料建立關聯。由於 ECG 管道仰賴批次處理 (視資料量而定,可能需要 30 小時或數天),因此參照 graph.entity 欄位的規則會在圖表關係完整計算後,才會產生偵測結果。

歷史規則執行作業和 RetroHunt

對歷來資料執行規則時,只有在所選日期範圍內完成回溯掃描後,系統才會產生偵測結果。

  • 追溯擴充工作流程:
    1. 下午 1:00 收到事件,其中包含 ip_address = 10.0.0.5 (主機名稱不明)。
    2. 下午 2:30,DHCP 記錄檔送達,將 10.0.0.5 連結至 workstation-123。
    3. 別名管道會將下午 1:00 的歷來事件更新為 principal.hostname = workstation-123。
    4. 後續的規則重播會評估擴充的主機名稱,並顯示初始執行期間未觸發的偵測項目。

參照清單

查詢參考清單的規則,會在執行時根據最新清單版本進行評估。更新參照清單後,排定的規則可能會對先前擷取的記錄產生偵測結果。

不存在規則

為避免偽陽性,系統會先緩衝至少一小時,再評估檢查不存在條件 (例如 !$e 或 #e=0) 的規則,確保所有相關記錄都有時間送達。

資料處理和結算限制

評估偵測延遲時間時,請留意下列系統行為:

  • 擴充處理:內容擴充功能可在初始擷取後,更新最多 24 小時內的 UDM 事件記錄。
  • True-up 週期:多事件規則會在主要執行作業後約 4 小時 (可選擇 30 小時) 自動重新執行,擷取延遲送達的資料。詳情請參閱「瞭解規則重播和 MTTD」。
  • 偵測限制:如要瞭解平台容量和節流限制,請參閱「瞭解偵測限制」。

排解規則偵測延遲問題

如要診斷規則產生延遲偵測的原因,請在 Google SecOps 控制台中檢查下列經驗法則和管道階段:

  • 查看規則中繼資料和排程:在「規則資訊主頁」中,查看「規則名稱」、「規則類型」和「規則排程」欄,找出規則的執行引擎和基準評估頻率。
  • 比較事件時間和擷取時間:在「偵測」分頁中找出偵測結果,並比較事件時間戳記和擷取時間戳記。如果事件時間和擷取時間之間的差距超過 30 分鐘,則延遲是由來源或收集期間的記錄傳送延遲所造成。如果偵測項目是根據延遲超過 30 分鐘的事件資料、自動化調整執行作業、重新處理管道或回溯搜尋產生,則「偵測類型」欄會顯示 圖示。
  • 查看情境來源依附元件:檢查規則是否參照 principal 擴充、UDM 別名或 graph.entity 欄位。背景資訊管道會以非同步方式處理,並可能在後續的校正執行期間顯示偵測結果。
  • 確認頻率和比對時間範圍相容:確認設定的執行頻率與比對時間範圍大小相符 (例如,確保比對時間範圍為 15 分鐘的規則,排定為 10 分鐘或 1 小時)。
  • 檢查資料動態饋給是否中斷:查看擷取記錄和動態饋給管理資訊主頁,確認是否有擷取延遲或來源暫時中斷的情況。

縮短偵測延遲時間的訣竅

如要盡可能縮短整個環境的偵測延遲時間,請採用下列最佳化技術:

  • 最佳化規則執行頻率:
    • 單一事件規則 (標準和時間範圍) 則使用「近乎即時」。
    • 如果多事件規則的比對時間範圍小於 60 分鐘,請將排程設為 10 分鐘。
    • 如果規則的比對時間範圍介於 1 到 48 小時,且需要快速發出警告,請使用「1 hour」。
  • 調整比對時間範圍長度:將比對時間範圍設為擷取相關威脅行為所需的最短時間。
  • 消除記錄傳送瓶頸:確保轉送器和收集器立即傳送事件資料,避免記錄錯過初始執行時間。
  • 驗證時區設定:確認記錄來源提供明確的世界標準時間偏移量,避免系統誤以為攝入作業延遲超過 5 小時。
  • 稽核情境和不存在條件:只有在偵測邏輯需要時,才使用情境豐富欄位和不存在條件 (!$e),因為這些條件會刻意引入緩衝期。

後續步驟

如要瞭解相關的排程概念和設定工作流程,請參閱下列文件:

還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求解答。