瞭解搜尋資料的可用性

支援的國家/地區：

這份文件詳細說明資料擷取生命週期，包括端對端資料流程和延遲時間，以及這些因素如何影響最近擷取資料的可用性，以供查詢和分析。

在 Google Security Operations 中擷取及處理資料

本節說明 Google SecOps 如何擷取、處理及分析安全性資料。

資料擷取

資料擷取管道會從下列來源收集原始安全資料：

  • 內部系統的安全性記錄
  • 儲存在 Cloud Storage 中的資料
  • 資安營運中心 (SOC) 和其他內部系統

Google SecOps 會使用其中一種安全擷取方法，將這項資料匯入平台。

主要擷取方式包括：

  • 直接 Google Cloud 擷取

    Google SecOps 會直接 Google Cloud 擷取您機構的記錄和遙測資料 Google Cloud，包括 Cloud Logging、Cloud Asset Inventory 中繼資料和 Security Command Center 進階版發現項目。

  • 擷取 API

    使用公開的 REST 擷取 API，將資料直接傳送至 Google SecOps。您可以使用這個方法進行自訂整合，或以非結構化記錄或預先格式化的統合式資料模型 (UDM) 事件傳送資料。

  • Bindplane 代理程式

    您可以在環境 (內部部署或其他雲端) 中部署多功能的 Bindplane 代理程式，從各種來源收集記錄，並轉送至 Google SecOps。

  • 資料動態饋給

    在 Google SecOps 中，您可以設定資料動態饋給，從第三方來源 (例如特定第三方雲端儲存空間值區，如 Amazon S3) 或第三方 API (如 Okta 或 Microsoft 365) 擷取記錄。

正規化和資料擴充

資料抵達 Google SecOps 後，平台會依序執行下列階段的處理作業：

  1. 剖析和正規化

    剖析器會先處理原始記錄資料，驗證、擷取資料，並將資料從原始格式轉換為標準化的 UDM。剖析和正規化功能可讓您使用單一一致的結構定義，分析不同的資料來源 (例如防火牆記錄、端點資料、雲端記錄)。原始原始記錄仍會與 UDM 事件一併儲存。

  2. 建立索引

    正規化後，Google SecOps 會為 UDM 資料建立索引，以便在龐大的資料集中快速查詢，並讓 UDM 事件可供搜尋。此外，系統也會為「原始記錄」搜尋建立原始記錄索引。

  3. 資料擴充

    Google SecOps 會透過下列方式擴增資料，提供實用背景資訊：

    • 實體脈絡 (別名)：別名會識別並新增記錄實體的脈絡資料和指標，藉此充實 UDM 記錄檔記錄。舉例來說，這項功能會將使用者的登入名稱與各種 IP 位址、主機名稱和 MAC 位址建立關聯，建構整合的「實體圖表」。
    • 威脅情報：系統會自動比對資料與 Google 大量的威脅情報 (包括 VirusTotal 和安全瀏覽等來源)，找出已知的惡意網域、IP、檔案雜湊等。
    • 地理位置：IP 位址會加入地理位置資料。
    • WHOIS：網域名稱會加入公開註冊 WHOIS 資訊。

可供分析的資料

經過處理和增補後，UDM 資料會立即用於分析：

  • 即時偵測

    偵測引擎會針對即時傳入的資料，自動執行已啟用即時規則的自訂和 Google 建構規則，以識別威脅並產生快訊。

  • 搜尋與調查

    分析師可以使用搜尋方法，在所有經過正規化和增補的資料中搜尋。舉例來說，使用 UDM 搜尋在相關實體之間樞紐分析 (例如從 user 到 asset，再到惡意 domain)，並調查快訊。

搜尋方法

Google SecOps 提供多種不同的資料搜尋方法，每種方法都有不同的用途。

UDM 搜尋是主要且最快速的搜尋方法，適用於大多數調查。

  • 搜尋內容：查詢已正規化及建立索引的 UDM 事件。由於所有資料都會剖析為這種標準格式，因此您只要編寫一個查詢，就能在所有不同產品 (例如 Windows、Okta、Linux) 中找出相同活動 (例如登入)。
  • 運作方式：使用特定語法查詢欄位、運算子和值。
  • 示例：principal.hostname = "win-server" AND target.ip = "10.1.2.3"

使用「原始記錄搜尋」，在未剖析的原始記錄訊息中尋找可能未對應至 UDM 欄位的內容。

  • 搜尋內容：掃描記錄的原始文字，也就是在剖析和正規化之前的文字。這項功能有助於找出未編入索引的 UDM 欄位，例如特定字串、指令列引數或其他構件。
  • 運作方式：使用 raw = 前置字串。由於不會搜尋已建立索引的欄位，因此速度可能比 UDM 搜尋慢。
  • 範例 (字串)： raw = "PsExec.exe"
  • 範例 (規則運算式)： raw = /admin\$/

自然語言搜尋 (Gemini)

自然語言搜尋 (Gemini)：您可以使用簡單的英文提問，Gemini 會將問題翻譯成正式的 UDM 查詢。

  • 搜尋內容：提供對話式介面，可查詢 UDM 資料。
  • 運作方式：輸入問題後，Gemini 會為您生成基礎 UDM 搜尋查詢，您可以執行或調整查詢。
  • 範例：「顯示過去 24 小時內使用者『bob』的所有登入失敗記錄」

SOAR 搜尋功能專為 SOAR 元件而設，您可以使用這項功能管理安全性事件，而非在記錄檔中搜尋。

  • 搜尋內容：搜尋 SOAR 平台中的案件和實體 (例如使用者、資產、IP)。
  • 運作方式：您可以使用任意文字或以欄位為準的篩選器，依 ID、快訊名稱、狀態和指派使用者等條件尋找案件。
  • 範例：搜尋 CaseIds:180 或 AlertName:Brute Force

擷取資料管道，用於搜尋供應情形

系統會透過多個步驟處理新擷取的資料。這些步驟的持續時間決定了新擷取的資料何時可供查詢和分析。

下表依據搜尋方法，列出新擷取資料的處理步驟。完成這些步驟後，即可搜尋新擷取的資料。

搜尋方法 搜尋的資料 影響供應時間的處理步驟
經過正規化及擴增的 UDM 事件
  1. 擷取：記錄抵達 Google SecOps 擷取點。
  2. 剖析：系統會識別原始記錄，並透過特定剖析器處理。
  3. 正規化：系統會擷取資料並對應至 UDM 架構。
  4. 建立索引 (UDM)：系統會為正規化的 UDM 記錄建立索引，以便快速進行結構化搜尋。
  5. 擴充：新增背景資訊 (威脅情報、地理位置、使用者或資產資料)。
原始記錄檔搜尋 原始未剖析的記錄文字
  1. 擷取：記錄抵達 Google SecOps 擷取點。
  2. 索引 (原始)：系統會為記錄的原始文字字串建立索引。
SOAR 搜尋 案件和實體 這與搜尋記錄的生命週期不同，因為搜尋的是快訊和案件，而非記錄。時間依據：
  1. UDM 事件可用性：使用「UDM 搜尋」列出的相同處理步驟。
  2. 偵測：偵測引擎規則必須與 UDM 事件相符。
  3. 產生快訊：系統會根據偵測結果建立正式快訊。
  4. 建立案件：SOAR 平台會擷取警示並建立案件。

資料流程範例

以下範例說明 Google SecOps 如何擷取、處理、強化及分析您的安全性資料，並提供搜尋及進一步分析。

資料處理步驟範例

  1. 從 Amazon S3 等雲端服務或Google Cloud擷取安全性資料。Google SecOps 會加密傳輸中的資料。
  2. 將加密的安全性資料分開儲存在帳戶中。只有您和少數 Google 員工 (負責產品支援、開發和維護) 才能存取。
  3. 剖析及驗證原始安全性資料，方便處理及查看。
  4. 將資料正規化並建立索引，方便快速搜尋。
  5. 儲存帳戶中已剖析及建立索引的資料。
  6. 並提供脈絡資料。
  7. 提供安全存取權，讓使用者搜尋及查看安全性資料。
  8. 將您的安全性資料與 VirusTotal 惡意軟體資料庫進行比較，找出相符項目。在 Google SecOps 事件檢視畫面 (例如「資產」檢視畫面) 中，按一下「VT Context」即可查看 VirusTotal 資訊。Google SecOps 不會與 VirusTotal 分享您的安全性資料。

資料流向和處理方式 (Google SecOps)

預期搜尋服務可用時間的範例

新擷取的資料可供搜尋的預計時間，是資料流中所有流程時間的總和。

舉例來說，資料傳送至 Google SecOps 擷取服務後，通常約 5 分 30 秒內即可在 UDM 搜尋中取得。

資料流程步驟 說明 流程時間
Cloud Storage 到「原始記錄」 從 Cloud Storage 擷取原始記錄。 少於 30 秒
安全性記錄至資料轉送服務 將內部系統的安全性記錄傳輸至平台。 不適用
資料轉送服務至原始記錄 將從各種來源收到的原始安全性資料傳送至擷取管道。 少於 30 秒
原始記錄，然後剖析及驗證 剖析原始記錄，並驗證是否符合 UDM 格式。 不到 3 分鐘
剖析及驗證，然後建立索引 為剖析的 UDM 資料建立索引，方便快速搜尋。 不適用
索引至剖析的顧客資料 將已建立索引的資料做為已剖析的客戶資料，以供分析。 不到 2 分鐘

還有其他問題嗎？向社群成員和 Google SecOps 專業人員尋求答案。