瞭解搜尋資料的可用性

支援語言：

Google secops

這份文件詳細說明資料擷取生命週期，包括端對端資料流程和延遲時間，以及這些因素如何影響最近擷取資料的可用性，以供查詢和分析。

在 Google SecOps 中擷取及處理資料

本節說明 Google SecOps 如何擷取、處理及分析安全性資料。

資料擷取

資料擷取管道會從下列來源收集原始安全資料：

• 內部系統的安全性記錄
• 儲存在 Cloud Storage 中的資料
• 資安營運中心 (SOC) 和其他內部系統

Google SecOps 會使用其中一種安全擷取方法，將這項資料匯入平台。

主要擷取方式包括：

• 直接 Google Cloud 擷取

  Google SecOps 會使用直接擷取 Google Cloud 功能，自動從貴機構的 Google Cloud拉取記錄和遙測資料，包括 Cloud Logging、Cloud Asset Inventory 中繼資料和 Security Command Center 進階版發現項目。

• 擷取 API

  使用公開的 REST 擷取 API，將資料直接傳送至 Google SecOps。您可以使用這個方法進行自訂整合，或以非結構化記錄或預先格式化的統合式資料模型 (UDM) 事件傳送資料。

• Bindplane 代理程式

  您可以在環境 (內部部署或其他雲端) 中部署多功能的 Bindplane 代理程式，從各種來源收集記錄，並轉送至 Google SecOps。

• 資料動態饋給

  在 Google SecOps 中，您可以設定資料動態饋給，從第三方來源 (例如特定第三方雲端儲存空間值區 (如 Amazon S3) 或第三方 API (如 Okta 或 Microsoft 365)) 提取記錄。

正規化和資料擴充

資料抵達 Google SecOps 後，平台會依序進行下列處理：

1. 剖析和正規化

   剖析器會先處理原始記錄資料，驗證、擷取資料，並將資料從原始格式轉換為標準化的 UDM。剖析和正規化 可讓您使用單一一致的結構定義，分析不同的資料來源 (例如防火牆記錄、端點資料、雲端記錄)。原始原始記錄仍會與 UDM 事件一併儲存。

2. 建立索引

   正規化後，Google SecOps 會為 UDM 資料建立索引，以便在龐大的資料集中快速查詢，並讓 UDM 事件可供搜尋。

3. UDM 別名和擴充功能

   • Google SecOps 會執行 UDM 別名和擴充，找出並新增記錄實體的背景資料和指標，藉此擴充 UDM 事件的價值背景資訊。舉例來說，這項服務會將使用者的 login name 連結至各種 IP addresses、hostnames 和 MAC addresses。
   • 地理位置：Google SecOps 會使用地理位置資料擴充 IP 位址。

4. 心電圖強化功能

   • Google SecOps 會執行「ECG 別名化」，合併多個來源 (例如 IdP、CMDB 和威脅情報) 的情境，在實體情境圖表中建立整合的實體設定檔。

   • 威脅情報：Google SecOps 會自動比對事件資料與 Google 的龐大威脅情報 (包括 Google 威脅情報和 Safe Browsing 等來源)，找出已知的惡意威脅，例如 domains、IP addresses 和 file hashes。

   • WHOIS：Google SecOps 會使用網域名稱的公開註冊 WHOIS 資訊，擴充網域名稱。

可供分析的資料

經過處理和增補後，UDM 資料會立即用於分析：

• 即時偵測

  偵測引擎會針對即時傳入的資料，自動執行啟用即時規則的自訂和 Google 建構規則，以識別威脅並產生快訊。

• 搜尋與調查

  分析師可以使用搜尋方法，在所有經過正規化和增補的資料中搜尋。舉例來說，使用 UDM 搜尋在相關實體之間樞紐轉換 (例如從 user 轉換至 asset，再轉換至惡意 domain)，並調查快訊。

搜尋方法

Google SecOps 提供多種不同的資料搜尋方法，每種方法都有不同的用途。

UDM 搜尋

UDM 搜尋是主要且最快速的搜尋方法，適用於大多數調查。

• 搜尋內容：查詢已正規化及編列索引的 UDM 事件。由於所有資料都會剖析成這種標準格式，因此您只要編寫一個查詢，就能在所有不同產品 (例如 Windows、Okta、Linux) 中找出相同活動 (例如登入)。
• 運作方式：使用特定語法查詢欄位、運算子和值。

• 示例：principal.hostname = "win-server" AND target.ip = "10.1.2.3"

  結果通常會在擷取後 2 到 15 分鐘內提供。

原始記錄檔搜尋

使用原始記錄搜尋功能，在未剖析的原始記錄訊息中尋找可能未對應至 UDM 欄位的內容。這種搜尋方法專為快速搜尋而設計，通常會在 2 秒內傳回特定指標 (例如檔案雜湊或 IP 位址) 的結果。

• 搜尋內容：掃描記錄的原始未經處理文字，然後再剖析及正規化。這項功能有助於找出未編入索引的 UDM 欄位，例如特定字串、指令列引數或其他構件。
• 運作方式：使用 raw = 前置字元。由於不會搜尋已建立索引的欄位，因此速度可能比 UDM 搜尋慢。
• 範例 (字串)： raw = "PsExec.exe"
• 範例 (規則運算式)： raw = /admin\$/

搜尋統計資料

如要查看長期趨勢，請使用「統計資料搜尋」匯總數百萬列資料。由於平台必須執行統計分析和分組作業，因此這些查詢的載入時間會較長。

自然語言搜尋 (Gemini)

自然語言搜尋 (Gemini) 可讓您以簡單的英文提問，Gemini 會將問題翻譯成正式的 UDM 查詢。

• 搜尋內容：提供對話式介面，可查詢 UDM 資料。
• 運作方式：輸入問題後，Gemini 會為您生成基礎 UDM 搜尋查詢，您可以執行或調整查詢。
• 範例：「顯示過去 24 小時內使用者『bob』的所有登入失敗記錄」

SOAR 搜尋

SOAR 搜尋專用於 SOAR 元件。您可以使用這項工具管理安全性事件，而非在記錄檔中搜尋。

• 搜尋內容：在 SOAR 平台中搜尋案件和實體 (例如使用者、資產、IP 位址)。
• 運作方式：您可以使用任意文字或以欄位為準的篩選器，依 ID、快訊名稱、狀態和指派使用者等條件尋找案件。
• 範例：搜尋 CaseIds:180 或 AlertName:Brute Force

將資料擷取管道設為可供搜尋

端對端資料可用性是指從事件發生到可在 Google SecOps 中搜尋或執行規則，中間經過的總時間。這項延遲時間是以下兩項元件的加總值：

1. 來源端可用性延遲：事件發生到來源系統提供記錄資料供擷取之間的時間。延遲時間取決於來源系統的架構、處理、批次處理和 API 發布時間表。Google SecOps 無法影響這項延遲。舉例來說，系統將記錄檔寫入儲存空間值區或發布至 API 端點時，可能會發生延遲。

2. Google SecOps 處理時間：Google SecOps 收到資料後，處理資料所需的時間。這段時間包括內部管道階段，例如擷取、剖析、正規化、建立索引和擴充。

排解資料顯示時間軸問題時，請務必同時考量這兩個元件。

資料來源造成的延遲

下列因素可能會導致來源端延遲：

• 批次處理：部分系統會以固定的間隔 (例如每小時) 批次產生記錄。
• API 延遲：來源 API 在查詢新事件時可能會出現固有延遲。
• 事件建立和發布時間：記錄中的事件時間戳記可能比記錄完成並可供收集的時間戳記早得多。
• 節流：來源端 API 速率限制可能會減緩資料擷取速度。
• 初始回填：服務及擷取大量歷史資料需要時間。

延遲時間會因資料來源和記錄類型而異。如要進一步瞭解擷取方法，請參閱「資料擷取總覽」。動態饋給管理 API 參考資料說明 Microsoft Graph、SentinelOne、Okta 和 CrowdStrike 等記錄類型的具體考量。

Google SecOps 處理時間

系統會透過多個步驟處理新擷取的資料。這些步驟的持續時間決定了新擷取的資料何時可供查詢和分析。

下表依搜尋方法細分新擷取資料的處理步驟。完成這些步驟後，新擷取的資料就能供人搜尋。

搜尋方法	搜尋的資料	影響供應時間的處理步驟
UDM 搜尋 自然語言搜尋 (Gemini)	正規化及經過擴充的 UDM 事件	擷取：記錄會傳送至 Google SecOps 擷取點。 剖析：系統會識別原始記錄，並透過特定剖析器處理。 正規化：系統會擷取資料並對應至 UDM 架構。 建立索引 (UDM)：系統會為正規化的 UDM 記錄建立索引，以便快速進行結構化搜尋。 擴充：加入背景資訊 (威脅情報、地理位置、使用者或資產資料)。
原始記錄檔搜尋	原始未剖析的記錄文字	擷取：記錄會傳送至 Google SecOps 擷取點。
偵測引擎 (規則)	正規化事件	UDM 事件可用性：與 UDM 搜尋的步驟相同。 偵測評估：規則引擎會以「微批次」評估記錄，通常會在事件抵達後 5 到 10 分鐘內觸發偵測。
SOAR 搜尋	案件和實體	這是不同的生命週期，因為它會搜尋快訊和案件，而不是記錄。時間依據： UDM 事件可用性：使用「UDM 搜尋」列出的相同處理步驟。 偵測：偵測引擎規則必須與 UDM 事件相符。 產生快訊：系統會根據偵測結果建立正式快訊。 建立案件：SOAR 平台會擷取快訊並建立案件。

資料流程範例

以下範例說明 Google SecOps 如何擷取、處理、強化及分析您的安全性資料，並提供搜尋及進一步分析。

資料處理步驟範例

1. 從 Amazon S3 等雲端服務或Google Cloud擷取安全性資料。Google SecOps 會加密傳輸中的資料。
2. 將加密的安全性資料分開儲存在帳戶中。只有您和少數 Google 員工 (負責產品支援、開發和維護) 才能存取。
3. 剖析及驗證原始安全資料，方便處理及查看。
4. 將資料正規化並建立索引，方便快速搜尋。
5. 儲存帳戶中已剖析及建立索引的資料。
6. 並提供背景資料。
7. 提供安全存取權，讓使用者搜尋及查看安全性資料。
8. 將您的安全性資料與 Google Threat Intelligence 惡意軟體資料庫進行比較，找出相符項目。在 Google SecOps 事件檢視畫面 (例如「資產」檢視畫面) 中，按一下「VT Context」即可查看 Google 威脅情報資訊。Google SecOps 不會與 Google 威脅情報分享您的安全性資料。

預期搜尋服務可用時間示例

新擷取的資料可供搜尋的預期時間，是資料流中所有流程時間的總和。

舉例來說，資料傳送至 Google SecOps 擷取服務後，通常平均約 5 分 30 秒即可在 UDM 搜尋中提供。

資料流程步驟	說明	流程時間
Cloud Storage 到「原始記錄」	從 Cloud Storage 擷取原始記錄。	不到 30 秒
安全性記錄至資料轉送服務	將內部系統的安全性記錄傳輸至平台。	不適用
資料轉送服務至原始記錄	將從各種來源收到的原始安全性資料傳送至擷取管道。	不到 30 秒
原始記錄到「剖析並驗證」	剖析原始記錄，並驗證是否符合 UDM 格式。	不到 3 分鐘
剖析及驗證至索引	為剖析後的 UDM 資料建立索引，方便快速搜尋。	不適用
索引至已剖析的顧客資料	將已建立索引的資料做為已剖析的客戶資料，以供分析。	不到 2 分鐘

疑難排解

本節提供疑難排解指南。

延遲和限制

Google SecOps 平台收到資料後，處理和顯示資料時會受到下列架構限制：

• 搜尋曝光度：2 到 15 分鐘後。
• 規則執行：事件抵達後 5 到 10 分鐘。
• UI 視覺化：為維持瀏覽器效能，大量記錄資料的視覺化呈現上限為 10,000 列。

注意： 這些時間是從 Google SecOps 收到資料後開始計算。端對端資料可用性也取決於資料來源的延遲，這類延遲會在資料進入 Google SecOps 管道前發生。

注意： 如果變更內容沒有立即顯示在使用者介面中，不一定表示同步失敗。如果事件發生時間距離現在不到 15 分鐘 (搜尋) 或 10 分鐘 (規則)，資料可能仍在標準處理程序中。延遲並不代表系統故障。

還有其他問題嗎？向社群成員和 Google SecOps 專業人員尋求解答。