資料擷取總覽

支援語言:

Google Security Operations 會擷取客戶記錄、將資料標準化,並偵測安全快訊。提供自助式功能,可進行資料擷取、威脅偵測、警示和案件管理。Google SecOps 也能接收其他 SIEM 系統的快訊並進行分析。

資料擷取架構總覽

下圖說明安全性資料如何流入 Google SecOps,以及系統如何處理這些資料,以便在介面中進行分析。

資料流向和處理方式:Google SecOps

資料擷取的主要步驟

Google SecOps 會依下列方式處理您的安全性資料:

  1. 從 Amazon S3 或Google Cloud等雲端服務擷取安全性資料。Google SecOps 會加密傳輸中的資料。
  2. 將加密的安全性資料分開儲存在帳戶中。只有您和少數 Google 員工 (負責產品支援、開發和維護) 才能存取。
  3. 剖析及驗證原始安全資料,方便處理及查看。
  4. 為資料建立索引,方便快速搜尋。
  5. 儲存帳戶中已剖析及建立索引的資料。
  6. 提供安全存取權,讓使用者搜尋及查看安全性資料。
  7. 將您的安全性資料與 VirusTotal 惡意軟體資料庫進行比較,找出相符項目。在 Google SecOps 事件檢視畫面 (例如資產檢視畫面) 中,按一下「VT Context」即可查看 VirusTotal 資訊。Google SecOps 不會與 VirusTotal 分享您的安全性資料。

資料擷取方法總覽

Google SecOps 擷取服務是所有資料的閘道。

Google SecOps 會透過下列系統擷取資料:

  • Google Cloud:Google SecOps 會直接從您的 Google Cloud 機構擷取資料,這是所有標準 Google Cloud 記錄 (例如稽核、VPC 流程、DNS 和防火牆) 的主要方法。 這是將遙測資料匯入 Google SecOps 最具成本效益且成效卓越的方式。 Google Cloud 詳情請參閱「將資料擷取 Google Cloud 至 Google SecOps」。

  • Bindplane 代理程式:這是受管理的代理程式,可從地端環境和伺服器 (Windows 或 Linux) 收集記錄。Bindplane 是遙測管道,可從任何來源收集、精簡及匯出記錄至 Google SecOps,因此可彈性收集其他方法無法處理的不同類型記錄。 您可以使用此工具處理地端部署資料,例如防火牆記錄、Windows 和 Linux 記錄,或是預先處理雲端資料 (例如修正或篩選),再擷取至 Google SecOps。您也可以使用 Bindplane OP 管理控制台管理這個代理程式。詳情請參閱「使用 Bindplane 代理程式」。

  • 資料動態饋給:資料動態饋給主要用於雲端式記錄,第三方記錄已匯總至物件儲存庫 (例如 Cloud Storage 或 Amazon S3),或第三方支援「推送」式方法 (例如 Webhook)。資料動態饋給也提供現成支援,可與預先定義的一組 API 整合。使用資料動態饋給,取得雲端記錄 (例如 EDR 或任何 SaaS 應用程式),以及預先定義為直接 API 的特定整合。資料動態饋給會將記錄直接傳送至 Google SecOps 擷取服務。詳情請參閱動態饋給管理說明文件。資料動態饋給支援大小上限為 4 MB 的記錄行。您可以使用 Cloud Logging 監控動態消息活動和錯誤。詳情請參閱「使用 Cloud Logging 分析動態消息活動」。

  • 擷取 API:如果自訂、大量或自行開發的應用程式不適用於其他方法,請使用擷取 API。相較於其他擷取方法,這個方法的使用難度略高。詳情請參閱「擷取 API」。

  • 轉送站:轉送站已終止支援。Google 建議改用 Bindplane 代理程式。

剖析器會將客戶系統的記錄轉換為統合式資料模型 (UDM)。Google SecOps 中的下游系統會使用 UDM 提供其他功能,包括規則和 UDM 搜尋。

如要完整瞭解資料擷取生命週期,包括端對端資料流程和延遲,以及這些因素如何影響最近擷取資料的查詢和分析可用性,請參閱「瞭解搜尋資料可用性」。

規格

  • 擷取檔案時,檔案的內容格式必須與檔案副檔名預期的格式相符,才能順利擷取記錄。

  • 大型檔案 (5 到 10 GB 以上) 可能會大幅延遲資料擷取作業。

  • 擷取作業僅支援 UTF-8 編碼。

瞭解擷取和資料可用時間

Google SecOps 的資料分析可用性取決於多個階段。如要排解延遲問題,請區分來源系統延遲和 Google SecOps 處理時間。

  • 來源系統延遲 (擷取前):許多資料來源都有固有的延遲時間。事件發生後,系統可能不會立即收集資料。常見原因包括:

    • 來源處理和批次處理時間表。
    • 將事件寫入記錄檔或 API 端點所需的時間。
    • API 頻率限制。
    • 事件時間戳記與記錄可供擷取的時間之間的差異 (例如 createTime)。
  • Google SecOps 擷取和處理延遲:資料到達擷取點後,下列步驟可能會導致延遲:

    • 收集間隔:如果是集區來源 (例如 API 或儲存空間 bucket),設定的動態饋給頻率 (例如每 5 分鐘或每小時) 會決定最長延遲時間。
    • 內部管道:剖析、正規化、建立索引和擴充。 詳情請參閱「瞭解搜尋資料的可用性」。

如果發生延遲,請判斷原因出在來源還是 Google SecOps。舉例來說,Blob 儲存空間服務的記錄檔並非即時,而是取決於輪詢頻率。

如需來源端延遲時間已知的記錄類型清單,請參閱動態饋給管理 API 參考資料

還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求解答。