最佳化擷取量

支援：

本指南說明如何著重於設定 Google Security Operations 資料處理管道，藉此最佳化擷取量。這項功能提供統一的方式，可在資料完全擷取前，篩選、轉換及遮蓋資料，無論來源為何。這個方法可以提升資料品質和威脅偵測效率。

本指南適用於資安工程師、Google SecOps 分析師，以及負責管理 Google SecOps 記錄檔擷取作業的雲端管理員。

擷取大量未經篩選的記錄，可能會耗盡預算和資源。這會導致成本增加、搜尋和分析能力變慢，且資安分析師在大量不相關資料中，更容易錯過重大警示。有效的篩選機制是關鍵所在，可確保 Google SecOps 部署作業兼具成本效益和效率。

事前準備

請確認您已具備或完成下列事項：

  • Identity and Access Management (IAM) 角色：預先定義的 Chronicle API Admin 角色 (roles/chronicle.admin)，或包含下列任一權限的自訂角色：
    • chronicle.logProcessingPipelines.*
    • chronicle.logTypes.get
    • chronicle.logTypes.list
    • chronicle.feeds.get
    • chronicle.feeds.list
    • chronicle.logs.list
  • Bindplane 版本：您必須使用 Bindplane Server 控制台 1.96.4 以上版本。
  • Bindplane Cloud 支援 Workload Identity Federation (WIF) 驗證。自行代管的 Bindplane 部署作業需要服務帳戶 JSON 金鑰憑證。
  • 存取 Bindplane 管理控制台或 Google SecOps Data Pipeline API，設定處理器節點。
  • 找出設定篩選、轉換和遮蓋處理器所需的精確欄位、記錄類型和條件，以便縮減資料量。
  • 比對與擷取方法相關聯的特定記錄類型、收集器 ID (適用於 Bindplane 來源) 或動態饋給名稱 (適用於資料動態饋給)，定義管道串流輸入內容。
  • 如果您要擷取 Google Cloud 記錄，請定義必要的 Logging 匯出篩選器，在上游實施篩選，盡可能節省成本，再將資料傳送至 SecOps 管道。
  • 瞭解記錄資料：
    • 找出高量或低價值的記錄：分析目前的擷取指標，找出哪些記錄類型和來源最會增加資料量和費用。詳情請參閱「擷取指標總覽」。
    • 決定篩選條件：決定特定欄位、值、模式 (規則運算式) 或條件，以便可靠地識別要捨棄、轉換或遮蓋的記錄。
    • 瞭解擷取方法：瞭解如何擷取每個目標記錄來源 (直接、Bindplane、Feed、API)，因為這會影響您設定管道串流的方式。

重要術語

  • 資料處理管道：這項功能可在記錄資料送達時，先篩選、轉換及遮蓋資料，再儲存及建立索引。
  • 篩選：這是最佳化資料量的主要功能，可定義條件，選擇性捨棄安全分析不需要的事件。
  • 轉換：這項功能可修改記錄格式，提升可用性，例如去除完整網域名稱 (FQDN)，或刪除事件中的詳細欄位。
  • Redact：在儲存記錄前，遮蓋或完全移除記錄中的機密資訊，有助於遵循法規和保護隱私。
  • Bindplane 代理程式：從地端部署系統或其他雲端系統收集記錄的擷取方法。
  • 動態饋給：從 Cloud Storage、Amazon S3 或第三方 API 等來源擷取資料的方法。
  • 擷取 API：傳送自訂記錄資料的方法，可使用資料處理管道進行伺服器端篩選。
  • 上游篩選：建議您使用記錄匯出篩選器，在來源篩選 Google Cloud 記錄，以節省最多費用。
  • 資料串流：特定資料流，由記錄類型和擷取來源 (例如動態饋給或 API) 定義，做為資料處理管道的輸入內容。
  • 處理器節點：管道中的元件，內含一或多個處理器 (篩選、轉換或遮蓋動作)，可依序處理資料。
  • 目的地：資料處理管道的端點，通常是 Google SecOps 執行個體，處理後的資料會傳送至該處，以利最終擷取和分析。

使用資料處理管道進行最佳化

Google SecOps 的資料處理管道提供強大的預先剖析控制功能，可控管資料擷取程序。您可以定義規則和動作，在記錄檔抵達後套用，然後再儲存及建立索引。詳情請參閱「設定及管理資料處理管道」。

主要功能

  • 篩選條件：這是盡量提高轉換量的主要重點。您可以定義條件 (使用原始記錄內容、屬性或規則運算式)，有選擇性地捨棄安全性分析不需要的事件。這是減少干擾和成本的關鍵。
  • 轉換：修改記錄格式，提升可用性或移除事件中不必要的資料。例如從主機名稱中移除完整網域名稱、剖析及重組 JSON 酬載，或是刪除冗長但不相關的欄位。
  • 遮蓋：在儲存記錄檔前，遮蓋或完全移除其中的個人識別資訊 (PII) 等私密資訊，協助您符合法規和隱私權規定。

普遍適用性

資料處理管道的主要優點在於，可套用至任何擷取方法取得的資料。這可為下列項目提供一致的篩選層：

  • Google Cloud 內建記錄
  • 使用 Bindplane 代理收集的記錄
  • 透過動態饋給匯入的資料
  • 透過 Ingestion API 傳送的自訂記錄

詳情請參閱本指南的「方法專屬篩選策略」一節。

使用資料處理管道實作篩選功能

步驟 1：設定管道

您可以透過 Bindplane 管理控制台或使用公開的 Google SecOps Data Pipeline API，設定及管理資料處理管道。您可以使用這些節點定義串流 (輸入)、設定處理器節點 (篩選、轉換、遮蓋)，以及管理管道部署作業。

如需完整設定操作說明，請參閱「設定及管理資料處理管道」。

步驟 2：設定用於篩選的處理器

在管道中，您可以將處理器新增至節點。如要減少資料量，請主要使用篩選器處理器。您可以設定這些處理器，根據條件或規則運算式捨棄記錄。您可以使用 OTTL (OpenTelemetry 轉換語言) 語法，設定自訂管道條件和陳述式。

  • 條件：評估記錄資料中的欄位或屬性。
  • 規則運算式：原始記錄訊息中的比對模式。
  • OTTL 範例：陳述式範例為 set(attributes["labels.myLabel.value"], "myValue")。

除了篩選，您也可以考慮使用轉換處理器，從保留的記錄中移除不必要的大型欄位，並使用遮蓋處理器，將機密資料設為空值。

步驟 3：方法專屬的篩選策略

以下各節說明如何針對各項主要擷取類型，使用資料處理管道進行篩選。

Google Cloud 記錄

  • 上游篩選 (建議的最佳做法)：為盡可能節省成本，Google 建議使用 Cloud Logging 匯出篩選器，在來源端篩選 Google Cloud 記錄。這可避免不必要的記錄傳送至 Google SecOps。如有需要，您可以使用資料處理管道進行額外篩選。詳情請參閱擷取 Google Cloud 資料指南，尤其是「自訂匯出篩選器設定」一節。

  • 管道應用程式：設定資料處理管道，選取適當的 Google Cloud 記錄類型和擷取方法，可以是「直接」或「雲端原生」。定義篩選處理器，根據內容捨棄不必要的記錄。

Bindplane Agent

Bindplane 代理程式從地端部署系統或其他雲端系統收集的記錄，可透過資料處理管道篩選。設定串流，使其與 Bindplane 來源相關聯的記錄類型和收集器 ID 相符。詳情請參閱「搭配使用 Bindplane 與 Google SecOps」。

資料動態饋給

如果是透過動態饋給擷取的資料 (例如來自 Cloud Storage、Amazon S3 或第三方 API)，您可以在設定管道串流時，選取動態饋給名稱和記錄類型，套用資料處理管道篩選器。詳情請參閱「使用動態饋給」指南。

Chronicle API 擷取方法

如果您使用 Chronicle API 擷取方法傳送資料，仍可使用資料處理管道。設定管道串流，使其與 API 呼叫中使用的記錄類型相符。這樣就能在伺服器端篩選自訂記錄串流。詳情請參閱 Chronicle API 擷取方法指南。

最佳做法

  • 盡可能在上游篩選：如 Google Cloud所述，請一律盡可能在靠近來源的位置篩選記錄。這是最符合成本效益的做法，因為可減少資料傳輸和處理負擔。
  • 具體明確：先從範圍較窄、定義明確的篩選器開始，排除已知的高用量低價值記錄。避免使用過於廣泛的篩選條件，以免不小心捨棄實用資料。
  • 疊代與修正：定期檢查篩選器的成效。是否能捕捉到正確的事件？是否有需要過濾的新噪音？
  • 記錄篩選器：記錄已設定的篩選器和原因，尤其是複雜的規則運算式或條件邏輯。

驗證與測試

  • 測試：請先在非正式環境中測試篩選條件，或使用少量資料進行測試。
  • 驗證篩選器：使用 Bindplane 控制台管道編輯器中的測試功能。您可以輸入記錄範例，查看套用處理器後的輸出內容，確認篩選器是否正常運作。
  • 監控擷取作業：部署管道後，請在 Google SecOps 監控擷取資訊主頁，觀察對資料量和費用的影響。詳情請參閱「擷取指標總覽」。
  • 查看設定：您可以在 Google SecOps UI 中，依序前往「SIEM 設定」>「資料處理」，查看所有設定。
  • 外部管理：您可以搜尋設定，然後按一下「Open in Bindplane」(在 Bindplane 中開啟)，直接跳到 Bindplane 控制台進行進階管理。

限制

  • 服務限制：過於複雜的規則運算式，或每個管道有大量處理器，都可能影響效能或受到限制。請參閱「服務限制」一文，瞭解 Google SecOps 的限制。
  • Google SecOps 套裝組合：請務必瞭解 Google SecOps 套裝組合中的功能。詳情請參閱「Google SecOps 套件」。
  • 可重複使用性：雖然管道設定功能強大，但某個記錄類型或來源的管道設定，可能無法直接用於其他類型或來源，必須經過調整。
  • 處理器數量上限：每個管道最多可定義 10 個處理器。
  • 規則運算式效能：避免過度比對規則運算式，以免因逾時而導致管線建立或部署失敗。建議將資料剖析為 JSON，並依特定欄位篩選。
  • 串流關聯限制：雖然可以為相同記錄類型的不同動態饋給建立不同管道，但完全相同的串流定義 (例如相同的動態饋給，或相同的記錄類型 catch-all) 不能與多個有效管道建立關聯。如果將記錄類型設為「所有擷取方法」，系統會將其視為涵蓋所有情況，並防止為該記錄類型的特定動態饋給設定其他管道。

還有其他問題嗎？向社群成員和 Google SecOps 專家尋求解答。