Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

設定及管理資料處理管道

支援的國家/地區：

Google SecOps SIEM

本文可協助安全工程師在 Google SecOps 中設定及管理資料處理管道，以便在擷取事件前篩選事件、轉換欄位或遮蓋機密值。這項功能可對資料擷取程序進行強大的預先剖析控制，只要按照本指南的建議方法操作，就能提升資料相容性、降低成本，並保護 Google SecOps 中的機密資訊。

資料處理功能可透過下列核心動作簡化記錄管理作業：

篩選：只擷取相關事件，減少干擾並降低成本。
轉換：修改資料格式、剖析欄位，以及擴充記錄，提升可用性。
Redact：在儲存前遮蓋或移除敏感值，保護私密資訊。

下圖說明資料如何流向 Google SecOps，以及系統如何處理這些資料：

資料處理管道

您可以透過 Bindplane 管理主控台，或直接使用公開的 Google SecOps Data Pipeline API，設定地端部署和雲端資料串流的資料處理作業。

常見用途

資料處理的用途範例包括：

從原始記錄中移除空白的鍵/值組合。
遮蓋機密資料。
從原始記錄內容新增擷取標籤。
在多實體環境中，將擷取標籤套用至直接擷取的記錄資料，以識別來源串流執行個體 (例如Google Cloud Workspace)。
依欄位值篩選 Palo Alto Cortex 資料。
依類別減少 SentinelOne 資料。
從動態消息和直接擷取記錄檔中擷取主機資訊，並對應至 Cloud Monitoring 的 ingestion_source 欄位。

重要術語

資料處理會使用下列元素：

串流：特定資料流，由記錄類型和擷取來源 (例如動態饋給或 API) 定義，做為資料處理管道的輸入內容。
處理器節點：管道中的元件，包含一或多個處理器，例如篩選器、轉換器或編輯動作。這些處理器會依序處理通過節點的資料。
目的地：資料處理管道的端點，通常是 Google SecOps 執行個體，處理後的資料會傳送至該處，以利最終擷取和分析。

事前準備

開始設定資料處理管道前，請先詳閱下列規定：

API 支援：呼叫 Chronicle API 即可處理以推送為基礎的串流資料。
資料可視性：從轉送站和 Bindplane 擷取的資料會標上與直接擷取串流不同的 collectorID。如要支援完整記錄可見度，查詢資料來源時必須選取所有擷取方法，或與 API 互動時明確參照相關的 collectorID。
設定 Bindplane 控制台：如要使用 Bindplane 控制台進行設定和管理，請完成下列步驟：
1. 在 Google SecOps 控制台中，將下列其中一個角色授予使用者或服務帳戶，以設定 Bindplane 整合：
  - 具有下列權限的自訂角色：
    - chronicle.logProcessingPipelines.associateStreams
    - chronicle.logProcessingPipelines.create
    - chronicle.logProcessingPipelines.delete
    - chronicle.logProcessingPipelines.dissociateStreams
    - chronicle.logProcessingPipelines.fetchAssociatedPipeline
    - chronicle.logProcessingPipelines.fetchSampleLogsByStreams
    - chronicle.logProcessingPipelines.get
    - chronicle.logProcessingPipelines.list
    - chronicle.logProcessingPipelines.testPipeline
    - chronicle.logProcessingPipelines.update
    - chronicle.logTypes.get
    - chronicle.logTypes.list
    - chronicle.feeds.get
    - chronicle.feeds.list
    - chronicle.logs.list
    建議使用具備指定必要權限的自訂角色。
    
    詳情請參閱「建立及管理自訂角色」和「使用 IAM 設定功能存取權」。
  - 預先定義的 Chronicle API 管理員 roles/chronicle.admin 角色。
    
    詳情請參閱「在專屬專案中指派專案 IAM 管理員角色」。
2. 安裝 Bindplane Server 控制台。如果是 SaaS 或地端部署，請參閱「安裝 Bindplane Server 控制台」。請務必安裝最新版本的 Bindplane (或 Bindplane 1.96.4 以上版本)。
3. 在 Bindplane 控制台中，將 Google SecOps 目的地執行個體連結至 Bindplane 專案。詳情請參閱「連線至 Google SecOps 執行個體」。

連線至 Google SecOps 執行個體

開始前，請先確認您擁有 Bindplane 專案管理員權限，可存取「專案整合」頁面。

Google SecOps 執行個體是資料輸出的目的地。

如要使用 Bindplane Server 控制台連線至 Google SecOps 執行個體，請按照下列步驟操作：

在 Bindplane Server 控制台中，按一下「選單」，然後選取「專案設定」。
在「專案設定」頁面中，前往「整合」資訊卡，然後按一下「連結至 Google SecOps」，開啟「編輯整合」視窗。

輸入 Google SecOps 目的地執行個體的詳細資料。
這個執行個體會擷取處理後的資料 (資料處理的輸出內容)，如下所示：

欄位	說明
區域	Google SecOps 執行個體所在的區域。如要在 Google Cloud 控制台中尋找執行個體，請依序前往「安全性」>「偵測和控制項」>「Google Security Operations」 >「執行個體詳細資料」。
客戶 ID	Google SecOps 執行個體的客戶 ID。在 Google SecOps 控制台中，依序前往「SIEM 設定」>「設定檔」>「機構詳細資料」。
Google Cloud 專案編號	Google Cloud Google SecOps 執行個體的專案編號。如要在 Google SecOps 控制台中找出專案編號，請依序前往「SIEM 設定」>「設定檔」>「機構詳細資料」。
憑證	服務帳戶憑證是驗證及存取 Google SecOps Data Pipeline API 時所需的 JSON 值。從 Google 服務帳戶憑證檔案取得這個 JSON 值。服務帳戶必須與 Google SecOps 執行個體位於同一個專案中，且需要 Chronicle API 管理員角色 (`roles/chronicle.admin`) 權限，或是具備必要權限的自訂角色 (請參閱必要條件)。 Google Cloud 如要瞭解如何建立服務帳戶及下載 JSON 檔案，請參閱「建立及刪除服務帳戶金鑰」。此外，Bindplane Cloud 部署作業支援 Workload Identity Federation (WIF) 驗證。自行代管的 Bindplane 部署作業不支援 WIF。詳情請參閱「透過 WIF 驗證連結 Google SecOps 整合服務」。

按一下 [連線]。如果連線詳細資料正確無誤，且您已成功連線至 Google SecOps，則會發生下列情況：
- 系統會開啟 Google SecOps 執行個體的連線。
- 首次連線時，Bindplane 控制台會顯示「SecOps Pipelines」分頁。
- Bindplane 控制台會顯示您先前使用 API 為這個執行個體設定的所有已處理資料。系統會將您透過 API 設定的部分處理器轉換為 Bindplane 處理器，並以原始 OpenTelemetry 轉換語言 (OTTL) 格式顯示其他處理器。您可以使用 Bindplane 控制台編輯先前透過 API 設定的管道和處理器。
成功建立 Google SecOps 執行個體的連線後，即可設定資料處理程序。

使用 Bindplane 控制台設定資料處理程序

本節說明如何使用 Bindplane 控制台，在 Google SecOps 中佈建及部署新的記錄處理管道。您也可以使用 Bindplane 控制台，管理先前透過 API 設定的管道。

建立新的 Google SecOps 管道

Google SecOps 管道是容器，可供您設定一個資料處理容器。如要建立新的 Google SecOps 管道容器，請按照下列步驟操作：

在 Bindplane 控制台中，按一下「SecOps Pipelines」分頁標籤，開啟「SecOps Pipelines」頁面。
按一下「建立 SecOps Pipeline」。
輸入「SecOps Pipeline name」(SecOps 管道名稱) 和「Description」(說明)。

重要事項： Google SecOps 管道建立後，您就無法變更名稱。
點按「Create」(建立)。您可以在「SecOps Pipelines」(SecOps 管道) 頁面中看到新的管道容器。
在這個容器中設定資料處理容器串流和處理器。

設定資料處理容器

資料處理容器會定義要擷取的串流，以及資料到達目的地前要套用的處理器。

在「管道」設定卡片上設定串流和處理器節點。

如要設定資料處理容器，請按照下列步驟操作：

如果尚未建立，請建立新的 Google SecOps 管道。
在 Bindplane 控制台中，按一下「SecOps Pipelines」分頁標籤，開啟「SecOps Pipelines」頁面。
選取要設定新資料處理容器的 Google SecOps 管道。
在「管道」設定資訊卡上：
1. 新增串流。
2. 設定處理器節點。如要使用 Bindplane 控制台新增處理器，請參閱「設定處理器」一文。
注意： 部分自訂處理器可讓你直接編輯原始 OTTL 程式碼。
完成這些設定後，請參閱「推出資料處理功能」一文，開始處理資料。

新增串流

如要新增串流，請按照下列步驟操作：

在「Pipeline」設定資訊卡中，按一下「新增」圖示「新增串流」，開啟「新增串流」視窗。

在「新增串流」視窗中，輸入下列欄位的詳細資料：

欄位	說明
記錄類型	選取要擷取資料的記錄類型。例如：`CrowdStrike Falcon (CS_EDR)`。注意：警告 Warning 圖示表示記錄類型已在另一個串流中設定 (無論是在這個管道，還是 Google SecOps 執行個體中的另一個管道)。如要使用無法使用的記錄類型，請先從其他串流設定中刪除。如需如何找出已設定記錄類型的串流設定，請參閱「篩選 SecOps 管道設定」。
擷取方式	選取要用於擷取所選記錄類型資料的擷取方法。這些擷取方法先前已為 Google SecOps 執行個體定義。請選取下列其中一個選項：所有擷取方法：包含所選記錄類型的所有擷取方法。選取這個選項後，您就無法為相同記錄類型新增使用特定擷取方法的後續串流。例外狀況：您可以在其他串流中，為這個記錄檔類型選取其他未設定的特定擷取方法。特定擷取方法，例如 `Cloud Native Ingestion`、`Feed`、`Ingestion API` 或 `Workspace Ingestion`。
動態消息	如果選取 `Feed` 做為擷取方法，系統會顯示後續欄位，其中列出所選記錄類型可用的動態饋給名稱 (已在 Google SecOps 執行個體中預先設定)。您必須選取相關動態饋給，才能完成設定。如要查看及管理可用的動態饋給，請前往「SIEM 設定」>「動態饋給表格」。

按一下「新增資料串流」儲存新資料串流。新資料串流會立即顯示在「管道」設定資訊卡上。系統會自動將串流連線至處理器節點和 Google SecOps 目的地。

篩選 SecOps 管道設定

您可以在「SecOps Pipelines」(SecOps 管道) 頁面使用搜尋列，根據多個設定元素篩選及找出 Google SecOps 管道 (資料處理容器)。您可以搜尋特定條件 (例如記錄類型、擷取方法或動態饋給名稱) 來篩選管道。

使用下列語法進行篩選：

logType:value
ingestionMethod:value
feed:value

舉例來說，如要找出包含特定記錄類型的串流設定，請在搜尋列中輸入 logtype:，然後從結果清單中選取記錄類型。

設定處理器

資料處理容器有一個處理器節點，其中包含一或多個處理器。每個處理器會依序處理串流資料：

第一個處理器會處理原始串流資料。
第一個處理器的輸出結果會立即成為序列中下一個處理器的輸入內容。
後續所有處理器都會依 Processors 窗格中顯示的順序執行這項程序，且前一個處理器的輸出內容會成為下一個處理器的輸入內容。
新增、移除一或多個處理器，或變更處理器的順序，即可設定處理器節點。

下表列出處理器：

處理器類型	功能
篩選器	依條件篩選
篩選器	依 HTTP 狀態篩選
篩選器	按照指標名稱篩選
篩選器	依規則運算式篩選
篩選器	依嚴重程度篩選
遮蓋	遮蓋敏感資料
轉換	新增欄位
轉換	Coalesce
轉換	Concat
轉換	複製欄位
轉換	刪除欄位
轉換	Marshal
轉換	移動欄位
轉換	剖析 CSV
轉換	剖析 JSON
轉換	剖析鍵值
轉換	剖析嚴重性欄位
轉換	剖析時間戳記
轉換	使用規則運算式剖析
轉換	剖析 XML
轉換	重新命名欄位
轉換	重寫時間戳記
轉換	分割
轉換	轉換

新增處理器

如要新增處理器，請按照下列步驟操作：

在「Pipeline」設定資訊卡中，按一下「Processor」節點，開啟「Edit Processors」視窗。「編輯處理者」視窗會依資料流程分為以下窗格：
- 輸入 (或來源資料)：最近收到的串流記錄資料 (處理前)
- 設定 (或處理器清單)：處理器及其設定
- 輸出 (或結果)：最近的輸出結果記錄資料 (處理後)
如果管道先前已推出，系統會在窗格中顯示最近的傳入記錄資料 (處理前) 和最近的傳出記錄資料 (處理後)。
按一下「新增處理器」，系統會顯示處理器清單。為方便起見，處理器清單會依處理器類型分組。如要整理清單及新增自己的組合，請選取一或多個處理器，然後按一下「新增處理器組合」。
在處理器清單中，選取要新增的「處理器」。
視需要設定處理器。
按一下「儲存」，將處理器設定儲存在「處理器」節點中。

系統會立即處理新的輸入串流資料樣本 (來自「輸入」窗格)，測試新設定，並在「輸出」窗格中顯示產生的輸出資料。

推出資料處理管道

完成串流和處理器設定後，您必須推出管道，才能開始處理資料：

按一下「開始推出」。這會立即啟動資料處理作業，讓 Google 的基礎架構根據您的設定開始處理資料。如果推出成功，資料處理容器的版本號碼會遞增，並顯示在容器的 name 旁。

使用 API 方法設定資料處理

除了 Bindplane 控制台，您也可以使用 Google SecOps 資料管道方法管理處理後的資料。這些資料管道方法包括建立、更新、刪除及列出管道，以及將動態饋給和記錄類型與管道建立關聯。

如要使用本節中的範例，請執行下列操作：

將客戶專屬參數 (例如網址和動態饋給 ID) 替換為適合您環境的參數。
插入自己的驗證。在本節中，持有人權杖會以 ****** 遮蓋。

列出特定 Google SecOps 執行個體中的所有管道

下列指令會列出特定 Google SecOps 執行個體中的所有管道：

curl --location 'https://abc.def.googleapis.com/v123/'\
'projects/projectabc-byop/locations/us/'\
'instances/aaaa1aa1-111a-11a1-1111-11111a1aa1aa/'\
'logProcessingPipelines' \
--header 'Authorization: Bearer ******'

建立含有一個處理器的基本管道

如要建立基本管道，其中包含單一轉換處理器，可 upsert 自訂擷取標籤的值，並將三個來源與該管道建立關聯，請按照下列步驟操作：

執行下列指令：

curl --location 'https://abc.def.googleapis.com/v123/projects/projectabc-byop/locations/us/instances/aaaa1aa1-111a-11a1-1111-11111a1aa1aa/logProcessingPipelines' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer ******' \
--data '{
    "displayName": "Example Pipeline",
    "description": "My description",
    "processors": [
        {
            "transformProcessor": {
                "statements": [
                    "set(attributes[\"labels.myLabel.value\"], \"myValue\")"
                ]
            }
        }
    ]
}'

從回應中複製 name 欄位的值。

執行下列指令，將三個串流 (記錄類型、含收集器 ID 的記錄類型和動態消息) 與管道建立關聯。請使用 name 欄位的值做為 {pipelineName} 值。

curl --location 'https://abc.def.googleapis.com/v123/{pipelineName}:associateStreams' \
    --header 'Content-Type: application/json' \
--header 'Authorization: Bearer ******' \
--data '{
    "streams": [
        {
            "logType": "MICROSOFT_SENTINEL"
        },
        {
            "logType": "A10_LOAD_BALANCER",
            "collectorId": "dddddddd-dddd-dddd-dddd-dddddddddddd"
        },
        {
            "feed": "1a1a1a1a-1a1a-1a1a-1a1a-1a1a1a1a1a1a"
        }
    ]
}'

建立含有三個處理器的管道

管道會使用下列處理器：

篩選：根據擷取標籤，篩除符合條件的記錄。
轉換：插入或更新命名空間值。
遮蓋：根據自訂的 regex 模式，遮蓋記錄資料中的電子郵件地址和社會安全號碼。

如要建立管道並將三個來源與其建立關聯，請按照下列步驟操作：

執行下列指令：

curl --location 'https://abc.def.googleapis.com/v123/projects/projectabc-byop/locations/us/instances/aaaa1aa1-111a-11a1-1111-11111a1aa1aa/logProcessingPipelines' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer ******' \
--data-raw '{
    "displayName": "My Pipeline 2",
    "description": "My description 2",
    "processors": [
        {
            "filterProcessor": {
                "logConditions": [
                    "attributes[\"labels.log_source.value\"] == \"myLogSourceToFilterOut\""
                ]
            }
        },
        {
            "transformProcessor": {
                "statements": [
                    "set(attributes[\"environment_namespace\"], \"myValue\")"
                ]
            }
        },
        {
            "redactProcessor": {
                "blockedValues": [
                    "\\b\\d{3}[- ]\\d{2}[- ]\\d{4}\\b",
                    "\\b[a-zA-Z0-9._/\\+\\-—|]+@[A-Za-z0-9\\-—|]+\\.[a-zA-Z|]{2,6}\\b"
                ],
                "allowAllKeys": true
            }
        }
    ]
}'

從回應中複製 name 欄位的值。

執行下列指令，將三個串流 (記錄類型、含收集器 ID 的記錄類型和動態消息) 與管道建立關聯。請使用 name 欄位的值做為 {pipelineName} 值。

curl --location 'https://abc.def.googleapis.com/v123/{pipelineName}:associateStreams' \
    --header 'Content-Type: application/json' \
--header 'Authorization: Bearer ******' \
--data '{
    "streams": [
        {
            "logType": "MICROSOFT_SENTINEL"
        },
        {
            "logType": "A10_LOAD_BALANCER",
            "collectorId": "dddddddd-dddd-dddd-dddd-dddddddddddd"
        },
        {
            "feed": "1a1a1a1a-1a1a-1a1a-1a1a-1a1a1a1a1a1a"
        }
    ]
}'

疑難排解

本節將說明效能期望值，並提供常見問題的自助式修正方法。

延遲和限制

如果您使用 Ingestion API 設定代理程式，低用量的 Google SecOps 管道可能需要較長的確認時間。

延遲時間平均值可能會從 700 毫秒增加到 2 秒。視需要增加逾時時間和記憶體。資料處理量超過 4 MB 時，確認時間會減少。

驗證和測試

您可以在 Google SecOps 控制台中查看資料處理詳細資料：

查看所有資料處理設定

在 Google SecOps 控制台中，依序前往「SIEM Settings」>「Data Processing」，即可查看所有已設定的管道。
在「Incoming Data Pipelines」搜尋列中，搜尋您建立的任何管道。您可以依元素搜尋，例如管道名稱或元件。搜尋結果會顯示管道的處理器，以及設定摘要。
您可以在管道摘要中執行下列任一動作：
- 檢查處理器設定。
- 複製設定詳細資料。
- 按一下「在 BindPlane 開啟」，即可在 BindPlane 控制台中直接存取及管理管道。

查看已設定的動態饋給

如要在系統中查看已設定的動態饋給，請按照下列步驟操作：

在 Google SecOps 控制台中，依序前往「SIEM Settings」>「Feeds」。「動態饋給」頁面會顯示你在系統中設定的所有動態饋給。
將游標懸停在每一列上，即可顯示「更多」選單，方便你查看動態饋給詳細資料、編輯、停用或刪除動態饋給。
按一下「查看詳細資料」，即可查看詳細資料視窗。
按一下「在 Bindplane 開啟」，在 Bindplane 控制台中開啟該動態饋給的串流設定。

查看可用記錄類型的資料處理詳細資料

如要在「可用記錄類型」頁面查看資料處理詳細資料 (您可以在該頁面查看所有可用的記錄類型)，請按照下列步驟操作：

在 Google SecOps 控制台中，依序前往「SIEM Settings」(SIEM 設定) >「Available Log Types」(可用記錄類型)。主要頁面會顯示所有記錄類型。
將游標懸停在每個動態消息列上，即可顯示「更多」 more_vert 選單。這個選單可讓您查看、編輯、停用或刪除動態饋給詳細資料。
按一下「查看資料處理」，即可查看動態饋給的設定。
按一下「在 Bindplane 中開啟」，在 Bindplane 控制台中開啟該處理器的處理器設定。

還有其他問題嗎？向社群成員和 Google SecOps 專業人員尋求答案。