整合 Apache Kafka 與 Google SecOps
本文說明如何將 Apache Kafka 與 Google Security Operations (Google SecOps) 整合。
用途
Apache Kafka 整合功能可因應下列用途:
即時擷取安全性記錄:自動將 Kafka 主題中的安全性事件擷取並處理至 Google SecOps。這可讓您集中化記錄管理,並即時分析,根據串流資料產生快訊。
事件導向自動化:根據特定安全性事件或從 Kafka 主題串流的訊息,在 Google SecOps 中觸發自動化應對手冊。這能加快對重大事件的回應速度,例如使用者從不尋常的位置登入。
擴充威脅情報:從 Kafka 主題提取自訂威脅情報動態饋給,擴充現有警告和案件。這可為分析師提供入侵指標 (IOC) 的最新背景資訊,並提高威脅分析的準確度。
事前準備
在 Google SecOps 中設定 Apache Kafka 整合之前,請先完成下列必要條件:
- Apache Kafka 伺服器:確認您能存取執行中的 Apache Kafka 伺服器,且已設定必要的 Kafka 代理程式和主題。
遠端代理 Docker 映像檔:建立遠端代理時,必須使用 Debian 映像檔。請使用下列映像檔,確保相容性:
us-docker.pkg.dev/siem-ar-public/images/agent-debian:latest
整合參數
Apache Kafka 整合需要下列參數:
| 參數 | 說明 |
|---|---|
Kafka brokers |
必填。 要連線的 Kafka 代理程式清單,以半形逗號分隔,格式為 |
Use TLS for connection |
選填。 如果選取,整合項目會使用 TLS 加密進行驗證。 這項參數需要憑證授權單位 (CA) 憑證。 預設為停用。 |
Use SASL PLAIN with TLS for connection |
選填。 如果選取,整合會使用 SASL PLAIN 使用者名稱和密碼機制進行驗證。 這個選項僅支援 TLS 加密,且需要 SASL 使用者名稱和密碼,以及 CA 憑證。 預設為停用。 |
CA certificate of Kafka server |
選填。 用於驗證 Kafka 伺服器身分的 CA 憑證。 如果啟用 SASL,則必須提供這個參數。 |
Client certificate |
選填。 用戶端憑證,用於與 Kafka 伺服器進行 mTLS 驗證。 如果啟用雙向傳輸層安全標準 (mTLS),就必須提供這個參數。 |
Client certificate key |
選填。 與用戶端憑證對應的私密金鑰,用於雙向 TLS 驗證。 如果啟用雙向傳輸層安全標準 (mTLS),就必須提供這個參數。 |
Client certificate key password |
選填。 用於解密用戶端憑證私密金鑰的密碼。 如果啟用雙向傳輸層安全標準 (mTLS),就必須提供這個參數。 |
SASL PLAIN Username |
選填。 用於 SASL PLAIN 驗證的 Kafka 代理程式使用者名稱。 如果啟用 SASL,則必須提供這個參數。 |
SASL PLAIN Password |
選填。 用於 SASL PLAIN 驗證的密碼,可與 Kafka 代理程式搭配使用。 如果啟用 SASL,則必須提供這個參數。 |
如要瞭解如何在 Google SecOps 中設定整合功能,請參閱「設定整合功能」。
如有需要,您可以在後續階段進行變更。設定整合執行個體後,即可在應對手冊中使用。如要進一步瞭解如何設定及支援多個執行個體,請參閱「支援多個執行個體」。
動作
如要進一步瞭解動作,請參閱「在工作區回應待處理動作」和「在案件中執行手動動作」。
乒乓
使用 Ping 動作測試與 Apache Kafka 的連線。
這項動作不會在 Google SecOps 實體上執行。
動作輸入內容
無。
動作輸出內容
Ping 動作會提供下列輸出內容:
| 動作輸出類型 | 可用性 |
|---|---|
| 案件總覽附件 | 無法使用 |
| 案件總覽連結 | 無法使用 |
| 案件總覽表格 | 無法使用 |
| 補充資訊表格 | 無法使用 |
| JSON 結果 | 無法使用 |
| 輸出訊息 | 可用 |
| 指令碼結果。 | 可用 |
輸出訊息
Ping 動作可能會傳回下列輸出訊息:
| 輸出訊息 | 訊息說明 |
|---|---|
|
動作成功。 |
Failed to connect to the Apache Kafka server!
Error is ERROR_REASON |
動作失敗。 請檢查伺服器連線、輸入參數或憑證。 |
指令碼結果
下表列出使用 Ping 動作時,指令碼結果輸出的值:
| 指令碼結果名稱 | 值 |
|---|---|
is_success |
True或False |
連接器
如要進一步瞭解如何在 Google SecOps 中設定連接器,請參閱「擷取資料 (連接器)」。
Apache Kafka - Messages 連接器
使用 Apache Kafka - Messages 連接器,從 Apache Kafka 擷取訊息。
連接器會從指定的 Kafka 主題擷取訊息,並根據訊息格式以不同方式處理。如果訊息是有效的 JSON 物件,連接器會擷取特定欄位,用於建立及對應快訊。如果訊息是純字串,則會擷取為原始事件資料。
連接器會根據您提供的參數,處理嚴重性對應、快訊名稱範本和專屬 ID 產生作業。
JSON 嚴重性對應
如要對應警告嚴重性,您必須指定 Apache Kafka - Messages Connector 使用哪個欄位,在 Severity Mapping JSON 參數中取得嚴重性值。連接器回應可包含值類型,例如 integer、float 和 string。
Apache Kafka - Messages 連接器會讀取 integer 和 float 值,並根據 Google SecOps 設定進行對應。下表列出 integer 值與 Google SecOps 嚴重程度的對應關係:
| 整數值 | 對應的嚴重性 |
|---|---|
100 |
Critical |
自 80 至 100 |
High |
自 60 至 80 |
Medium |
自 40 至 60 |
Low |
小於 40 |
Informational |
如果回應包含 string 值,則需要額外設定 Pub/Sub - Messages Connector。
一開始,預設值會顯示如下:
{
"Default": 60
}
如果對應所需的值位於 event_severity JSON 鍵中,則值可能如下:
"Malicious""Benign""Unknown"
如要剖析 event_severity JSON 鍵值,並確保 JSON 物件格式正確,請按照下列方式設定 Severity Mapping JSON 參數:
{
"event_severity": {
"Malicious": 100,
"Unknown": 60,
"Benign": -1
},
"Default": 50
}
必須提供 "Default" 值。
如果同一個 JSON 物件有多個相符項目,Apache Kafka - Messages 連接器會優先處理第一個 JSON 物件鍵。
如要處理包含 integer 或 float 值的欄位,請在 Severity Mapping JSON 參數中設定鍵和空字串:
{
"Default":"60",
"integer_field": "",
"float_field": ""
}
連接器輸入
Apache Kafka - Messages 連接器需要下列參數:
| 參數 | 說明 |
|---|---|
Product Field Name |
必填。 儲存產品名稱的欄位名稱。 產品名稱主要會影響對應。為簡化及改善連接器的對應程序,預設值會解析為程式碼參照的備用值。根據預設,如果這個參數的輸入值無效,系統會解析為備用值。 預設值為 |
Event Field Name |
必填。 決定事件名稱 (子類型) 的欄位名稱。 預設值為 |
Environment Field Name |
選填。 儲存環境名稱的欄位名稱。 如果缺少環境欄位,連接器會使用預設值。 預設值為 |
Environment Regex Pattern |
選填。 規則運算式模式,用於對 使用預設值 如果規則運算式模式為空值或空白,或環境值為空值,則最終環境結果為預設環境。 |
Script Timeout (Seconds) |
必填。 執行目前指令碼的 Python 程序逾時限制 (以秒為單位)。 預設值為 |
Kafka brokers |
必填。 要連線的 Kafka 代理程式清單,以半形逗號分隔,格式為 |
Use TLS for connection |
選填。 如果選取,整合項目會使用 TLS 加密進行驗證。 這項參數需要 CA 憑證。 預設為停用。 |
Use SASL PLAIN with TLS for connection |
選填。 如果選取,整合會使用 SASL PLAIN 使用者名稱和密碼機制進行驗證。 這個選項需要提供 SASL 使用者名稱和密碼。僅支援 TLS 加密,需要 CA 憑證。 預設為停用。 |
CA certificate of Kafka server |
選填。 用於驗證 Kafka 伺服器身分的 CA 憑證。 |
Client certificate |
選填。 用戶端憑證,用於與 Kafka 伺服器進行 mTLS 驗證。 |
Client certificate key |
選填。 與用戶端憑證對應的私密金鑰,用於雙向 TLS 驗證。 |
Client certificate key password |
選填。 用於解密用戶端憑證私密金鑰的密碼。 |
SASL PLAIN Username |
選填。 用於 SASL PLAIN 驗證的 Kafka 代理程式使用者名稱。 |
SASL PLAIN Password |
選填。 用於 SASL PLAIN 驗證的密碼,可與 Kafka 代理程式搭配使用。 |
Topic |
必填。 要從哪個 Kafka 主題擷取事件。 |
Consumer Group ID |
選填。 擷取事件時使用的消費者群組 ID。 如未提供值,系統會產生專屬 ID。 |
Partitions |
選填。 要擷取訊息的分區 CSV 清單。 |
Initial Offset |
選填。 連接器開始從 Kafka 分區擷取訊息的位置。 您可以指定正整數,從特定偏移值開始,或使用 |
Poll Timeout |
選填。 從 Kafka 取用訊息的輪詢逾時時間,以秒為單位。 |
Case Name Template |
選填。 用於定義自訂案件名稱的範本。連接器會將 您可以使用 FIELD_NAME 格式的預留位置,系統會根據第一個事件的字串值填入這些預留位置。 範例: |
Alert Name Template |
必填。 定義快訊名稱的範本。 您可以使用 FIELD_NAME 格式的預留位置,系統會根據第一個事件的字串值填入這些預留位置。 範例: 如未提供值或範本無效,連接器會使用預設快訊名稱。 |
Rule Generator Template |
必填。 定義規則產生器的範本。 您可以使用 FIELD_NAME 格式的預留位置,系統會根據第一個事件的字串值填入這些預留位置。 範例: 如未提供值或範本無效,連接器會使用預設的規則產生器名稱。 |
Timestamp Field |
必填。 Kafka 訊息中包含 Google SecOps 警告時間戳記的欄位名稱。 如果時間戳記不是 Unix 紀元格式,則必須在 |
Timestamp Format |
選填。 訊息時間戳記的格式,非 Unix 紀元時間戳記必須提供。請使用標準 Python 如果時間戳記不是 Unix 紀元格式,且未設定這個參數,連接器就會失敗。 |
Severity Mapping JSON |
必填。 連接器使用的 JSON 物件,用於從訊息中擷取嚴重性等級,並對應至 Google SecOps 優先順序量表。 預設值為 |
Unique ID Field |
選填。 要用做不重複訊息 ID 的欄位名稱。 如未提供值,連接器會產生並使用訊息內容的 SHA-256 雜湊做為訊息 ID。 |
Max Messages To Fetch |
必填。 連接器每次疊代處理的訊息數量上限。 預設值為 |
Disable Overflow |
選填。 如果選取,連接器會忽略 Google SecOps 溢位機制。 (預設為啟用)。 |
Verify SSL |
必填。 如果選取,整合功能會在連線至 Apache Kafka 伺服器時驗證 SSL 憑證。 (預設為啟用)。 |
Proxy Server Address |
選填。 要使用的 Proxy 伺服器位址。 |
Proxy Username |
選填。 用於驗證的 Proxy 使用者名稱。 |
Proxy Password |
選填。 用於驗證的 Proxy 密碼。 |
連接器規則
連接器支援 Proxy。
連接器警示
下表說明 Apache Kafka 訊息欄位與 Google SecOps 警告欄位的對應關係:
| Siemplify 警告欄位 | Apache Kafka 訊息欄位 |
|---|---|
SourceSystemName |
由架構填入。 |
TicketId |
專屬 ID 欄位的值,或訊息的 SHA-256 雜湊。 |
DisplayId |
ApacheKafka_{unique id or hash}_{connector identifier} |
Name |
Alert Name Template 產生的值。 |
Reason |
不適用 |
Description |
不適用 |
DeviceVendor |
硬式編碼:Apache Kafka |
DeviceProduct |
備用值:Message |
Priority |
從 Severity Mapping JSON 參數對應。 |
RuleGenerator |
Rule Generator Template 產生的值。 |
SourceGroupingIdentifier |
不適用 |
StartTime |
從Timestamp Field轉換而來。 |
EndTime |
從Timestamp Field轉換而來。 |
Siemplify Alert - Extensions |
不適用 |
Siemplify Alert - Attachments |
不適用 |
連接器事件
以下是連接器事件範例:
{
"notificationConfigName": "organizations/ORGANIZATION_ID/notificationConfigs/soar_connector_CONNECTOR_ID_toxic_notifications_config",
"finding": {
"name": "organizations/ORGANIZATION_ID/sources/SOURCE_ID/findings/FINDING_ID",
"parent": "organizations/ORGANIZATION_ID/sources/SOURCE_ID",
"resourceName": "//compute.googleapis.com/projects/PROJECT_ID/global/firewalls/FIREWALL_ID",
"state": "ACTIVE",
"category": "OPEN_NETBIOS_PORT",
"externalUri": "https://console.cloud.google.com/networking/firewalls/details/default-allow-rdp?project=PROJECT_ID",
"sourceProperties": {
"Recommendation": "Restrict the firewall rules at: https://console.cloud.google.com/networking/firewalls/details/default-allow-rdp?project=PROJECT_ID",
"ExceptionInstructions": "Add the security mark \"allow_open_netbios_port\" to the asset with a value of \"true\" to prevent this finding from being activated again.",
"Explanation": "Firewall rules that allow connections from all IP addresses on TCP ports 137-139 or UDP ports 137-139 may expose NetBIOS services to attackers.",
"ScannerName": "FIREWALL_SCANNER",
"ResourcePath": [
"projects/PROJECT_ID/",
"folders/FOLDER_ID_1/",
"folders/FOLDER_ID_2/",
"organizations/ORGANIZATION_ID/"
],
"ExposedService": "NetBIOS",
"OpenPorts": {
"TCP": [
137.0,
138.0,
139.0
],
"UDP": [
137.0,
138.0,
139.0
]
},
"compliance_standards": {
"iso": [
{
"ids": [
"A.13.1.1"
]
}
],
"pci": [
{
"ids": [
"1.2.1"
]
}
],
"nist": [
{
"ids": [
"SC-7"
]
}
]
},
"ReactivationCount": 4.0
},
"securityMarks": {
"name": "organizations/ORGANIZATION_ID/sources/SOURCE_ID/findings/FINDING_ID/securityMarks",
"marks": {
"USER_ID": "SECURITY_MARK"
}
},
"eventTime": "2024-08-30T14:44:37.973090Z",
"createTime": "2024-06-24T07:08:54.777Z",
"propertyDataTypes": {
"ResourcePath": {
"listValues": {
"propertyDataTypes": [
{
"primitiveDataType": "STRING"
}
]
}
},
"ReactivationCount": {
"primitiveDataType": "NUMBER"
},
"Explanation": {
"primitiveDataType": "STRING"
},
"ExposedService": {
"primitiveDataType": "STRING"
},
"ScannerName": {
"primitiveDataType": "STRING"
}
}
}
}
還有其他問題嗎?向社群成員和 Google SecOps 專家尋求解答。