收集 HAProxy 記錄
本文說明如何使用 Bindplane 代理程式,將 HAProxy 記錄檔擷取至 Google Security Operations。
HAProxy 是高可用性負載平衡器和 Proxy 伺服器,可為 HTTP 要求、連線事件、後端健康狀態檢查和程序活動產生 syslog 訊息。剖析器會使用 Grok 模式比對,從各種 HAProxy 記錄格式擷取欄位,並對應至統合式資料模型 (UDM)。
事前準備
請確認您符合下列必要條件:
- Google SecOps 執行個體
- Windows Server 2016 以上版本,或搭載
systemd的 Linux 主機 - Bindplane 代理程式與 HAProxy 伺服器之間的網路連線
- 如果透過 Proxy 執行,請確保防火牆通訊埠已根據 Bindplane 代理程式需求開啟
- HAProxy 設定的管理員權限
取得 Google SecOps 擷取驗證檔案
- 登入 Google SecOps 控制台。
- 依序前往「SIEM Settings」 > 「Collection Agents」。
- 下載擷取驗證檔案。
將檔案安全地儲存在要安裝 Bindplane 代理程式的系統中。
取得 Google SecOps 客戶 ID
- 登入 Google SecOps 控制台。
- 依序前往「SIEM 設定」 > 「設定檔」。
複製並儲存「機構詳細資料」專區中的「客戶 ID」。
安裝 Bindplane 代理程式
請按照下列操作說明,在 Windows 或 Linux 作業系統上安裝 Bindplane 代理程式。
Windows 安裝
- 以管理員身分開啟命令提示字元或 PowerShell。
執行下列指令:
msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet等待安裝完成。
執行下列指令,確認安裝成功:
sc query observiq-otel-collector服務應顯示為「RUNNING」。
安裝 Linux
- 開啟具有根層級或 sudo 權限的終端機。
執行下列指令:
sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh等待安裝完成。
執行下列指令,確認安裝成功:
sudo systemctl status observiq-otel-collector服務應顯示為「active (running)」。
其他安裝資源
如需其他安裝選項和疑難排解資訊,請參閱 Bindplane 代理程式安裝指南。
設定 Bindplane 代理,擷取系統記錄檔並傳送至 Google SecOps
找出設定檔
Linux:
sudo nano /etc/bindplane-agent/config.yamlWindows:
notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
編輯設定檔
將
config.yaml的全部內容替換為下列設定:receivers: udplog: listen_address: "0.0.0.0:514" exporters: chronicle/haproxy: compression: gzip creds_file_path: '/etc/bindplane-agent/ingestion-auth.json' customer_id: '<customer_id>' endpoint: malachiteingestion-pa.googleapis.com log_type: HAPROXY raw_log_field: body service: pipelines: logs/haproxy_to_chronicle: receivers: - udplog exporters: - chronicle/haproxy
設定參數
替換下列預留位置:
接收器設定:
listen_address:要接聽的 IP 位址和通訊埠:0.0.0.0在所有介面接聽電話 (建議)- 通訊埠
514是標準的系統記錄通訊埠 (在 Linux 上需要根層級權限;如果沒有根層級權限,請使用1514)
匯出工具設定:
creds_file_path:擷取驗證檔案的完整路徑:- Linux:
/etc/bindplane-agent/ingestion-auth.json - Windows:
C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
- Linux:
customer_id:從 Google SecOps 控制台複製的客戶 IDendpoint:區域端點網址:- 美國:
malachiteingestion-pa.googleapis.com - 歐洲:
europe-malachiteingestion-pa.googleapis.com - 亞洲:
asia-southeast1-malachiteingestion-pa.googleapis.com - 如需完整清單,請參閱「區域端點」
- 美國:
儲存設定檔
- 編輯完成後,請儲存檔案:
- Linux:依序按下
Ctrl+O、Enter和Ctrl+X - Windows:依序點選「檔案」 > 「儲存」
- Linux:依序按下
重新啟動 Bindplane 代理程式,套用變更
如要在 Linux 中重新啟動 Bindplane 代理程式,請執行下列指令:
sudo systemctl restart observiq-otel-collector確認服務正在執行:
sudo systemctl status observiq-otel-collector查看記錄檔是否有錯誤:
sudo journalctl -u observiq-otel-collector -f
如要在 Windows 中重新啟動 Bindplane 代理程式,請選擇下列任一選項:
以管理員身分開啟命令提示字元或 PowerShell:
net stop observiq-otel-collector && net start observiq-otel-collector服務控制台:
- 按下
Win+R鍵,輸入services.msc,然後按下 Enter 鍵。 - 找出「observIQ OpenTelemetry Collector」。
- 按一下滑鼠右鍵,然後選取「重新啟動」。
確認服務正在執行:
sc query observiq-otel-collector檢查記錄是否有錯誤:
type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
- 按下
設定 HAProxy 的系統記錄
- 使用 CLI 登入 HAProxy。
在「Configuration」的「global」部分新增 log 指令,透過 UDP 轉送系統記錄訊息。
- 將
<bindplane-ip>替換為實際的 Bindplane 代理程式 IP 位址。
global log <bindplane-ip>:514 local0 defaults log global- 將
UDM 對應表
| 記錄欄位 | UDM 對應 | 邏輯 |
|---|---|---|
| accept_date_ms | ||
| actconn | ||
| backend_name | ||
| backend_queue | ||
| beconn | ||
| bytes_read | network.received_bytes | 從記錄中的 bytes_read 欄位擷取,並轉換為不帶正負號的整數。 |
| captured_request_headers | ||
| client_ip | principal.ip | 從記錄檔的「client_ip」欄位擷取。 |
| client_port | principal.port | 從記錄中的 client_port 欄位擷取,並轉換為整數。 |
| command_description | metadata.description | 如果有的話,會從記錄檔的 command_description 欄位擷取。否則,系統會根據記錄訊息,從 action 或 status 等其他欄位衍生。 |
| 日期時間 | metadata.event_timestamp.seconds | 從記錄中的 datetime 欄位擷取 (如有)。否則,系統會從記錄項目的 timestamp 欄位衍生。 |
| 說明 | metadata.description | 如果有的話,會從記錄檔的 description 欄位擷取。否則,系統會根據記錄訊息,從 command_description 或 action 等其他欄位衍生。 |
| feconn | ||
| frontend_name | ||
| http_request | target.url | 從記錄檔的「http_request」欄位擷取。 |
| http_status_code | network.http.response_code | 從記錄中的 http_status_code 欄位擷取,並轉換為整數。 |
| http_verb | network.http.method | 從記錄檔的「http_verb」欄位擷取。 |
| http_version | metadata.product_version | 從記錄中的 http_version 欄位擷取,並採用 HTTP/{version} 格式。 |
| 發起者 | target.application | 從記錄中的 initiator 欄位擷取。 |
| module | ||
| msg | security_result.summary | 從記錄檔的「msg」欄位擷取。 |
| pid | target.process.pid | 從記錄中的 pid 欄位擷取。 |
| 反向擴散程序 | ||
| process_name | target.application | 從記錄檔的「process_name」欄位擷取。 |
| retries | ||
| server_name | target.hostname | 從記錄中的 server_name 欄位擷取。如果留空,則預設為 syslog_server 的值。 |
| 嚴重性 | security_result.severity | 從記錄中的 severity 欄位對應。WARNING 對應至 MEDIUM、ALERT 對應至 CRITICAL,而 NOTICE 對應至 INFORMATIONAL。 |
| 殼層 | ||
| srv_queue | ||
| srvconn | ||
| 狀態 | ||
| syslog_server | target.hostname、intermediary.hostname | 從記錄檔的「syslog_server」欄位擷取。用於目標主機名稱 (如果 server_name 為空白) 和中介主機名稱。 |
| syslog_timestamp | ||
| syslog_timestamp_1 | ||
| syslog_timestamp_2 | ||
| syslog_timestamp_4 | ||
| target_ip | ||
| time_backend_connect | ||
| time_backend_response | ||
| time_duration | ||
| time_queue | ||
| time_request | ||
| 時間戳記 | metadata.event_timestamp.seconds | 從記錄中的 timestamp 欄位擷取,並剖析日期和時間資訊。做為事件時間戳記。 |
| unknown_parameters1 | ||
| unknown_parameters2 | ||
| user_name | target.user.userid | 從記錄檔的「user_name」欄位擷取。 |
| metadata.event_type | 預設為 NETWORK_HTTP。根據記錄訊息和剖析的欄位,變更為特定事件類型,例如 PROCESS_UNCATEGORIZED、STATUS_UPDATE 或 USER_UNCATEGORIZED。 |
|
| metadata.vendor_name | 設為 HAProxy Enterprise。 |
|
| metadata.product_name | 設為 HAProxy。 |
|
| network.application_protocol | 如果 message 欄位包含 HTTP,請設為 HTTP。 |
|
| metadata.log_type | 設為 HAPROXY。 |
|
source_ip |
event.idm.read_only_udm.principal.ip |
從變更記錄對應 |
source_ip |
event.idm.read_only_udm.principal.asset.ip |
從變更記錄對應 |
source_port |
event.idm.read_only_udm.principal.port |
從變更記錄對應 |
status_code |
event.idm.read_only_udm.network.http.response_code |
從變更記錄對應 |
bytes |
event.idm.read_only_udm.network.received_bytes |
從變更記錄對應 |
inter_ip |
event.idm.read_only_udm.intermediary.ip |
從變更記錄對應 |
inter_port |
event.idm.read_only_udm.intermediary.port |
從變更記錄對應 |
destination_ip |
event.idm.read_only_udm.target.ip |
從變更記錄對應 |
destination_ip |
event.idm.read_only_udm.target.asset.ip |
從變更記錄對應 |
destination_port |
event.idm.read_only_udm.target.port |
從變更記錄對應 |
referer |
event.idm.read_only_udm.network.http.referral_url |
從變更記錄對應 |
user_agent |
event.idm.read_only_udm.network.http.user_agent |
從變更記錄對應 |
time_stamp |
event.idm.read_only_udm.security_result.detection_fields |
從變更記錄對應 |
x_forwarded_for |
event.idm.read_only_udm.security_result.detection_fields |
從變更記錄對應 |
content_length |
event.idm.read_only_udm.security_result.detection_fields |
從變更記錄對應 |
datetime |
event.idm.read_only_udm.metadata.event_timestamp |
從變更記錄對應 |
變更記錄
還有其他問題嗎?向社群成員和 Google SecOps 專家尋求解答。