收集 HAProxy 記錄

支援的國家/地區:

本文說明如何使用 Bindplane 代理程式,將 HAProxy 記錄擷取至 Google Security Operations。

HAProxy 是高可用性負載平衡器和 Proxy 伺服器,可為 HTTP 要求、連線事件、後端健康狀態檢查和程序活動產生系統記錄訊息。剖析器會使用 Grok 模式比對,從各種 HAProxy 記錄格式中擷取欄位,並將這些欄位對應至統合式資料模型 (UDM)。

事前準備

請確認您已完成下列事前準備事項:

  • Google SecOps 執行個體
  • Windows Server 2016 以上版本,或搭載 systemd 的 Linux 主機
  • Bindplane 代理程式與 HAProxy 伺服器之間的網路連線
  • 如果透過 Proxy 執行,請確保防火牆通訊埠已根據 Bindplane 代理程式需求開啟
  • HAProxy 設定的管理員存取權

取得 Google SecOps 擷取驗證檔案

  1. 登入 Google SecOps 控制台。
  2. 依序前往「SIEM 設定」>「收集代理程式」
  3. 下載擷取驗證檔案
  4. 將檔案安全地儲存在要安裝 Bindplane 代理程式的系統中。

取得 Google SecOps 客戶 ID

  1. 登入 Google SecOps 控制台。
  2. 依序前往「SIEM 設定」>「設定檔」
  3. 複製並儲存「機構詳細資料」部分中的客戶 ID

安裝 Bindplane 代理程式

請按照下列操作說明,在 Windows 或 Linux 作業系統上安裝 Bindplane 代理程式。

Windows 安裝

  1. 以管理員身分開啟「命令提示字元」或「PowerShell」
  2. 執行下列指令:

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
    
  3. 等待安裝完成。

  4. 執行下列指令,確認安裝成功:

    sc query observiq-otel-collector
    

    服務應顯示為RUNNING

Linux 安裝

  1. 開啟具有根層級或 sudo 權限的終端機。
  2. 執行下列指令:

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
    
  3. 等待安裝完成。

  4. 執行下列指令,確認安裝成功:

    sudo systemctl status observiq-otel-collector
    

    服務應顯示為有效 (執行中)

其他安裝資源

如需其他安裝選項和疑難排解資訊,請參閱 Bindplane 代理程式安裝指南

設定 Bindplane 代理程式,擷取系統記錄檔並傳送至 Google SecOps

找出設定檔

  • Linux:

    sudo nano /etc/bindplane-agent/config.yaml
    
  • Windows:

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
    

編輯設定檔

  • config.yaml 的所有內容替換為下列設定:

    receivers:
        udplog:
            listen_address: "0.0.0.0:514"
    
    exporters:
        chronicle/haproxy:
            compression: gzip
            creds_file_path: '/etc/bindplane-agent/ingestion-auth.json'
            customer_id: '<customer_id>'
            endpoint: malachiteingestion-pa.googleapis.com
            log_type: HAPROXY
            raw_log_field: body
    
    service:
        pipelines:
            logs/haproxy_to_chronicle:
                receivers:
                    - udplog
                exporters:
                    - chronicle/haproxy
    

設定參數

替換下列預留位置:

  • 接收器設定:

    • listen_address:要接聽的 IP 位址和通訊埠:
      • 0.0.0.0,監聽所有介面 (建議)
      • 通訊埠 514 是標準的系統記錄通訊埠 (在 Linux 上需要根層級權限;非根層級權限請使用 1514)
  • 匯出工具設定:

    • creds_file_path:擷取驗證檔案的完整路徑:
      • Linux/etc/bindplane-agent/ingestion-auth.json
      • WindowsC:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • customer_id:從 Google SecOps 控制台複製的客戶 ID
    • endpoint:區域端點網址:
      • 美國malachiteingestion-pa.googleapis.com
      • 歐洲europe-malachiteingestion-pa.googleapis.com
      • 亞洲asia-southeast1-malachiteingestion-pa.googleapis.com
      • 如需完整清單,請參閱「區域端點

儲存設定檔

  • 編輯完成後,請儲存檔案:
    • Linux:依序按下 Ctrl+OEnterCtrl+X
    • Windows:依序點選「檔案」>「儲存」

重新啟動 Bindplane 代理程式,以套用變更

  • 如要在 Linux 中重新啟動 Bindplane 代理程式,請執行下列指令:

    sudo systemctl restart observiq-otel-collector
    
    1. 確認服務正在執行:

      sudo systemctl status observiq-otel-collector
      
    2. 檢查記錄中是否有錯誤:

      sudo journalctl -u observiq-otel-collector -f
      
  • 如要在 Windows 中重新啟動 Bindplane 代理程式,請選擇下列任一做法:

    • 以管理員身分開啟命令提示字元或 PowerShell:

      net stop observiq-otel-collector && net start observiq-otel-collector
      
    • 服務控制台:

      1. 按下 Win+R,輸入 services.msc,然後按下 Enter 鍵。
      2. 找出 observIQ OpenTelemetry Collector
      3. 按一下滑鼠右鍵,然後選取「重新啟動」
      4. 確認服務正在執行:

        sc query observiq-otel-collector
        
      5. 檢查記錄中是否有錯誤:

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
        

設定 HAProxy 的系統記錄

  1. 使用 CLI 登入 HAProxy
  2. 在「Configuration」的「global」部分新增「log」指令,透過 UDP 轉送系統記錄訊息。

    • 請將 <bindplane-ip> 替換為實際的 Bindplane 代理程式 IP 位址。
    global
        log <bindplane-ip>:514 local0
    
    defaults
        log global
    

UDM 對應表

記錄欄位 UDM 對應 邏輯
accept_date_ms
actconn
backend_name
backend_queue
beconn
bytes_read network.received_bytes 從記錄中的 bytes_read 欄位擷取,並轉換為無正負號整數。
captured_request_headers
client_ip principal.ip 從記錄檔的「client_ip」欄位擷取。
client_port principal.port 從記錄中的 client_port 欄位擷取,並轉換為整數。
command_description metadata.description 如果有的話,會從記錄的 command_description 欄位擷取。否則,系統會根據記錄訊息,從 actionstatus 等其他欄位衍生。
日期時間 metadata.event_timestamp.seconds 如果有的話,會從記錄的 datetime 欄位擷取。否則,系統會從記錄項目的 timestamp 欄位衍生。
說明 metadata.description 如果有的話,會從記錄的 description 欄位擷取。否則,系統會根據記錄訊息,從 command_descriptionaction 等其他欄位衍生。
feconn
frontend_name
http_request target.url 從記錄檔的「http_request」欄位擷取。
http_status_code network.http.response_code 從記錄中的 http_status_code 欄位擷取,並轉換為整數。
http_verb network.http.method 從記錄檔的「http_verb」欄位擷取。
http_version metadata.product_version 從記錄檔的「http_version」欄位擷取,並格式化為「HTTP/{version}」。
發起者 target.application 從記錄檔的「initiator」欄位擷取。
module
msg security_result.summary 從記錄檔的「msg」欄位擷取。
pid target.process.pid 從記錄檔的「pid」欄位擷取。
反向擴散程序
process_name target.application 從記錄檔的「process_name」欄位擷取。
retries
server_name target.hostname 從記錄檔的「server_name」欄位擷取。如果為空白,則預設為 syslog_server 的值。
嚴重性 security_result.severity 對應自記錄中的「severity」欄位。WARNING 對應到 MEDIUMALERT 對應到 CRITICALNOTICE 對應到 INFORMATIONAL
殼層
srv_queue
srvconn
狀態
syslog_server target.hostname、intermediary.hostname 從記錄檔的「syslog_server」欄位擷取。用於目標主機名稱 (如果 server_name 為空白) 和中介主機名稱。
syslog_timestamp
syslog_timestamp_1
syslog_timestamp_2
syslog_timestamp_4
target_ip
time_backend_connect
time_backend_response
time_duration
time_queue
time_request
時間戳記 metadata.event_timestamp.seconds 從記錄檔的 timestamp 欄位擷取,並剖析日期和時間資訊。做為事件時間戳記。
unknown_parameters1
unknown_parameters2
user_name target.user.userid 從記錄檔的「user_name」欄位擷取。
metadata.event_type 預設為 NETWORK_HTTP。根據記錄訊息和剖析的欄位,變更為特定事件類型,例如 PROCESS_UNCATEGORIZEDSTATUS_UPDATEUSER_UNCATEGORIZED
metadata.vendor_name 設為 HAProxy Enterprise
metadata.product_name 設為 HAProxy
network.application_protocol 如果 message 欄位包含 HTTP,請設為 HTTP
metadata.log_type 設為 HAPROXY

還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求答案。