收集 HAProxy 記錄

支援的服務：

本文說明如何使用 Bindplane 代理程式，將 HAProxy 記錄檔擷取至 Google Security Operations。

HAProxy 是高可用性負載平衡器和 Proxy 伺服器，可為 HTTP 要求、連線事件、後端健康狀態檢查和程序活動產生系統記錄訊息。剖析器會使用 Grok 模式比對，從各種 HAProxy 記錄格式擷取欄位，並對應至統合式資料模型 (UDM)。

事前準備

請確認您符合下列必要條件：

  • Google SecOps 執行個體
  • Windows Server 2016 以上版本，或搭載 systemd 的 Linux 主機
  • Bindplane 代理程式與 HAProxy 伺服器之間的網路連線
  • 如果透過 Proxy 執行，請確保防火牆通訊埠已根據 Bindplane 代理程式需求開啟
  • HAProxy 設定的管理員權限

取得 Bindplane 代理程式的 Google SecOps 憑證

如要向 Google SecOps 驗證 Bindplane 代理程式，請選擇下列其中一種方法：

  • 新部署作業：使用 Chronicle API (選項 1)。
  • 舊版部署作業：繼續使用擷取驗證檔案 (選項 2)，直到 Ingestion API 於 2027 年 7 月 20 日停用。
  1. 登入 Google Cloud 控制台，選取連結至 Google SecOps 執行個體的 Google Cloud 專案。
  2. 依序前往 「IAM & Admin」(IAM 與管理) >「Service Accounts」(服務帳戶)。
  3. 按一下「建立服務帳戶」。
  4. 提供下列設定詳細資料：
    • 服務帳戶名稱：輸入帳戶名稱 (例如 bindplane-ingest)。
    • 服務帳戶說明：輸入說明 (例如 Bindplane agent log ingestion)。
  5. 點按「Create and continue」(建立並繼續)。
  6. 在「將專案存取權授予這個服務帳戶」部分，按一下「選取角色」，然後選取「Chronicle 編輯者」。
  7. 依序點選「繼續」和「完成」。
  8. 按一下您建立的服務帳戶，然後前往「金鑰」分頁標籤。
  9. 依序點選「新增金鑰」>「建立新的金鑰」。
  10. 選取「JSON」，然後按一下「建立」。金鑰檔案會下載到電腦。
  11. 將金鑰檔案儲存為 Bindplane 收集器目錄中的 ingestion-auth.json (Linux 上的 /opt/observiq-otel-collector/ingestion-auth.json 或 Windows 上的 C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json)，或更新 config.yaml 中的 creds_file_path，使其與儲存路徑相符。
  12. 依序前往「IAM & Admin」(IAM 與管理) >「Settings」(設定)，然後複製「Project number」(專案編號)。設定匯出工具時會用到。

方法 2：下載擷取驗證檔案 (舊版)

  1. 登入 Google SecOps 控制台。
  2. 依序前往「SIEM Settings」 > 「Collection Agents」。
  3. 下載擷取驗證檔案。
  4. 將檔案安全地儲存在要安裝 Bindplane 代理程式的系統上。

取得 Google SecOps 客戶 ID

  1. 登入 Google SecOps 控制台。
  2. 依序前往「SIEM 設定」 > 「設定檔」。

  3. 複製並儲存「機構詳細資料」部分的客戶 ID。

安裝 Bindplane 代理程式

請按照下列操作說明，在 Windows 或 Linux 作業系統上安裝 Bindplane 代理程式。

Windows 安裝

  1. 以管理員身分開啟命令提示字元或 PowerShell。

  2. 執行下列指令：

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet

  3. 等待安裝完成。

  4. 執行下列指令，確認安裝成功：

    sc query observiq-otel-collector

    服務應顯示為「RUNNING」。

Linux 安裝

  1. 開啟具有 root 或 sudo 權限的終端機。

  2. 執行下列指令：

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh

  3. 等待安裝完成。

  4. 執行下列指令，確認安裝成功：

    sudo systemctl status observiq-otel-collector

    服務應顯示為「active (running)」。

其他安裝資源

如需其他安裝選項和疑難排解資訊，請參閱 Bindplane 代理程式安裝指南。

設定 Bindplane 代理程式，擷取系統記錄並傳送至 Google SecOps

找出設定檔

  • Linux：

    sudo nano /opt/observiq-otel-collector/config.yaml

  • Windows：

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"

編輯設定檔

  • 將 config.yaml 的全部內容替換為下列設定：

    receivers:
  udplog:
    listen_address: "0.0.0.0:514"

exporters:
  chronicle/haproxy:
    protocol: https
    # Region of your instance, for example us, europe, asia-southeast1
    location: <LOCATION>
    # Project number of the Google Cloud project linked to the instance
    project: '<PROJECT_NUMBER>'
    compression: gzip
    creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
    customer_id: '<customer_id>'
    endpoint: chronicle.googleapis.com
    log_type: HAPROXY
    raw_log_field: body

service:
  pipelines:
    logs/haproxy_to_chronicle:
      receivers:
        - udplog
      exporters:
        - chronicle/haproxy

設定參數

請替換下列預留位置：

  • 接收器設定：

    • listen_address：要監聽的 IP 位址和通訊埠：
      • 0.0.0.0 在所有介面接聽電話 (建議)
      • 通訊埠 514 是標準 syslog 通訊埠 (在 Linux 上需要根目錄；非根目錄請使用 1514)

  • 匯出工具設定：

    • creds_file_path：服務帳戶 JSON 金鑰檔案的完整路徑 (選項 1)：
      • Linux：/opt/observiq-otel-collector/ingestion-auth.json
      • Windows：C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • customer_id：從 Google SecOps 控制台複製的客戶 ID
    • location：將 <LOCATION> 替換為 Google SecOps 執行個體的區域 (例如 us、europe 或 asia-southeast1)。匯出工具會在這個值前面加上 chronicle.googleapis.com。如需完整清單，請參閱「區域性端點」。
    • project：依序前往「IAM 與管理」>「設定」，然後將 <PROJECT_NUMBER> 替換為專案編號。
    • endpoint：維持設為 chronicle.googleapis.com。

舊版 Ingestion API 匯出工具

  • 如果您使用選項 2 的擷取驗證檔案，請將 exporters 區塊替換為下列內容。將 creds_file_path 設為擷取驗證檔案的路徑，如果您的執行個體位於美國境外，請將 malachiteingestion-pa.googleapis.com 替換為區域端點 (例如 europe-malachiteingestion-pa.googleapis.com)。

    exporters:
  chronicle/haproxy:
    compression: gzip
    creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
    customer_id: '<customer_id>'
    endpoint: malachiteingestion-pa.googleapis.com
    log_type: HAPROXY
    raw_log_field: body

儲存設定檔

  • 編輯完成後，請儲存檔案：
    • Linux：依序按下 Ctrl+O、Enter 和 Ctrl+X
    • Windows：依序點選「檔案」>「儲存」

重新啟動 Bindplane 代理程式，套用變更

  • 如要在 Linux 中重新啟動 Bindplane 代理程式，請執行下列指令：

    sudo systemctl restart observiq-otel-collector

    1. 確認服務正在執行：

      sudo systemctl status observiq-otel-collector

    2. 檢查記錄是否有錯誤：

      sudo journalctl -u observiq-otel-collector -f

  • 如要在 Windows 中重新啟動 Bindplane 代理程式，請選擇下列任一選項：

    • 以管理員身分開啟命令提示字元或 PowerShell：

      net stop observiq-otel-collector && net start observiq-otel-collector

    • 服務控制台：

      1. 按下 Win+R，輸入 services.msc，然後按下 Enter 鍵。
      2. 找出「observIQ OpenTelemetry Collector」。
      3. 按一下滑鼠右鍵，然後選取「重新啟動」。

      4. 確認服務正在執行：

        sc query observiq-otel-collector

      5. 查看記錄檔是否有錯誤：

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"

設定 HAProxy 的系統記錄

  1. 使用 CLI 登入 HAProxy。

  2. 在「Configuration」的「global」部分新增「log」指令，透過「UDP」轉送系統記錄訊息。

    • 將 <bindplane-ip> 替換為實際的 Bindplane 代理程式 IP 位址。
    global
    log <bindplane-ip>:514 local0

defaults
    log global

UDM 對應表

記錄欄位 UDM 對應 邏輯
accept_date_ms
actconn
backend_name
backend_queue
beconn
bytes_read network.received_bytes 從記錄中的 bytes_read 欄位擷取，並轉換為不帶正負號的整數。
captured_request_headers
client_ip principal.ip 從記錄檔的「client_ip」欄位擷取。
client_port principal.port 從記錄中的 client_port 欄位擷取，並轉換為整數。
command_description metadata.description 如果有的話，會從記錄檔的 command_description 欄位擷取。否則，系統會根據記錄訊息，從 action 或 status 等其他欄位衍生。
日期時間 metadata.event_timestamp.seconds 從記錄中的 datetime 欄位擷取 (如有)。否則，系統會從記錄項目的 timestamp 欄位衍生出這個值。
說明 metadata.description 從記錄中的 description 欄位擷取 (如有)。否則，系統會根據記錄訊息，從 command_description 或 action 等其他欄位衍生。
feconn
frontend_name
http_request target.url 從記錄中的 http_request 欄位擷取。
http_status_code network.http.response_code 從記錄中的 http_status_code 欄位擷取，並轉換為整數。
http_verb network.http.method 從記錄檔的「http_verb」欄位擷取。
http_version metadata.product_version 從記錄中的 http_version 欄位擷取，並採用 HTTP/{version} 格式。
initiator target.application 從記錄檔的「initiator」欄位擷取。
module
msg security_result.summary 從記錄檔的「msg」欄位擷取。
pid target.process.pid 從記錄檔的「pid」欄位擷取。
反向擴散程序
process_name target.application 從記錄檔的「process_name」欄位擷取。
retries
server_name target.hostname 從記錄中的 server_name 欄位擷取。如果為空白，則預設為 syslog_server 的值。
嚴重性 security_result.severity 從記錄中的 severity 欄位對應。WARNING 對應至 MEDIUM、ALERT 對應至 CRITICAL，而 NOTICE 對應至 INFORMATIONAL。
殼層
srv_queue
srvconn
狀態
syslog_server target.hostname、intermediary.hostname 從記錄中的 syslog_server 欄位擷取。用於目標主機名稱 (如果 server_name 為空白) 和中介主機名稱。
syslog_timestamp
syslog_timestamp_1
syslog_timestamp_2
syslog_timestamp_4
target_ip
time_backend_connect
time_backend_response
time_duration
time_queue
time_request
時間戳記 metadata.event_timestamp.seconds 從記錄中的 timestamp 欄位擷取，並剖析日期和時間資訊。做為事件時間戳記。
unknown_parameters1
unknown_parameters2
user_name target.user.userid 從記錄檔的「user_name」欄位擷取。
metadata.event_type 預設為 NETWORK_HTTP。根據記錄訊息和剖析欄位，變更為特定事件類型，例如 PROCESS_UNCATEGORIZED、STATUS_UPDATE 或 USER_UNCATEGORIZED。
metadata.vendor_name 設為 HAProxy Enterprise。
metadata.product_name 設為 HAProxy。
network.application_protocol 如果 message 欄位包含 HTTP，請設為 HTTP。
metadata.log_type 設為 HAPROXY。
source_ip event.idm.read_only_udm.principal.ip 從變更記錄對應
source_ip event.idm.read_only_udm.principal.asset.ip 從變更記錄對應
source_port event.idm.read_only_udm.principal.port 從變更記錄對應
status_code event.idm.read_only_udm.network.http.response_code 從變更記錄對應
bytes event.idm.read_only_udm.network.received_bytes 從變更記錄對應
inter_ip event.idm.read_only_udm.intermediary.ip 從變更記錄對應
inter_port event.idm.read_only_udm.intermediary.port 從變更記錄對應
destination_ip event.idm.read_only_udm.target.ip 從變更記錄對應
destination_ip event.idm.read_only_udm.target.asset.ip 從變更記錄對應
destination_port event.idm.read_only_udm.target.port 從變更記錄對應
referer event.idm.read_only_udm.network.http.referral_url 從變更記錄對應
user_agent event.idm.read_only_udm.network.http.user_agent 從變更記錄對應
time_stamp event.idm.read_only_udm.security_result.detection_fields 從變更記錄對應
x_forwarded_for event.idm.read_only_udm.security_result.detection_fields 從變更記錄對應
content_length event.idm.read_only_udm.security_result.detection_fields 從變更記錄對應
datetime event.idm.read_only_udm.metadata.event_timestamp 從變更記錄對應

變更記錄

查看這個剖析器的變更記錄

還有其他問題嗎？向社群成員和 Google SecOps 專家尋求解答。