收集 HAProxy 日志

支持：

本文档介绍了如何使用 Bindplane 代理将 HAProxy 日志注入到 Google Security Operations。

HAProxy 是一种高可用性负载均衡器和代理服务器，可为 HTTP 请求、连接事件、后端健康检查和进程活动生成 syslog 消息。解析器使用 Grok 模式匹配从各种 HAProxy 日志格式中提取字段，并将其映射到统一数据模型 (UDM)。

准备工作

请确保满足以下前提条件：

  • Google SecOps 实例
  • Windows Server 2016 或更高版本，或者具有 systemd 的 Linux 主机
  • Bindplane 代理与 HAProxy 服务器之间的网络连接
  • 如果通过代理运行，请确保防火墙端口根据 Bindplane 代理要求处于开放状态
  • 对 HAProxy 配置的管理员权限

获取 Bindplane 代理的 Google SecOps 凭证

如需向 Google SecOps 验证 Bindplane 代理，请选择以下方法之一：

  • 新部署：使用 Chronicle API（选项 1）。
  • 旧版部署：继续使用提取身份验证文件（方法 2），直到提取 API 于 2027 年 7 月 20 日停用。
  1. 登录 Google Cloud 控制台，然后选择与您的 Google SecOps 实例关联的 Google Cloud 项目。
  2. 前往 IAM 和管理 > 服务账号。
  3. 点击创建服务账号。
  4. 提供以下配置详细信息：
    • 服务账号名称：输入账号的名称（例如 bindplane-ingest）。
    • 服务账号说明：输入说明（例如 Bindplane agent log ingestion）。
  5. 点击创建并继续。
  6. 在向此服务账号授予对项目的访问权限部分，点击选择角色，然后选择 Chronicle Editor。
  7. 点击继续，然后点击完成。
  8. 点击您创建的服务账号，然后前往密钥标签页。
  9. 依次点击添加密钥> 创建新密钥。
  10. 选择 JSON，然后点击创建。密钥文件会下载到您的计算机上。
  11. 将密钥文件另存为 Bindplane 收集器目录（Linux 上的 /opt/observiq-otel-collector/ingestion-auth.json 或 Windows 上的 C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json）中的 ingestion-auth.json，或更新 config.yaml 中的 creds_file_path 以匹配您保存该文件的路径。
  12. 前往 IAM 和管理 > 设置，然后复制项目编号。您在配置导出器时需要用到该名称。

方法 2：下载数据注入身份验证文件（旧版）

  1. 登录 Google SecOps 控制台。
  2. 前往 SIEM 设置> 收集代理。
  3. 下载数据注入身份验证文件。
  4. 将文件安全地保存在将安装 Bindplane 代理的系统上。

获取 Google SecOps 客户 ID

  1. 登录 Google SecOps 控制台。
  2. 前往 SIEM 设置 > 个人资料。

  3. 从组织详细信息部分复制并保存客户 ID。

安装 Bindplane 代理

根据以下说明，在 Windows 或 Linux 操作系统上安装 Bindplane 代理。

Windows 安装

  1. 以管理员身份打开命令提示符或 PowerShell。

  2. 运行以下命令：

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet

  3. 等待安装完成。

  4. 运行以下命令，验证安装是否成功：

    sc query observiq-otel-collector

    该服务应显示为 RUNNING。

Linux 安装

  1. 打开具有 root 或 sudo 权限的终端。

  2. 运行以下命令：

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh

  3. 等待安装完成。

  4. 运行以下命令，验证安装是否成功：

    sudo systemctl status observiq-otel-collector

    该服务应显示为 active (running)。

其他安装资源

如需了解其他安装选项和问题排查信息，请参阅 Bindplane 代理安装指南。

配置 Bindplane 代理以注入 syslog 并将其发送到 Google SecOps

找到配置文件

  • Linux：

    sudo nano /opt/observiq-otel-collector/config.yaml

  • Windows：

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"

修改配置文件

  • 将 config.yaml 的全部内容替换为以下配置：

    receivers:
  udplog:
    listen_address: "0.0.0.0:514"

exporters:
  chronicle/haproxy:
    protocol: https
    # Region of your instance, for example us, europe, asia-southeast1
    location: <LOCATION>
    # Project number of the Google Cloud project linked to the instance
    project: '<PROJECT_NUMBER>'
    compression: gzip
    creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
    customer_id: '<customer_id>'
    endpoint: chronicle.googleapis.com
    log_type: HAPROXY
    raw_log_field: body

service:
  pipelines:
    logs/haproxy_to_chronicle:
      receivers:
        - udplog
      exporters:
        - chronicle/haproxy

配置参数

替换以下占位符：

  • 接收器配置：

    • listen_address：要监听的 IP 地址和端口：
      • 0.0.0.0，以监听所有接口（推荐）
      • 端口 514 是标准 syslog 端口（在 Linux 上需要 root 权限；对于非 root 用户，请使用 1514）

  • 导出器配置：

    • creds_file_path：服务账号 JSON 密钥文件的完整路径（选项 1）：
      • Linux：/opt/observiq-otel-collector/ingestion-auth.json
      • Windows：C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • customer_id：从 Google SecOps 控制台复制的客户 ID
    • location：将 <LOCATION> 替换为 Google SecOps 实例的区域（例如 us、europe 或 asia-southeast1）。导出器会使用此值作为 chronicle.googleapis.com 的前缀。如需查看完整列表，请参阅区域级端点。
    • project：将 <PROJECT_NUMBER> 替换为“IAM 和管理”>“设置”中的项目编号。
    • endpoint：保持设置为 chronicle.googleapis.com。

旧版提取 API 导出工具

  • 如果您使用选项 2 中的提取身份验证文件，请将 exporters 代码块替换为以下内容。将 creds_file_path 设置为数据注入身份验证文件的路径，如果您的实例位于美国境外，请将 malachiteingestion-pa.googleapis.com 替换为您的区域端点（例如 europe-malachiteingestion-pa.googleapis.com）。

    exporters:
  chronicle/haproxy:
    compression: gzip
    creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
    customer_id: '<customer_id>'
    endpoint: malachiteingestion-pa.googleapis.com
    log_type: HAPROXY
    raw_log_field: body

保存配置文件

  • 修改后，保存文件：
    • Linux：依次按 Ctrl+O、Enter 和 Ctrl+X
    • Windows：依次点击文件 > 保存

重启 Bindplane 代理以应用更改

  • 如需在 Linux 中重启 Bindplane 代理，请运行以下命令：

    sudo systemctl restart observiq-otel-collector

    1. 验证服务是否正在运行：

      sudo systemctl status observiq-otel-collector

    2. 检查日志中的错误：

      sudo journalctl -u observiq-otel-collector -f

  • 如需在 Windows 中重启 Bindplane 代理，请选择以下选项之一：

    • 以管理员身份运行命令提示符或 PowerShell：

      net stop observiq-otel-collector && net start observiq-otel-collector

    • 服务控制台：

      1. 按 Win+R，输入 services.msc，然后按 Enter 键。
      2. 找到 observIQ OpenTelemetry 收集器。
      3. 右键点击并选择重启。

      4. 验证服务是否正在运行：

        sc query observiq-otel-collector

      5. 检查日志中是否存在错误：

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"

为 HAProxy 配置 syslog

  1. 使用 CLI 登录 HAProxy。

  2. 在配置的 global 部分中添加 log 指令，以通过 UDP 转发 syslog 消息。

    • 将 <bindplane-ip> 替换为实际的 Bindplane 代理 IP 地址。
    global
    log <bindplane-ip>:514 local0

defaults
    log global

UDM 映射表

日志字段 UDM 映射 逻辑
accept_date_ms
actconn
backend_name
backend_queue
beconn
bytes_read network.received_bytes 从日志中的 bytes_read 字段提取并转换为无符号整数。
captured_request_headers
client_ip principal.ip 从日志中的 client_ip 字段中提取。
client_port principal.port 从日志中的 client_port 字段中提取并转换为整数。
command_description metadata.description 从日志中的 command_description 字段提取（如果有）。否则，它会派生自其他字段（例如 action 或 status），具体取决于日志消息。
日期时间 metadata.event_timestamp.seconds 从日志中的 datetime 字段提取（如有）。否则，该值会从日志条目中的 timestamp 字段派生出来。
说明 metadata.description 从日志中的 description 字段提取（如果有）。否则，它会根据日志消息从其他字段（例如 command_description 或 action）派生。
feconn
frontend_name
http_request target.url 从日志中的 http_request 字段中提取。
http_status_code network.http.response_code 从日志中的 http_status_code 字段中提取并转换为整数。
http_verb network.http.method 从日志中的 http_verb 字段中提取。
http_version metadata.product_version 从日志的 http_version 字段中提取，格式为 HTTP/{version}。
发起方 target.application 从日志中的 initiator 字段中提取。
module
msg security_result.summary 从日志中的 msg 字段提取。
pid target.process.pid 从日志中的 pid 字段提取。
原始事件
process_name target.application 从日志中的 process_name 字段中提取。
retries
server_name target.hostname 从日志中的 server_name 字段中提取。如果为空，则默认为 syslog_server 的值。
和程度上减少 security_result.severity 从日志中的 severity 字段映射。WARNING 映射到 MEDIUM，ALERT 映射到 CRITICAL，NOTICE 映射到 INFORMATIONAL。
shell
srv_queue
srvconn
状态
syslog_server target.hostname, intermediary.hostname 从日志中的 syslog_server 字段中提取。同时用于目标主机名（如果 server_name 为空）和中间主机名。
syslog_timestamp
syslog_timestamp_1
syslog_timestamp_2
syslog_timestamp_4
target_ip
time_backend_connect
time_backend_response
time_duration
time_queue
time_request
时间戳 metadata.event_timestamp.seconds 从日志中的 timestamp 字段提取，并解析为日期和时间信息。用作事件时间戳。
unknown_parameters1
unknown_parameters2
user_name target.user.userid 从日志中的 user_name 字段中提取。
metadata.event_type 默认设置为 NETWORK_HTTP。根据日志消息和解析的字段，更改为特定事件类型，例如 PROCESS_UNCATEGORIZED、STATUS_UPDATE 或 USER_UNCATEGORIZED。
metadata.vendor_name 设置为 HAProxy Enterprise。
metadata.product_name 设置为 HAProxy。
network.application_protocol 如果 message 字段包含 HTTP，则设置为 HTTP。
metadata.log_type 设置为 HAPROXY。
source_ip event.idm.read_only_udm.principal.ip 从更新日志映射
source_ip event.idm.read_only_udm.principal.asset.ip 从更新日志映射
source_port event.idm.read_only_udm.principal.port 从更新日志映射
status_code event.idm.read_only_udm.network.http.response_code 从更新日志映射
bytes event.idm.read_only_udm.network.received_bytes 从更新日志映射
inter_ip event.idm.read_only_udm.intermediary.ip 从更新日志映射
inter_port event.idm.read_only_udm.intermediary.port 从更新日志映射
destination_ip event.idm.read_only_udm.target.ip 从更新日志映射
destination_ip event.idm.read_only_udm.target.asset.ip 从更新日志映射
destination_port event.idm.read_only_udm.target.port 从更新日志映射
referer event.idm.read_only_udm.network.http.referral_url 从更新日志映射
user_agent event.idm.read_only_udm.network.http.user_agent 从更新日志映射
time_stamp event.idm.read_only_udm.security_result.detection_fields 从更新日志映射
x_forwarded_for event.idm.read_only_udm.security_result.detection_fields 从更新日志映射
content_length event.idm.read_only_udm.security_result.detection_fields 从更新日志映射
datetime event.idm.read_only_udm.metadata.event_timestamp 从更新日志映射

更新日志

查看此解析器的更新日志

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。