收集 pfSense 日志

支持的平台：

本文档介绍了如何使用 Bindplane 将 pfSense 日志注入到 Google Security Operations。

pfSense 是一款基于 FreeBSD 的开源防火墙和路由器软件分发版。它提供有状态数据包过滤、VPN、流量整形、NAT、DHCP 服务器、DNS 转发器和入侵检测功能，所有这些功能都通过基于 Web 的界面进行管理。解析器从 pfSense syslog 格式的日志中提取字段。它使用 grok 解析日志消息，然后将这些值映射到统一数据模型 (UDM)。它还会为事件来源和类型设置默认元数据值。

准备工作

请确保满足以下前提条件：

  • Google SecOps 实例
  • Windows Server 2016 或更高版本，或者具有 systemd 的 Linux 主机
  • 如果通过代理运行，请确保防火墙端口已根据 Bindplane 代理要求打开
  • 对 pfSense 网页界面的特权访问权限

获取 Google SecOps 注入身份验证文件

  1. 登录 Google SecOps 控制台。
  2. 依次前往 SIEM 设置 > 收集代理。
  3. 下载注入身份验证文件。将文件安全地保存在将要安装 Bindplane 的系统上。

获取 Google SecOps 客户 ID

  1. 登录 Google SecOps 控制台。
  2. 依次前往 SIEM 设置 > 配置文件。
  3. 复制并保存组织详细信息部分中的客户 ID。

安装 Bindplane 代理

按照以下说明在 Windows 或 Linux 操作系统上安装 Bindplane 代理。

Windows 安装

  1. 以管理员身份打开命令提示符或 PowerShell。

  2. 运行以下命令：

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet

  3. 等待安装完成。

  4. 运行以下命令来验证安装：

    sc query observiq-otel-collector

该服务应显示为 RUNNING。

Linux 安装

  1. 打开具有 root 或 sudo 权限的终端。

  2. 运行以下命令：

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh

  3. 等待安装完成。

  4. 运行以下命令来验证安装：

    sudo systemctl status observiq-otel-collector

该服务应显示为有效（正在运行）。

其他安装资源

如需了解其他安装选项和问题排查信息，请参阅 Bindplane 代理安装指南。

配置 Bindplane 代理以注入 syslog 并将其发送到 Google SecOps

找到配置文件

  • Linux：

    sudo nano /etc/bindplane-agent/config.yaml

  • Windows：

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"

修改配置文件

  • 将 config.yaml 的全部内容替换为以下配置：

    receivers:
    udplog:
        listen_address: "0.0.0.0:514"

exporters:
    chronicle/chronicle_w_labels:
        compression: gzip
        creds_file_path: '/path/to/ingestion-authentication-file.json'
        customer_id: 'YOUR_CUSTOMER_ID'
        endpoint: malachiteingestion-pa.googleapis.com
        log_type: 'PFSENSE'
        raw_log_field: body
        ingestion_labels:

service:
    pipelines:
        logs/source0__chronicle_w_labels-0:
            receivers:
                - udplog
            exporters:
                - chronicle/chronicle_w_labels

配置参数

  • 替换以下占位符：

    • 接收器配置：

      • udplog：使用 udplog 表示 UDP syslog，使用 tcplog 表示 TCP syslog
      • 0.0.0.0：要监听的 IP 地址（0.0.0.0 表示监听所有接口）
      • 514：要监听的端口号（标准 syslog 端口）

    • 导出器配置：

      • creds_file_path：提取身份验证文件的完整路径：
        • Linux：/etc/bindplane-agent/ingestion-auth.json
        • Windows：C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
      • YOUR_CUSTOMER_ID：从“获取客户 ID”部分获取的客户 ID
      • endpoint：区域端点网址：
        • 美国：malachiteingestion-pa.googleapis.com
        • 欧洲：europe-malachiteingestion-pa.googleapis.com
        • 亚洲：asia-southeast1-malachiteingestion-pa.googleapis.com
        • 如需查看完整列表，请参阅区域级端点
      • log_type：日志类型，与在 Chronicle 中显示的完全一致 (PFSENSE)

保存配置文件

  • 修改后，保存文件：
    • Linux：依次按 Ctrl+O、Enter 和 Ctrl+X
    • Windows：依次点击文件 > 保存

重启 Bindplane 代理以应用更改

  • 如需在 Linux 中重启 Bindplane 代理，请运行以下命令：

    sudo systemctl restart observiq-otel-collector

    1. 验证服务是否正在运行：

        sudo systemctl status observiq-otel-collector

    2. 检查日志是否存在错误：

        sudo journalctl -u observiq-otel-collector -f

  • 如需在 Windows 中重启 Bindplane 代理，请选择以下选项之一：

    • 以管理员身份运行命令提示符或 PowerShell：

      net stop observiq-otel-collector && net start observiq-otel-collector

    • 服务控制台：

      1. 按 Win+R，输入 services.msc，然后按 Enter 键。
      2. 找到 observIQ OpenTelemetry 收集器。

      3. 右键点击并选择重新启动。

      4. 验证服务是否正在运行：

        sc query observiq-otel-collector

      5. 检查日志是否存在错误：

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"

在 pfSense 上配置 Syslog 转发

pfSense 在 FreeBSD 上运行，并提供基于 Web 的界面来执行所有配置任务，包括远程 syslog 转发。

  1. 登录 pfSense 网页界面。
  2. 依次前往状态 > 系统日志 > 设置。
  3. 前往远程日志记录选项部分。
  4. 选择启用远程日志记录。
  5. 提供以下配置详细信息：
    • 源地址：选择任意（或特定接口）。
    • IP 协议：选择 IPv4。
    • 远程日志服务器：在第一个可用字段中输入 BINDPLANE_IP:514。 将 BINDPLANE_IP 替换为 Bindplane 代理主机 IP 地址。
  6. 在远程 Syslog 内容部分中，选择要转发的日志类别：
    • 系统事件
    • 防火墙事件
    • DNS 事件（解析器/unbound、转发器/dnsmasq）
    • DHCP 事件（DHCP 服务）
    • PPP 事件
    • 身份验证事件（门户身份验证、RADIUS）
    • VPN 事件（IPsec、OpenVPN、L2TP）
    • 网关事件（网关监控器）
    • 路由事件（路由守护程序）
    • NTP 事件
    • 软件包（已安装的软件包）
  7. 点击保存。
  8. 通过检查 Bindplane 代理日志，验证是否正在发送 syslog 消息。

UDM 映射表

日志字段 UDM 映射 逻辑
应用 principal.application 该值使用 grok 模式从日志消息中提取。对于 syslog 消息，应用名称通常位于主机名和时间戳之后。
命令 principal.process.command_line 当日志指示命令执行时，从说明字段中提取。
说明 metadata.description 说明字段会映射到 UDM 元数据说明，但 syslog-ng 应用日志除外，该日志会映射到 metadata.description。对于 DHCP 事件，dhcp_type 会添加到说明的前面。
dhcp_type metadata.product_event_type DHCP 消息类型（例如，DHCPDISCOVER、DHCPOFFER）提取并映射。
主机 intermediary.hostname 或 intermediary.ip 如果主机值是有效的 IP 地址，则会映射到 intermediary.ip。否则，它会映射到 intermediary.hostname。
主机 principal.hostname、principal.asset.hostname 如果不存在主账号 IP，则将主机视为主账号主机名。
mac principal.mac、network.dhcp.chaddr 提取与 DHCP 请求关联的 MAC 地址并进行映射。
src_ip principal.ip、principal.asset.ip 使用 Grok 模式从特定日志格式中提取。
src_mac principal.mac 使用 Grok 模式从特定日志格式中提取。
dst_mac target.mac 使用 Grok 模式从特定日志格式中提取。
时间戳 metadata.event_timestamp 时间戳从日志消息中提取，并转换为 UDM 时间戳格式。如果时区信息 (tz) 可用，则在转换之前将其附加到时间戳。
timestamp_no_year metadata.event_timestamp 如果存在不含年份的时间戳，系统会解析该时间戳，并在解析过程中添加当前年份。
用户 principal.user.userid 提取与事件关联的用户名并进行映射。
第 1 列 security_result.rule_id 如果说明采用 CSV 格式，则从第一个 CSV 列映射。
column6 security_result.rule_type 如果说明采用 CSV 格式，则从第六个 CSV 列映射。
column7 security_result.action 如果说明采用 CSV 格式，则从第七个 CSV 列映射。已转换为“BLOCK”或“ALLOW”。
column8 network.direction 如果说明采用 CSV 格式，则从第八个 CSV 列映射。已转换为“INBOUND”或“OUTBOUND”。
column13 network.ip_protocol（如果为 UDP 或 ICMP） 如果说明采用 CSV 格式且协议为 UDP 或 ICMP，则从第 13 个 CSV 列映射。对于 TCP/UDP 事件，它用于创建具有键“Id”的附加字段。
column16 principal.ip、principal.asset.ip（如果 IPv6 且 column9 为 6） 如果说明采用 CSV 格式，且 column9 为 6，则从第 16 个 CSV 列映射。对于 TCP/UDP 事件，如果 column9 为 4，则用于协议标识。
column17 target.ip、target.asset.ip（如果为 IPv6 且不是 ip_failure） 如果说明采用 CSV 格式，column9 为 6，且相应值为有效 IP，则从第十七个 CSV 列映射。对于 TCP/UDP 事件，它用于协议标识。
column18 principal.port（如果为 UDP） 如果说明采用 CSV 格式且协议为 UDP，则从第十八个 CSV 列映射。对于 TCP/UDP 事件，它会映射到 network.received_bytes。
column19 target.port（如果为 UDP） 如果说明采用 CSV 格式且协议为 UDP，则从第 19 个 CSV 列映射。对于 DHCP 事件，它会映射到 network.dhcp.yiaddr。对于其他事件，它会映射到 principal.ip、principal.asset.ip。
column20 additional.fields（键：“data_length”）（如果为 UDP） 如果说明采用 CSV 格式且协议为 UDP，则从第 20 个 CSV 列映射。对于其他事件，它会映射到 target.ip、target.asset.ip。
column21 principal.port（如果为 TCP/UDP） 如果说明采用 CSV 格式且协议为 TCP 或 UDP，则从第 21 个 CSV 列映射。
column22 target.port（如果为 TCP/UDP） 如果说明采用 CSV 格式且协议为 TCP 或 UDP，则从 CSV 的第 22 列映射。
column23 additional.fields（键：“data_length”）（如果为 TCP/UDP） 如果说明采用 CSV 格式，且协议为 TCP 或 UDP，则从第 23 个 CSV 列映射。
column24 additional.fields（键：“tcp_flags”）（如果为 TCP） 如果说明采用 CSV 格式且协议为 TCP，则从第 24 个 CSV 列映射。
column25 additional.fields（键：“sequence_number”）（如果为 TCP/UDP） 如果说明采用 CSV 格式，且协议为 TCP 或 UDP，则从第 25 个 CSV 列映射。
column29 additional.fields（键：“tcp_options”）（如果为 TCP） 如果说明采用 CSV 格式且协议为 TCP，则从第 29 个 CSV 列映射。
compression_algo additional.fields（键：“压缩算法”） 从说明字段中提取并添加为附加字段。
降序 metadata.description 从消息字段中提取并用作说明。
principal_ip principal.ip、principal.asset.ip 从说明字段中提取，表示主 IP 地址。
principal_username principal.user.userid 从说明字段中提取，表示主账号用户名。
状态 security_result.detection_fields（键：“status”） 从说明字段中提取，并作为检测字段添加到安全结果中。
target_host target.hostname、target.asset.hostname 从说明字段中提取，表示目标主机名。
src_port principal.port 从说明字段中提取，表示源端口。根据各种日志字段和解析器逻辑确定。可以是 NETWORK_CONNECTION、NETWORK_DHCP、STATUS_UPDATE 或 GENERIC_EVENT。硬编码为“PFSENSE”。硬编码为“PFSENSE”。硬编码为“PFSENSE”。对于 DHCP 事件，请设置为“DHCP”。对于 DHCPDISCOVER 和 DHCPREQUEST，设置为“BOOTREQUEST”；对于 DHCPOFFER 和 DHCPACK，设置为“BOOTREPLY”。根据 dhcp_type 字段设置为“DISCOVER”“REQUEST”“OFFER”或“ACK”。

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。