pfSense-Logs erfassen

Unterstützt in:

In diesem Dokument wird beschrieben, wie Sie pfSense-Logs mit Bindplane in Google Security Operations aufnehmen.

pfSense ist eine Open-Source-Firewall- und Router-Softwaredistribution, die auf FreeBSD basiert. Sie bietet zustandsorientierte Paketfilterung, VPN, Anpassung an Traffic, NAT, DHCP-Server, DNS-Weiterleitung und Intrusion Detection. Alle diese Funktionen werden über eine webbasierte Oberfläche verwaltet. Der Parser extrahiert Felder aus pfSense-Syslog-formatierten Logs. Die Logeinträge werden mit Grok geparst und die Werte dann dem Unified Data Model (UDM) zugeordnet. Außerdem werden Standardmetadatenwerte für die Ereignisquelle und den Ereignistyp festgelegt.

Hinweis

Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:

  • Eine Google SecOps-Instanz
  • Windows Server 2016 oder höher oder Linux-Host mit systemd
  • Wenn Sie den Agent hinter einem Proxy ausführen, müssen die Firewallports gemäß den Anforderungen des Bindplane-Agents geöffnet sein.
  • Privilegierter Zugriff auf die pfSense-Weboberfläche

Google SecOps-Anmeldedaten für den Bindplane-Agenten abrufen

Wählen Sie eine der folgenden Methoden aus, um den Bindplane-Agent bei Google SecOps zu authentifizieren:

  • Neue Bereitstellungen: Verwenden Sie die Chronicle API (Option 1).
  • Legacy-Bereitstellungen: Verwenden Sie die Authentifizierungsdatei für die Datenaufnahme (Option 2) weiter, bis die Ingestion API am 20. Juli 2027 eingestellt wird.
  1. Melden Sie sich in der Google Cloud Console an und wählen Sie das Google Cloud -Projekt aus, das mit Ihrer Google SecOps-Instanz verknüpft ist.
  2. Rufen Sie IAM & Verwaltung > Dienstkonten auf.
  3. Klicken Sie auf Dienstkonto erstellen.
  4. Geben Sie die folgenden Konfigurationsdetails an:
    • Name des Dienstkontos: Geben Sie einen Namen für das Konto ein, z. B. bindplane-ingest.
    • Dienstkontobeschreibung: Geben Sie eine Beschreibung ein (z. B. Bindplane agent log ingestion).
  5. Klicken Sie auf Erstellen und fortfahren.
  6. Klicken Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen auf Rolle auswählen und wählen Sie Chronicle-Bearbeiter aus.
  7. Klicken Sie auf Weiter und dann auf Fertig.
  8. Klicken Sie auf das erstellte Dienstkonto und rufen Sie dann den Tab Schlüssel auf.
  9. Klicken Sie auf Schlüssel hinzufügen > Neuen Schlüssel erstellen.
  10. Wählen Sie JSON aus und klicken Sie auf Erstellen. Die Schlüsseldatei wird auf Ihren Computer heruntergeladen.
  11. Speichern Sie die Schlüsseldatei als ingestion-auth.json im Bindplane-Collector-Verzeichnis (/opt/observiq-otel-collector/ingestion-auth.json unter Linux oder C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json unter Windows) oder aktualisieren Sie creds_file_path in config.yaml, sodass der Pfad mit dem Pfad übereinstimmt, unter dem Sie die Datei speichern.
  12. Rufen Sie IAM und Verwaltung > Einstellungen auf und kopieren Sie die Projektnummer. Sie benötigen sie für die Exporter-Konfiguration.

Option 2: Authentifizierungsdatei für die Datenaufnahme herunterladen (Legacy)

  1. Melden Sie sich in der Google SecOps-Konsole an.
  2. Rufen Sie die SIEM-Einstellungen > Collection Agents auf.
  3. Laden Sie die Authentifizierungsdatei für die Datenaufnahme herunter.
  4. Speichern Sie die Datei sicher auf dem System, auf dem der Bindplane-Agent installiert wird.

Google SecOps-Kundennummer abrufen

  1. Melden Sie sich in der Google SecOps-Konsole an.
  2. Rufen Sie die SIEM-Einstellungen > Profil auf.
  3. Kopieren und speichern Sie die Kundennummer aus dem Bereich Organization Details (Organisationsdetails).

BindPlane-Agent installieren

Installieren Sie den Bindplane-Agenten gemäß der folgenden Anleitung auf Ihrem Windows- oder Linux-Betriebssystem.

Windows-Installation

  1. Öffnen Sie die Eingabeaufforderung oder PowerShell als Administrator.

  2. Führen Sie dazu diesen Befehl aus:

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet

  3. Warten Sie, bis die Installation abgeschlossen ist.

  4. Überprüfen Sie die Installation mit folgendem Befehl:

    sc query observiq-otel-collector

Der Dienst sollte als RUNNING angezeigt werden.

Linux-Installation

  1. Öffnen Sie ein Terminal mit Root- oder sudo-Berechtigungen.

  2. Führen Sie dazu diesen Befehl aus:

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh

  3. Warten Sie, bis die Installation abgeschlossen ist.

  4. Überprüfen Sie die Installation mit folgendem Befehl:

    sudo systemctl status observiq-otel-collector

Der Dienst sollte als active (running) angezeigt werden.

Zusätzliche Installationsressourcen

Weitere Installationsoptionen und Informationen zur Fehlerbehebung finden Sie im Installationsanleitung für den Bindplane-Agenten.

Bindplane-Agent für die Aufnahme von Syslog und das Senden an Google SecOps konfigurieren

Konfigurationsdatei suchen

  • Linux:

    sudo nano /opt/observiq-otel-collector/config.yaml

  • Windows:

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"

Konfigurationsdatei bearbeiten

  • Ersetzen Sie den gesamten Inhalt von config.yaml durch die folgende Konfiguration:

    receivers:
  udplog:
    listen_address: "0.0.0.0:514"

exporters:
  chronicle/chronicle_w_labels:
    protocol: https
    # Region of your instance, for example us, europe, asia-southeast1
    location: <LOCATION>
    # Project number of the Google Cloud project linked to the instance
    project: '<PROJECT_NUMBER>'
    compression: gzip
    creds_file_path: '/path/to/ingestion-authentication-file.json'
    customer_id: 'YOUR_CUSTOMER_ID'
    endpoint: chronicle.googleapis.com
    log_type: 'PFSENSE'
    raw_log_field: body
    ingestion_labels:

service:
  pipelines:
    logs/source0__chronicle_w_labels-0:
      receivers:
        - udplog
      exporters:
        - chronicle/chronicle_w_labels

Konfigurationsparameter

  • Ersetzen Sie die folgenden Platzhalter:

    • Empfängerkonfiguration:

      • udplog: Verwenden Sie udplog für UDP-Syslog oder tcplog für TCP-Syslog.
      • 0.0.0.0: IP-Adresse, auf der gelauscht werden soll (0.0.0.0, um auf allen Schnittstellen zu lauschen)
      • 514: Portnummer, auf der gelauscht werden soll (Standard-Syslog-Port)

    • Exporter-Konfiguration:

      • creds_file_path: Vollständiger Pfad zur JSON-Schlüsseldatei des Dienstkontos (Option 1):
        • Linux: /opt/observiq-otel-collector/ingestion-auth.json
        • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
      • YOUR_CUSTOMER_ID: Kundennummer aus dem Abschnitt „Kundennummer abrufen“
      • location: Ersetzen Sie <LOCATION> durch die Region Ihrer Google SecOps-Instanz (z. B. us, europe oder asia-southeast1). Der Exporteur stellt diesem Wert das Präfix chronicle.googleapis.com voran. Eine vollständige Liste finden Sie unter Regionale Endpunkte.
      • project: Ersetzen Sie <PROJECT_NUMBER> durch die Projektnummer aus IAM & Verwaltung > Einstellungen.
      • endpoint: Behalten Sie die Einstellung chronicle.googleapis.com bei.
      • log_type: Logtyp genau wie in Chronicle (PFSENSE)

Legacy-Ingestion-API-Exporter

  • Wenn Sie die Datei zur Authentifizierung bei der Aufnahme aus Option 2 verwenden, ersetzen Sie den Block exporters durch Folgendes. Legen Sie für creds_file_path den Pfad zur Authentifizierungsdatei für die Datenaufnahme fest. Wenn sich Ihre Instanz außerhalb der USA befindet, ersetzen Sie malachiteingestion-pa.googleapis.com durch Ihren regionalen Endpunkt (z. B. europe-malachiteingestion-pa.googleapis.com).

    exporters:
  chronicle/chronicle_w_labels:
    compression: gzip
    creds_file_path: '/path/to/ingestion-authentication-file.json'
    customer_id: 'YOUR_CUSTOMER_ID'
    endpoint: malachiteingestion-pa.googleapis.com
    log_type: 'PFSENSE'
    raw_log_field: body
    ingestion_labels:

Konfigurationsdatei speichern

  • Speichern Sie die Datei nach der Bearbeitung:
    • Linux: Drücken Sie Ctrl+O, dann Enter und dann Ctrl+X.
    • Windows: Klicken Sie auf Datei > Speichern.

Starten Sie den Bindplane-Agent neu, um die Änderungen zu übernehmen.

  • Führen Sie den folgenden Befehl aus, um den Bindplane-Agent unter Linux neu zu starten:

    sudo systemctl restart observiq-otel-collector

    1. Prüfen Sie, ob der Dienst ausgeführt wird:

        sudo systemctl status observiq-otel-collector

    2. Prüfen Sie die Logs auf Fehler:

        sudo journalctl -u observiq-otel-collector -f

  • Wählen Sie eine der folgenden Optionen aus, um den Bindplane-Agenten unter Windows neu zu starten:

    • Eingabeaufforderung oder PowerShell als Administrator:

      net stop observiq-otel-collector && net start observiq-otel-collector

    • Dienstkonsole:

      1. Drücken Sie Win+R, geben Sie services.msc ein und drücken Sie die Eingabetaste.
      2. Suchen Sie nach observIQ OpenTelemetry Collector.

      3. Klicken Sie mit der rechten Maustaste und wählen Sie Neu starten aus.

      4. Prüfen Sie, ob der Dienst ausgeführt wird:

        sc query observiq-otel-collector

      5. Logs auf Fehler prüfen:

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"

Syslog-Weiterleitung auf pfSense konfigurieren

pfSense wird unter FreeBSD ausgeführt und bietet eine webbasierte Oberfläche für alle Konfigurationsaufgaben, einschließlich der Remote-Syslog-Weiterleitung.

  1. Melden Sie sich in der pfSense-Weboberfläche an.
  2. Gehen Sie zu Status > Systemprotokolle > Einstellungen.
  3. Gehen Sie zum Abschnitt Remote Logging Options.
  4. Wählen Sie Remote-Logging aktivieren aus.
  5. Geben Sie die folgenden Konfigurationsdetails an:
    • Quelladresse: Wählen Sie Beliebig (oder eine bestimmte Schnittstelle) aus.
    • IP-Protokoll: Wählen Sie IPv4 aus.
    • Remote-Logserver: Geben Sie BINDPLANE_IP:514 in das erste verfügbare Feld ein. Ersetzen Sie BINDPLANE_IP durch die IP-Adresse des Bindplane-Agent-Hosts.
  6. Wählen Sie im Bereich Inhalte des Remote-Syslog die weiterzuleitenden Logkategorien aus:
    • Systemereignisse
    • Firewall-Ereignisse
    • DNS-Ereignisse (Resolver/unbound, Forwarder/dnsmasq)
    • DHCP-Ereignisse (DHCP-Dienst)
    • PPP-Ereignisse
    • Authentifizierungsereignisse (Portal Auth, RADIUS)
    • VPN-Ereignisse (IPsec, OpenVPN, L2TP)
    • Gateway-Ereignisse (Gateway-Monitor)
    • Routing-Ereignisse (Routing-Daemon)
    • NTP-Ereignisse
    • Pakete (installierte Pakete)
  7. Klicken Sie auf Speichern.
  8. Prüfen Sie die Bindplane-Agent-Logs, um festzustellen, ob Syslog-Nachrichten gesendet werden.

UDM-Zuordnungstabelle

Logfeld UDM-Zuordnung Logik
Anwendung principal.application Der Wert wird mithilfe von Grok-Mustern aus der Logeintrag extrahiert. Bei Syslog-Nachrichten befindet sich der Anwendungsname normalerweise nach dem Hostnamen und dem Zeitstempel.
Befehl principal.process.command_line Wird aus dem Beschreibungsfeld extrahiert, wenn das Log eine Befehlsausführung angibt.
Beschreibung metadata.description Das Beschreibungsfeld wird der UDM-Metadatenbeschreibung zugeordnet, mit Ausnahme von syslog-ng-Anwendungslogs, bei denen es „metadata.description“ zugeordnet wird. Bei DHCP-Ereignissen wird der Beschreibung der dhcp_type vorangestellt.
dhcp_type metadata.product_event_type Der DHCP-Nachrichtentyp (z.B. DHCPDISCOVER, DHCPOFFER) wird extrahiert und zugeordnet.
Host intermediary.hostname ODER intermediary.ip Wenn der Hostwert eine gültige IP-Adresse ist, wird er intermediary.ip zugeordnet. Andernfalls wird sie intermediary.hostname zugeordnet.
Host principal.hostname, principal.asset.hostname Wenn keine Hauptkonto-IP vorhanden ist, wird der Host als Hauptkonto-Hostname behandelt.
mac principal.mac, network.dhcp.chaddr Die mit einer DHCP-Anfrage verknüpfte MAC-Adresse wird extrahiert und zugeordnet.
src_ip principal.ip, principal.asset.ip Wird mithilfe eines Grok-Musters aus bestimmten Logformaten extrahiert.
src_mac principal.mac Wird mithilfe eines Grok-Musters aus bestimmten Logformaten extrahiert.
dst_mac target.mac Wird mithilfe eines Grok-Musters aus bestimmten Logformaten extrahiert.
timestamp metadata.event_timestamp Der Zeitstempel wird aus dem Logeintrag extrahiert und in ein UDM-Zeitstempelformat konvertiert. Die Zeitzoneninformationen (tz) werden dem Zeitstempel vor der Konvertierung angehängt, sofern verfügbar.
timestamp_no_year metadata.event_timestamp Wenn ein Zeitstempel ohne Jahresangabe vorhanden ist, wird er geparst und das aktuelle Jahr wird während des Parsing-Vorgangs hinzugefügt.
Nutzer principal.user.userid Der mit einem Ereignis verknüpfte Nutzername wird extrahiert und zugeordnet.
Spalte1 security_result.rule_id Wird aus der ersten CSV-Spalte zugeordnet, wenn die Beschreibung im CSV-Format vorliegt.
column6 security_result.rule_type Wird aus der sechsten CSV-Spalte zugeordnet, wenn die Beschreibung im CSV-Format vorliegt.
column7 security_result.action Wird aus der siebten CSV-Spalte zugeordnet, wenn die Beschreibung im CSV-Format vorliegt. In „BLOCK“ oder „ALLOW“ geändert.
column8 network.direction Wird aus der achten CSV-Spalte zugeordnet, wenn die Beschreibung im CSV-Format vorliegt. In „INBOUND“ oder „OUTBOUND“ konvertiert.
column13 network.ip_protocol (bei UDP oder ICMP) Wird aus der dreizehnten CSV-Spalte zugeordnet, wenn die Beschreibung im CSV-Format vorliegt und das Protokoll UDP oder ICMP ist. Bei TCP/UDP-Ereignissen wird damit ein zusätzliches Feld mit dem Schlüssel „Id“ erstellt.
column16 principal.ip, principal.asset.ip (wenn IPv6 und column9 = 6) Wird aus der sechzehnten CSV-Spalte zugeordnet, wenn die Beschreibung im CSV-Format vorliegt und Spalte 9 den Wert 6 hat. Bei TCP/UDP-Ereignissen wird sie zur Protokollidentifikation verwendet, wenn column9 den Wert 4 hat.
column17 target.ip, target.asset.ip (wenn IPv6 und nicht ip_failure) Wird aus der siebzehnten CSV-Spalte zugeordnet, wenn die Beschreibung im CSV-Format vorliegt, column9 den Wert 6 hat und der Wert eine gültige IP-Adresse ist. Bei TCP/UDP-Ereignissen wird sie zur Protokollidentifikation verwendet.
column18 principal.port (wenn UDP) Wird aus der 18. CSV-Spalte zugeordnet, wenn die Beschreibung im CSV-Format vorliegt und das Protokoll UDP ist. Bei TCP/UDP-Ereignissen wird es „network.received_bytes“ zugeordnet.
column19 target.port (wenn UDP) Wird aus der 19. CSV-Spalte zugeordnet, wenn die Beschreibung im CSV-Format vorliegt und das Protokoll UDP ist. Bei DHCP-Ereignissen wird es network.dhcp.yiaddr zugeordnet. Bei anderen Ereignissen wird es „principal.ip“ oder „principal.asset.ip“ zugeordnet.
column20 additional.fields (Schlüssel: „data_length“) (wenn UDP) Wird aus der zwanzigsten CSV-Spalte zugeordnet, wenn die Beschreibung im CSV-Format vorliegt und das Protokoll UDP ist. Bei anderen Ereignissen wird es „target.ip“ und „target.asset.ip“ zugeordnet.
column21 principal.port (bei TCP/UDP) Wird aus der 21. CSV-Spalte zugeordnet, wenn die Beschreibung im CSV-Format vorliegt und das Protokoll TCP oder UDP ist.
column22 target.port (bei TCP/UDP) Wird aus der 22. CSV-Spalte zugeordnet, wenn die Beschreibung im CSV-Format vorliegt und das Protokoll TCP oder UDP ist.
column23 additional.fields (key: „data_length“) (bei TCP/UDP) Wird aus der 23. CSV-Spalte zugeordnet, wenn die Beschreibung im CSV-Format vorliegt und das Protokoll TCP oder UDP ist.
column24 additional.fields (key: "tcp_flags") (bei TCP) Wird aus der 24. CSV-Spalte zugeordnet, wenn die Beschreibung im CSV-Format vorliegt und das Protokoll TCP ist.
column25 additional.fields (Schlüssel: „sequence_number“) (wenn TCP/UDP) Wird aus der 25. CSV-Spalte zugeordnet, wenn die Beschreibung im CSV-Format vorliegt und das Protokoll TCP oder UDP ist.
column29 additional.fields (key: "tcp_options") (bei TCP) Wird aus der 29. CSV-Spalte zugeordnet, wenn die Beschreibung im CSV-Format vorliegt und das Protokoll TCP ist.
compression_algo additional.fields (Schlüssel: „Komprimierungsalgorithmus“) Wird aus dem Beschreibungsfeld extrahiert und als zusätzliches Feld hinzugefügt.
Ab metadata.description Wird aus dem Nachrichtenfeld extrahiert und als Beschreibung verwendet.
principal_ip principal.ip, principal.asset.ip Wird aus dem Beschreibungsfeld extrahiert und stellt die Haupt-IP-Adresse dar.
principal_username principal.user.userid Wird aus dem Beschreibungsfeld extrahiert und stellt den Hauptkonto-Nutzernamen dar.
Status security_result.detection_fields (Schlüssel: „status“) Wird aus dem Beschreibungsfeld extrahiert und als Erkennungsfeld im Sicherheitsergebnis hinzugefügt.
target_host target.hostname, target.asset.hostname Wird aus dem Beschreibungsfeld extrahiert und stellt den Zielhostnamen dar.
src_port principal.port Aus dem Beschreibungsfeld extrahiert und stellt den Quellport dar. Wird anhand verschiedener Protokollfelder und der Parserlogik ermittelt. Kann NETWORK_CONNECTION, NETWORK_DHCP, STATUS_UPDATE oder GENERIC_EVENT sein. Hartcodiert auf „PFSENSE“. Fest codiert auf „PFSENSE“. Hartcodiert auf „PFSENSE“. Auf „DHCP“ für DHCP-Ereignisse festlegen. Legen Sie „BOOTREQUEST“ für DHCPDISCOVER und DHCPREQUEST und „BOOTREPLY“ für DHCPOFFER und DHCPACK fest. Wird basierend auf dem Feld „dhcp_type“ auf „DISCOVER“, „REQUEST“, „OFFER“ oder „ACK“ festgelegt.
pid intermediary.process.pid Aus Änderungsprotokoll zugeordnet
application intermediary.application Aus Änderungsprotokoll zugeordnet
ipv4" and "ipv6 principal.ip Aus Änderungsprotokoll zugeordnet
security_result.category AUTH_VIOLATION Aus Änderungsprotokoll zugeordnet
method network.http.method Aus Änderungsprotokoll zugeordnet
referer network.http.referral_url Aus Änderungsprotokoll zugeordnet
response_code network.http.response_code Aus Änderungsprotokoll zugeordnet
user_agent network.http.user_agent Aus Änderungsprotokoll zugeordnet
sent_bytes network.sent_bytes Aus Änderungsprotokoll zugeordnet
url target.url Aus Änderungsprotokoll zugeordnet
http_version additional.fields Aus Änderungsprotokoll zugeordnet
column19" which is "source-address network.dhcp.yiaddr Aus Änderungsprotokoll zugeordnet
column17" which is "destination-address target.ip Aus Änderungsprotokoll zugeordnet
column16" which is "source-address principal.ip Aus Änderungsprotokoll zugeordnet
column12" which is "hop_limit additional.fields Aus Änderungsprotokoll zugeordnet
column13" which is "ip_protocol network.ip_protocol Aus Änderungsprotokoll zugeordnet
ttl additional.fields Aus Änderungsprotokoll zugeordnet
Offset additional.fields Aus Änderungsprotokoll zugeordnet
Data length additional.fields Aus Änderungsprotokoll zugeordnet
Length additional.fields Aus Änderungsprotokoll zugeordnet
Sequence-number additional.fields Aus Änderungsprotokoll zugeordnet

Änderungsprotokoll

Änderungsprotokoll für diesen Parser ansehen

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten