Collecter les journaux pfSense

Compatible avec :

Ce document explique comment ingérer des journaux pfSense dans Google Security Operations à l'aide de Bindplane.

pfSense est une distribution logicielle de pare-feu et de routeur Open Source basée sur FreeBSD. Il offre des fonctionnalités de filtrage de paquets avec état, de VPN, de lissage du trafic, de NAT, de serveur DHCP, de redirecteur DNS et de détection des intrusions, toutes gérées via une interface Web. L'analyseur extrait les champs des journaux au format syslog pfSense. Il utilise grok pour analyser le message de journal, puis mappe ces valeurs au modèle de données unifié (UDM). Il définit également les valeurs de métadonnées par défaut pour la source et le type d'événement.

Avant de commencer

Assurez-vous de remplir les conditions suivantes :

  • Une instance Google SecOps
  • Windows Server 2016 ou version ultérieure, ou hôte Linux avec systemd
  • Si vous exécutez l'agent derrière un proxy, assurez-vous que les ports du pare-feu sont ouverts conformément aux exigences de l'agent BindPlane.
  • Accès privilégié à l'interface Web pfSense

Obtenir des identifiants Google SecOps pour l'agent BindPlane

Pour authentifier l'agent Bindplane auprès de Google SecOps, choisissez l'une des méthodes suivantes :

  • Nouveaux déploiements : utilisez l'API Chronicle (option 1).
  • Anciens déploiements : continuez à utiliser le fichier d'authentification d'ingestion (option 2) jusqu'à l'arrêt de l'API Ingestion le 20 juillet 2027.
  1. Connectez-vous à la consoleGoogle Cloud et sélectionnez le projet Google Cloud associé à votre instance Google SecOps.
  2. Accédez à IAM et administration > Comptes de service.
  3. Cliquez sur Créer un compte de service.
  4. Fournissez les informations de configuration suivantes :
    • Nom du compte de service : saisissez un nom pour le compte (par exemple, bindplane-ingest).
    • Description du compte de service : saisissez une description (par exemple, Bindplane agent log ingestion).
  5. Cliquez sur Créer et continuer.
  6. Dans la section Autoriser ce compte de service à accéder au projet, cliquez sur Sélectionner un rôle, puis sélectionnez Éditeur Chronicle.
  7. Cliquez sur Continue (Continuer), puis sur Done (OK).
  8. Cliquez sur le compte de service que vous avez créé, puis accédez à l'onglet Clés.
  9. Cliquez sur Ajouter une clé > Créer une clé.
  10. Sélectionnez JSON, puis cliquez sur Créer. Le fichier de clé est téléchargé sur votre ordinateur.
  11. Enregistrez le fichier de clé sous le nom ingestion-auth.json dans le répertoire du collecteur Bindplane (/opt/observiq-otel-collector/ingestion-auth.json sous Linux ou C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json sous Windows), ou mettez à jour creds_file_path dans config.yaml pour qu'il corresponde au chemin d'accès où vous l'enregistrez.
  12. Accédez à IAM et administration > Paramètres, puis copiez le numéro du projet. Vous en aurez besoin pour la configuration de l'exportateur.

Option 2 : Télécharger le fichier d'authentification d'ingestion (ancien)

  1. Connectez-vous à la console Google SecOps.
  2. Accédez à Paramètres SIEM> Agents de collecte.
  3. Téléchargez le fichier d'authentification d'ingestion.
  4. Enregistrez le fichier de manière sécurisée sur le système où l'agent BindPlane sera installé.

Obtenir l'ID client Google SecOps

  1. Connectez-vous à la console Google SecOps.
  2. Accédez à Paramètres du SIEM > Profil.
  3. Copiez et enregistrez le numéro client dans la section Détails de l'organisation.

Installer l'agent Bindplane

Installez l'agent BindPlane sur votre système d'exploitation Windows ou Linux en suivant les instructions ci-dessous.

Installation de Windows

  1. Ouvrez l'invite de commande ou PowerShell en tant qu'administrateur.

  2. Exécutez la commande suivante :

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet

  3. Attendez la fin de l'installation.

  4. Vérifiez l'installation en exécutant la commande suivante :

    sc query observiq-otel-collector

Le service doit être indiqué comme RUNNING (EN COURS D'EXÉCUTION).

Installation sous Linux

  1. Ouvrez un terminal avec des privilèges root ou sudo.

  2. Exécutez la commande suivante :

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh

  3. Attendez la fin de l'installation.

  4. Vérifiez l'installation en exécutant la commande suivante :

    sudo systemctl status observiq-otel-collector

Le service doit s'afficher comme actif (en cours d'exécution).

Ressources d'installation supplémentaires

Pour obtenir des options d'installation et de dépannage supplémentaires, consultez le guide d'installation de l'agent Bindplane.

Configurer l'agent Bindplane pour ingérer les journaux Syslog et les envoyer à Google SecOps

Localiser le fichier de configuration

  • Linux :

    sudo nano /opt/observiq-otel-collector/config.yaml

  • Windows :

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"

Modifiez le fichier de configuration

  • Remplacez l'intégralité du contenu de config.yaml par la configuration suivante :

    receivers:
  udplog:
    listen_address: "0.0.0.0:514"

exporters:
  chronicle/chronicle_w_labels:
    protocol: https
    # Region of your instance, for example us, europe, asia-southeast1
    location: <LOCATION>
    # Project number of the Google Cloud project linked to the instance
    project: '<PROJECT_NUMBER>'
    compression: gzip
    creds_file_path: '/path/to/ingestion-authentication-file.json'
    customer_id: 'YOUR_CUSTOMER_ID'
    endpoint: chronicle.googleapis.com
    log_type: 'PFSENSE'
    raw_log_field: body
    ingestion_labels:

service:
  pipelines:
    logs/source0__chronicle_w_labels-0:
      receivers:
        - udplog
      exporters:
        - chronicle/chronicle_w_labels

Paramètres de configuration

  • Remplacez les espaces réservés suivants :

    • Configuration du récepteur :

      • udplog : utilisez udplog pour syslog UDP ou tcplog pour syslog TCP.
      • 0.0.0.0 : adresse IP à écouter (0.0.0.0 pour écouter sur toutes les interfaces)
      • 514 : numéro de port sur lequel écouter (port syslog standard)

    • Configuration de l'exportateur :

      • creds_file_path : chemin d'accès complet au fichier de clé JSON du compte de service (option 1) :
        • Linux : /opt/observiq-otel-collector/ingestion-auth.json
        • Windows : C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
      • YOUR_CUSTOMER_ID : ID client de la section "Obtenir l'ID client"
      • location : remplacez <LOCATION> par la région de votre instance Google SecOps (par exemple, us, europe ou asia-southeast1). L'exportateur préfixe chronicle.googleapis.com avec cette valeur. Pour obtenir la liste complète, consultez Points de terminaison régionaux.
      • project : remplacez <PROJECT_NUMBER> par le numéro de projet dans IAM et administration > Paramètres.
      • endpoint : laissez la valeur définie sur chronicle.googleapis.com.
      • log_type : type de journal exactement tel qu'il apparaît dans Chronicle (PFSENSE)

Ancien exportateur d'API d'ingestion

  • Si vous utilisez le fichier d'authentification d'ingestion de l'option 2, remplacez le bloc exporters par le code suivant. Définissez creds_file_path sur le chemin d'accès au fichier d'authentification d'ingestion. Si votre instance se trouve en dehors des États-Unis, remplacez malachiteingestion-pa.googleapis.com par votre point de terminaison régional (par exemple, europe-malachiteingestion-pa.googleapis.com).

    exporters:
  chronicle/chronicle_w_labels:
    compression: gzip
    creds_file_path: '/path/to/ingestion-authentication-file.json'
    customer_id: 'YOUR_CUSTOMER_ID'
    endpoint: malachiteingestion-pa.googleapis.com
    log_type: 'PFSENSE'
    raw_log_field: body
    ingestion_labels:

Enregistrez le fichier de configuration.

  • Après avoir modifié le fichier, enregistrez-le :
    • Linux : appuyez sur Ctrl+O, puis sur Enter, puis sur Ctrl+X.
    • Windows : cliquez sur Fichier > Enregistrer.

Redémarrez l'agent Bindplane pour appliquer les modifications.

  • Pour redémarrer l'agent BindPlane sous Linux, exécutez la commande suivante :

    sudo systemctl restart observiq-otel-collector

    1. Vérifiez que le service est en cours d'exécution :

        sudo systemctl status observiq-otel-collector

    2. Recherchez les erreurs dans les journaux :

        sudo journalctl -u observiq-otel-collector -f

  • Pour redémarrer l'agent Bindplane dans Windows, choisissez l'une des options suivantes :

    • Invite de commande ou PowerShell en tant qu'administrateur :

      net stop observiq-otel-collector && net start observiq-otel-collector

    • Console Services :

      1. Appuyez sur Win+R, saisissez services.msc, puis appuyez sur Entrée.
      2. Recherchez observIQ OpenTelemetry Collector.

      3. Effectuez un clic droit, puis sélectionnez Redémarrer.

      4. Vérifiez que le service est en cours d'exécution :

        sc query observiq-otel-collector

      5. Recherchez les erreurs dans les journaux :

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"

Configurer le transfert Syslog sur pfSense

pfSense s'exécute sur FreeBSD et fournit une interface Web pour toutes les tâches de configuration, y compris le transfert syslog à distance.

  1. Connectez-vous à l'interface Web pfSense.
  2. Accédez à Status> System Logs> Settings (État > Journaux système > Paramètres).
  3. Accédez à la section Options de journalisation à distance.
  4. Sélectionnez Activer la journalisation à distance.
  5. Fournissez les informations de configuration suivantes :
    • Adresse source : sélectionnez N'importe laquelle (ou une interface spécifique).
    • Protocole IP : sélectionnez IPv4.
    • Serveurs de journaux à distance : saisissez BINDPLANE_IP:514 dans le premier champ disponible. Remplacez BINDPLANE_IP par l'adresse IP de l'hôte de l'agent BindPlane.
  6. Dans la section Contenu du Syslog distant, sélectionnez les catégories de journaux à transférer :
    • Événements système
    • Événements de pare-feu
    • Événements DNS (Resolver/unbound, Forwarder/dnsmasq)
    • Événements DHCP (service DHCP)
    • Événements PPP
    • Événements d'authentification (authentification du portail, RADIUS)
    • Événements VPN (IPsec, OpenVPN, L2TP)
    • Événements de passerelle (surveillance de la passerelle)
    • Événements de routage (démon de routage)
    • Événements NTP
    • Packages (packages installés)
  7. Cliquez sur Enregistrer.
  8. Vérifiez que les messages syslog sont envoyés en consultant les journaux de l'agent BindPlane.

Table de mappage UDM

Champ du journal Mappage UDM Logique
application principal.application La valeur est extraite du message de journal à l'aide de modèles grok. Pour les messages syslog, le nom de l'application se trouve généralement après le nom d'hôte et le code temporel.
commande principal.process.command_line Extrait du champ de description lorsque le journal indique l'exécution d'une commande.
description metadata.description Le champ "description" est mappé à la description des métadonnées UDM, sauf pour les journaux d'application syslog-ng, où il est mappé à metadata.description. Pour les événements DHCP, le dhcp_type est ajouté au début de la description.
dhcp_type metadata.product_event_type Le type de message DHCP (par exemple, DHCPDISCOVER ou DHCPOFFER) est extrait et mappé.
hôte intermediary.hostname OU intermediary.ip Si la valeur de l'hôte est une adresse IP valide, elle est mappée sur intermediary.ip. Sinon, il est mappé sur intermediary.hostname.
hôte principal.hostname, principal.asset.hostname En l'absence d'adresse IP principale, l'hôte est traité comme le nom d'hôte principal.
mac principal.mac, network.dhcp.chaddr L'adresse MAC associée à une requête DHCP est extraite et mappée.
src_ip principal.ip, principal.asset.ip Extrait de formats de journaux spécifiques à l'aide d'un modèle grok.
src_mac principal.mac Extrait de formats de journaux spécifiques à l'aide d'un modèle grok.
dst_mac target.mac Extrait de formats de journaux spécifiques à l'aide d'un modèle grok.
code temporel metadata.event_timestamp Le code temporel est extrait du message de journal et converti au format UDM. Les informations sur le fuseau horaire (tz) sont ajoutées au code temporel avant la conversion, si elles sont disponibles.
timestamp_no_year metadata.event_timestamp Si un code temporel sans année est présent, il est analysé et l'année en cours est ajoutée lors du processus d'analyse.
utilisateur principal.user.userid Le nom d'utilisateur associé à un événement est extrait et mappé.
column1 security_result.rule_id Mappée à partir de la première colonne CSV si la description est au format CSV.
column6 security_result.rule_type Mappée à partir de la sixième colonne CSV si la description est au format CSV.
column7 security_result.action Correspond à la septième colonne du fichier CSV si la description est au format CSV. Converti en "BLOCK" ou "ALLOW".
column8 network.direction Correspond à la huitième colonne du fichier CSV si la description est au format CSV. Converti en "INBOUND" ou "OUTBOUND".
column13 network.ip_protocol (si UDP ou ICMP) Mappé à partir de la treizième colonne CSV si la description est au format CSV et que le protocole est UDP ou ICMP. Pour les événements TCP/UDP, il est utilisé pour créer un champ supplémentaire avec la clé "Id".
column16 principal.ip, principal.asset.ip (si IPv6 et column9 est 6) Mappé à partir de la seizième colonne CSV si la description est au format CSV et que la colonne 9 est définie sur 6. Pour les événements TCP/UDP, il est utilisé pour l'identification du protocole si la colonne 9 est définie sur 4.
column17 target.ip, target.asset.ip (si IPv6 et non ip_failure) Mappé à partir de la dix-septième colonne CSV si la description est au format CSV, si la colonne 9 est définie sur 6 et si la valeur est une adresse IP valide. Pour les événements TCP/UDP, il est utilisé pour l'identification du protocole.
column18 principal.port (si UDP) Mappé à partir de la dix-huitième colonne CSV si la description est au format CSV et que le protocole est UDP. Pour les événements TCP/UDP, il est mappé à network.received_bytes.
column19 target.port (si UDP) Mappé à partir de la dix-neuvième colonne CSV si la description est au format CSV et que le protocole est UDP. Pour les événements DHCP, il est mappé à network.dhcp.yiaddr. Pour les autres événements, il est mappé à principal.ip, principal.asset.ip.
column20 additional.fields (clé : "data_length") (si UDP) Mappé à partir de la vingtième colonne CSV si la description est au format CSV et que le protocole est UDP. Pour les autres événements, il est mappé sur target.ip, target.asset.ip.
column21 principal.port (si TCP/UDP) Mappé à partir de la 21e colonne CSV si la description est au format CSV et que le protocole est TCP ou UDP.
column22 target.port (si TCP/UDP) Mappé à partir de la 22e colonne CSV si la description est au format CSV et que le protocole est TCP ou UDP.
column23 additional.fields (clé : "data_length") (si TCP/UDP) Mappé à partir de la 23e colonne CSV si la description est au format CSV et que le protocole est TCP ou UDP.
column24 additional.fields (clé : "tcp_flags") (si TCP) Mappé à partir de la 24e colonne du fichier CSV si la description est au format CSV et que le protocole est TCP.
column25 additional.fields (clé : "sequence_number") (si TCP/UDP) Mappé à partir de la vingt-cinquième colonne CSV si la description est au format CSV et que le protocole est TCP ou UDP.
column29 additional.fields (clé : "tcp_options") (si TCP) Mappé à partir de la vingt-neuvième colonne CSV si la description est au format CSV et que le protocole est TCP.
compression_algo additional.fields (clé : "Compression Algorithm") Extrait du champ de description et ajouté en tant que champ supplémentaire.
décroiss. metadata.description Extrait du champ "Message" et utilisé comme description.
principal_ip principal.ip, principal.asset.ip Extrait du champ de description et représente l'adresse IP principale.
principal_username principal.user.userid Extrait du champ de description et représente le nom d'utilisateur principal.
état security_result.detection_fields (clé : "status") Extrait du champ de description et ajouté en tant que champ de détection dans le résultat de sécurité.
target_host target.hostname, target.asset.hostname Extrait du champ de description et représente le nom d'hôte cible.
src_port principal.port Extrait du champ de description et représente le port source. Déterminé en fonction de divers champs de journal et de la logique de l'analyseur. Il peut s'agir de "NETWORK_CONNECTION", "NETWORK_DHCP", "STATUS_UPDATE" ou "GENERIC_EVENT". Codé en dur sur "PFSENSE". Codé en dur sur "PFSENSE". Codé en dur sur "PFSENSE". Définissez la valeur sur "DHCP" pour les événements DHCP. Définissez la valeur sur "BOOTREQUEST" pour DHCPDISCOVER et DHCPREQUEST, et sur "BOOTREPLY" pour DHCPOFFER et DHCPACK. Définissez ce champ sur "DISCOVER", "REQUEST", "OFFER" ou "ACK" en fonction du champ dhcp_type.
pid intermediary.process.pid Mappé à partir du journal des modifications
application intermediary.application Mappé à partir du journal des modifications
ipv4" and "ipv6 principal.ip Mappé à partir du journal des modifications
security_result.category AUTH_VIOLATION Mappé à partir du journal des modifications
method network.http.method Mappé à partir du journal des modifications
referer network.http.referral_url Mappé à partir du journal des modifications
response_code network.http.response_code Mappé à partir du journal des modifications
user_agent network.http.user_agent Mappé à partir du journal des modifications
sent_bytes network.sent_bytes Mappé à partir du journal des modifications
url target.url Mappé à partir du journal des modifications
http_version additional.fields Mappé à partir du journal des modifications
column19" which is "source-address network.dhcp.yiaddr Mappé à partir du journal des modifications
column17" which is "destination-address target.ip Mappé à partir du journal des modifications
column16" which is "source-address principal.ip Mappé à partir du journal des modifications
column12" which is "hop_limit additional.fields Mappé à partir du journal des modifications
column13" which is "ip_protocol network.ip_protocol Mappé à partir du journal des modifications
ttl additional.fields Mappé à partir du journal des modifications
Offset additional.fields Mappé à partir du journal des modifications
Data length additional.fields Mappé à partir du journal des modifications
Length additional.fields Mappé à partir du journal des modifications
Sequence-number additional.fields Mappé à partir du journal des modifications

Journal des modifications

Afficher le journal des modifications de cet analyseur

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.