Collecter les journaux NGINX

Compatible avec :

Ce document explique comment ingérer des journaux NGINX dans Google Security Operations à l'aide de l'agent Bindplane.

NGINX est un serveur Web et un proxy inverse qui génère des messages syslog pour les événements d'accès HTTP, les événements d'erreur, l'activité d'authentification et les informations sur les processus. L'analyseur extrait les champs de plusieurs formats de journaux (syslog, JSON, journaux d'accès) à l'aide de modèles grok et les mappe au modèle de données unifié (UDM).

Avant de commencer

Assurez-vous de remplir les conditions suivantes :

  • Une instance Google SecOps
  • Windows Server 2016 ou version ultérieure, ou hôte Linux avec systemd
  • Connectivité réseau entre l'agent Bindplane et le serveur NGINX
  • Si vous exécutez l'agent derrière un proxy, assurez-vous que les ports du pare-feu sont ouverts conformément aux exigences de l'agent BindPlane.
  • Accès administrateur à l'hôte NGINX

Obtenir le fichier d'authentification d'ingestion Google SecOps

  1. Connectez-vous à la console Google SecOps.
  2. Accédez à Paramètres SIEM> Agents de collecte.
  3. Téléchargez le fichier d'authentification d'ingestion.
  4. Enregistrez le fichier de manière sécurisée sur le système sur lequel l'agent Bindplane sera installé.

Obtenir l'ID client Google SecOps

  1. Connectez-vous à la console Google SecOps.
  2. Accédez à Paramètres SIEM > Profil.
  3. Copiez et enregistrez le numéro client dans la section Informations sur l'organisation.

Installer l'agent BindPlane

Installez l'agent Bindplane sur votre système d'exploitation Windows ou Linux en suivant les instructions ci-dessous.

Installation de Windows

  1. Ouvrez l'invite de commande ou PowerShell en tant qu'administrateur.
  2. Exécutez la commande suivante :

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
    
  3. Attendez que l'installation se termine.

  4. Vérifiez l'installation en exécutant la commande suivante :

    sc query observiq-otel-collector
    

    Le service doit s'afficher comme étant EN COURS D'EXÉCUTION.

Installation sous Linux

  1. Ouvrez un terminal avec des privilèges root ou sudo.
  2. Exécutez la commande suivante :

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
    
  3. Attendez que l'installation se termine.

  4. Vérifiez l'installation en exécutant la commande suivante :

    sudo systemctl status observiq-otel-collector
    

    Le service doit être indiqué comme actif (en cours d'exécution).

Ressources d'installation supplémentaires

Pour en savoir plus sur les options d'installation et le dépannage, consultez le guide d'installation de l'agent Bindplane.

Configurer l'agent Bindplane pour ingérer les journaux Syslog et les envoyer à Google SecOps

Localiser le fichier de configuration

  • Linux :

    sudo nano /opt/observiq-otel-collector/config.yaml
    
  • Windows :

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
    

Modifiez le fichier de configuration

  • Remplacez l'intégralité du contenu de config.yaml par la configuration suivante :

    receivers:
        udplog:
            listen_address: "0.0.0.0:514"
    
    exporters:
        chronicle/nginx:
            compression: gzip
            creds_file_path: '/etc/bindplane-agent/ingestion-auth.json'
            customer_id: '<customer_id>'
            endpoint: malachiteingestion-pa.googleapis.com
            log_type: NGINX
            raw_log_field: body
    
    service:
        pipelines:
            logs/nginx_to_chronicle:
                receivers:
                    - udplog
                exporters:
                    - chronicle/nginx
    

Paramètres de configuration

Remplacez les espaces réservés suivants :

  • Configuration du récepteur :

    • listen_address : adresse IP et port d'écoute :
      • 0.0.0.0 pour écouter sur toutes les interfaces (recommandé)
      • Le port 514 est le port syslog standard (nécessite la racine sur Linux ; utilisez 1514 pour les utilisateurs non racine).
  • Configuration de l'exportateur :

    • creds_file_path : chemin d'accès complet au fichier d'authentification d'ingestion :
      • Linux : /etc/bindplane-agent/ingestion-auth.json
      • Windows : C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • customer_id : ID client copié depuis la console Google SecOps
    • endpoint : URL du point de terminaison régional :
      • États-Unis : malachiteingestion-pa.googleapis.com
      • Europe : europe-malachiteingestion-pa.googleapis.com
      • Asie : asia-southeast1-malachiteingestion-pa.googleapis.com
      • Pour obtenir la liste complète, consultez Points de terminaison régionaux.

Enregistrez le fichier de configuration.

  • Après avoir modifié le fichier, enregistrez-le :
    • Linux : appuyez sur Ctrl+O, puis sur Enter, puis sur Ctrl+X.
    • Windows : cliquez sur Fichier > Enregistrer.

Redémarrez l'agent Bindplane pour appliquer les modifications.

  • Pour redémarrer l'agent BindPlane sous Linux, exécutez la commande suivante :

    sudo systemctl restart observiq-otel-collector
    
    1. Vérifiez que le service est en cours d'exécution :

      sudo systemctl status observiq-otel-collector
      
    2. Recherchez les erreurs dans les journaux :

      sudo journalctl -u observiq-otel-collector -f
      
  • Pour redémarrer l'agent BindPlane sous Windows, choisissez l'une des options suivantes :

    • Invite de commande ou PowerShell en tant qu'administrateur :

      net stop observiq-otel-collector && net start observiq-otel-collector
      
    • Console Services :

      1. Appuyez sur Win+R, saisissez services.msc, puis appuyez sur Entrée.
      2. Recherchez observIQ OpenTelemetry Collector.
      3. Effectuez un clic droit et sélectionnez Redémarrer.
      4. Vérifiez que le service est en cours d'exécution :

        sc query observiq-otel-collector
        
      5. Recherchez les erreurs dans les journaux :

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
        

Configurer NGINX pour transférer les journaux vers Bindplane

  1. Ouvrez le fichier de configuration NGINX (par exemple, /etc/nginx/nginx.conf) :

    sudo vi /etc/nginx/nginx.conf
    
  2. Modifiez la configuration en remplaçant <BINDPLANE_SERVER> et <BINDPLANE_PORT> par vos valeurs :

    http {
        access_log syslog:server=<BINDPLANE_SERVER>:<BINDPLANE_PORT>,facility=local7,tag=nginx_access;
        error_log syslog:server=<BINDPLANE_SERVER>:<BINDPLANE_PORT>,facility=local7,tag=nginx_error;
    }
    
  3. Redémarrez NGINX pour appliquer les modifications :

    sudo systemctl reload nginx
    

Table de mappage UDM

Champ du journal Mappage UDM Logique
_Internal_WorkspaceResourceId target.resource.product_object_id Mappage direct
Computer principal.asset.hostname Mappé directement
Facility additional.fields[facility] Mappé directement
HostName principal.asset.hostname Mappé directement si src_ip n'est pas présent
ProcessName principal.application Mappé directement
SeverityLevel security_result.severity Mappé sur INFORMATIONAL si la valeur est info
SourceSystem principal.asset.platform Mappé sur LINUX si la valeur correspond à Linux
SyslogMessage Plusieurs champs Analysé à l'aide de grok pour extraire time, method, target_path, protocol, response_code, referral_url, user_agent, target_ip, target_host et cache
TenantId additional.fields[TenantId] Mappé directement
acct principal.user.user_id Mappé directement s'il n'est pas vide ou ?
addr principal.asset.ip Mappage direct
audit_epoch metadata.event_timestamp Converti en code temporel au format UNIX. Les nanosecondes sont extraites du message de journal d'origine.
cache additional.fields[cache] Mappé directement
collection_time.nanos metadata.event_timestamp.nanos Utilisé pour les nanosecondes du code temporel de l'événement, le cas échéant.
collection_time.seconds metadata.event_timestamp.seconds Utilisé pour les secondes du code temporel de l'événement, si disponible
data Plusieurs champs La principale source de données, analysée différemment selon le format du journal (Syslog, JSON ou autre)
exe target.process.command_line Mappé directement après la suppression des barres obliques inverses et des guillemets
hostname principal.asset.hostname OU principal.asset.ip S'il s'agit d'une adresse IP, mappée à principal.asset.ip. Sinon, mappé sur principal.asset.hostname
msg metadata.description Mappé directement en tant que description
node target.asset.hostname Mappage direct
pid target.process.pid Mappé directement
protocol network.application_protocol Mappé sur HTTP si la valeur correspond à HTTP
referral_url network.http.referral_url Mappé directement s'il n'est pas vide ou -
res security_result.action_details Mappage direct
response_code network.http.response_code Directement mappé et converti en entier
ses network.session_id Mappage direct
src_ip principal.asset.ip Mappé directement
target_host target.asset.hostname Mappage direct
target_ip target.asset.ip Mappé directement, après avoir converti la représentation sous forme de chaîne en tableau JSON, puis extrait les adresses IP individuelles
target_path target.url Mappé directement
time metadata.event_timestamp Analysé pour extraire le code temporel au format dd/MMM/yyyy:HH:mm:ss Z
user_agent network.http.user_agent Mappé directement s'il n'est pas vide ou -
metadata.event_type Défini initialement sur GENERIC_EVENT, puis potentiellement écrasé en fonction d'autres champs tels que terminal et protocol. La valeur par défaut est USER_UNCATEGORIZED si le format grok principal ne correspond pas. Définie sur NETWORK_HTTP si protocol est HTTP et que target_ip est présent, et sur STATUS_UPDATE si protocol est HTTP, mais que target_ip n'est pas présent
metadata.log_type Variable définie sur NGINX.
metadata.product_name Variable définie sur NGINX.
metadata.vendor_name Variable définie sur NGINX.
network.ip_protocol Définie sur TCP si terminal est sshd ou ssh, ou si le modèle Grok principal ne correspond pas
principal.asset_id Définie sur GCP.GCE:0001, si terminal est sshd ou ssh. Définissez sur GCP.GCE:0002 si le modèle grok principal ne correspond pas.
extensions.auth.type Définie sur MACHINE, si terminal est sshd ou ssh
log_hostname event.idm.read_only_udm.principal.asset.hostname Mappé à partir du journal des modifications
ip_part event.idm.read_only_udm.intermediary.ip Mappé à partir du journal des modifications
domain_part event.idm.read_only_udm.intermediary.administrative_domain Mappé à partir du journal des modifications
location_part event.idm.read_only_udm.intermediary.location.name Mappé à partir du journal des modifications
labels.compute_googleapis_com/resource_name event.idm.read_only_udm.target.hostname Mappé à partir du journal des modifications
resource.labels.instance_id event.idm.read_only_udm.target.resource.product_object_id Mappé à partir du journal des modifications
resource.labels.project_id event.idm.read_only_udm.target.resource_ancestors.name Mappé à partir du journal des modifications
resource.labels.zone event.idm.read_only_udm.target.resource.attribute.cloud.availability_zone Mappé à partir du journal des modifications
resource.type event.idm.read_only_udm.target.resource.resource_type Mappé à partir du journal des modifications
insertId event.idm.read_only_udm.metadata.product_log_id Mappé à partir du journal des modifications
jsonPayload.latency event.idm.read_only_udm.additional.fields Mappé à partir du journal des modifications
remoteIp event.idm.read_only_udm.target.ip Mappé à partir du journal des modifications
jsonPayload.requestMethod event.idm.read_only_udm.network.http.method Mappé à partir du journal des modifications
jsonPayload.requestSize event.idm.read_only_udm.network.sent_bytes Mappé à partir du journal des modifications
jsonPayload.requestUrl event.idm.read_only_udm.network.http.referral_url Mappé à partir du journal des modifications
jsonPayload.responseSize event.idm.read_only_udm.network.received_bytes Mappé à partir du journal des modifications
jsonPayload.serverIp event.idm.read_only_udm.target.ip Mappé à partir du journal des modifications
jsonPayload.status event.idm.read_only_udm.network.http.response_code Mappé à partir du journal des modifications
jsonPayload.userAgent event.idm.read_only_udm.network.http.user_agent Mappé à partir du journal des modifications
jsonPayload.userAgent event.idm.read_only_udm.network.http.parsed_user_agent Mappé à partir du journal des modifications
labels event.idm.read_only_udm.additional.fields Mappé à partir du journal des modifications
terminal event.idm.read_only_udm.additional.fields Mappé à partir du journal des modifications
logName event.idm.read_only_udm.additional.fields Mappé à partir du journal des modifications
resource.labels event.idm.read_only_udm.target.resource.attribute.labels Mappé à partir du journal des modifications
resource.type event.idm.read_only_udm.target.resource.attribute.labels Mappé à partir du journal des modifications
resource.name event.idm.read_only_udm.target.resource.name Mappé à partir du journal des modifications
timestamp event.idm.read_only_udm.metadata.event_timestamp Mappé à partir du journal des modifications
user_agent event.idm.read_only_udm.network.http.parsed_user_agent Mappé à partir du journal des modifications

Journal des modifications

Afficher le journal des modifications de cet analyseur

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.