Collecter les journaux NGINX

Compatible avec :

Google SecOps SIEM

Ce document explique comment ingérer des journaux NGINX dans Google Security Operations à l'aide de l'agent Bindplane.

NGINX est un serveur Web et un proxy inverse qui génère des messages syslog pour les événements d'accès HTTP, les événements d'erreur, l'activité d'authentification et les informations sur les processus. L'analyseur extrait les champs de plusieurs formats de journaux (syslog, JSON, journaux d'accès) à l'aide de modèles grok et les mappe au modèle de données unifié (UDM).

Avant de commencer

Assurez-vous de remplir les conditions suivantes :

• Une instance Google SecOps
• Windows Server 2016 ou version ultérieure, ou hôte Linux avec systemd
• Connectivité réseau entre l'agent BindPlane et le serveur NGINX
• Si vous exécutez l'agent derrière un proxy, assurez-vous que les ports de pare-feu sont ouverts conformément aux exigences de l'agent BindPlane.
• Accès administrateur à l'hôte NGINX

Obtenir des identifiants Google SecOps pour l'agent BindPlane

Pour authentifier l'agent Bindplane auprès de Google SecOps, choisissez l'une des méthodes suivantes :

• Nouveaux déploiements : utilisez l'API Chronicle (option 1).
• Anciens déploiements : continuez à utiliser le fichier d'authentification d'ingestion (option 2) jusqu'à l'arrêt de l'API Ingestion le 20 juillet 2027.

Option 1 : Créer un compte de service pour l'API Chronicle (recommandé)

1. Connectez-vous à la consoleGoogle Cloud et sélectionnez le projet Google Cloud associé à votre instance Google SecOps.
2. Accédez à IAM et administration > Comptes de service.
3. Cliquez sur Créer un compte de service.
4. Fournissez les informations de configuration suivantes :
   • Nom du compte de service : saisissez un nom pour le compte (par exemple, bindplane-ingest).
   • Description du compte de service : saisissez une description (par exemple, Bindplane agent log ingestion).
5. Cliquez sur Créer et continuer.
6. Dans la section Autoriser ce compte de service à accéder au projet, cliquez sur Sélectionner un rôle, puis sélectionnez Éditeur Chronicle.
7. Cliquez sur Continue (Continuer), puis sur Done (OK).
8. Cliquez sur le compte de service que vous avez créé, puis accédez à l'onglet Clés.
9. Cliquez sur Ajouter une clé > Créer une clé.
10. Sélectionnez JSON, puis cliquez sur Créer. Le fichier de clé est téléchargé sur votre ordinateur.
11. Enregistrez le fichier de clé sous le nom ingestion-auth.json dans le répertoire du collecteur Bindplane (/opt/observiq-otel-collector/ingestion-auth.json sous Linux ou C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json sous Windows), ou mettez à jour creds_file_path dans config.yaml pour qu'il corresponde au chemin d'accès où vous l'enregistrez.
12. Accédez à IAM et administration > Paramètres, puis copiez le numéro du projet. Vous en aurez besoin pour configurer l'exportateur.

Remarque : La clé JSON est un identifiant. Limitez l'accès au fichier sur l'hôte BindPlane et effectuez une rotation de la clé conformément aux règles de votre organisation.

Option 2 : Télécharger le fichier d'authentification d'ingestion (ancien)

1. Connectez-vous à la console Google SecOps.
2. Accédez à Paramètres > Gestion des données > Agents de collecte. Si vous utilisez une plate-forme SIEM uniquement, accédez à Paramètres > Agents de collecte.
3. Téléchargez le fichier d'authentification d'ingestion.
4. Enregistrez le fichier de manière sécurisée sur le système où l'agent BindPlane sera installé.

Remarque : Ce fichier authentifie l'agent auprès de l'ancienne API d'ingestion (malachiteingestion-pa.googleapis.com), dont Google a prévu la fin de vie le 20 juillet 2027. Prévoyez de passer à l'option 1 avant cette date.

Obtenir le numéro client Google SecOps

1. Connectez-vous à la console Google SecOps.
2. Accédez à Paramètres > Administration > Profil. Si vous utilisez une plate-forme SIEM uniquement, accédez à Paramètres > Profil.

3. Copiez et enregistrez le numéro client de la section Détails de l'organisation.

   Remarque : Le numéro client est requis pour configurer l'exportateur de l'agent BindPlane.

Installer l'agent BindPlane

Installez l'agent BindPlane sur votre système d'exploitation Windows ou Linux en suivant les instructions ci-dessous.

Installation de Windows

1. Ouvrez l'invite de commande ou PowerShell en tant qu'administrateur.

2. Exécutez la commande suivante :

   msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
   

3. Attendez que l'installation se termine.

4. Vérifiez l'installation en exécutant la commande suivante :

   sc query observiq-otel-collector
   

   Le service doit s'afficher comme étant EN COURS D'EXÉCUTION.

Installation sous Linux

1. Ouvrez un terminal avec des droits d'accès racine ou sudo.

2. Exécutez la commande suivante :

   sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
   

3. Attendez que l'installation se termine.

4. Vérifiez l'installation en exécutant la commande suivante :

   sudo systemctl status observiq-otel-collector
   

   Le service doit s'afficher comme actif (en cours d'exécution).

Ressources d'installation supplémentaires

Pour en savoir plus sur les options d'installation et le dépannage, consultez le guide d'installation de l'agent Bindplane.

Remarque : La configuration de l'exportateur de l'API Chronicle nécessite le collecteur Bindplane v1.106.0 ou une version ultérieure. Les commandes précédentes installent la dernière version. Si vous mettez à jour une installation existante, mettez à niveau le collecteur avant de modifier la configuration.

Configurer l'agent Bindplane pour ingérer les journaux Syslog et les envoyer à Google SecOps

Localiser le fichier de configuration

• Linux :

  sudo nano /opt/observiq-otel-collector/config.yaml
  

• Windows :

  notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
  

Modifiez le fichier de configuration

• Remplacez l'intégralité du contenu de config.yaml par la configuration suivante :

  receivers:
    udplog:
      listen_address: "0.0.0.0:514"
  
  exporters:
    chronicle/nginx:
      protocol: https
      # Region of your instance, for example us, europe, asia-southeast1
      location: <LOCATION>
      # Project number of the Google Cloud project linked to the instance
      project: '<PROJECT_NUMBER>'
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: chronicle.googleapis.com
      log_type: NGINX
      raw_log_field: body
  
  service:
    pipelines:
      logs/nginx_to_chronicle:
        receivers:
          - udplog
        exporters:
          - chronicle/nginx
  

Paramètres de configuration

Remplacez les espaces réservés suivants :

• Configuration du récepteur :

  • listen_address : adresse IP et port d'écoute :
    • 0.0.0.0 pour écouter sur toutes les interfaces (recommandé)
    • Le port 514 est le port syslog standard (nécessite un accès racine sous Linux ; utilisez 1514 pour un accès non racine).

• Configuration de l'exportateur :

  • creds_file_path : chemin d'accès complet au fichier de clé JSON du compte de service (option 1) :
    • Linux : /opt/observiq-otel-collector/ingestion-auth.json
    • Windows : C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
  • customer_id : ID client copié depuis la console Google SecOps
  • location : remplacez <LOCATION> par la région de votre instance Google SecOps (par exemple, us, europe ou asia-southeast1). L'exportateur ajoute cette valeur en préfixe à chronicle.googleapis.com. Pour obtenir la liste complète, consultez Points de terminaison régionaux.
  • project : remplacez <PROJECT_NUMBER> par le numéro de projet indiqué dans IAM et administration > Paramètres.
  • endpoint : laissez la valeur définie sur chronicle.googleapis.com.

Ancien exportateur d'API d'ingestion

• Si vous utilisez le fichier d'authentification d'ingestion de l'option 2, remplacez le bloc exporters par le code suivant. Définissez creds_file_path sur le chemin d'accès au fichier d'authentification d'ingestion. Si votre instance se trouve en dehors des États-Unis, remplacez malachiteingestion-pa.googleapis.com par votre point de terminaison régional (par exemple, europe-malachiteingestion-pa.googleapis.com).

  exporters:
    chronicle/nginx:
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: malachiteingestion-pa.googleapis.com
      log_type: NGINX
      raw_log_field: body
  

Remarque : Cet exportateur cessera de fonctionner lorsque l'API Ingestion sera abandonnée le 20 juillet 2027.

Enregistrez le fichier de configuration.

• Après avoir modifié le fichier, enregistrez-le :
  • Linux : appuyez sur Ctrl+O, puis sur Enter, puis sur Ctrl+X.
  • Windows : cliquez sur Fichier > Enregistrer.

Redémarrez l'agent BindPlane pour appliquer les modifications.

• Pour redémarrer l'agent BindPlane sous Linux, exécutez la commande suivante :

  sudo systemctl restart observiq-otel-collector
  

  1. Vérifiez que le service est en cours d'exécution :

     sudo systemctl status observiq-otel-collector
     

  2. Vérifiez les journaux pour détecter d'éventuelles erreurs :

     sudo journalctl -u observiq-otel-collector -f
     

• Pour redémarrer l'agent BindPlane sous Windows, choisissez l'une des options suivantes :

  • Invite de commande ou PowerShell en tant qu'administrateur :

    net stop observiq-otel-collector && net start observiq-otel-collector
    

  • Console Services :

    1. Appuyez sur Win+R, saisissez services.msc, puis appuyez sur Entrée.
    2. Recherchez observIQ OpenTelemetry Collector.
    3. Effectuez un clic droit et sélectionnez Redémarrer.

    4. Vérifiez que le service est en cours d'exécution :

       sc query observiq-otel-collector
       

    5. Vérifiez les journaux pour détecter d'éventuelles erreurs :

       type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
       

Configurer NGINX pour transférer les journaux vers Bindplane

1. Ouvrez le fichier de configuration NGINX (par exemple, /etc/nginx/nginx.conf) :

   sudo vi /etc/nginx/nginx.conf
   

2. Modifiez la configuration en remplaçant <BINDPLANE_SERVER> et <BINDPLANE_PORT> par vos valeurs :

   http {
       access_log syslog:server=<BINDPLANE_SERVER>:<BINDPLANE_PORT>,facility=local7,tag=nginx_access;
       error_log syslog:server=<BINDPLANE_SERVER>:<BINDPLANE_PORT>,facility=local7,tag=nginx_error;
   }
   

3. Redémarrez NGINX pour appliquer les modifications :

   sudo systemctl reload nginx
   

Table de mappage UDM

Champ du journal	Mappage UDM	Logique
_Internal_WorkspaceResourceId	target.resource.product_object_id	Mappage direct
Computer	principal.asset.hostname	Mappage direct
Facility	additional.fields[facility]	Mappage direct
HostName	principal.asset.hostname	Mappé directement si src_ip n'est pas présent
ProcessName	principal.application	Mappage direct
SeverityLevel	security_result.severity	Mappé sur INFORMATIONAL si la valeur est info
SourceSystem	principal.asset.platform	Mappé sur LINUX si la valeur correspond à Linux
SyslogMessage	Plusieurs champs	Analyse syntaxique à l'aide de grok pour extraire time, method, target_path, protocol, response_code, referral_url, user_agent, target_ip, target_host et cache
TenantId	additional.fields[TenantId]	Mappage direct
acct	principal.user.user_id	Mappé directement s'il n'est pas vide ou ?
addr	principal.asset.ip	Mappage direct
audit_epoch	metadata.event_timestamp	Converti en code temporel au format UNIX. Les nanosecondes sont extraites du message de journal d'origine.
cache	additional.fields[cache]	Mappage direct
collection_time.nanos	metadata.event_timestamp.nanos	Utilisé pour les nanosecondes du code temporel de l'événement, si disponible
collection_time.seconds	metadata.event_timestamp.seconds	Utilisé pour les secondes du code temporel de l'événement, si disponible
data	Plusieurs champs	La principale source de données, analysée différemment selon le format du journal (Syslog, JSON ou autre)
exe	target.process.command_line	Mappé directement après la suppression des barres obliques inverses et des guillemets
hostname	principal.asset.hostname OU principal.asset.ip	S'il s'agit d'une adresse IP, elle est mappée à principal.asset.ip. Sinon, mappé sur principal.asset.hostname
msg	metadata.description	Mappé directement en tant que description
node	target.asset.hostname	Mappage direct
pid	target.process.pid	Mappage direct
protocol	network.application_protocol	Mappé sur HTTP si la valeur correspond à HTTP
referral_url	network.http.referral_url	Mappé directement s'il n'est pas vide ou -
res	security_result.action_details	Mappage direct
response_code	network.http.response_code	Mappé directement et converti en entier
ses	network.session_id	Mappage direct
src_ip	principal.asset.ip	Mappage direct
target_host	target.asset.hostname	Mappage direct
target_ip	target.asset.ip	Mappé directement, après avoir converti la représentation sous forme de chaîne en tableau JSON, puis extrait les adresses IP individuelles
target_path	target.url	Mappage direct
time	metadata.event_timestamp	Analysé pour extraire le code temporel au format dd/MMM/yyyy:HH:mm:ss Z
user_agent	network.http.user_agent	Mappé directement s'il n'est pas vide ou -
	metadata.event_type	Définie initialement sur GENERIC_EVENT, puis potentiellement écrasée en fonction d'autres champs tels que terminal et protocol. La valeur par défaut est USER_UNCATEGORIZED si le format grok principal ne correspond pas. Définie sur NETWORK_HTTP si protocol est HTTP et que target_ip est présent, et sur STATUS_UPDATE si protocol est HTTP, mais que target_ip n'est pas présent.
	metadata.log_type	Variable définie sur NGINX.
	metadata.product_name	Variable définie sur NGINX.
	metadata.vendor_name	Variable définie sur NGINX.
	network.ip_protocol	Définie sur TCP si terminal est sshd ou ssh, ou si le modèle grok principal ne correspond pas.
	principal.asset_id	Définie sur GCP.GCE:0001, si terminal est sshd ou ssh. Défini sur GCP.GCE:0002 si le format grok principal ne correspond pas
	extensions.auth.type	Définie sur MACHINE, si terminal est sshd ou ssh.
log_hostname	event.idm.read_only_udm.principal.asset.hostname	Mappé à partir du journal des modifications
ip_part	event.idm.read_only_udm.intermediary.ip	Mappé à partir du journal des modifications
domain_part	event.idm.read_only_udm.intermediary.administrative_domain	Mappé à partir du journal des modifications
location_part	event.idm.read_only_udm.intermediary.location.name	Mappé à partir du journal des modifications
labels.compute_googleapis_com/resource_name	event.idm.read_only_udm.target.hostname	Mappé à partir du journal des modifications
resource.labels.instance_id	event.idm.read_only_udm.target.resource.product_object_id	Mappé à partir du journal des modifications
resource.labels.project_id	event.idm.read_only_udm.target.resource_ancestors.name	Mappé à partir du journal des modifications
resource.labels.zone	event.idm.read_only_udm.target.resource.attribute.cloud.availability_zone	Mappé à partir du journal des modifications
resource.type	event.idm.read_only_udm.target.resource.resource_type	Mappé à partir du journal des modifications
insertId	event.idm.read_only_udm.metadata.product_log_id	Mappé à partir du journal des modifications
jsonPayload.latency	event.idm.read_only_udm.additional.fields	Mappé à partir du journal des modifications
remoteIp	event.idm.read_only_udm.target.ip	Mappé à partir du journal des modifications
jsonPayload.requestMethod	event.idm.read_only_udm.network.http.method	Mappé à partir du journal des modifications
jsonPayload.requestSize	event.idm.read_only_udm.network.sent_bytes	Mappé à partir du journal des modifications
jsonPayload.requestUrl	event.idm.read_only_udm.network.http.referral_url	Mappé à partir du journal des modifications
jsonPayload.responseSize	event.idm.read_only_udm.network.received_bytes	Mappé à partir du journal des modifications
jsonPayload.serverIp	event.idm.read_only_udm.target.ip	Mappé à partir du journal des modifications
jsonPayload.status	event.idm.read_only_udm.network.http.response_code	Mappé à partir du journal des modifications
jsonPayload.userAgent	event.idm.read_only_udm.network.http.user_agent	Mappé à partir du journal des modifications
jsonPayload.userAgent	event.idm.read_only_udm.network.http.parsed_user_agent	Mappé à partir du journal des modifications
labels	event.idm.read_only_udm.additional.fields	Mappé à partir du journal des modifications
terminal	event.idm.read_only_udm.additional.fields	Mappé à partir du journal des modifications
logName	event.idm.read_only_udm.additional.fields	Mappé à partir du journal des modifications
resource.labels	event.idm.read_only_udm.target.resource.attribute.labels	Mappé à partir du journal des modifications
resource.type	event.idm.read_only_udm.target.resource.attribute.labels	Mappé à partir du journal des modifications
resource.name	event.idm.read_only_udm.target.resource.name	Mappé à partir du journal des modifications
timestamp	event.idm.read_only_udm.metadata.event_timestamp	Mappé à partir du journal des modifications
user_agent	event.idm.read_only_udm.network.http.parsed_user_agent	Mappé à partir du journal des modifications

Journal des modifications

Afficher le journal des modifications de cet analyseur

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.