Collecter les journaux NGINX
Ce document explique comment ingérer des journaux NGINX dans Google Security Operations à l'aide de l'agent Bindplane.
NGINX est un serveur Web et un proxy inverse qui génère des messages syslog pour les événements d'accès HTTP, les événements d'erreur, l'activité d'authentification et les informations sur les processus. L'analyseur extrait les champs de plusieurs formats de journaux (syslog, JSON, journaux d'accès) à l'aide de modèles grok et les mappe au modèle de données unifié (UDM).
Avant de commencer
Assurez-vous de remplir les conditions suivantes :
- Une instance Google SecOps
- Windows Server 2016 ou version ultérieure, ou hôte Linux avec
systemd - Connectivité réseau entre l'agent Bindplane et le serveur NGINX
- Si vous exécutez l'agent derrière un proxy, assurez-vous que les ports du pare-feu sont ouverts conformément aux exigences de l'agent BindPlane.
- Accès administrateur à l'hôte NGINX
Obtenir le fichier d'authentification d'ingestion Google SecOps
- Connectez-vous à la console Google SecOps.
- Accédez à Paramètres SIEM> Agents de collecte.
- Téléchargez le fichier d'authentification d'ingestion.
Enregistrez le fichier de manière sécurisée sur le système sur lequel l'agent Bindplane sera installé.
Obtenir l'ID client Google SecOps
- Connectez-vous à la console Google SecOps.
- Accédez à Paramètres SIEM > Profil.
Copiez et enregistrez le numéro client dans la section Informations sur l'organisation.
Installer l'agent BindPlane
Installez l'agent Bindplane sur votre système d'exploitation Windows ou Linux en suivant les instructions ci-dessous.
Installation de Windows
- Ouvrez l'invite de commande ou PowerShell en tant qu'administrateur.
Exécutez la commande suivante :
msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quietAttendez que l'installation se termine.
Vérifiez l'installation en exécutant la commande suivante :
sc query observiq-otel-collectorLe service doit s'afficher comme étant EN COURS D'EXÉCUTION.
Installation sous Linux
- Ouvrez un terminal avec des privilèges root ou sudo.
Exécutez la commande suivante :
sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.shAttendez que l'installation se termine.
Vérifiez l'installation en exécutant la commande suivante :
sudo systemctl status observiq-otel-collectorLe service doit être indiqué comme actif (en cours d'exécution).
Ressources d'installation supplémentaires
Pour en savoir plus sur les options d'installation et le dépannage, consultez le guide d'installation de l'agent Bindplane.
Configurer l'agent Bindplane pour ingérer les journaux Syslog et les envoyer à Google SecOps
Localiser le fichier de configuration
Linux :
sudo nano /opt/observiq-otel-collector/config.yamlWindows :
notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
Modifiez le fichier de configuration
Remplacez l'intégralité du contenu de
config.yamlpar la configuration suivante :receivers: udplog: listen_address: "0.0.0.0:514" exporters: chronicle/nginx: compression: gzip creds_file_path: '/etc/bindplane-agent/ingestion-auth.json' customer_id: '<customer_id>' endpoint: malachiteingestion-pa.googleapis.com log_type: NGINX raw_log_field: body service: pipelines: logs/nginx_to_chronicle: receivers: - udplog exporters: - chronicle/nginx
Paramètres de configuration
Remplacez les espaces réservés suivants :
Configuration du récepteur :
listen_address: adresse IP et port d'écoute :0.0.0.0pour écouter sur toutes les interfaces (recommandé)- Le port
514est le port syslog standard (nécessite la racine sur Linux ; utilisez1514pour les utilisateurs non racine).
Configuration de l'exportateur :
creds_file_path: chemin d'accès complet au fichier d'authentification d'ingestion :- Linux :
/etc/bindplane-agent/ingestion-auth.json - Windows :
C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
- Linux :
customer_id: ID client copié depuis la console Google SecOpsendpoint: URL du point de terminaison régional :- États-Unis :
malachiteingestion-pa.googleapis.com - Europe :
europe-malachiteingestion-pa.googleapis.com - Asie :
asia-southeast1-malachiteingestion-pa.googleapis.com - Pour obtenir la liste complète, consultez Points de terminaison régionaux.
- États-Unis :
Enregistrez le fichier de configuration.
- Après avoir modifié le fichier, enregistrez-le :
- Linux : appuyez sur
Ctrl+O, puis surEnter, puis surCtrl+X. - Windows : cliquez sur Fichier > Enregistrer.
- Linux : appuyez sur
Redémarrez l'agent Bindplane pour appliquer les modifications.
Pour redémarrer l'agent BindPlane sous Linux, exécutez la commande suivante :
sudo systemctl restart observiq-otel-collectorVérifiez que le service est en cours d'exécution :
sudo systemctl status observiq-otel-collectorRecherchez les erreurs dans les journaux :
sudo journalctl -u observiq-otel-collector -f
Pour redémarrer l'agent BindPlane sous Windows, choisissez l'une des options suivantes :
Invite de commande ou PowerShell en tant qu'administrateur :
net stop observiq-otel-collector && net start observiq-otel-collectorConsole Services :
- Appuyez sur
Win+R, saisissezservices.msc, puis appuyez sur Entrée. - Recherchez observIQ OpenTelemetry Collector.
- Effectuez un clic droit et sélectionnez Redémarrer.
Vérifiez que le service est en cours d'exécution :
sc query observiq-otel-collectorRecherchez les erreurs dans les journaux :
type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
- Appuyez sur
Configurer NGINX pour transférer les journaux vers Bindplane
Ouvrez le fichier de configuration NGINX (par exemple,
/etc/nginx/nginx.conf) :sudo vi /etc/nginx/nginx.confModifiez la configuration en remplaçant
<BINDPLANE_SERVER>et<BINDPLANE_PORT>par vos valeurs :http { access_log syslog:server=<BINDPLANE_SERVER>:<BINDPLANE_PORT>,facility=local7,tag=nginx_access; error_log syslog:server=<BINDPLANE_SERVER>:<BINDPLANE_PORT>,facility=local7,tag=nginx_error; }Redémarrez NGINX pour appliquer les modifications :
sudo systemctl reload nginx
Table de mappage UDM
| Champ du journal | Mappage UDM | Logique |
|---|---|---|
_Internal_WorkspaceResourceId |
target.resource.product_object_id |
Mappage direct |
Computer |
principal.asset.hostname |
Mappé directement |
Facility |
additional.fields[facility] |
Mappé directement |
HostName |
principal.asset.hostname |
Mappé directement si src_ip n'est pas présent |
ProcessName |
principal.application |
Mappé directement |
SeverityLevel |
security_result.severity |
Mappé sur INFORMATIONAL si la valeur est info |
SourceSystem |
principal.asset.platform |
Mappé sur LINUX si la valeur correspond à Linux |
SyslogMessage |
Plusieurs champs | Analysé à l'aide de grok pour extraire time, method, target_path, protocol, response_code, referral_url, user_agent, target_ip, target_host et cache |
TenantId |
additional.fields[TenantId] |
Mappé directement |
acct |
principal.user.user_id |
Mappé directement s'il n'est pas vide ou ? |
addr |
principal.asset.ip |
Mappage direct |
audit_epoch |
metadata.event_timestamp |
Converti en code temporel au format UNIX. Les nanosecondes sont extraites du message de journal d'origine. |
cache |
additional.fields[cache] |
Mappé directement |
collection_time.nanos |
metadata.event_timestamp.nanos |
Utilisé pour les nanosecondes du code temporel de l'événement, le cas échéant. |
collection_time.seconds |
metadata.event_timestamp.seconds |
Utilisé pour les secondes du code temporel de l'événement, si disponible |
data |
Plusieurs champs | La principale source de données, analysée différemment selon le format du journal (Syslog, JSON ou autre) |
exe |
target.process.command_line |
Mappé directement après la suppression des barres obliques inverses et des guillemets |
hostname |
principal.asset.hostname OU principal.asset.ip |
S'il s'agit d'une adresse IP, mappée à principal.asset.ip. Sinon, mappé sur principal.asset.hostname |
msg |
metadata.description |
Mappé directement en tant que description |
node |
target.asset.hostname |
Mappage direct |
pid |
target.process.pid |
Mappé directement |
protocol |
network.application_protocol |
Mappé sur HTTP si la valeur correspond à HTTP |
referral_url |
network.http.referral_url |
Mappé directement s'il n'est pas vide ou - |
res |
security_result.action_details |
Mappage direct |
response_code |
network.http.response_code |
Directement mappé et converti en entier |
ses |
network.session_id |
Mappage direct |
src_ip |
principal.asset.ip |
Mappé directement |
target_host |
target.asset.hostname |
Mappage direct |
target_ip |
target.asset.ip |
Mappé directement, après avoir converti la représentation sous forme de chaîne en tableau JSON, puis extrait les adresses IP individuelles |
target_path |
target.url |
Mappé directement |
time |
metadata.event_timestamp |
Analysé pour extraire le code temporel au format dd/MMM/yyyy:HH:mm:ss Z |
user_agent |
network.http.user_agent |
Mappé directement s'il n'est pas vide ou - |
metadata.event_type |
Défini initialement sur GENERIC_EVENT, puis potentiellement écrasé en fonction d'autres champs tels que terminal et protocol. La valeur par défaut est USER_UNCATEGORIZED si le format grok principal ne correspond pas. Définie sur NETWORK_HTTP si protocol est HTTP et que target_ip est présent, et sur STATUS_UPDATE si protocol est HTTP, mais que target_ip n'est pas présent |
|
metadata.log_type |
Variable définie sur NGINX. |
|
metadata.product_name |
Variable définie sur NGINX. |
|
metadata.vendor_name |
Variable définie sur NGINX. |
|
network.ip_protocol |
Définie sur TCP si terminal est sshd ou ssh, ou si le modèle Grok principal ne correspond pas |
|
principal.asset_id |
Définie sur GCP.GCE:0001, si terminal est sshd ou ssh. Définissez sur GCP.GCE:0002 si le modèle grok principal ne correspond pas. |
|
extensions.auth.type |
Définie sur MACHINE, si terminal est sshd ou ssh |
|
log_hostname |
event.idm.read_only_udm.principal.asset.hostname |
Mappé à partir du journal des modifications |
ip_part |
event.idm.read_only_udm.intermediary.ip |
Mappé à partir du journal des modifications |
domain_part |
event.idm.read_only_udm.intermediary.administrative_domain |
Mappé à partir du journal des modifications |
location_part |
event.idm.read_only_udm.intermediary.location.name |
Mappé à partir du journal des modifications |
labels.compute_googleapis_com/resource_name |
event.idm.read_only_udm.target.hostname |
Mappé à partir du journal des modifications |
resource.labels.instance_id |
event.idm.read_only_udm.target.resource.product_object_id |
Mappé à partir du journal des modifications |
resource.labels.project_id |
event.idm.read_only_udm.target.resource_ancestors.name |
Mappé à partir du journal des modifications |
resource.labels.zone |
event.idm.read_only_udm.target.resource.attribute.cloud.availability_zone |
Mappé à partir du journal des modifications |
resource.type |
event.idm.read_only_udm.target.resource.resource_type |
Mappé à partir du journal des modifications |
insertId |
event.idm.read_only_udm.metadata.product_log_id |
Mappé à partir du journal des modifications |
jsonPayload.latency |
event.idm.read_only_udm.additional.fields |
Mappé à partir du journal des modifications |
remoteIp |
event.idm.read_only_udm.target.ip |
Mappé à partir du journal des modifications |
jsonPayload.requestMethod |
event.idm.read_only_udm.network.http.method |
Mappé à partir du journal des modifications |
jsonPayload.requestSize |
event.idm.read_only_udm.network.sent_bytes |
Mappé à partir du journal des modifications |
jsonPayload.requestUrl |
event.idm.read_only_udm.network.http.referral_url |
Mappé à partir du journal des modifications |
jsonPayload.responseSize |
event.idm.read_only_udm.network.received_bytes |
Mappé à partir du journal des modifications |
jsonPayload.serverIp |
event.idm.read_only_udm.target.ip |
Mappé à partir du journal des modifications |
jsonPayload.status |
event.idm.read_only_udm.network.http.response_code |
Mappé à partir du journal des modifications |
jsonPayload.userAgent |
event.idm.read_only_udm.network.http.user_agent |
Mappé à partir du journal des modifications |
jsonPayload.userAgent |
event.idm.read_only_udm.network.http.parsed_user_agent |
Mappé à partir du journal des modifications |
labels |
event.idm.read_only_udm.additional.fields |
Mappé à partir du journal des modifications |
terminal |
event.idm.read_only_udm.additional.fields |
Mappé à partir du journal des modifications |
logName |
event.idm.read_only_udm.additional.fields |
Mappé à partir du journal des modifications |
resource.labels |
event.idm.read_only_udm.target.resource.attribute.labels |
Mappé à partir du journal des modifications |
resource.type |
event.idm.read_only_udm.target.resource.attribute.labels |
Mappé à partir du journal des modifications |
resource.name |
event.idm.read_only_udm.target.resource.name |
Mappé à partir du journal des modifications |
timestamp |
event.idm.read_only_udm.metadata.event_timestamp |
Mappé à partir du journal des modifications |
user_agent |
event.idm.read_only_udm.network.http.parsed_user_agent |
Mappé à partir du journal des modifications |
Journal des modifications
Afficher le journal des modifications de cet analyseur
Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.