Raccogli i log NGINX

Supportata in:

Questo documento spiega come importare i log NGINX in Google Security Operations utilizzando l'agente Bindplane.

NGINX è un server web e un reverse proxy che genera messaggi syslog per eventi di accesso HTTP, eventi di errore, attività di autenticazione e informazioni sui processi. Il parser estrae i campi da più formati di log (syslog, JSON, log di accesso) utilizzando i pattern grok e li mappa allo schema Unified Data Model (UDM).

Prima di iniziare

Assicurati di soddisfare i seguenti prerequisiti:

  • Un'istanza Google SecOps
  • Windows Server 2016 o versioni successive oppure host Linux con systemd
  • Connettività di rete tra l'agente Bindplane e il server NGINX
  • Se l'esecuzione avviene dietro un proxy, assicurati che le porte del firewall siano aperte in base ai requisiti dell'agente Bindplane
  • Accesso amministrativo all'host NGINX

Ottieni le credenziali di Google SecOps per l'agente Bindplane

Per autenticare l'agente Bindplane in Google SecOps, scegli uno dei seguenti metodi:

  • Nuovi deployment: utilizza l'API Chronicle (opzione 1).
  • Deployment legacy: continua a utilizzare il file di autenticazione dell'acquisizione (opzione 2) fino alla dismissione dell'API Ingestion il 20 luglio 2027.
  1. Accedi alla consoleGoogle Cloud e seleziona il progetto Google Cloud collegato alla tua istanza di Google SecOps.
  2. Vai a IAM e amministrazione > Service account.
  3. Fai clic su Crea account di servizio.
  4. Fornisci i seguenti dettagli di configurazione:
    • Nome account di servizio: inserisci un nome per l'account (ad esempio bindplane-ingest).
    • Descrizione service account: inserisci una descrizione (ad esempio, Bindplane agent log ingestion).
  5. Fai clic su Crea e continua.
  6. Nella sezione Concedi a questo account di servizio l'accesso al progetto, fai clic su Seleziona un ruolo e seleziona Chronicle Editor.
  7. Fai clic su Continua e poi su Fine.
  8. Fai clic sul account di servizio che hai creato, quindi vai alla scheda Chiavi.
  9. Fai clic su Aggiungi chiave > Crea nuova chiave.
  10. Seleziona JSON e fai clic su Crea. Il file della chiave viene scaricato sul computer.
  11. Salva il file della chiave come ingestion-auth.json nella directory del raccoglitore Bindplane (/opt/observiq-otel-collector/ingestion-auth.json su Linux o C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json su Windows) o aggiorna creds_file_path in config.yaml in modo che corrisponda al percorso in cui lo salvi.
  12. Vai a IAM e amministrazione > Impostazioni e copia il Numero progetto. Ti servirà per la configurazione dell'esportatore.

Opzione 2: scarica il file di autenticazione dell'acquisizione (legacy)

  1. Accedi alla console Google SecOps.
  2. Vai a Impostazioni > Gestione dei dati > Agenti di raccolta. Se utilizzi una piattaforma solo SIEM, vai a Impostazioni > Agenti di raccolta.
  3. Scarica il file di autenticazione dell'acquisizione.
  4. Salva il file in modo sicuro sul sistema in cui verrà installato l'agente Bindplane.

Ottieni l'ID cliente Google SecOps

  1. Accedi alla console Google SecOps.
  2. Vai a Impostazioni > Amministrazione > Profilo. Se utilizzi una piattaforma solo SIEM, vai a Impostazioni > Profilo.
  3. Copia e salva l'ID cliente dalla sezione Dettagli organizzazione.

Installa l'agente Bindplane

Installa l'agente Bindplane sul tuo sistema operativo Windows o Linux seguendo le istruzioni riportate di seguito.

Installazione di finestre

  1. Apri il prompt dei comandi o PowerShell come amministratore.
  2. Esegui questo comando:

    msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
    
  3. Attendi il completamento dell'installazione.

  4. Verifica l'installazione eseguendo:

    sc query observiq-otel-collector
    

    Il servizio dovrebbe essere visualizzato come RUNNING.

Installazione di Linux

  1. Apri un terminale con privilegi root o sudo.
  2. Esegui questo comando:

    sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
    
  3. Attendi il completamento dell'installazione.

  4. Verifica l'installazione eseguendo:

    sudo systemctl status observiq-otel-collector
    

    Il servizio dovrebbe essere visualizzato come attivo (in esecuzione).

Risorse aggiuntive per l'installazione

Per ulteriori opzioni di installazione e risoluzione dei problemi, consulta la guida all'installazione dell'agente Bindplane.

Configura l'agente Bindplane per importare il syslog e inviarlo a Google SecOps

Individua il file di configurazione

  • Linux:

    sudo nano /opt/observiq-otel-collector/config.yaml
    
  • Windows:

    notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
    

Modifica il file di configurazione

  • Sostituisci l'intero contenuto di config.yaml con la seguente configurazione:

    receivers:
      udplog:
        listen_address: "0.0.0.0:514"
    
    exporters:
      chronicle/nginx:
        protocol: https
        # Region of your instance, for example us, europe, asia-southeast1
        location: <LOCATION>
        # Project number of the Google Cloud project linked to the instance
        project: '<PROJECT_NUMBER>'
        compression: gzip
        creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
        customer_id: '<customer_id>'
        endpoint: chronicle.googleapis.com
        log_type: NGINX
        raw_log_field: body
    
    service:
      pipelines:
        logs/nginx_to_chronicle:
          receivers:
            - udplog
          exporters:
            - chronicle/nginx
    

Parametri di configurazione

Sostituisci i seguenti segnaposto:

  • Configurazione del ricevitore:

    • listen_address: indirizzo IP e porta su cui ascoltare:
      • 0.0.0.0 per ascoltare su tutte le interfacce (consigliato)
      • La porta 514 è la porta syslog standard (richiede l'accesso root su Linux; utilizza 1514 per l'accesso non root)
  • Configurazione dell'esportatore:

    • creds_file_path: percorso completo del file della chiave JSON del account di servizio (opzione 1):
      • Linux: /opt/observiq-otel-collector/ingestion-auth.json
      • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
    • customer_id: ID cliente copiato dalla console Google SecOps
    • location: sostituisci <LOCATION> con la regione della tua istanza Google SecOps (ad esempio us, europe o asia-southeast1). L'esportatore aggiunge chronicle.googleapis.com come prefisso a questo valore. Per l'elenco completo, consulta Endpoint regionali.
    • project: sostituisci <PROJECT_NUMBER> con il numero di progetto da IAM e amministrazione > Impostazioni.
    • endpoint: mantieni l'impostazione chronicle.googleapis.com.

Esportatore API di importazione precedente

  • Se utilizzi il file di autenticazione dell'acquisizione dell'Opzione 2, sostituisci il blocco exporters con il seguente. Imposta creds_file_path sul percorso del file di autenticazione dell'acquisizione e, se l'istanza si trova al di fuori degli Stati Uniti, sostituisci malachiteingestion-pa.googleapis.com con il tuo endpoint regionale (ad esempio, europe-malachiteingestion-pa.googleapis.com).

    exporters:
      chronicle/nginx:
        compression: gzip
        creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
        customer_id: '<customer_id>'
        endpoint: malachiteingestion-pa.googleapis.com
        log_type: NGINX
        raw_log_field: body
    

Salva il file di configurazione

  • Dopo la modifica, salva il file:
    • Linux: premi Ctrl+O, poi Enter e infine Ctrl+X
    • Windows: fai clic su File > Salva.

Riavvia l'agente Bindplane per applicare le modifiche

  • Per riavviare l'agente Bindplane in Linux, esegui questo comando:

    sudo systemctl restart observiq-otel-collector
    
    1. Verifica che il servizio sia in esecuzione:

      sudo systemctl status observiq-otel-collector
      
    2. Controlla i log per verificare la presenza di errori:

      sudo journalctl -u observiq-otel-collector -f
      
  • Per riavviare l'agente Bindplane in Windows, scegli una delle seguenti opzioni:

    • Prompt dei comandi o PowerShell come amministratore:

      net stop observiq-otel-collector && net start observiq-otel-collector
      
    • Console Servizi:

      1. Premi Win+R, digita services.msc e premi Invio.
      2. Individua observIQ OpenTelemetry Collector.
      3. Fai clic con il tasto destro del mouse e seleziona Riavvia.
      4. Verifica che il servizio sia in esecuzione:

        sc query observiq-otel-collector
        
      5. Controlla i log per verificare la presenza di errori:

        type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
        

Configura NGINX per inoltrare i log a Bindplane

  1. Apri il file di configurazione NGINX (ad esempio /etc/nginx/nginx.conf):

    sudo vi /etc/nginx/nginx.conf
    
  2. Modifica la configurazione, sostituendo <BINDPLANE_SERVER> e <BINDPLANE_PORT> con i tuoi valori:

    http {
        access_log syslog:server=<BINDPLANE_SERVER>:<BINDPLANE_PORT>,facility=local7,tag=nginx_access;
        error_log syslog:server=<BINDPLANE_SERVER>:<BINDPLANE_PORT>,facility=local7,tag=nginx_error;
    }
    
  3. Riavvia NGINX per applicare le modifiche:

    sudo systemctl reload nginx
    

Tabella di mappatura UDM

Campo log Mappatura UDM Logica
_Internal_WorkspaceResourceId target.resource.product_object_id Mappatura diretta
Computer principal.asset.hostname Mappatura diretta
Facility additional.fields[facility] Mappatura diretta
HostName principal.asset.hostname Mappato direttamente se src_ip non è presente
ProcessName principal.application Mappatura diretta
SeverityLevel security_result.severity Mappato a INFORMATIONAL se il valore è info
SourceSystem principal.asset.platform Mappato a LINUX se il valore corrisponde a Linux
SyslogMessage Più campi Analizzato utilizzando grok per estrarre time, method, target_path, protocol, response_code, referral_url, user_agent, target_ip, target_host e cache
TenantId additional.fields[TenantId] Mappatura diretta
acct principal.user.user_id Mappato direttamente se non vuoto o ?
addr principal.asset.ip Mappatura diretta
audit_epoch metadata.event_timestamp Convertito in timestamp utilizzando il formato UNIX. I nanosecondi vengono estratti dal messaggio di log originale.
cache additional.fields[cache] Mappatura diretta
collection_time.nanos metadata.event_timestamp.nanos Utilizzato per i nanosecondi del timestamp dell'evento, se disponibile
collection_time.seconds metadata.event_timestamp.seconds Utilizzato per i secondi del timestamp dell'evento, se disponibile
data Più campi La fonte principale dei dati, analizzata in modo diverso in base al formato del log (Syslog, JSON o altro)
exe target.process.command_line Mappato direttamente dopo aver rimosso le barre rovesciate e le virgolette
hostname principal.asset.hostname O principal.asset.ip Se si tratta di un indirizzo IP, viene mappato a principal.asset.ip. In caso contrario, viene mappato a principal.asset.hostname
msg metadata.description Mappato direttamente come descrizione
node target.asset.hostname Mappatura diretta
pid target.process.pid Mappatura diretta
protocol network.application_protocol Mappato a HTTP se il valore corrisponde a HTTP
referral_url network.http.referral_url Mappato direttamente se non vuoto o -
res security_result.action_details Mappatura diretta
response_code network.http.response_code Mappato direttamente e convertito in numero intero
ses network.session_id Mappatura diretta
src_ip principal.asset.ip Mappatura diretta
target_host target.asset.hostname Mappatura diretta
target_ip target.asset.ip Mappatura diretta, dopo aver convertito la rappresentazione della stringa in un array JSON e aver estratto i singoli IP
target_path target.url Mappatura diretta
time metadata.event_timestamp Analizzato per estrarre il timestamp utilizzando il formato dd/MMM/yyyy:HH:mm:ss Z
user_agent network.http.user_agent Mappato direttamente se non vuoto o -
metadata.event_type Inizialmente impostato su GENERIC_EVENT, poi potenzialmente sovrascritto in base ad altri campi come terminal e protocol. Il valore predefinito è USER_UNCATEGORIZED se il pattern grok principale non corrisponde. Imposta su NETWORK_HTTP se protocol è HTTP e target_ip è presente, e su STATUS_UPDATE se protocol è HTTP, ma target_ip non è presente
metadata.log_type Imposta su NGINX
metadata.product_name Imposta su NGINX
metadata.vendor_name Imposta su NGINX
network.ip_protocol Impostato su TCP se terminal è sshd o ssh o se il pattern grok principale non corrisponde
principal.asset_id Imposta su GCP.GCE:0001 se terminal è sshd o ssh. Imposta su GCP.GCE:0002 se il pattern grok principale non corrisponde
extensions.auth.type Imposta su MACHINE se terminal è sshd o ssh
log_hostname event.idm.read_only_udm.principal.asset.hostname Mappato dal log delle modifiche
ip_part event.idm.read_only_udm.intermediary.ip Mappato dal log delle modifiche
domain_part event.idm.read_only_udm.intermediary.administrative_domain Mappato dal log delle modifiche
location_part event.idm.read_only_udm.intermediary.location.name Mappato dal log delle modifiche
labels.compute_googleapis_com/resource_name event.idm.read_only_udm.target.hostname Mappato dal log delle modifiche
resource.labels.instance_id event.idm.read_only_udm.target.resource.product_object_id Mappato dal log delle modifiche
resource.labels.project_id event.idm.read_only_udm.target.resource_ancestors.name Mappato dal log delle modifiche
resource.labels.zone event.idm.read_only_udm.target.resource.attribute.cloud.availability_zone Mappato dal log delle modifiche
resource.type event.idm.read_only_udm.target.resource.resource_type Mappato dal log delle modifiche
insertId event.idm.read_only_udm.metadata.product_log_id Mappato dal log delle modifiche
jsonPayload.latency event.idm.read_only_udm.additional.fields Mappato dal log delle modifiche
remoteIp event.idm.read_only_udm.target.ip Mappato dal log delle modifiche
jsonPayload.requestMethod event.idm.read_only_udm.network.http.method Mappato dal log delle modifiche
jsonPayload.requestSize event.idm.read_only_udm.network.sent_bytes Mappato dal log delle modifiche
jsonPayload.requestUrl event.idm.read_only_udm.network.http.referral_url Mappato dal log delle modifiche
jsonPayload.responseSize event.idm.read_only_udm.network.received_bytes Mappato dal log delle modifiche
jsonPayload.serverIp event.idm.read_only_udm.target.ip Mappato dal log delle modifiche
jsonPayload.status event.idm.read_only_udm.network.http.response_code Mappato dal log delle modifiche
jsonPayload.userAgent event.idm.read_only_udm.network.http.user_agent Mappato dal log delle modifiche
jsonPayload.userAgent event.idm.read_only_udm.network.http.parsed_user_agent Mappato dal log delle modifiche
labels event.idm.read_only_udm.additional.fields Mappato dal log delle modifiche
terminal event.idm.read_only_udm.additional.fields Mappato dal log delle modifiche
logName event.idm.read_only_udm.additional.fields Mappato dal log delle modifiche
resource.labels event.idm.read_only_udm.target.resource.attribute.labels Mappato dal log delle modifiche
resource.type event.idm.read_only_udm.target.resource.attribute.labels Mappato dal log delle modifiche
resource.name event.idm.read_only_udm.target.resource.name Mappato dal log delle modifiche
timestamp event.idm.read_only_udm.metadata.event_timestamp Mappato dal log delle modifiche
user_agent event.idm.read_only_udm.network.http.parsed_user_agent Mappato dal log delle modifiche

Log delle modifiche

Visualizza il log delle modifiche per questo parser

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.