Raccogli i log Apache

Versione parser: 20.0

Supportato in:

Google SecOps SIEM

Questo documento spiega come importare i log Apache in Google Security Operations utilizzando l'agente Bindplane.

Apache HTTP Server è un server web open source che gestisce le richieste HTTP e genera log di accesso ed errori. Il parser gestisce sia i formati di log combinati/comuni standard sia i log in formato JSON, estraendo i dettagli delle richieste HTTP, i codici di risposta e le informazioni sul client.

Prima di iniziare

Assicurati di soddisfare i seguenti prerequisiti:

• Un'istanza Google SecOps
• Windows Server 2016 o versioni successive o host Linux con systemd
• Connettività di rete tra l'agente Bindplane e il server Apache
• Se l'esecuzione avviene dietro un proxy, assicurati che le porte del firewall siano aperte in base ai requisiti dell'agente Bindplane
• Accesso con privilegi al server Apache (root o sudo)

Recupera le credenziali Google SecOps per l'agente Bindplane

Per autenticare l'agente Bindplane in Google SecOps, scegli uno dei seguenti metodi:

• Nuovi deployment: utilizza l'API Chronicle (opzione 1).
• Deployment legacy: continua a utilizzare il file di autenticazione dell'acquisizione (Opzione 2) fino alla dismissione dell'API Ingestion il 20 luglio 2027.

Opzione 1: crea un account di servizio per l'API Chronicle (consigliata)

1. Accedi alla consoleGoogle Cloud e seleziona il progetto Google Cloud collegato alla tua istanza Google SecOps.
2. Vai a IAM e amministrazione > Service account.
3. Fai clic su Crea service account.
4. Fornisci i seguenti dettagli di configurazione:
   • Nome service account: inserisci un nome per l'account (ad esempio, bindplane-ingest).
   • Descrizione service account: inserisci una descrizione (ad esempio Bindplane agent log ingestion).
5. Fai clic su Crea e continua.
6. Nella sezione Concedi a questo account di servizio l'accesso al progetto, fai clic su Seleziona un ruolo e seleziona Editor Chronicle.
7. Fai clic su Continua, quindi su Fine.
8. Fai clic sul account di servizio che hai creato, quindi vai alla scheda Chiavi.
9. Fai clic su Aggiungi chiave > Crea nuova chiave.
10. Seleziona JSON e fai clic su Crea. Il file della chiave viene scaricato sul tuo computer.
11. Salva il file della chiave come ingestion-auth.json nella directory del raccoglitore Bindplane (/opt/observiq-otel-collector/ingestion-auth.json su Linux o C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json su Windows) o aggiorna creds_file_path in config.yaml in modo che corrisponda al percorso in cui lo salvi.
12. Vai a IAM e amministrazione > Impostazioni e copia il numero di progetto. Ti servirà per la configurazione dell'esportatore.

Nota: la chiave JSON è una credenziale. Limita l'accesso al file sull'host Bindplane e ruota la chiave in base alle norme della tua organizzazione.

Opzione 2: scarica il file di autenticazione dell'acquisizione (legacy)

1. Accedi alla console Google SecOps.
2. Vai a Impostazioni SIEM > Agenti di raccolta.
3. Scarica il file di autenticazione dell'acquisizione.
4. Salva il file in modo sicuro sul sistema in cui verrà installato l'agente Bindplane.

Nota: questo file autentica l'agente nell'API Ingestion legacy (malachiteingestion-pa.googleapis.com), il cui fine del ciclo di vita è previsto da Google per il 20 luglio 2027. Pianifica il passaggio all'Opzione 1 prima di questa data.

Ottieni l'ID cliente Google SecOps

1. Accedi alla console Google SecOps.
2. Vai a Impostazioni SIEM > Profilo.

3. Copia e salva l'ID cliente dalla sezione Dettagli organizzazione.

   Nota: l'ID cliente è necessario per configurare l'esportatore dell'agente Bindplane.

Installa l'agente Bindplane

Installa l'agente Bindplane sul sistema operativo Windows o Linux seguendo le istruzioni riportate di seguito.

Installazione di Windows

1. Apri Prompt dei comandi o PowerShell come amministratore.

2. Esegui questo comando:

   msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
   

3. Attendi il completamento dell'installazione.

4. Verifica l'installazione eseguendo:

   sc query observiq-otel-collector
   

   Il servizio dovrebbe essere visualizzato come RUNNING.

Installazione di Linux

1. Apri un terminale con privilegi root o sudo.

2. Esegui questo comando:

   sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
   

3. Attendi il completamento dell'installazione.

4. Verifica l'installazione eseguendo:

   sudo systemctl status observiq-otel-collector
   

   Il servizio dovrebbe essere visualizzato come attivo (in esecuzione).

Risorse aggiuntive per l'installazione

Per ulteriori opzioni di installazione e risoluzione dei problemi, consulta la guida all'installazione dell'agente Bindplane.

Nota: la configurazione dell'esportatore dell'API Chronicle richiede Bindplane Collector v1.106.0 o versioni successive. I comandi precedenti installano l'ultima release. Se stai aggiornando un'installazione esistente, esegui l'upgrade del raccoglitore prima di modificare la configurazione.

Configura l'agente Bindplane per importare il syslog e inviarlo a Google SecOps

Individua il file di configurazione

• Linux:

  sudo nano /opt/observiq-otel-collector/config.yaml
  

• Windows:

  notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
  

Modifica il file di configurazione

• Sostituisci l'intero contenuto di config.yaml con la seguente configurazione:

  receivers:
      udplog:
          listen_address: "0.0.0.0:514"
  
  exporters:
      chronicle/apache:
          protocol: https
          # Region of your instance, for example us, europe, asia-southeast1
          location: <LOCATION>
          # Project number of the Google Cloud project linked to the instance
          project: '<PROJECT_NUMBER>'
          compression: gzip
          creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
          customer_id: '<customer_id>'
          endpoint: chronicle.googleapis.com
          log_type: APACHE
          raw_log_field: body
  
  service:
      pipelines:
          logs/apache_to_chronicle:
              receivers:
                  - udplog
              exporters:
                  - chronicle/apache
  

Parametri di configurazione

Sostituisci i seguenti segnaposto:

• Configurazione del ricevitore:

  • listen_address: indirizzo IP e porta su cui ascoltare:
    • 0.0.0.0 per ascoltare su tutte le interfacce (consigliato)
    • La porta 514 è la porta syslog standard (richiede l'accesso root su Linux; utilizza 1514 per l'accesso non root)

• Configurazione dell'esportatore:

  • creds_file_path: percorso completo del file della chiave JSON del account di servizio (opzione 1):
    • Linux: /opt/observiq-otel-collector/ingestion-auth.json
    • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
  • customer_id: ID cliente copiato dalla console Google SecOps
  • location: sostituisci <LOCATION> con la regione della tua istanza Google SecOps (ad esempio us, europe o asia-southeast1). L'esportatore antepone chronicle.googleapis.com a questo valore. Per l'elenco completo, consulta Endpoint regionali.
  • project: sostituisci <PROJECT_NUMBER> con il numero di progetto da IAM e amministrazione > Impostazioni.
  • endpoint: mantieni l'impostazione su chronicle.googleapis.com.

Esportatore API di importazione legacy

• Se utilizzi il file di autenticazione dell'acquisizione dell'Opzione 2, sostituisci il blocco exporters con il seguente. Imposta creds_file_path sul percorso del file di autenticazione dell'importazione e, se la tua istanza si trova al di fuori degli Stati Uniti, sostituisci malachiteingestion-pa.googleapis.com con l'endpoint regionale (ad esempio, europe-malachiteingestion-pa.googleapis.com).

  exporters:
      chronicle/apache:
          compression: gzip
          creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
          customer_id: '<customer_id>'
          endpoint: malachiteingestion-pa.googleapis.com
          log_type: APACHE
          raw_log_field: body
  

Nota: questo strumento di esportazione smetterà di funzionare quando l'API Ingestion non sarà più disponibile il 20 luglio 2027.

Salva il file di configurazione

• Dopo la modifica, salva il file:
  • Linux: premi Ctrl+O, poi Enter e infine Ctrl+X
  • Windows: fai clic su File > Salva.

Riavvia l'agente Bindplane per applicare le modifiche

• Per riavviare l'agente Bindplane in Linux, esegui questo comando:

  sudo systemctl restart observiq-otel-collector
  

  1. Verifica che il servizio sia in esecuzione:

     sudo systemctl status observiq-otel-collector
     

  2. Controlla i log per individuare eventuali errori:

     sudo journalctl -u observiq-otel-collector -f
     

• Per riavviare l'agente Bindplane in Windows, scegli una delle seguenti opzioni:

  • Prompt dei comandi o PowerShell come amministratore:

    net stop observiq-otel-collector && net start observiq-otel-collector
    

  • Console Servizi:

    1. Premi Win+R, digita services.msc e premi Invio.
    2. Individua observIQ OpenTelemetry Collector.
    3. Fai clic con il tasto destro del mouse e seleziona Riavvia.

    4. Verifica che il servizio sia in esecuzione:

       sc query observiq-otel-collector
       

    5. Controlla i log per individuare eventuali errori:

       type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
       

Configurare Syslog in Apache

1. Accedi al server che ospita Apache utilizzando SSH.

2. Crea un file denominato 02-apache2.conf in /etc/rsyslog.d/:

   vim /etc/rsyslog.d/02-apache2.conf
   

3. Aggiungi il seguente codice al file:

   module(load="imfile" PollingInterval="10" statefile.directory="/var/spool/rsyslog")
   
   input(type="imfile"
       File="/var/log/apache2/access.log"
       Tag="http_access"
       Severity="info"
       Facility="local6")
   
   Local6.info @<BINDPLANE_IP>:<BINDPLANE_PORT>
   
   module(load="imfile" PollingInterval="10" statefile.directory="/var/spool/rsyslog")
   
   input(type="imfile"
       File="/var/log/apache2/error.log"
       Tag="http_error"
       Severity="error"
       Facility="local7")
   
   Local7.error @<BINDPLANE_IP>:<BINDPLANE_PORT>
   

   • Sostituisci <BINDPLANE_IP> e <BINDPLANE_PORT> con l'indirizzo IP e la porta configurati per l'agente Bindplane.
   • Se utilizzi il protocollo TCP, aggiungi un ulteriore @ alla riga dell'host (ad esempio, @@<BINDPLANE_IP>:<BINDPLANE_PORT>).

4. Riavvia i servizi rsyslog:

   sudo service rsyslog restart
   

Tabella di mappatura UDM

Campo log	mappatura UDM	Logica
bytes	network.received_bytes	Byte ricevuti dal client.
bytes	network.sent_bytes	Byte inviati al client.
bytes_out	network.sent_bytes	Byte inviati al client.
bytes_received	network.received_bytes	Byte ricevuti dal client.
Content	network.http.method	Metodo HTTP estratto dal campo "Contenuti".
Content	target.url	URL di destinazione estratto dal campo "Contenuti".
cookie	additional.fields.value.string_value	Il valore del campo "cookie".
dest_ip	target.ip	Indirizzo IP della destinazione.
dest_name	target.hostname	Nome host della destinazione.
dest_port	target.port	Porta della destinazione.
description	metadata.description	Descrizione dell'evento.
duration_microseconds	additional.fields.value.string_value	Valore del campo "duration_microseconds".
file_full_path	target.file.full_path	Il percorso completo del file di destinazione.
hostname	target.hostname	Il nome host della destinazione.
http_content_type	additional.fields.value.string_value	Valore del campo "http_content_type".
http_host	principal.hostname	Nome host dell'entità.
http_method	network.http.method	Metodo HTTP.
http_referrer	network.http.referral_url	URL del referrer HTTP.
http_user_agent	network.http.user_agent	User agent HTTP.
ID	metadata.id	L'ID dell'evento.
insertId	metadata.product_log_id	ID log del prodotto.
ip	principal.ip	Indirizzo IP dell'entità.
jsonPayload.cIP	target.ip	Indirizzo IP della destinazione.
jsonPayload.cPort	target.port	Porta della destinazione.
jsonPayload.csBytes	network.sent_bytes	Byte inviati al client.
jsonPayload.csMethod	network.http.method	Metodo HTTP.
jsonPayload.csMimeType	target.file.mime_type	Tipo MIME del file di destinazione.
jsonPayload.csReferer	network.http.referral_url	URL del referrer HTTP.
jsonPayload.csURL	target.url	URL target.
jsonPayload.csUserAgent	network.http.user_agent	User agent HTTP.
jsonPayload.sHierarchy	additional.fields.value.string_value	Valore del campo "sHierarchy".
jsonPayload.sHostname	principal.hostname	Nome host dell'entità.
jsonPayload.sIP	principal.ip	Indirizzo IP dell'entità.
jsonPayload.scBytes	network.received_bytes	Byte ricevuti dal client.
jsonPayload.scHTTPStatus	network.http.response_code	Codice di risposta HTTP.
jsonPayload.scResultCode	additional.fields.value.string_value	Valore del campo "scResultCode".
LastStatus	network.http.response_code	Codice di risposta HTTP.
log_level	security_result.severity	Gravità del risultato di sicurezza.
logName	security_result.category_details	Dettagli della categoria del risultato di sicurezza.
method	network.http.method	Metodo HTTP.
pid	principal.process.pid	ID processo dell'entità.
Port	target.port	Porta della destinazione.
proto	network.application_protocol	Protocollo dell'applicazione.
referer	network.http.referral_url	URL del referrer HTTP.
RemoteHost	principal.ip	Indirizzo IP dell'entità.
RemoteUser	principal.user.userid	ID utente dell'entità.
resource.labels.instance_id	target.resource.product_object_id	ID oggetto del prodotto della risorsa di destinazione.
resource.labels.project_id	target.resource.attribute.labels.value	Valore dell'etichetta "project_id".
resource.labels.zone	target.resource.attribute.cloud.availability_zone	Zona di disponibilità della risorsa di destinazione.
resource.type	target.resource.resource_type	Tipo di risorsa della destinazione.
response	network.http.response_code	Codice di risposta HTTP.
SizeBytes	network.received_bytes	Byte ricevuti dal client.
src_ip	principal.ip	Indirizzo IP dell'entità.
src_port	principal.port	Porta dell'entità.
ssl_cipher	network.tls.cipher	Cifrario TLS.
ssl_version	network.tls.version_protocol	Protocollo della versione TLS.
status	network.http.response_code	Codice di risposta HTTP.
target	target.url	URL di destinazione.
target_ip	target.ip	Indirizzo IP della destinazione.
target_port	target.port	Porta della destinazione.
time	metadata.event_timestamp	Timestamp dell'evento.
uri_path	target.process.file.full_path	Il percorso completo del file di destinazione.
user	principal.user.userid	ID utente dell'entità.
useragent	network.http.user_agent	User agent HTTP.
version_protocol	network.tls.version_protocol	Protocollo della versione TLS.
Workername	principal.hostname	Nome host dell'entità.
x_forwarded_for		Valore dell'intestazione "X-Forwarded-For".
	metadata.log_type	Il valore è impostato su "APACHE" nel codice del parser.
	metadata.product_name	Il valore è impostato su "Apache Web Server" nel codice del parser.
	metadata.vendor_name	Il valore è impostato su "Apache" nel codice del parser.
	metadata.event_type	Il valore viene determinato in base alla presenza di informazioni sull'entità e sulla destinazione. Se sono presenti sia l'entità principale sia la destinazione, il tipo di evento è impostato su "NETWORK_HTTP". Se è presente solo l'entità, il tipo di evento è impostato su "STATUS_UPDATE". In caso contrario, viene impostato su "GENERIC_EVENT".
	additional.fields.key	La chiave è impostata su "keep_alive", "duration_microseconds", "cookie", "http_content_type", "sHierarchy", "scResultCode" nel codice del parser in base al campo.
	target.port	Se il campo "proto" è "HTTP", la porta è impostata su 80. Se il campo "proto" è "HTTPS", la porta è impostata su 443. Se il campo "proto" è "FTP", la porta è impostata su 21.
	target.resource.attribute.labels.key	La chiave è impostata su "project_id" nel codice del parser.
client_ip_address	event.idm.read_only_udm.principal.ip e event.idm.read_only_udm.principal.asset.ip	Mappato dal log delle modifiche
server	event.idm.read_only_udm.target.hostname e event.idm.read_only_udm.target.asset.hostname	Mappato dal log delle modifiche
bytes_in	event.idm.read_only_udm.network.received_bytes	Mappato dal log delle modifiche
PHPSESSID	event.idm.read_only_udm.additional.fields	Mappato dal log delle modifiche
AuthToken	event.idm.read_only_udm.additional.fields	Mappato dal log delle modifiche
response_time_microseconds	event.idm.read_only_udm.additional.fields	Mappato dal log delle modifiche
hostname	event.idm.read_only_udm.intermediary.hostname	Mappato dal log delle modifiche
Filename	event.idm.read_only_udm.principal.process.file.full_path	Mappato dal log delle modifiche
kv_key	event.idm.read_only_udm.additional.fields	Mappato dal log delle modifiche
info	event.idm.read_only_udm.additional.fields	Mappato dal log delle modifiche
SourceModuleName	event.idm.read_only_udm.additional.fields	Mappato dal log delle modifiche
SourceModuleType	event.idm.read_only_udm.additional.fields	Mappato dal log delle modifiche
src_ip	event.idm.read_only_udm.target.ip e event.idm.read_only_udm.target.asset.ip	Mappato dal log delle modifiche
tls_version	event.idm.read_only_udm.network.tls.version	Mappato dal log delle modifiche
version_protocol	event.idm.read_only_udm.network.tls.version_protocol	Mappato dal log delle modifiche
syncAccuracy	event.idm.read_only_udm.security_result.detection_fields	Mappato dal log delle modifiche
isSynced	event.idm.read_only_udm.security_result.detection_fields	Mappato dal log delle modifiche
tzKnown	event.idm.read_only_udm.additional.fields	Mappato dal log delle modifiche
user_location	principal.location.country_or_region	Mappato dal log delle modifiche
proto", "proto_version", "uri_path", and "uri_query	additional.fields	Mappato dal log delle modifiche
ip_msg	principal.ip	Mappato dal log delle modifiche
msg_method	network.http.method	Mappato dal log delle modifiche
useragentvalue	network.http.user_agent	Mappato dal log delle modifiche
bytes_out	network.sent.bytes	Mappato dal log delle modifiche
XForwardedForIP" and "RemoteHost	principal.ip	Mappato dal log delle modifiche
Remoteuser	principal.user.userid	Mappato dal log delle modifiche

Log delle modifiche

Visualizza il log delle modifiche per questo parser

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.