Raccogliere i log TSV di Zeek (in precedenza Bro)

Supportato in:

Google SecOps SIEM

Questo documento spiega come importare i log TSV di Zeek (precedentemente Bro) in Google Security Operations utilizzando l'agente Bindplane.

Zeek (in precedenza Bro) è una piattaforma di monitoraggio della sicurezza di rete che analizza passivamente il traffico di rete e genera file di log dettagliati separati da tabulazione che coprono connessioni, query DNS, transazioni HTTP, sessioni SSL/TLS e analisi dei file. I sensori Zeek producono file di log TSV in /opt/zeek/logs/ o /usr/local/zeek/logs/ per impostazione predefinita.

Prima di iniziare

Assicurati di soddisfare i seguenti prerequisiti:

• Un'istanza Google SecOps
• Windows Server 2016 o versioni successive o host Linux con systemd
• Connettività di rete tra l'agente Bindplane e l'host del sensore Zeek
• Se l'agente viene eseguito dietro un proxy, assicurati che le porte del firewall siano aperte in base ai requisiti dell'agente Bindplane.
• Accesso privilegiato all'host del sensore Zeek con autorizzazioni per leggere i file di log
• Accesso ai file di log TSV di Zeek nel file system del sensore (in genere in /opt/zeek/logs/ o /usr/local/zeek/logs/)

Ottieni le credenziali di Google SecOps per l'agente Bindplane

Per autenticare l'agente Bindplane in Google SecOps, scegli uno dei seguenti metodi:

• Nuovi deployment: utilizza l'API Chronicle (opzione 1).
• Deployment legacy: continua a utilizzare il file di autenticazione dell'acquisizione (opzione 2) fino al ritiro dell'API Ingestion il 20 luglio 2027.

Opzione 1: crea un account di servizio per l'API Chronicle (consigliata)

1. Accedi alla Google Cloud console e seleziona il progetto Google Cloud collegato alla tua istanza Google SecOps.
2. Vai a IAM e amministrazione > Service account.
3. Fai clic su Crea service account.
4. Fornisci i seguenti dettagli di configurazione:
   • Nome service account: inserisci un nome per l'account (ad esempio, bindplane-ingest).
   • Descrizione service account: inserisci una descrizione (ad esempio Bindplane agent log ingestion).
5. Fai clic su Crea e continua.
6. Nella sezione Concedi a questo account di servizio l'accesso al progetto, fai clic su Seleziona un ruolo e seleziona Chronicle Editor.
7. Fai clic su Continua, quindi su Fine.
8. Fai clic sul account di servizio che hai creato, quindi vai alla scheda Chiavi.
9. Fai clic su Aggiungi chiave > Crea nuova chiave.
10. Seleziona JSON e fai clic su Crea. Il file della chiave viene scaricato sul computer.
11. Salva il file della chiave come ingestion-auth.json nella directory del raccoglitore Bindplane (/opt/observiq-otel-collector/ingestion-auth.json su Linux o C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json su Windows) oppure aggiorna creds_file_path in config.yaml in modo che corrisponda al percorso in cui lo salvi.
12. Vai a IAM e amministrazione > Impostazioni e copia il Numero progetto. Ti servirà per la configurazione dell'esportatore.

Nota: la chiave JSON è una credenziale. Limita l'accesso al file sull'host Bindplane e ruota la chiave in base alle norme della tua organizzazione.

Opzione 2: scarica il file di autenticazione dell'acquisizione (legacy)

1. Accedi alla console Google SecOps.
2. Vai a Impostazioni SIEM > Agenti di raccolta.
3. Scarica il file di autenticazione dell'acquisizione.
4. Salva il file in modo sicuro sul sistema in cui verrà installato l'agente Bindplane.

Nota: questo file autentica l'agente nell'API Ingestion legacy (malachiteingestion-pa.googleapis.com), il cui fine del ciclo di vita è previsto da Google per il 20 luglio 2027. Pianifica di passare all'opzione 1 prima di questa data.

Ottieni un ID cliente Google SecOps

1. Accedi alla console Google SecOps.
2. Vai a Impostazioni SIEM > Profilo.

3. Copia e salva l'ID cliente dalla sezione Dettagli dell'organizzazione.

   Nota: l'ID cliente è obbligatorio per configurare l'esportatore dell'agente Bindplane.

Installa l'agente Bindplane

Installa l'agente Bindplane sul tuo sistema operativo Windows o Linux seguendo le istruzioni riportate di seguito.

Installazione di finestre

1. Apri il prompt dei comandi o PowerShell come amministratore.

2. Esegui questo comando:

   msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
   

3. Attendi il completamento dell'installazione.

4. Verifica l'installazione eseguendo:

   sc query observiq-otel-collector
   

   Il servizio dovrebbe essere visualizzato come IN ESECUZIONE.

Installazione di Linux

1. Apri un terminale con privilegi root o sudo.

2. Esegui questo comando:

   sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
   

3. Attendi il completamento dell'installazione.

4. Verifica l'installazione eseguendo:

   sudo systemctl status observiq-otel-collector
   

   Il servizio dovrebbe essere visualizzato come attivo (in esecuzione).

Risorse aggiuntive per l'installazione

Per ulteriori opzioni di installazione e risoluzione dei problemi, consulta la guida all'installazione dell'agente Bindplane.

Nota: la configurazione dell'esportatore dell'API Chronicle richiede Bindplane Collector v1.106.0 o versioni successive. I comandi precedenti installano l'ultima release. Se stai aggiornando un'installazione esistente, esegui l'upgrade del raccoglitore prima di modificare la configurazione.

Configura l'agente Bindplane per importare il syslog e inviarlo a Google SecOps

Individua il file di configurazione

• Linux:

  sudo nano /opt/observiq-otel-collector/config.yaml
  

• Windows:

  notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
  

Modifica il file di configurazione

• Sostituisci l'intero contenuto di config.yaml con la seguente configurazione:

  receivers:
    udplog:
      listen_address: "0.0.0.0:514"
  
  exporters:
    chronicle/bro_tsv:
      protocol: https
      # Region of your instance, for example us, europe, asia-southeast1
      location: <LOCATION>
      # Project number of the Google Cloud project linked to the instance
      project: '<PROJECT_NUMBER>'
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: chronicle.googleapis.com
      log_type: BRO_TSV
      raw_log_field: body
      ingestion_labels:
        env: production
  
  service:
    pipelines:
      logs/bro_to_chronicle:
        receivers:
          - udplog
        exporters:
          - chronicle/bro_tsv
  

Parametri di configurazione

Sostituisci i seguenti segnaposto:

• Configurazione del ricevitore:

  • udplog: Il tipo di ricevitore in base al protocollo:
    • udplog per UDP Syslog
    • tcplog per syslog TCP
  • 0.0.0.0: indirizzo IP su cui ascoltare:
    • 0.0.0.0 per ascoltare su tutte le interfacce (consigliato)
    • Indirizzo IP specifico da ascoltare su un'interfaccia
  • 514: il numero di porta su cui ascoltare (ad esempio 514, 1514, 6514)

• Configurazione dell'esportatore:

  • bro_tsv: nome descrittivo dell'esportatore
  • creds_file_path: percorso completo del file della chiave JSON del account di servizio (opzione 1):
    • Linux: /opt/observiq-otel-collector/ingestion-auth.json
    • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
  • <customer_id>: l'ID cliente del passaggio precedente
  • location: sostituisci <LOCATION> con la regione della tua istanza Google SecOps (ad esempio us, europe o asia-southeast1). L'esportatore aggiunge chronicle.googleapis.com come prefisso a questo valore. Per l'elenco completo, consulta Endpoint regionali.
  • project: sostituisci <PROJECT_NUMBER> con il numero di progetto da IAM e amministrazione > Impostazioni.
  • endpoint: mantieni l'impostazione su chronicle.googleapis.com.
  • BRO_TSV: il tipo di log esattamente come appare in Chronicle
  • ingestion_labels: etichette facoltative in formato YAML (ad esempio, env: production)

• Configurazione della pipeline:

  • bro_to_chronicle: nome descrittivo della pipeline

Esportatore API di importazione legacy

• Se utilizzi il file di autenticazione dell'acquisizione dell'Opzione 2, sostituisci il blocco exporters con il seguente. Imposta creds_file_path sul percorso del file di autenticazione dell'acquisizione e, se l'istanza si trova al di fuori degli Stati Uniti, sostituisci malachiteingestion-pa.googleapis.com con il tuo endpoint regionale (ad esempio, europe-malachiteingestion-pa.googleapis.com).

  exporters:
    chronicle/bro_tsv:
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: malachiteingestion-pa.googleapis.com
      log_type: BRO_TSV
      raw_log_field: body
      ingestion_labels:
        env: production
  

Nota: questo esportatore smetterà di funzionare quando l'API Ingestion verrà ritirata il 20 luglio 2027.

Salva il file di configurazione

• Dopo la modifica, salva il file:
  • Linux: premi Ctrl+O, poi Enter e infine Ctrl+X.
  • Windows: fai clic su File > Salva

Riavvia l'agente Bindplane per applicare le modifiche

• Per riavviare l'agente Bindplane in Linux, esegui questo comando:

  sudo systemctl restart observiq-otel-collector
  

  1. Verifica che il servizio sia in esecuzione:

     sudo systemctl status observiq-otel-collector
     

  2. Controlla i log per verificare la presenza di errori:

     sudo journalctl -u observiq-otel-collector -f
     

• Per riavviare l'agente Bindplane in Windows, scegli una delle seguenti opzioni:

  • Prompt dei comandi o PowerShell come amministratore:

    net stop observiq-otel-collector && net start observiq-otel-collector
    

  • Console Servizi:

    1. Premi Win+R, digita services.msc e premi Invio.
    2. Individua observIQ OpenTelemetry Collector.
    3. Fai clic con il tasto destro del mouse e seleziona Riavvia.

    4. Verifica che il servizio sia in esecuzione:

       sc query observiq-otel-collector
       

    5. Controlla i log per individuare eventuali errori:

       type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
       

Configura l'inoltro del syslog Zeek

Zeek genera localmente i file di log TSV. Per inoltrare questi log utilizzando syslog all'agente Bindplane, configura un daemon syslog sull'host del sensore Zeek.

1. Accedi all'host del sensore Zeek con privilegi root o sudo.
2. Installa e configura rsyslog o syslog-ng, se non sono già presenti.

3. Crea un file di configurazione rsyslog per inoltrare i log di Zeek:

   sudo nano /etc/rsyslog.d/zeek-forward.conf
   

4. Aggiungi la seguente configurazione per inoltrare i log Zeek all'agente Bindplane:

   module(load="imfile")
   input(type="imfile"
       File="/opt/zeek/logs/current/*.log"
       Tag="zeek:"
       Severity="info"
       Facility="local6")
   local6.* @<BINDPLANE_AGENT_IP>:514
   

   • Sostituisci <BINDPLANE_AGENT_IP> con l'indirizzo IP dell'host dell'agente Bindplane.
   • Sostituisci /opt/zeek/logs/current/*.log con il percorso effettivo dei file di log di Zeek, se diverso.
   • Utilizza @@ anziché @ per l'inoltro TCP (deve corrispondere al tipo di ricevitore dell'agente Bindplane).

5. Riavvia rsyslog per applicare le modifiche:

   sudo systemctl restart rsyslog
   

6. Verifica che i messaggi syslog vengano ricevuti controllando i log dell'agente Bindplane.

   Nota :per impostazione predefinita, Zeek ruota i file di log ogni ora. La directory current/ contiene i file di log attivi. Modifica il percorso rsyslog imfile in modo che corrisponda alla configurazione della rotazione dei log di Zeek.

Tabella di mappatura UDM

Campo log	Mappatura UDM	Logica
rtt, operation, tunnel_type, action, cmd, arg, rows	additional.fields	Unito da additional_rtt, additional_op, additional_tt, additional_action, additional_cmd, additional_arg, additional_rows
	extensions.auth.type	Imposta su "AUTHTYPE_UNSPECIFIED"
conn_state, action, error, desc	metadata.description	Impostato sulla descrizione di conn_state per bro_conn, sull'azione per bro_smb_files, su "KERBEROS: %{error}" per bro_kerberos, sulla descrizione per AsymPayloadFlow, sulla costante per gli altri
bro_type, qerror, next_protocol, protocol	metadata.event_type	Impostato su GENERIC_EVENT per impostazione predefinita, NETWORK_DNS per dns, NETWORK_CONNECTION per conn/ntlm/smb_mapping/dce_rpc/tunnel/mysql/ssh/udp/tcp, NETWORK_DHCP per dhcp, NETWORK_HTTP per http/ssl se next_protocol http, NETWORK_UNCATEGORIZED per smb_files/files/x509, USER_LOGIN per radius, NETWORK_FTP per ftp, NETWORK_UNCATEGORIZED se qerror query_not_present
bro_type, prod_event	metadata.product_event_type	Valore di bro_type se non è vuoto, altrimenti di prod_event
uid, id	metadata.product_log_id	Valore da uid se disponibile, altrimenti da id
	metadata.product_name	Impostato su "Bro"
	metadata.vendor_name	Imposta su "Zeek"
service_proto, source	network.application_protocol	Mappato da service_proto per conn, mappato da source per i file, costante per gli altri
nome host	network.dhcp.client_hostname	Valore copiato direttamente
lease_time	network.dhcp.lease_time_seconds	Convertito in uinteger
dhcp_info	network.dhcp.type	Imposta su "ACK" se =~ "ACK", "RELEASE" se =~ "RELEASE", "INFORM" se =~ "INFORM", "DISCOVER" se =~ "DISCOVER", "OFFER" se =~ "OFFER", "REQUEST" se =~ "REQUEST"
assigned_ip	network.dhcp.yiaddr	Valore copiato direttamente
direction	network.direction	Valore copiato direttamente
answer_list	network.dns.answers	Valore copiato direttamente
trans_id	network.dns.id	Convertito in uinteger
q	network.dns.questions	Unito da q
rcode	network.dns.response_code	Convertito in uinteger se non è "-"
comando	network.ftp.command	Valore copiato direttamente
metodo	network.http.method	Valore copiato direttamente
referrer	network.http.referral_url	Valore copiato direttamente
status_code	network.http.response_code	Convertito in numero intero
user_agent	network.http.user_agent	Valore copiato direttamente
proto, protocollo	network.ip_protocol	Valore del proto per conn, "UDP" per udp, "TCP" per tcp
id_resp_bytes, received_bytes	network.received_bytes	Convertito in uinteger da id_resp_bytes per conn, received_bytes per i file
id_orig_bytes	network.sent_bytes	Convertito in uinteger
uid	network.session_id	Valore copiato direttamente
cifrario	network.tls.cipher	Valore copiato direttamente
client_issuer	network.tls.client.certificate.issuer	Valore copiato direttamente
client_subject	network.tls.client.certificate.subject	Valore copiato direttamente
client	network.tls.client.certificate.version	Valore copiato direttamente
ja3	network.tls.client.ja3	Valore copiato direttamente
curva	network.tls.curve	Valore copiato direttamente
stabilito	network.tls.established	Valore copiato direttamente
next_protocol	network.tls.next_protocol	Valore copiato direttamente
ripreso	network.tls.resumed	Valore copiato direttamente
issuer, certificate.issuer	network.tls.server.certificate.issuer	Valore dell'emittente per SSL, certificate.issuer per x509
certificate.not_valid_after	network.tls.server.certificate.not_after	Conversione eseguita utilizzando il filtro della data
certificate.not_valid_before	network.tls.server.certificate.not_before	Conversione eseguita utilizzando il filtro della data
certificate.serial	network.tls.server.certificate.serial	Valore copiato direttamente
subject, certificate.subject	network.tls.server.certificate.subject	Valore dell'oggetto per SSL, certificate.subject per x509
certificate.version	network.tls.server.certificate.version	Convertito in stringa
ja3s	network.tls.server.ja3s	Valore copiato direttamente
versione	network.tls.version	Valore copiato direttamente
dominio	principal.administrative_domain	Valore copiato direttamente
file_size	principal.file.size	Convertito in uinteger
client_host, _system_name, _HostName	principal.hostname	Valore di client_host per kerberos, _system_name per x509, _HostName se estratto
id.orig_h	principal.ip	Unito da id.orig_h
mac	principal.mac	Valore copiato direttamente
id.orig_p	principal.port	Convertito in numero intero, valore da id.orig_p o invertito per conn se non è local_orig
user_email	principal.user.email_addresses	Unito da user_email
user, username, user_name	principal.user.userid	Valore dell'utente per ftp, nome utente per radius, user_name per kerberos
qclass	q.class	Convertito in uinteger
qname, q.name	q.name	Valore ottenuto da qname o q.name
qtype	q.type	Convertito in uinteger
result, auth_success	security_result	Unito da security_result con azione BLOCK per radius non riuscita, ALLOW/BLOCK/UNKNOWN per ssh
uri	target.administrative_domain	Estratto dall'URI utilizzando grok
full_file_path, fuid	target.file.full_path	Valore di full_file_path per smb_files, fuid per i file
md5	target.file.md5	Valore copiato direttamente
mime_type	target.file.mime_type	Valore copiato direttamente
sha1	target.file.sha1	Valore copiato direttamente
size, file_size	target.file.size	Convertito in uinteger da size per smb_files, file_size per files
server_host, host, CN, server	target.hostname	Valore di server_host per Kerberos, host per HTTP, CN per X.509, server per SSH
id.resp_h	target.ip	Unito da id.resp_h
host_key, host_key_alg, kex_alg, mac_alg, compression_alg, cipher_alg, auth_attempts	target.labels	Unione di vari oggetti etichetta
id.resp_p	target.port	Convertito in numero intero, valore da id.resp_p o invertito per conn se non local_orig
path, named_pipe	target.resource.name	Valore dal percorso per smb_mapping, named_pipe per dce_rpc
share_type	target.resource.type	Valore di share_type per smb_mapping, "PIPE" per dce_rpc
url	target.url	Concatenato da host e URI

Log delle modifiche

Visualizza il log delle modifiche per questo parser

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.