Raccogliere i log di Elastic Packet Beats

Supportato in:

Google SecOps SIEM

Nota: questa funzionalità è coperta dai Termini delle offerte pre-GA dei Termini specifici del servizio Google Security Operations. Le funzionalità pre-GA potrebbero avere supporto limitato e le modifiche alle funzionalità pre-GA potrebbero non essere compatibili con altre versioni pre-GA. Per ulteriori informazioni, consulta le linee guida per il servizio di assistenza tecnica di Google SecOps e i Termini di servizio specifici di Google SecOps.

Questo documento spiega come importare i log di Elastic Packet Beats in Google Security Operations utilizzando Bindplane. Il parser inizializza innanzitutto i valori predefiniti per vari campi trovati nei log di Elastic Packet Beats. Poi estrae i dati dai messaggi di log utilizzando una combinazione di pattern grok e filtri json, esegue le conversioni dei tipi di dati e mappa i campi estratti con i campi corrispondenti nel modello Unified Data Model (UDM) in base al tipo di set di dati sugli eventi (ad esempio flusso, dns, http, tls, dhcpv4).

Prima di iniziare

Assicurati di soddisfare i seguenti prerequisiti:

• Un'istanza Google SecOps.
• Un host Windows 2016 o versioni successive o Linux con systemd.
• Se l'agente viene eseguito dietro un proxy, assicurati che le porte del firewall siano aperte in base ai requisiti dell'agente Bindplane.
• Accesso con privilegi alla console di gestione o all'appliance Elastic Packet Beats.
• Logstash installato e configurato.

Recuperare il file di autenticazione importazione di Google SecOps

1. Accedi alla console Google SecOps.
2. Vai a Impostazioni SIEM > Agenti di raccolta.
3. Scarica il file di autenticazione importazione.
   • Salva il file in modo sicuro sul sistema in cui verrà installato Bindplane.

Recuperare l'ID cliente Google SecOps

1. Accedi alla console Google SecOps.
2. Vai a Impostazioni SIEM > Profilo.
3. Copia e salva l'ID cliente dalla sezione Dettagli dell'organizzazione.

Installa l'agente Bindplane

Installa l'agente Bindplane sul sistema operativo Windows o Linux seguendo le istruzioni riportate di seguito.

Installazione di Windows

1. Apri il prompt dei comandi o PowerShell come amministratore.

2. Esegui questo comando:

   msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
   

Installazione di Linux

1. Apri un terminale con privilegi root o sudo.

2. Esegui questo comando:

   sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
   

Risorse aggiuntive per l'installazione

Per ulteriori opzioni di installazione, consulta la guida all'installazione.

Configura l'agente Bindplane per importare Syslog e inviarlo a Google SecOps

1. Accedi al file di configurazione:

   • Individua il file config.yaml. In genere, si trova nella directory /etc/bindplane-agent/ su Linux o nella directory di installazione su Windows.
   • Apri il file utilizzando un editor di testo (ad esempio nano, vi o Blocco note).

2. Modifica il file config.yaml come segue:

   receivers:
     udplog:
       # Replace the port and IP address as required
       listen_address: "0.0.0.0:514"
   
   exporters:
     chronicle/chronicle_w_labels:
       compression: gzip
       # Adjust the path to the credentials file you downloaded in Step 1
       creds_file_path: '/path/to/ingestion-authentication-file.json'
       # Replace with your actual customer ID from Step 2
       customer_id: YOUR_CUSTOMER_ID
       endpoint: malachiteingestion-pa.googleapis.com
       # Add optional ingestion labels for better organization
       log_type: 'ELASTIC_PACKETBEATS'
       raw_log_field: body
       ingestion_labels:
   
   service:
     pipelines:
       logs/source0__chronicle_w_labels-0:
         receivers:
           - udplog
         exporters:
           - chronicle/chronicle_w_labels
   

   • Sostituisci la porta e l'indirizzo IP in base alle esigenze della tua infrastruttura.
   • Sostituisci YOUR_CUSTOMER_ID con l'ID cliente effettivo.
   • Aggiorna /path/to/ingestion-authentication-file.json al percorso in cui è stato salvato il file di autenticazione nella sezione Recupera il file di autenticazione per l'importazione di Google SecOps.

Riavvia l'agente Bindplane per applicare le modifiche

• Per riavviare l'agente Bindplane in Linux, esegui questo comando:

  sudo systemctl restart observiq-otel-collector
  

• Per riavviare l'agente Bindplane in Windows, puoi utilizzare la console Servizi o inserire il seguente comando:

  net stop observiq-otel-collector && net start observiq-otel-collector
  

Configura l'inoltro di Syslog su Elastic Packet Beats

Poiché Packetbeat non supporta l'output syslog diretto, devi utilizzare Logstash come intermediario.

Configura Packetbeat per inviare i log a Logstash

1. Accedi alla console di gestione di Elastic Packet Beats.
2. Vai a Impostazioni > Inoltro log.
3. Fai clic sul pulsante + Aggiungi o Attiva.
4. Fornisci i seguenti dettagli di configurazione:
   • Nome: inserisci un nome descrittivo (ad esempio, Logstash Output).
   • Host: inserisci l'indirizzo IP del server Logstash.
   • Porta: inserisci la porta di input di Logstash Beats (in genere 5044).
   • Protocollo: seleziona Protocollo Beats.
   • Formato: seleziona JSON.
   • Fuso orario: seleziona il fuso orario UTC per una coerenza universale tra i sistemi.
   • Vai alla sezione Eventi e seleziona i tipi di log pertinenti o Tutti.

5. Salva la configurazione.

   Alternativa: modifica direttamente packetbeat.yml:

   # /etc/packetbeat/packetbeat.yml
   packetbeat.protocols:
     - type: dns
       ports: [53]
     - type: http
       ports: [80, 8080, 8000, 5000, 8002]
       send_headers: true
       send_all_headers: true
     - type: tls
       ports: [443, 993, 995, 5223, 8443, 8883, 9243]
     - type: dhcpv4
       ports: [67, 68]
   
   # Enable processors for additional fields
   processors:
     - add_network_direction:
         source: private
         destination: private
         internal_networks:
           - private
     - community_id:
   
   # Send to Logstash using beats protocol
   output.logstash:
     hosts: ["LOGSTASH_IP:5044"]
   

   Sostituisci LOGSTASH_IP con l'indirizzo IP del server Logstash.

Configura Logstash per l'inoltro a BindPlane utilizzando Syslog

1. Crea un file di configurazione della pipeline Logstash:

   sudo nano /etc/logstash/conf.d/packetbeat-to-bindplane.conf
   

2. Aggiungi la seguente configurazione:

   # Receive from Packetbeat
   input {
     beats {
       port => 5044
     }
   }
   
   # Optional: Add filters for data enrichment
   filter {
     # Preserve original message structure
     mutate {
       copy => { "@metadata" => "[@metadata_backup]" }
     }
   }
   
   # Send to BindPlane via syslog
   output {
     syslog {
       host => "BINDPLANE_IP"
       port => 514
       protocol => "udp"
       rfc => "rfc5424"
       facility => "local0"
       severity => "informational"
       sourcehost => "%{[agent][hostname]}"
       appname => "packetbeat"
       procid => "%{[agent][id]}"
       msgid => "ELASTIC_PACKETBEATS"
       structured_data => "packetbeat@32473"
       message => "%{message}"
     }
   }
   

   Sostituisci BINDPLANE_IP con l'indirizzo IP dell'agente BindPlane.

• Riavvia Logstash per applicare la configurazione:

  sudo systemctl restart logstash
  

Tabella di mappatura UDM

Campo log	Mappatura UDM	Logic
@timestamp	metadata.event_timestamp	Mappato direttamente dal campo del log non elaborato @timestamp.
agent.hostname	observer.hostname	Mappato direttamente dal campo del log non elaborato agent.hostname.
agent.id	observer.asset_id	Concatenato con agent.type per formare il campo observer.asset_id.
agent.type	observer.application	Mappato direttamente dal campo del log non elaborato agent.type.
agent.version	observer.platform_version	Mappato direttamente dal campo del log non elaborato agent.version.
audit_category	security_result.category_details	Mappato direttamente dal campo del log non elaborato audit_category.
audit_cluster_name	additional.fields.audit_cluster_name.value.string_value	Mappato direttamente dal campo del log non elaborato audit_cluster_name.
audit_node_host_address	observer.ip	Mappato direttamente dal campo del log non elaborato audit_node_host_address.
audit_node_id	additional.fields.audit_node_id.value.string_value	Mappato direttamente dal campo del log non elaborato audit_node_id.
audit_node_name	additional.fields.audit_node_name.value.string_value	Mappato direttamente dal campo del log non elaborato audit_node_name.
audit_request_effective_user	observer.user.userid	Mappato direttamente dal campo del log non elaborato audit_request_effective_user.
audit_request_initiating_user	additional.fields.audit_request_initiating_user.value.string_value	Mappato direttamente dal campo del log non elaborato audit_request_initiating_user.
audit_request_remote_address	observer.ip	Mappato direttamente dal campo del log non elaborato audit_request_remote_address se è diverso da audit_node_host_address.
client.bytes	network.received_bytes (INBOUND) / network.sent_bytes (OUTBOUND)	Mappatura eseguita in base al campo network.direction. Se INBOUND, viene mappato a network.received_bytes. Se è OUTBOUND, viene mappato a network.sent_bytes.
client.ip	target.ip (INBOUND) / principal.ip (OUTBOUND)	Mappatura eseguita in base al campo network.direction. Se INBOUND, viene mappato a target.ip. Se è OUTBOUND, viene mappato a principal.ip.
client.port	target.port (INBOUND) / principal.port (OUTBOUND)	Mappatura eseguita in base al campo network.direction. Se INBOUND, viene mappato a target.port. Se è OUTBOUND, viene mappato a principal.port.
cluster.uuid	additional.fields.uuid.value.string_value	Mappato direttamente dal campo del log non elaborato cluster.uuid.
componente	additional.fields.component.value.string_value	Mappato direttamente dal campo del log non elaborato component.
destination.bytes	network.sent_bytes	Mappato direttamente dal campo del log non elaborato destination.bytes per gli eventi FLOW.
destination.ip	target.ip	Mappato direttamente dal campo del log grezzo destination.ip se network.direction non è IN ENTRATA o IN USCITA.
destination.mac	target.mac	Mappato direttamente dal campo del log non elaborato destination.mac per gli eventi FLOW.
destination.port	target.port	Mappato direttamente dal campo del log non elaborato destination.port per gli eventi FLOW.
dhcpv4.assigned_ip	network.dhcp.requested_address	Mappato direttamente dal campo del log non elaborato dhcpv4.assigned_ip.
dhcpv4.client_ip	network.dhcp.yiaddr (ACK) / network.dhcp.ciaddr (REQUEST) / source.ip (REQUEST, se dhcpv4.client_ip è vuoto)	Mappatura eseguita in base al campo network.dhcp.type. Se è ACK, viene mappato a network.dhcp.yiaddr. Se è REQUEST, viene mappato a network.dhcp.ciaddr. Se REQUEST e dhcpv4.client_ip sono vuoti, viene mappato a source.ip.
dhcpv4.client_mac	network.dhcp.client_identifier	Mappato direttamente dal campo del log non elaborato dhcpv4.client_mac dopo la conversione in byte.
dhcpv4.op_code	network.dhcp.opcode	Mappato su network.dhcp.opcode in base al valore di dhcpv4.op_code. Se dhcpv4.op_code è BOOTREPLY o BOOTREQUEST, il valore viene mappato direttamente. In caso contrario, viene mappato a UNKNOWN_OPCODE.
dhcpv4.option.hostname	network.dhcp.client_hostname	Mappato direttamente dal campo del log non elaborato dhcpv4.option.hostname.
dhcpv4.option.ip_address_lease_time_sec	network.dhcp.lease_time_seconds	Mappato direttamente dal campo del log non elaborato dhcpv4.option.ip_address_lease_time_sec dopo la conversione in un numero intero senza segno.
dhcpv4.option.message_type	network.dhcp.type	Mappato su network.dhcp.type in base al valore di dhcpv4.option.message_type. Il mapping è il seguente: ack -> ACK, nack -> NAK, discover -> DISCOVER, offer -> OFFER, request -> REQUEST, decline -> DECLINE, release -> RELEASE, info -> INFORM. Se il valore non è uno di questi, viene mappato a UNKNOWN_MESSAGE_TYPE.
dhcpv4.option.server_identifier	network.dhcp.sname	Mappato direttamente dal campo del log non elaborato dhcpv4.option.server_identifier.
dns.answers.data	network.dns.answers.data	Mappato direttamente dal campo del log non elaborato dns.answers.data.
dns.answers.class	network.dns.answers.class	Mappato su network.dns.answers.class in base al valore di dns.answers.class. Il mapping è il seguente: IN -> 1, NONE -> 254, ANY -> 255.
dns.answers.name	network.dns.answers.name	Mappato direttamente dal campo del log non elaborato dns.answers.name.
dns.answers.ttl	network.dns.answers.ttl	Mappato direttamente dal campo del log non elaborato dns.answers.ttl dopo la conversione in un numero intero senza segno.
dns.answers.type	network.dns.answers.type	Mappato su network.dns.answers.type in base al valore di dns.answers.type. Il mapping è il seguente: A -> 1, NS -> 2, CNAME -> 5, SOA -> 6, PTR -> 12, MX -> 15, TXT -> 16, AAAA -> 28, SRV -> 33, NAPTR -> 35, DS -> 43, DNSKEY -> 48, IXFR -> 251, AXFR -> 252, TYPE99 -> 99, TKEY -> 249, ANY -> 255, ALL -> 255, URI -> 256, NULL -> 0.
dns.flags.authoritative	network.dns.authoritative	Mappato direttamente dal campo del log grezzo dns.flags.authoritative se è vero.
dns.flags.recursion_available	network.dns.recursion_available	Mappato direttamente dal campo del log grezzo dns.flags.recursion_available se è vero.
dns.flags.recursion_desired	network.dns.recursion_desired	Mappato direttamente dal campo del log grezzo dns.flags.recursion_desired se è vero.
dns.flags.truncated_response	network.dns.truncated	Mappato direttamente dal campo del log grezzo dns.flags.truncated_response se è vero.
dns.id	network.dns.id	Mappato direttamente dal campo del log non elaborato dns.id dopo la conversione in un numero intero senza segno.
dns.question.class	network.dns.questions.class	Mappato su network.dns.questions.class in base al valore di dns.question.class. Il mapping è il seguente: IN -> 1, NONE -> 254, ANY -> 255.
dns.question.name	network.dns.questions.name	Mappato direttamente dal campo del log non elaborato dns.question.name.
dns.question.type	network.dns.questions.type	Mappato su network.dns.questions.type in base al valore di dns.question.type. Il mapping è il seguente: A -> 1, NS -> 2, CNAME -> 5, SOA -> 6, PTR -> 12, MX -> 15, TXT -> 16, AAAA -> 28, SRV -> 33, NAPTR -> 35, DS -> 43, DNSKEY -> 48, IXFR -> 251, AXFR -> 252, TYPE99 -> 99, TKEY -> 249, ANY -> 255, ALL -> 255, URI -> 256, NULL -> 0.
dns.resolved_ip	network.dns.additional.data	Ogni elemento dell'array dns.resolved_ip viene elaborato e mappato al campo network.dns.additional.data.
dns.response_code	network.dns.response_code	Mappato su network.dns.response_code in base al valore di dns.response_code. La mappatura è la seguente: NOERROR -> 0, FORMERR -> 1, SERVFAIL -> 2, NXDOMAIN -> 3, NOTIMP -> 4, REFUSED -> 5, YXDOMAIN -> 6, YXRRSET -> 7, NXRRSET -> 8, NOTAUTH -> 9, NOTZONE -> 10.
error.message	security_result.summary	Concatenato con status per formare il campo security_result.summary per gli eventi HTTP.
event.dataset	metadata.product_event_type	Mappato direttamente dal campo del log non elaborato event.dataset.
flow.final		Utilizzato per determinare se il flusso è definitivo. In caso contrario, l'evento viene eliminato.
flow.id	network.session_id	Mappato direttamente dal campo del log non elaborato flow.id per gli eventi FLOW.
headers.accept_encoding	security_result.about.labels.Accept-Encoding	Mappato direttamente dal campo del log non elaborato headers.accept_encoding.
headers.content_length	additional.fields.content_length.value.string_value	Mappato direttamente dal campo del log non elaborato headers.content_length.
headers.content_type	additional.fields.content_type.value.string_value	Mappato direttamente dal campo del log non elaborato headers.content_type.
headers.http_accept	additional.fields.http_accept.value.string_value	Mappato direttamente dal campo del log non elaborato headers.http_accept.
headers.http_host	principal.hostname, principal.asset.hostname	Mappato direttamente dal campo del log non elaborato headers.http_host.
headers.http_user_agent	network.http.user_agent	Mappato direttamente dal campo del log non elaborato headers.http_user_agent.
headers.request_method	network.http.method	Mappato direttamente dal campo del log non elaborato headers.request_method.
headers.x_b3_parentspanid	additional.fields.x_b3_parentspanid.value.string_value	Mappato direttamente dal campo del log non elaborato headers.x_b3_parentspanid.
headers.x_b3_sampled	additional.fields.x_b3_sampled.value.string_value	Mappato direttamente dal campo del log non elaborato headers.x_b3_sampled.
headers.x_envoy_attempt_count	security_result.about.labels.x_envoy_attempt_count	Mappato direttamente dal campo del log non elaborato headers.x_envoy_attempt_count.
headers.x_envoy_original_path	additional.fields.x_envoy_original_path.value.string_value	Mappato direttamente dal campo del log non elaborato headers.x_envoy_original_path.
headers.x_forwarded_client_cert	additional.fields.client_cert.value.string_value	Mappato direttamente dal campo del log non elaborato headers.x_forwarded_client_cert.
headers.x_forwarded_for	principal.ip, principal.asset.ip	Mappato direttamente dal campo di log non elaborato headers.x_forwarded_for dopo l'estrazione dell'indirizzo IP utilizzando grok.
headers.x_forwarded_proto	additional.fields.x_forwarded_proto.value.string_value	Mappato direttamente dal campo del log non elaborato headers.x_forwarded_proto.
headers.x_request_id	additional.fields.x_request_id.value.string_value	Mappato direttamente dal campo del log non elaborato headers.x_request_id.
host	principal.ip, principal.asset.ip	Mappato direttamente dal campo di log non elaborato host dopo l'estrazione dell'indirizzo IP utilizzando grok.
http.request.method	network.http.method	Mappato direttamente dal campo del log non elaborato http.request.method.
livello	security_result.severity	Mappato su security_result.severity in base al valore di level. Il mapping è il seguente: INFO -> INFORMATIONAL, ERROR -> ERROR, WARNING -> LOW.
logger	additional.fields.logger.value.string_value	Mappato direttamente dal campo del log non elaborato logger.
metodo		Utilizzato per determinare se l'evento è un evento DNS.
msg	security_result.description	Mappato direttamente dal campo del log non elaborato msg dopo la rimozione delle virgolette doppie.
network.community_id	network.community_id	Mappato direttamente dal campo del log non elaborato network.community_id.
network.direction	network.direction	Mappato direttamente dal campo del log non elaborato network.direction dopo la conversione in maiuscolo. Se il valore è INGRESS o INBOUND, viene mappato a INBOUND. Se il valore è EGRESS o OUTBOUND, viene mappato a OUTBOUND.
network.protocol	network.application_protocol	Mappato direttamente dal campo del log non elaborato network.protocol.
network.transport	network.ip_protocol	Mappato direttamente dal campo del log non elaborato network.transport per gli eventi TLS.
server.bytes	network.sent_bytes (INBOUND) / network.received_bytes (OUTBOUND)	Mappatura eseguita in base al campo network.direction. Se INBOUND, viene mappato a network.sent_bytes. Se è OUTBOUND, viene mappato a network.received_bytes.
server.domain	principal.hostname, principal.asset.hostname (INBOUND) / target.hostname, target.asset.hostname (OUTBOUND)	Mappatura eseguita in base al campo network.direction. Se INBOUND, viene mappato a principal.hostname. Se è OUTBOUND, viene mappato a target.hostname.
server.ip	principal.ip, principal.asset.ip (INBOUND) / target.ip, target.asset.ip (OUTBOUND)	Mappatura eseguita in base al campo network.direction. Se INBOUND, viene mappato a principal.ip. Se è OUTBOUND, viene mappato a target.ip.
server.port	principal.port (INBOUND) / target.port (OUTBOUND)	Mappatura eseguita in base al campo network.direction. Se INBOUND, viene mappato a principal.port. Se è OUTBOUND, viene mappato a target.port.
source.bytes	network.received_bytes	Mappato direttamente dal campo del log non elaborato source.bytes per gli eventi FLOW.
source.ip	principal.ip, principal.asset.ip	Mappato direttamente dal campo del log non elaborato source.ip per gli eventi FLOW.
source.mac	principal.mac	Mappato direttamente dal campo del log non elaborato source.mac per gli eventi FLOW.
source.port	principal.port	Mappato direttamente dal campo del log non elaborato source.port per gli eventi FLOW.
stato	metadata.description, security_result.summary	Mappato a metadata.description se level è vuoto. Concatenato con error.message per formare il campo security_result.summary per gli eventi HTTP e TLS.
tls.client.ja3	network.tls.client.ja3	Mappato direttamente dal campo del log non elaborato tls.client.ja3.
tls.client.server_name	network.tls.client.server_name	Mappato direttamente dal campo del log non elaborato tls.client.server_name.
tls.client.supported_ciphers	network.tls.client.supported_ciphers	Ogni elemento dell'array tls.client.supported_ciphers viene elaborato e mappato all'array network.tls.client.supported_ciphers.
tls.cipher	network.tls.cipher	Mappato direttamente dal campo del log non elaborato tls.cipher.
tls.detailed.server_certificate.not_after	network.tls.server.certificate.not_after	Mappato direttamente dal campo del log non elaborato tls.detailed.server_certificate.not_after dopo la conversione in un timestamp.
tls.detailed.server_certificate.not_before	network.tls.server.certificate.not_before	Mappato direttamente dal campo del log non elaborato tls.detailed.server_certificate.not_before dopo la conversione in un timestamp.
tls.detailed.server_certificate.serial_number	network.tls.server.certificate.serial	Mappato direttamente dal campo del log non elaborato tls.detailed.server_certificate.serial_number.
tls.detailed.server_certificate.version	network.tls.server.certificate.version	Mappato direttamente dal campo del log non elaborato tls.detailed.server_certificate.version dopo la conversione in una stringa.
tls.established	network.tls.established	Mappato direttamente dal campo del log non elaborato tls.established.
tls.next_protocol	network.tls.next_protocol	Mappato direttamente dal campo del log non elaborato tls.next_protocol.
tls.resumed	network.tls.resumed	Mappato direttamente dal campo del log non elaborato tls.resumed.
tls.server.hash.sha1	network.tls.server.certificate.sha1	Mappato direttamente dal campo di log non elaborato tls.server.hash.sha1 dopo la conversione in minuscolo.
tls.server.issuer	network.tls.server.certificate.issuer	Mappato direttamente dal campo del log non elaborato tls.server.issuer.
tls.server.subject	network.tls.server.certificate.subject	Mappato direttamente dal campo del log non elaborato tls.server.subject.
tls.version	network.tls.version	Mappato direttamente dal campo del log non elaborato tls.version.
tls.version_protocol	network.tls.version_protocol	Mappato direttamente dal campo del log non elaborato tls.version_protocol.
tipo		Utilizzato per determinare se l'evento è un evento DNS.
url.full	principal.url (INBOUND) / target.url (OUTBOUND)	Mappatura eseguita in base al campo network.direction. Se INBOUND, viene mappato a principal.url. Se è OUTBOUND, viene mappato a target.url.
user_id	target.user.userid	Mappato direttamente dal campo del log non elaborato user_id.
user_name	target.user.user_display_name	Mappato direttamente dal campo del log non elaborato user_name.
	metadata.event_type	Impostato su GENERIC_EVENT per impostazione predefinita. Modificati in tipi di eventi specifici in base all'origine log e ai dati sugli eventi.
	metadata.vendor_name	Impostato su Elastic per impostazione predefinita.
	metadata.product_name	Impostato su PacketBeat per impostazione predefinita.
	security_result.action	Impostato su ALLOW per impostazione predefinita.
	metadata.log_type	Impostato su ELASTIC_PACKETBEATS per impostazione predefinita.

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.