Raccogliere i log di Threat Intelligence STIX

Supportato in:

Google SecOps SIEM

Questo documento spiega come importare i log di Threat Intelligence STIX in Google Security Operations utilizzando l'agente Bindplane.

STIX (Structured Threat Information Expression) è un linguaggio e un formato standardizzati per la condivisione di indicatori di compromissione (IOC) e dati di threat intelligence tra le organizzazioni. I dati STIX vengono in genere ricevuti come file JSON o file XML da server TAXII o piattaforme di threat intelligence. L'agente Bindplane raccoglie i file di dati STIX direttamente dal file system locale.

Prima di iniziare

Assicurati di soddisfare i seguenti prerequisiti:

• Un'istanza Google SecOps
• Windows Server 2016 o versioni successive o host Linux con systemd
• Se l'esecuzione avviene dietro un proxy, assicurati che le porte del firewall siano aperte in base ai requisiti dell'agente Bindplane
• Un client TAXII o una piattaforma di threat intelligence che salva i file in formato STIX (JSON o XML) in una directory locale

Recupera le credenziali Google SecOps per l'agente Bindplane

Per autenticare l'agente Bindplane in Google SecOps, scegli uno dei seguenti metodi:

• Nuovi deployment: utilizza l'API Chronicle (opzione 1).
• Deployment legacy: continua a utilizzare il file di autenticazione dell'acquisizione (opzione 2) fino al ritiro dell'API Ingestion il 20 luglio 2027.

Opzione 1: crea un account di servizio per l'API Chronicle (consigliata)

1. Accedi alla consoleGoogle Cloud e seleziona il progetto Google Cloud collegato alla tua istanza Google SecOps.
2. Vai a IAM e amministrazione > Service account.
3. Fai clic su Crea service account.
4. Fornisci i seguenti dettagli di configurazione:
   • Nome service account: inserisci un nome per l'account (ad esempio bindplane-ingest).
   • Descrizione service account: inserisci una descrizione (ad esempio Bindplane agent log ingestion).
5. Fai clic su Crea e continua.
6. Nella sezione Concedi a questo account di servizio l'accesso al progetto, fai clic su Seleziona un ruolo e seleziona Editor Chronicle.
7. Fai clic su Continua e poi su Fine.
8. Fai clic sul account di servizio che hai creato, quindi vai alla scheda Chiavi.
9. Fai clic su Aggiungi chiave > Crea nuova chiave.
10. Seleziona JSON e fai clic su Crea. Il file della chiave viene scaricato sul tuo computer.
11. Salva il file della chiave come ingestion-auth.json nella directory del raccoglitore Bindplane (/opt/observiq-otel-collector/ingestion-auth.json su Linux o C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json su Windows) o aggiorna creds_file_path in config.yaml in modo che corrisponda al percorso in cui lo salvi.
12. Vai a IAM e amministrazione > Impostazioni e copia il Numero progetto. Ti servirà per la configurazione dell'esportatore.

Nota: la chiave JSON è una credenziale. Limita l'accesso al file sull'host Bindplane e ruota la chiave in base alle norme della tua organizzazione.

Opzione 2: scarica il file di autenticazione dell'acquisizione (legacy)

1. Accedi alla console Google SecOps.
2. Vai a Impostazioni SIEM > Agenti di raccolta.
3. Scarica il file di autenticazione dell'acquisizione.
4. Salva il file in modo sicuro sul sistema in cui verrà installato l'agente Bindplane.

Nota: questo file autentica l'agente nell'API Ingestion precedente (malachiteingestion-pa.googleapis.com), che Google ha programmato per la fine del ciclo di vita il 20 luglio 2027. Pianifica di passare all'opzione 1 prima di questa data.

Ottieni l'ID cliente Google SecOps

1. Accedi alla console Google SecOps.
2. Vai a Impostazioni SIEM > Profilo.

3. Copia e salva l'ID cliente dalla sezione Dettagli dell'organizzazione.

   Nota: l'ID cliente è obbligatorio per configurare l'esportatore dell'agente Bindplane.

Installa l'agente Bindplane

Installa l'agente Bindplane sul sistema operativo Windows o Linux seguendo le istruzioni riportate di seguito.

Installazione di Windows

1. Apri il prompt dei comandi o PowerShell come amministratore.

2. Esegui questo comando:

   msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
   

3. Attendi il completamento dell'installazione.

4. Verifica l'installazione eseguendo:

   sc query observiq-otel-collector
   

   Il servizio dovrebbe essere visualizzato come RUNNING.

Installazione di Linux

1. Apri un terminale con privilegi root o sudo.

2. Esegui questo comando:

   sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
   

3. Attendi il completamento dell'installazione.

4. Verifica l'installazione eseguendo:

   sudo systemctl status observiq-otel-collector
   

   Il servizio dovrebbe essere visualizzato come attivo (in esecuzione).

Risorse aggiuntive per l'installazione

Per ulteriori opzioni di installazione e risoluzione dei problemi, consulta la guida all'installazione dell'agente Bindplane.

Nota: la configurazione dell'esportatore dell'API Chronicle richiede Bindplane Collector v1.106.0 o versioni successive. I comandi precedenti installano l'ultima release. Se stai aggiornando un'installazione esistente, esegui l'upgrade dell'agente di raccolta prima di modificare la configurazione.

Configura l'agente Bindplane per importare i log e inviarli a Google SecOps

Individua il file di configurazione

• Linux:

  sudo nano /opt/observiq-otel-collector/config.yaml
  

• Windows:

  notepad "C:\Program Files\observIQ OpenTelemetry Collector\config.yaml"
  

Modifica il file di configurazione

• Sostituisci l'intero contenuto di config.yaml con la seguente configurazione:

  receivers:
    filelog:
      include:
        - /var/log/stix/*.json
      start_at: beginning
  
  exporters:
    chronicle/stix:
      protocol: https
      # Region of your instance, for example us, europe, asia-southeast1
      location: <LOCATION>
      # Project number of the Google Cloud project linked to the instance
      project: '<PROJECT_NUMBER>'
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: chronicle.googleapis.com
      log_type: STIX
      raw_log_field: body
      ingestion_labels:
        env: production
  
  service:
    pipelines:
      logs/stix_to_chronicle:
        receivers:
          - filelog
        exporters:
          - chronicle/stix
  

Parametri di configurazione

Sostituisci i seguenti segnaposto:

• Configurazione del destinatario:

  • filelog: Il tipo di ricevitore per la raccolta dei file di log dal disco
  • include: elenco dei percorsi dei file da monitorare. Imposta questa opzione sulla directory in cui sono salvati i file STIX:
    • Linux: /var/log/stix/*.json
    • Windows: C:\Logs\stix\*.json
  • start_at: impostalo su beginning per leggere i log esistenti o su end per leggere solo le nuove voci

• Configurazione dell'esportatore:

  • stix: nome descrittivo dell'esportatore
  • creds_file_path: percorso completo del file della chiave JSON del account di servizio (opzione 1):
    • Linux: /opt/observiq-otel-collector/ingestion-auth.json
    • Windows: C:\Program Files\observIQ OpenTelemetry Collector\ingestion-auth.json
  • <customer_id>: l'ID cliente del passaggio precedente
  • location: sostituisci <LOCATION> con la regione della tua istanza Google SecOps (ad esempio us, europe o asia-southeast1). L'esportatore aggiunge chronicle.googleapis.com come prefisso a questo valore. Per l'elenco completo, consulta Endpoint regionali.
  • project: sostituisci <PROJECT_NUMBER> con il numero di progetto da IAM e amministrazione > Impostazioni.
  • endpoint: mantieni l'impostazione su chronicle.googleapis.com.
  • STIX: Tipo di log esattamente come appare in Chronicle
  • ingestion_labels: etichette facoltative in formato YAML (ad esempio, env: production)

• Configurazione della pipeline:

  • stix_to_chronicle: nome descrittivo della pipeline

Esportatore dell'API di importazione precedente

• Se utilizzi il file di autenticazione dell'acquisizione dell'Opzione 2, sostituisci il blocco exporters con il seguente. Imposta creds_file_path sul percorso del file di autenticazione dell'acquisizione e, se l'istanza si trova al di fuori degli Stati Uniti, sostituisci malachiteingestion-pa.googleapis.com con il tuo endpoint regionale (ad esempio, europe-malachiteingestion-pa.googleapis.com).

  exporters:
    chronicle/stix:
      compression: gzip
      creds_file_path: '/opt/observiq-otel-collector/ingestion-auth.json'
      customer_id: '<customer_id>'
      endpoint: malachiteingestion-pa.googleapis.com
      log_type: STIX
      raw_log_field: body
      ingestion_labels:
        env: production
  

Nota: questo esportatore smetterà di funzionare quando l'API Ingestion verrà ritirata il 20 luglio 2027.

Salva il file di configurazione

• Dopo la modifica, salva il file:
  • Linux: premi Ctrl+O, poi Enter e infine Ctrl+X
  • Windows: fai clic su File > Salva.

Riavvia l'agente Bindplane per applicare le modifiche

• Per riavviare l'agente Bindplane in Linux, esegui questo comando:

  sudo systemctl restart observiq-otel-collector
  

  1. Verifica che il servizio sia in esecuzione:

     sudo systemctl status observiq-otel-collector
     

  2. Controlla i log per individuare eventuali errori:

     sudo journalctl -u observiq-otel-collector -f
     

• Per riavviare l'agente Bindplane in Windows, scegli una delle seguenti opzioni:

  • Prompt dei comandi o PowerShell come amministratore:

    net stop observiq-otel-collector && net start observiq-otel-collector
    

  • Console Servizi:

    1. Premi Win+R, digita services.msc e premi Invio.
    2. Individua observIQ OpenTelemetry Collector.
    3. Fai clic con il tasto destro del mouse e seleziona Riavvia.

    4. Verifica che il servizio sia in esecuzione:

       sc query observiq-otel-collector
       

    5. Controlla i log per individuare eventuali errori:

       type "C:\Program Files\observIQ OpenTelemetry Collector\log\collector.log"
       

Configura la raccolta dei file di dati STIX

STIX è un formato dei dati, non un prodotto. I dati di threat intelligence STIX vengono in genere ricevuti come file JSON o file XML da client TAXII, piattaforme di threat intelligence o download manuali. Devi assicurarti che questi file siano inseriti in una directory monitorata dall'agente Bindplane.

Linux

1. Crea una directory per archiviare i file di dati STIX:

   sudo mkdir -p /var/log/stix
   

2. Configura il client TAXII o la piattaforma di threat intelligence per salvare i file STIX in /var/log/stix/.

3. Assicurati che il account di servizio dell'agente Bindplane abbia l'accesso in lettura alla directory:

   sudo chmod 755 /var/log/stix
   

Windows

1. Crea una directory per archiviare i file di dati STIX:

   mkdir C:\Logs\stix
   

2. Configura il client TAXII o la piattaforma di threat intelligence per salvare i file STIX in "C:\Logs\stix".

3. Aggiorna il percorso include dell'agente Bindplane in config.yaml in modo che corrisponda a:

   include:
     - C:\Logs\stix\*.json
   

   Nota: i dati STIX possono essere in formato JSON (STIX 2.x) o XML (STIX 1.x). Modifica il pattern glob include in modo che corrisponda al formato file (ad esempio *.json, *.xml o entrambi utilizzando più voci include). Il account di servizio dell'agente Bindplane deve disporre dell'accesso in lettura alla directory di dati.

Tabella di mappatura UDM

Campo log	Mappatura UDM	Logica
	entity.administrative_domain	Impostato su "TEST"
assetid_value	entity.asset.asset_id	Valore di assetid_value se non è vuoto
condition_label, related_indicators_relationship_label, related_indicators_scope, indicator_types_label, valid_start_time_label, controlled_structure_label, marking_structure_label	entity.asset.attribute.labels	Unite da varie etichette
nome	entity.file.full_path	Valore copiato direttamente
val, hash.simple_hash_value, MD5_val, hash_value	entity.file.md5	Valore di val se corrisponde all'espressione regolare MD5, altrimenti hash.simple_hash_value se il tipo è MD5, altrimenti MD5_val, altrimenti hash_value
valore	entity.file.names	Valore copiato direttamente
val, hash.simple_hash_value, sha1_val, hash_value	entity.file.sha1	Valore di val se corrisponde all'espressione regolare SHA1, altrimenti hash.simple_hash_value se il tipo è SHA1, altrimenti sha1_val, altrimenti hash_value
val, hash.simple_hash_value, sha256val, sha_value, sha_value	entity.file.sha256	Valore di val se corrisponde all'espressione regolare sha256, altrimenti hash.simple_hash_value se il tipo è SHA256, altrimenti sha256val, altrimenti sha_value
observable.object.properties.value, dom, value, host, name, external_references.0.source_name	entity.hostname	Valore da observable.object.properties.value se il tipo è FQDN, altrimenti dom da grok, altrimenti valore se il tipo è domain-name, altrimenti host, altrimenti nome se main_observable_type è domain/hostname, altrimenti external_references.0.source_name
ip_val, ipval, ip, source_ip, value, src_ip	entity.ip	Valore di ip_val se grok corrisponde, altrimenti ipval se la categoria è ipv4-addr, altrimenti ip dal pattern grok, altrimenti source_ip, altrimenti valore se il tipo è ipv4, altrimenti src_ip da grok
source_port, src_port	entity.port	Valore da source_port o src_port
indicator_label, extension_value1, extension_value2, extension_value3, extension_value4, revoked_value, spec_version_value, object_marking_ref_value, label_value	entity.resource.attribute.labels	Unite da varie etichette
observable.object.properties.value, url_val, value, observable_properties_value	entity.url	Valore di observable.object.properties.value se il tipo è URL, altrimenti url_val di grok, altrimenti valore se il tipo è url, altrimenti observable_properties_value se non è vuoto
email_val, mail, value	entity.user.email_addresses	Valore di email_val se grok corrisponde, altrimenti mail di grok, altrimenti valore se il tipo è email-addr
timestamp	metadata.collected_timestamp	Convertito utilizzando la corrispondenza della data ISO8601/RFC 3339
titolo, descrizione	metadata.description	Valore ottenuto dal titolo o dalla descrizione
entity_type	metadata.entity_type	Valore copiato direttamente
timestamp, valid_until	metadata.interval.end_time	Convertito da timestamp o valid_until utilizzando la corrispondenza della data ISO8601/RFC 3339
timestamp, valid_from, created	metadata.interval.start_time	Convertito da timestamp, valid_from, created o timestamp utilizzando la corrispondenza di date ISO8601/RFC 3339
id	metadata.product_entity_id	Valore copiato direttamente
versione	metadata.product_version	Valore copiato direttamente
threat_detail	metadata.threat	Unito da threat_detail
threat_detail_category	threat.category	Valore copiato direttamente
confidence_value, confidence, x_stix_confidence, x_ctix_confidence_score	threat.confidence_details	Valore di confidence_value, altrimenti confidence se no_value, altrimenti x_stix_confidence, altrimenti x_ctix_confidence_score
value, confidence, x_ctix_confidence_score	threat.confidence_score	Valore da value se name Confidence Score, altrimenti confidence, altrimenti x_ctix_confidence_score, convertito in float
property_label, sha512_value, observable_id, observable_object_id, keyword_label	threat.detection_fields	Unite da varie etichette
descrizione	threat.description	Valore copiato direttamente
value, extensions.extension-definition--ea279b3e-5c71-4632-ac08-831c66a786ba.score	threat.risk_score	Valore dal valore se il nome è Risk, altrimenti punteggio delle estensioni, convertito in float
	metadata.product_name	Imposta su "STIX"
	metadata.vendor_name	Impostato su "STIX"
dom	event.idm.entity.entity.hostname	Mappato dal log delle modifiche
name	event.idm.entity.entity.url	Mappato dal log delle modifiche
valid_from	event.idm.entity.entity.resource.attribute.labels	Mappato dal log delle modifiche
valid_until	event.idm.entity.entity.resource.attribute.labels	Mappato dal log delle modifiche
pattern_version	event.idm.entity.entity.resource.attribute.labels	Mappato dal log delle modifiche
observable.object.properties.value.condition	event.idm.entity.entity.asset.attribute.labels	Mappato dal log delle modifiche
handling.controlled_structure	event.idm.entity.entity.asset.attribute.labels	Mappato dal log delle modifiche
handling.marking_structures.color	event.idm.entity.entity.asset.attribute.labels	Mappato dal log delle modifiche
related_indicators.related_indicators	event.idm.entity.entity.asset.attribute.labels	Mappato dal log delle modifiche
related_indicators.scope	event.idm.entity.entity.asset.attribute.labels	Mappato dal log delle modifiche
indicator_types	event.idm.entity.entity.asset.attribute.labels	Mappato dal log delle modifiche
valid_time_positions	event.idm.entity.entity.asset.attribute.labels	Mappato dal log delle modifiche
observable.object.properties.custom_properties	event.idm.entity.metadata.threat.detection_fields	Mappato dal log delle modifiche
observable.object.properties.value	event.ioc.domain_and_ports.domain	Mappato dal log delle modifiche
mitre-extension-definition.extension_type	entity.resource.attribute.labels.value	Mappato dal log delle modifiche
sco-extension-definition.extension_type	entity.resource.attribute.labels.value	Mappato dal log delle modifiche
x_ctix_confidence_score	threat_detail.confidence_score	Mappato dal log delle modifiche
modified	timestamp	Mappato dal log delle modifiche
valid_from	entity_event.metadata.interval.start_time	Mappato dal log delle modifiche
confidence	threat_detail.confidence_score	Mappato dal log delle modifiche
name	entity.entity.file.full_path	Mappato dal log delle modifiche
description	threat_detail.description	Mappato dal log delle modifiche
external_references.0.source_name	entity_event.entity.hostname	Mappato dal log delle modifiche
entity_type	IP_ADDRESS	Mappato dal log delle modifiche
entity_type	USER	Mappato dal log delle modifiche
entity_type	FILE	Mappato dal log delle modifiche
entity_type	DOMAIN_NAME	Mappato dal log delle modifiche

Log delle modifiche

Visualizza il log delle modifiche per questo parser

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.