Raccogli i log del framework di scansione dei file
Versione parser: 3.0
Questo documento spiega come importare i log del framework di scansione dei file in Google Security Operations utilizzando Cloud Storage V2.
File Scanning Framework (FSF) è una soluzione di scansione dei file ricorsiva modulare open source sviluppata da Emerson Electric Co. FSF utilizza un'architettura client-server per analizzare i file e generare risultati di scansione JSON dettagliati, inclusi metadati dei file, corrispondenze delle firme YARA, oggetti secondari estratti e metadati specifici del modulo.
Prima di iniziare
Assicurati di soddisfare i seguenti prerequisiti:
- Un'istanza Google SecOps
- Un progetto Google Cloud con l'API Storage di Cloud Storage abilitata
- Autorizzazioni per creare e gestire i bucket Cloud Storage
- Autorizzazioni per gestire le policy di Identity and Access Management (IAM) sui bucket Cloud Storage
- Un'istanza del server FSF di cui è stato eseguito il deployment con accesso in scrittura alla directory dei log
- Accesso root o sudo all'host del server FSF
crea un bucket Cloud Storage
- Vai alla consoleGoogle Cloud .
- Seleziona il tuo progetto o creane uno nuovo.
- Nel menu di navigazione, vai a Cloud Storage > Bucket.
- Fai clic su Crea bucket.
Fornisci i seguenti dettagli di configurazione:
Impostazione Valore Assegna un nome al bucket Inserisci un nome univoco globale (ad esempio fsf-logs-secops).Tipo di località Scegli in base alle tue esigenze (Regione, a due regioni, multiregionale). Località Seleziona la località (ad esempio, us-central1).Classe di archiviazione Standard (consigliato per i log ad accesso frequente). Controllo degli accessi Uniforme (consigliato). Strumenti di protezione (Facoltativo) Attiva il controllo delle versioni degli oggetti o la policy di conservazione. Fai clic su Crea.
Configura la directory di output dei log FSF
FSF scrive i risultati della scansione JSON in una directory di log configurabile. Configura una directory dedicata per l'importazione di Google SecOps.
- Connettiti all'host del server FSF tramite SSH.
Apri il file di configurazione del server FSF:
sudo nano /opt/fsf/fsf-server/conf/config.pyIndividua il dizionario
SCANNER_CONFIG.Aggiorna il parametro
LOG_PATHin una directory dedicata:SCANNER_CONFIG = { 'LOG_PATH': '/var/log/fsf', 'YARA_PATH': '/opt/fsf/fsf-server/yara/rules.yara', 'PID_PATH': '/tmp/scanner.pid', 'EXPORT_PATH': '/tmp', 'TIMEOUT': 60, 'MAX_DEPTH': 10 }Salva e chiudi il file.
Crea la directory dei log con le autorizzazioni appropriate:
sudo mkdir -p /var/log/fsf sudo chown -R fsf:fsf /var/log/fsf sudo chmod 755 /var/log/fsfRiavvia il server FSF per applicare le modifiche:
sudo systemctl restart fsfVerifica che FSF stia scrivendo i log nella nuova directory:
ls -lh /var/log/fsf/
Installa e configura Fluentd
Fluentd monitorerà i file di log FSF e li invierà a Cloud Storage.
Installa Fluentd
Sul server host FSF, installa Fluentd (td-agent):
curl -fsSL https://toolbelt.treasuredata.com/sh/install-ubuntu-jammy-td-agent4.sh | shInstalla il plug-in di output di Cloud Storage:
sudo td-agent-gem install fluent-plugin-gcsVerifica l'installazione del plug-in:
td-agent-gem list | grep fluent-plugin-gcs
Crea un service account Google Cloud per Fluentd
- Nella console Google Cloud , vai a IAM e amministrazione > Account di servizio.
- Fai clic su Crea account di servizio.
- Fornisci i seguenti dettagli di configurazione:
- Nome service account: inserisci
fsf-fluentd-shipper. - Descrizione service account: inserisci
Service account for Fluentd to ship FSF logs to GCS.
- Nome service account: inserisci
- Fai clic su Crea e continua.
- Nella sezione Concedi a questo account di servizio l'accesso al progetto:
- Fai clic su Seleziona un ruolo.
- Cerca e seleziona Storage Object Admin.
- Fai clic su Continua.
- Fai clic su Fine.
Crea la chiave dell'account di servizio
- Nell'elenco Service account, fai clic sul account di servizio (
fsf-fluentd-shipper). - Vai alla scheda Chiavi.
- Fai clic su Aggiungi chiave > Crea nuova chiave.
- Seleziona JSON come tipo di chiave.
- Fai clic su Crea.
- Il file della chiave JSON verrà scaricato sul computer.
Trasferisci il file della chiave all'host del server FSF:
scp /path/to/downloaded-key.json user@fsf-server:/etc/td-agent/gcp-key.jsonImposta le autorizzazioni appropriate per il file della chiave:
sudo chown td-agent:td-agent /etc/td-agent/gcp-key.json sudo chmod 600 /etc/td-agent/gcp-key.json
Concedi le autorizzazioni IAM sul bucket Cloud Storage
- Vai a Cloud Storage > Bucket.
- Fai clic sul nome del bucket (
fsf-logs-secops). - Vai alla scheda Autorizzazioni.
- Fai clic su Concedi l'accesso.
- Fornisci i seguenti dettagli di configurazione:
- Aggiungi entità: inserisci l'indirizzo email del account di servizio (ad esempio
fsf-fluentd-shipper@PROJECT_ID.iam.gserviceaccount.com). - Assegna i ruoli: seleziona Storage Object Admin.
- Aggiungi entità: inserisci l'indirizzo email del account di servizio (ad esempio
- Fai clic su Salva.
Configura Fluentd
Sull'host del server FSF, crea un file di configurazione Fluentd:
sudo nano /etc/td-agent/td-agent.confAggiungi la seguente configurazione:
# Tail FSF JSON logs <source> @type tail path /var/log/fsf/*.log pos_file /var/log/td-agent/fsf.log.pos tag fsf.scan read_from_head true <parse> @type json time_key timestamp time_format %Y-%m-%dT%H:%M:%S.%L%z </parse> </source> # Ship to Google Cloud Storage <match fsf.scan> @type gcs project YOUR_GCP_PROJECT_ID keyfile /etc/td-agent/gcp-key.json bucket fsf-logs-secops object_key_format %{path}%{time_slice}_%{index}.%{file_extension} path fsf-logs/ <buffer tag,time> @type file path /var/log/td-agent/buffer/gcs timekey 3600 timekey_wait 10m timekey_use_utc true chunk_limit_size 10MB </buffer> <format> @type json </format> store_as json auto_create_bucket false </match>Sostituisci
YOUR_GCP_PROJECT_IDcon l'ID progetto Google Cloud effettivo.Salva e chiudi il file.
Crea la directory del buffer:
sudo mkdir -p /var/log/td-agent/buffer/gcs sudo chown -R td-agent:td-agent /var/log/td-agent/bufferRiavvia Fluentd per applicare la configurazione:
sudo systemctl restart td-agentAbilita l'avvio di Fluentd all'avvio del sistema:
sudo systemctl enable td-agentVerifica che Fluentd sia in esecuzione:
sudo systemctl status td-agent
Verifica la spedizione dei log
Controlla i log di Fluentd per verificare la presenza di errori:
sudo tail -f /var/log/td-agent/td-agent.logAttiva una scansione FSF di test per generare i log:
echo "test content" > /tmp/test.txt /opt/fsf/fsf-client/fsf_client.py /tmp/test.txt --suppress-reportAttendi 1-2 minuti affinché Fluentd elabori e invii i log.
Nella console Google Cloud , vai a Cloud Storage > Bucket.
Fai clic sul nome del bucket (
fsf-logs-secops).Vai al prefisso
fsf-logs/.Verifica che i file JSON vengano creati con i timestamp.
Scarica e ispeziona un file per verificare che contenga i risultati della scansione FSF in formato JSON.
Recupera il account di servizio Google SecOps
Google SecOps utilizza un account di servizio univoco per leggere i dati dal tuo bucket Cloud Storage. Devi concedere a questo account di servizio l'accesso al tuo bucket.
Recupera l'indirizzo email del account di servizio
- Vai a Impostazioni > Gestione dei dati > Feed. Se utilizzi una piattaforma solo SIEM, vai a Impostazioni > Feed.
- Fai clic su Aggiungi nuovo feed di notizie.
- Fai clic su Configura un singolo feed.
- Nel campo Nome feed, inserisci un nome per il feed (ad es.
FSF File Scanning Logs). - Seleziona Google Cloud Storage V2 come Tipo di origine.
- Seleziona Framework di scansione dei file come Tipo di log.
Fai clic su Ottieni service account. Verrà visualizzato un indirizzo email univoco del account di servizio, ad esempio:
secops-12345678@secops-gcp-prod.iam.gserviceaccount.comCopia l'indirizzo email da utilizzare nel passaggio successivo.
Fai clic su Avanti.
Specifica i valori per i seguenti parametri di input:
URL bucket di archiviazione: inserisci l'URI del bucket Cloud Storage con il percorso del prefisso:
gs://fsf-logs-secops/fsf-logs/Opzione di eliminazione dell'origine: seleziona l'opzione di eliminazione in base alle tue preferenze:
- Mai: non elimina mai i file dopo i trasferimenti (opzione consigliata per i test).
- Elimina i file trasferiti: elimina i file dopo il trasferimento riuscito.
Elimina i file trasferiti e le directory vuote: elimina i file e le directory vuote dopo il trasferimento riuscito.
Età massima del file: includi i file modificati negli ultimi giorni (il valore predefinito è 180 giorni).
Spazio dei nomi dell'asset: lo spazio dei nomi dell'asset.
Etichette di importazione: l'etichetta da applicare agli eventi di questo feed.
Fai clic su Avanti.
Controlla la nuova configurazione del feed di notizie nella schermata Finalizza, quindi fai clic su Invia.
Concedi le autorizzazioni IAM al account di servizio Google SecOps
Il account di servizio Google SecOps deve avere il ruolo Storage Object Viewer nel bucket Cloud Storage.
- Vai a Cloud Storage > Bucket.
- Fai clic sul nome del bucket (
fsf-logs-secops). - Vai alla scheda Autorizzazioni.
- Fai clic su Concedi l'accesso.
- Fornisci i seguenti dettagli di configurazione:
- Aggiungi entità: incolla l'indirizzo email del account di servizio Google SecOps.
- Assegna ruoli: seleziona Visualizzatore oggetti Storage.
- Fai clic su Salva.
Verifica l'importazione
- Attendi 10-15 minuti per il completamento dell'importazione iniziale.
- In Google SecOps, vai a Impostazioni > Gestione dei dati > Feed. Se utilizzi una piattaforma solo SIEM, vai a Impostazioni > Feed.
- Individua il feed (
FSF File Scanning Logs). - Verifica che lo Stato sia Attivo.
- Fai clic sul nome del feed per visualizzare le metriche di importazione.
- Verifica che il conteggio di Eventi importati sia in aumento.
- Vai a Ricerca in Google SecOps.
Esegui una query di ricerca per verificare che i log FSF vengano importati:
metadata.log_type = "FILE_SCANNING_FRAMEWORK"Verifica che i risultati della scansione FSF vengano visualizzati nei risultati di ricerca.
Risoluzione dei problemi
Nessun log visualizzato in Cloud Storage
Verifica che FSF stia scrivendo i log in
/var/log/fsf/:ls -lh /var/log/fsf/ tail -f /var/log/fsf/*.logControlla i log di Fluentd per verificare la presenza di errori:
sudo tail -f /var/log/td-agent/td-agent.logVerifica che la chiave del service account Google Cloud sia valida e disponga delle autorizzazioni corrette.
Verifica che il nome del bucket nella configurazione di Fluentd corrisponda al nome effettivo del bucket.
Errori di autorizzazione di Fluentd
- Verifica che il account di servizio (
fsf-fluentd-shipper) abbia il ruolo Storage Object Admin sul bucket. - Verifica che il percorso della chiave nella configurazione di Fluentd sia corretto.
Verifica che il file della chiave abbia la proprietà e le autorizzazioni corrette:
ls -l /etc/td-agent/gcp-key.json
Google SecOps non importa i log
- Verifica che il account di servizio Google SecOps abbia il ruolo Storage Object Viewer nel bucket.
- Verifica che l'URI del bucket nella configurazione del feed sia corretto e includa la barra finale.
- Verifica che i file esistano nel bucket Cloud Storage nel percorso del prefisso specificato.
- Controlla lo stato del feed in Impostazioni > Gestione dei dati > Feed per verificare la presenza di messaggi di errore.
I log FSF non sono nel formato previsto
- Verifica che FSF sia configurato per scrivere l'output JSON (comportamento predefinito).
- Verifica che la sezione Fluentd
<parse>sia configurata con@type json. Ispeziona manualmente un file di log per verificare che contenga un JSON valido:
head -n 1 /var/log/fsf/*.log | jq .
Tabella di mappatura UDM
| Campo log | mappatura UDM | Logica |
|---|---|---|
| CompressType_label, compressed_parents | about.labels | Unito da CompressType_label (chiave "Compress Type", valore da Object.EXTRACT_ZIP.Object_0.Compress Type se il messaggio contiene "Compress Type") e compressed_parents (chiave "Compressed Parent Files", concatenato da Object.EXTRACT_ZIP.Object_0.META_VT_CACHE.vt_data.additional_info.compressed_parents) |
| Object.EXTRACT_EMBEDDED.Object_0.META_BASIC_INFO.MD5, Object.EXTRACT_ZIP.Object_0.META_BASIC_INFO.MD5, Object.EXTRACT_SWF.META_BASIC_INFO.MD5, Object.EXTRACT_GZIP.META_BASIC_INFO.MD5, Object.EXTRACT_CAB.Object_0.META_BASIC_INFO.MD5 | intermediary.file.md5 | Valore di Object.EXTRACT_EMBEDDED.Object_0.META_BASIC_INFO.MD5 se EXTRACT_EMBEDDED è presente, altrimenti Object.EXTRACT_ZIP.Object_0.META_BASIC_INFO.MD5 se EXTRACT_ZIP è presente, altrimenti Object.EXTRACT_SWF.META_BASIC_INFO.MD5 se EXTRACT_SWF è presente, altrimenti Object.EXTRACT_GZIP.META_BASIC_INFO.MD5 se EXTRACT_GZIP è presente, altrimenti Object.EXTRACT_CAB.Object_0.META_BASIC_INFO.MD5 |
| Object.EXTRACT_EMBEDDED.Object_0.Description | intermediary.file.mime_type | Valore copiato direttamente |
| Object.EXTRACT_EMBEDDED.Object_0.META_BASIC_INFO.SHA1, Object.EXTRACT_ZIP.Object_0.META_BASIC_INFO.SHA1, Object.EXTRACT_SWF.META_BASIC_INFO.SHA1, Object.EXTRACT_GZIP.META_BASIC_INFO.SHA1, Object.EXTRACT_CAB.Object_0.META_BASIC_INFO.SHA1 | intermediary.file.sha1 | Valore di Object.EXTRACT_EMBEDDED.Object_0.META_BASIC_INFO.SHA1 se EXTRACT_EMBEDDED è presente, altrimenti Object.EXTRACT_ZIP.Object_0.META_BASIC_INFO.SHA1 se EXTRACT_ZIP è presente, altrimenti Object.EXTRACT_SWF.META_BASIC_INFO.SHA1 se EXTRACT_SWF è presente, altrimenti Object.EXTRACT_GZIP.META_BASIC_INFO.SHA1 se EXTRACT_GZIP è presente, altrimenti Object.EXTRACT_CAB.Object_0.META_BASIC_INFO.SHA1 |
| Object.EXTRACT_EMBEDDED.Object_0.META_BASIC_INFO.SHA256, Object.EXTRACT_ZIP.Object_0.META_BASIC_INFO.SHA256, Object.EXTRACT_SWF.META_BASIC_INFO.SHA256, Object.EXTRACT_GZIP.META_BASIC_INFO.SHA256, Object.EXTRACT_CAB.Object_0.META_BASIC_INFO.SHA256 | intermediary.file.sha256 | Valore di Object.EXTRACT_EMBEDDED.Object_0.META_BASIC_INFO.SHA256 se EXTRACT_EMBEDDED è presente, altrimenti Object.EXTRACT_ZIP.Object_0.META_BASIC_INFO.SHA256 se EXTRACT_ZIP è presente, altrimenti Object.EXTRACT_SWF.META_BASIC_INFO.SHA256 se EXTRACT_SWF è presente, altrimenti Object.EXTRACT_GZIP.META_BASIC_INFO.SHA256 se EXTRACT_GZIP è presente, altrimenti Object.EXTRACT_CAB.Object_0.META_BASIC_INFO.SHA256 |
| Object.EXTRACT_EMBEDDED.Object_0.META_BASIC_INFO.Size, Object.EXTRACT_ZIP.Object_0.META_BASIC_INFO.Size, Object.EXTRACT_SWF.META_BASIC_INFO.Size, Object.EXTRACT_GZIP.META_BASIC_INFO.Size, Object.EXTRACT_CAB.Object_0.META_BASIC_INFO.Size | intermediary.file.size | Valore di Object.EXTRACT_EMBEDDED.Object_0.META_BASIC_INFO.Size se EXTRACT_EMBEDDED è presente, altrimenti Object.EXTRACT_ZIP.Object_0.META_BASIC_INFO.Size se EXTRACT_ZIP è presente, altrimenti Object.EXTRACT_SWF.META_BASIC_INFO.Size se EXTRACT_SWF è presente, altrimenti Object.EXTRACT_GZIP.META_BASIC_INFO.Size se EXTRACT_GZIP è presente, altrimenti Object.EXTRACT_CAB.Object_0.META_BASIC_INFO.Size; senza " .*" finale e convertito in uinteger |
| Object.EXTRACT_ZIP.Object_0.META_VT_CACHE.vt_data.scan_id | intermediary.resource.id | Valore copiato direttamente |
| Object.EXTRACT_ZIP.Object_0.META_VT_CACHE.vt_data.permalink | intermediary.url | Valore copiato direttamente |
| Object.META_EMERSON_INFO.results | intermediary.user.email_addresses | Unito da matched_email nell'array dei risultati |
| Summary.Observations | metadata.description | Concatenato dall'array con il separatore ", ", virgola iniziale rimossa |
| Ora della scansione | metadata.event_timestamp | Conversione eseguita utilizzando il filtro della data con il formato aaaa-MM-gg HH:mm:ss |
| Origine | metadata.event_type | Impostato su "SCAN_FILE" se l'origine non è vuota, altrimenti su "GENERIC_EVENT" |
| Object.META_VT_CACHE._id | metadata.product_log_id | Valore copiato direttamente |
| result.ad_data.message | network.http.response_code | Estratto come numero intero utilizzando il pattern grok INT da result.ad_data.message |
| Origine | principal.hostname | Valore copiato direttamente |
| Object.META_EMERSON_INFO.result_summary, Object.EXTRACT_ZIP.Object_0.META_VT_CACHE.vt_data.verbose_msg | security_result.summary | Impostato su Object.META_EMERSON_INFO.result_summary se presente, altrimenti su Object.EXTRACT_ZIP.Object_0.META_VT_CACHE.vt_data.verbose_msg |
| Nome file | target.file.full_path | Valore copiato direttamente |
| Object.META_BASIC_INFO.MD5 | target.file.md5 | Valore copiato direttamente |
| Summary.Yara | target.file.mime_type | Estratto dal primo indice di Summary.Yara, in maiuscolo e con "FT_" rimosso se Yara è presente, altrimenti impostato su "ZIP" se EXTRACT_ZIP è presente, "SWF" se EXTRACT_SWF è presente, "GZIP" se EXTRACT_GZIP è presente, "CAB" se EXTRACT_CAB è presente |
| Object.META_BASIC_INFO.SHA1, Object.META_VT_CACHE.SHA1 | target.file.sha1 | Valore di Object.META_BASIC_INFO.SHA1 se non vuoto, altrimenti Object.META_VT_CACHE.SHA1 |
| Object.META_BASIC_INFO.SHA256 | target.file.sha256 | Valore copiato direttamente |
| Object.META_BASIC_INFO.Size | target.file.size | Senza " .*" finale e convertito in uinteger |
| metadata.vendor_name | Impostato su "EMERSON" | |
| metadata.product_name | Imposta su "FILE SCANNING FRAMEWORK" |
Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.