Controllare l'integrità dell'importazione dati
Questa guida è rivolta agli ingegneri della sicurezza che vogliono monitorare l'importazione dati e risolvere i problemi in Google Security Operations. Spiega come utilizzare l'hub di integrità, configurare gli avvisi di Cloud Monitoring per monitorare lo stato delle origini dati e dei parser e utilizzare il monitoraggio host silenzioso (SHM) per rilevare potenziali interruzioni del collector.
L'utilizzo di questi workflow di monitoraggio ti aiuta a identificare, diagnosticare e risolvere i problemi della pipeline di dati, distinguendo tra problemi risolvibili dall'utente (azionabili) e problemi che richiedono l'assistenza del supporto (non azionabili). Una configurazione corretta garantisce un flusso di dati affidabile, fondamentale per operazioni e analisi di sicurezza efficaci.
Casi d'uso comuni
Questa sezione illustra i casi d'uso comuni per il monitoraggio dell'importazione.
Controllo di integrità proattivo
- Obiettivo: esaminare lo stato e l'integrità di tutte le origini dati configurate.
- Valore: rilevare potenziali problemi di importazione prima che influiscano sulla visibilità della sicurezza.
Risposta agli avvisi
- Obiettivo: esaminare e risolvere un problema relativo a un'origine dati o a un parser segnalato da un avviso automatico.
- Valore: ridurre al minimo la perdita o i ritardi dei dati, assicurandosi che siano disponibili per il rilevamento e la risposta alle minacce tempestivi.
Terminologia chiave
- Hub di integrità:la dashboard centrale di Google SecOps per monitorare lo stato e l'integrità di tutte le origini dati e i parser configurati.
- Cloud Monitoring:servizio utilizzato per creare policy di avviso basate su metriche, incluse quelle dell'importazione di Google SecOps ingestion. Google Cloud
- Monitoraggio host silenzioso:metodo di monitoraggio per identificare gli host nel tuo ambiente che non sono più attivi.
- Problema azionabile:un problema di importazione che in genere puoi risolvere autonomamente modificando la configurazione (ad esempio, aggiornando le credenziali).
- Problema non azionabile:un problema di importazione che richiede l'assistenza del supporto Google per essere risolto (ad esempio, un errore di sistema interno).
- Parser:un componente che normalizza i dati dei log non elaborati nella struttura Unified Data Model (UDM).
Prima di iniziare
Assicurati di disporre dei ruoli e delle autorizzazioni di Identity and Access Management (IAM) necessari per accedere all'istanza di Google SecOps, visualizzare l'hub di integritàe configurare gli avvisi in Cloud Monitoring.
Monitorare importazione dati
Questa sezione descrive in dettaglio vari metodi per monitorare l'importazione dati.
Monitorare utilizzando l'hub di integrità
Utilizza l'hub di integrità per monitorare l'integrità generale dei dati a colpo d'occhio e visualizzare lo stato di integrità principale per ogni feed, origine dati e tipo di log. In questo modo puoi identificare origini e parser irregolari e non riusciti senza configurare avvisi esterni personalizzati.
- Nel menu di navigazione laterale di Google SecOps, fai clic su Hub di integrità.
- Esamina i widget dei numeri grandi per Origini non riuscite e Parser non riusciti per identificare i componenti che richiedono attenzione immediata.
- Esamina la tabella Stato di integrità per origine dati. Controlla la colonna Dettagli dell'ultimo problema per le descrizioni degli errori, ad esempio
Config credential issueoNormalization issue. - Fai clic sui link Modifica origine dati o Modifica parser forniti nella tabella per passare direttamente alle rispettive pagine di configurazione per la correzione.
- Controlla i timestamp, ad esempio Ora dell'ultimo evento e Ultima importazione, per verificare che i dati siano stati importati come previsto.
- Dopo aver applicato una correzione, monitora l'hub di integrità per l'origine dati o il parser specifico per assicurarti che la correzione sia andata a buon fine.
Configurare gli avvisi di importazione automatica
Configura Monitoring in modo che attivi gli avvisi quando i valori di importazione raggiungono determinati livelli predefiniti. In questo modo puoi integrare le notifiche via email nei workflow esistenti per correggere in modo proattivo i feed non funzionanti o rilevare le origini log silenziose.
- Nell'hub di integrità, fai clic sul link Configura avvisi, che ti indirizza all'interfaccia di Monitoring.
- Crea una criterio di avviso:
- Seleziona le metriche: scegli le metriche in Collector Chronicle > Importazione, ad esempio Conteggio totale dei log importati o Dimensione totale dei log importati.
- Aggiungi filtri per
collector_idolog_typeper limitare l'ambito dell'avviso a origini specifiche.
- Per rilevare i forwarder silenziosi, seleziona Assenza metrica come tipo di condizione. Configuralo in modo che attivi un avviso se i log smettono di fluire per una durata specificata (ad esempio, 60 minuti).
Risoluzione dei problemi
Questa sezione descrive in dettaglio vari metodi per risolvere i problemi di importazione dati.
Problemi comuni
- Latenza della pipeline:un ritardo significativo tra il timestamp Ora dell'ultimo evento e Ultima importazione indica una potenziale latenza. L'hub di integrità espone il
95thpercentile di questo delta. Valori elevati suggeriscono la latenza della pipeline, mentre valori normali potrebbero indicare che l'origine sta inviando dati storici. - Aumenti o diminuzioni dell'importazione:il sistema utilizza la standardizzazione z-score per segnalare le anomalie. Una diminuzione viene segnalata se le differenze standardizzate giornaliere e settimanali sono inferiori a
-1.645. - Errori di analisi:viene attivato un avviso se la proporzione di errori del parser rispetto al totale degli eventi importati aumenta di 5 punti percentuali o più rispetto al giorno precedente. Esamina la configurazione del parser utilizzando il link nell'hub di integrità.
Per saperne di più su come identificare i problemi di importazione e analisi dei dati, consulta Identificare ed esaminare i problemi di importazione e analisi dei dati.
Latenza, quota di servizio e limiti
- Aggiornamento dei dati:le informazioni nella dashboard Hub di integrità e Importazione dati vengono aggiornate all'incirca ogni 15 minuti.
Correzione degli errori
Per un elenco completo dei messaggi di errore e delle soluzioni, consulta Risolvere i problemi di importazione.
Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.