Monitorare i dati di importazione

Supportato in:

Questa guida è rivolta agli ingegneri della sicurezza che vogliono monitorare lo stato dell'importazione dati e risolvere i problemi all'interno di Google Security Operations. Spiega come utilizzare la dashboard dell'hub sanitario, configurare gli avvisi di Cloud Monitoring per monitorare lo stato delle origini dati e dei parser e utilizzare il monitoraggio host silenzioso (SHM) per rilevare potenziali interruzioni del collector.

L'utilizzo di questi flussi di lavoro di monitoraggio ti aiuta a identificare, diagnosticare e risolvere i problemi della pipeline di dati, distinguendo tra problemi risolvibili dall'utente (azionabili) e problemi che richiedono assistenza (non azionabili). Una configurazione riuscita garantisce un flusso di dati affidabile, fondamentale per operazioni di sicurezza e analisi efficaci.

Casi d'uso comuni

Questa sezione copre i casi d'uso comuni per il monitoraggio dell'importazione.

Controllo di integrità proattivo

  • Obiettivo: esamina lo stato e l'integrità di tutte le origini dati configurate.
  • Valore: rileva potenziali problemi di importazione prima che influiscano sulla visibilità della sicurezza.

Risposta all'avviso

  • Obiettivo: esaminare e risolvere un problema relativo a un'origine dati o a un parser segnalato da un avviso automatico.
  • Valore: riduci al minimo la perdita o i ritardi dei dati, assicurandoti che siano disponibili per il rilevamento e la risposta tempestivi alle minacce.

Terminologia chiave

  • Hub di integrità:la dashboard centrale in Google SecOps per monitorare lo stato e l'integrità di tutte le origini dati e di tutti i parser configurati.
  • Cloud Monitoring: Google Cloud servizio utilizzato per creare criteri di avviso basati su metriche, incluse quelle dell'importazione di Google SecOps.
  • Monitoraggio host silenziosi:metodo di monitoraggio per identificare gli host nel tuo ambiente che non rispondono più.
  • Problema risolvibile: un problema di importazione che in genere puoi risolvere autonomamente apportando modifiche alla configurazione (ad esempio, aggiornando le credenziali).
  • Problema non risolvibile: un problema di importazione che richiede l'assistenza dell'Assistenza Google per essere risolto (ad esempio, un errore interno del sistema).
  • Parser:un componente che normalizza i dati di log non elaborati nella struttura Unified Data Model (UDM).

Prima di iniziare

Assicurati di disporre dei ruoli e delle autorizzazioni di Identity and Access Management (IAM) necessari per accedere all'istanza Google SecOps, visualizzare la dashboard dell'hub di integrità e configurare gli avvisi in Cloud Monitoring.

Monitorare l'importazione dati

Questa sezione descrive vari metodi per monitorare importazione dati.

Monitorare utilizzando la dashboard di Health Hub

Utilizza la dashboard dell'hub per la salute per monitorare a colpo d'occhio l'integrità complessiva dei dati e visualizzare lo stato di salute principale per ogni feed, origine dati e tipo di log. In questo modo, puoi identificare origini e parser irregolari e non riusciti senza configurare avvisi esterni personalizzati.

  1. Nel menu di navigazione laterale di Google SecOps, fai clic su Health Hub.
  2. Esamina i widget Big Number per Origini non riuscite e Parser non riusciti per identificare i componenti che richiedono attenzione immediata.
  3. Esamina la tabella Stato di integrità per origine dati. Controlla la colonna Dettagli ultimo problema per le descrizioni degli errori, ad esempio Config credential issue o Normalization issue.
  4. Fai clic sui link Modifica origine dati o Modifica parser forniti nella tabella per accedere direttamente alle rispettive pagine di configurazione per la correzione.
  5. Controlla i timestamp, ad esempio Ora ultimo evento e Ultima importazione, per verificare che i dati siano stati importati come previsto.
  6. Dopo aver applicato una correzione, monitora la dashboard di Health Hub per l'origine dati o il parser specifico per assicurarti che la correzione sia stata eseguita correttamente.

Configurare gli avvisi di importazione automatica

Configura il monitoraggio per attivare avvisi quando i valori di importazione raggiungono determinati livelli predefiniti. In questo modo puoi integrare le notifiche via email nei workflow esistenti per risolvere in modo proattivo i feed danneggiati o rilevare le origini log silenziose.

  1. Nella dashboard di Health Hub, fai clic sul link Configura avvisi, che ti indirizza all'interfaccia di Monitoring.
  2. Crea un criterio di avviso:
    • Seleziona le metriche: Scegli le metriche in Chronicle Collector > Inserimento, ad esempio Conteggio totale log inseriti o Dimensioni totali log inseriti.
    • Aggiungi filtri per collector_id o log_type per restringere l'ambito dell'avviso a origini specifiche.
  3. Per rilevare gli inoltratori silenziosi, seleziona Assenza metrica come tipo di condizione. Configuralo in modo che attivi un avviso se il flusso di log si interrompe per un periodo di tempo specificato (ad esempio, 60 minuti).

Risoluzione dei problemi

Questa sezione descrive in dettaglio vari metodi per risolvere i problemi di importazione dati.

Problemi comuni

  • Latenza della pipeline:un ritardo significativo tra il timestamp Ora ultimo evento e Ultima importazione indica una potenziale latenza. Health Hub espone il percentile 95th di questa differenza. Valori elevati suggeriscono una latenza della pipeline, mentre valori normali potrebbero significare che l'origine sta inviando dati storici.
  • Picchi o cali di importazione: il sistema utilizza la standardizzazione dello z-score per segnalare le anomalie. Un calo viene segnalato se le differenze standardizzate giornaliere e settimanali sono inferiori a -1.645.
  • Errori di analisi:viene attivato un avviso se la proporzione di errori di analisi rispetto al totale degli eventi importati aumenta di 5 punti percentuali o più rispetto al giorno precedente. Esamina la configurazione del parser utilizzando il link in Health Hub.

Latenza, quota di servizio e limiti

  • Aggiornamento dei dati:le informazioni nelle dashboard Hub salute e Inserimento dati vengono aggiornate ogni 15 minuti circa.

Correzione degli errori

Per un elenco completo dei messaggi di errore e delle soluzioni, consulta la sezione Risoluzione dei problemi di importazione.

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.