Controllare lo stato dell'importazione dati

Supportato in:

Questa guida è rivolta agli ingegneri della sicurezza che vogliono monitorare lo stato importazione dati e risolvere i problemi all'interno di Google Security Operations. Spiega come utilizzare l'Health Hub, configurare gli avvisi di Cloud Monitoring per monitorare lo stato delle origini dati e dei parser e utilizzare il monitoraggio silenzioso dell'host (SHM) per rilevare potenziali interruzioni dell'agente di raccolta.

L'utilizzo di questi flussi di lavoro di monitoraggio ti aiuta a identificare, diagnosticare e risolvere i problemi della pipeline di dati, distinguendo tra problemi risolvibili dall'utente (azionabili) e problemi che richiedono assistenza (non azionabili). Una configurazione riuscita garantisce un flusso di dati affidabile, fondamentale per operazioni di sicurezza e analisi efficaci.

Casi d'uso comuni

Questa sezione copre i casi d'uso comuni per il monitoraggio dell'importazione.

Controllo di integrità proattivo

  • Obiettivo: esamina lo stato e l'integrità di tutte le origini dati configurate.
  • Valore: rileva potenziali problemi di importazione prima che influiscano sulla visibilità della sicurezza.

Risposta all'avviso

  • Obiettivo: esaminare e risolvere un problema relativo a un'origine dati o a un parser segnalato da un avviso automatico.
  • Valore: riduci al minimo la perdita o i ritardi dei dati, assicurandoti che siano disponibili per il rilevamento e la risposta tempestivi alle minacce.

Terminologia chiave

  • Hub di integrità:la dashboard centrale in Google SecOps per monitorare lo stato e l'integrità di tutte le origini dati e di tutti i parser configurati.
  • Cloud Monitoring: Google Cloud servizio utilizzato per creare criteri di avviso basati su metriche, incluse quelle dell'importazione di Google SecOps.
  • Monitoraggio host silenziosi:metodo di monitoraggio per identificare gli host nel tuo ambiente che non sono più attivi.
  • Problema risolvibile: un problema di importazione che in genere puoi risolvere autonomamente apportando modifiche alla configurazione (ad esempio, aggiornando le credenziali).
  • Problema non risolvibile: un problema di importazione che richiede l'assistenza dell'Assistenza Google per essere risolto (ad esempio, un errore interno del sistema).
  • Parser:un componente che normalizza i dati di log non elaborati nella struttura Unified Data Model (UDM).

Prima di iniziare

Assicurati di disporre dei ruoli e delle autorizzazioni di Identity and Access Management (IAM) necessari per accedere all'istanza Google SecOps, visualizzare l'hub di integrità e configurare gli avvisi in Cloud Monitoring.

Monitorare l'importazione dati

Questa sezione descrive vari metodi per monitorare l'importazione dati.

Monitorare tramite l'hub Salute

Utilizza l'hub della salute per monitorare a colpo d'occhio l'integrità complessiva dei dati e visualizzare lo stato di salute principale per ogni feed, origine dati e tipo di log. In questo modo puoi identificare origini e parser irregolari e non riusciti senza configurare avvisi esterni personalizzati.

  1. Nel menu di navigazione laterale di Google SecOps, fai clic su Health Hub.
  2. Esamina i widget Numeri grandi per Origini non riuscite e Parser non riusciti per identificare i componenti che richiedono attenzione immediata.
  3. Esamina la tabella Stato di integrità per origine dati. Controlla la colonna Dettagli ultimo problema per le descrizioni degli errori, ad esempio Config credential issue o Normalization issue.
  4. Fai clic sui link Modifica origine dati o Modifica parser forniti nella tabella per andare direttamente alle rispettive pagine di configurazione per la correzione.
  5. Controlla i timestamp, ad esempio Ora ultimo evento e Ultima importazione, per verificare che i dati siano stati importati come previsto.
  6. Dopo aver applicato una correzione, monitora l'hub di integrità per l'origine dati o il parser specifici per assicurarti che la correzione sia stata eseguita correttamente.

Configurare gli avvisi di importazione automatica

Configura il monitoraggio per attivare avvisi quando i valori di importazione raggiungono determinati livelli predefiniti. In questo modo puoi integrare le notifiche via email nei workflow esistenti per risolvere in modo proattivo i feed non funzionanti o rilevare le origini log silenziose.

  1. In Health Hub, fai clic sul link Configura avvisi, che ti indirizza all'interfaccia di Monitoring.
  2. Crea una criterio di avviso:
    • Seleziona metriche: Scegli le metriche in Chronicle Collector > Inserimento, ad esempio Conteggio totale log inseriti o Dimensioni totali log inseriti.
    • Aggiungi filtri per collector_id o log_type per restringere l'ambito dell'avviso a origini specifiche.
  3. Per rilevare gli inoltratori silenziosi, seleziona Assenza metrica come tipo di condizione. Configuralo in modo che attivi un avviso se il flusso di log si interrompe per una durata specificata (ad esempio, 60 minuti).

Risoluzione dei problemi

Questa sezione descrive vari metodi per risolvere i problemi di importazione dati.

Problemi comuni

  • Latenza della pipeline:un ritardo significativo tra il timestamp dell'ultimo evento e quello dell'ultimo inserimento indica una potenziale latenza. L'hub per la salute espone il percentile 95th di questa variazione. Valori elevati suggeriscono una latenza della pipeline, mentre valori normali potrebbero indicare che l'origine sta inviando dati storici.
  • Picchi o cali di importazione:il sistema utilizza la standardizzazione dello z-score per segnalare le anomalie. Un calo viene segnalato se le differenze standardizzate giornaliere e settimanali sono inferiori a -1.645.
  • Errori di analisi:viene attivato un avviso se la proporzione di errori di analisi rispetto al totale degli eventi importati aumenta di 5 punti percentuali o più rispetto al giorno precedente. Esamina la configurazione del parser utilizzando il link nell'Hub Salute.

Per scoprire di più sui modi per identificare i problemi di importazione e analisi dei dati, consulta Identificare e analizzare i problemi di importazione e analisi dei dati.

Latenza, quota di servizio e limiti

  • Aggiornamento dei dati:le informazioni nella dashboard Hub salute e Importazione dei dati vengono aggiornate ogni 15 minuti circa.

Correzione degli errori

Per un elenco completo di messaggi di errore e soluzioni, consulta Risolvere i problemi di importazione.

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.