Utilizzare la dashboard di monitoraggio dell'integrità dei dati"

Supportato in:

Questo documento descrive la dashboard Monitoraggio dell'integrità dei dati, la posizione centrale in Google Security Operations per monitorare lo stato e l'integrità di tutte le origini dati configurate. La dashboard fornisce informazioni essenziali su origini e tipi di log anomali, offrendo il contesto necessario per diagnosticare e risolvere i problemi della pipeline di dati.

La dashboard Monitoraggio dell'integrità dei dati include informazioni su quanto segue:

  • Volumi di importazione e integrità dell'importazione.
  • Analisi dei volumi dai log non elaborati agli eventi Unified Data Model (UDM).
  • Contesto e link a interfacce con informazioni e funzionalità aggiuntive pertinenti.

  • Origini e tipi di log irregolari e non riusciti. La dashboard Monitoraggio dell'integrità dei dati rileva le irregolarità in base al cliente. Utilizza metodi statistici con un periodo di analisi retrospettiva di 30 giorni per analizzare i dati di importazione. Gli elementi contrassegnati come irregolari identificano picchi o cali nei dati acquisiti ed elaborati da Google SecOps.

Vantaggi principali

Puoi utilizzare la dashboard Monitoraggio dell'integrità dei dati per:

  • Monitora l'integrità complessiva dei dati a colpo d'occhio. Visualizza lo stato di salute principale e le metriche associate per ogni feed, origine dati, tipo di log e origine (ovvero l'ID feed).

  • Monitora le metriche aggregate sull'integrità dei dati per:

    • Importazione e analisi nel tempo con eventi evidenziati (non necessariamente irregolarità) che rimandano a dashboard filtrate.
    • Irregolarità, attuali e nel tempo.

  • Accedi alle dashboard correlate, filtrate in base a intervalli di tempo, tipo di log o feed.

  • Accedi alla configurazione del feed per modificare e risolvere un problema.

  • Accedi alla configurazione del parser per modificare e correggere o risolvere un problema.

  • Fai clic sul link Configura avvisi per aprire l'interfaccia di Cloud Monitoring e da lì configura avvisi personalizzati basati su API utilizzando le metriche Stato e volume dei log.

Domande chiave

Questa sezione si riferisce ai componenti e ai parametri della dashboard Monitoraggio dell'integrità dei dati, descritti nella sezione Interfaccia.

Puoi utilizzare la dashboard Monitoraggio dell'integrità dei dati per rispondere alle seguenti domande chiave tipiche sulla pipeline di dati:

  • I miei log raggiungono Google SecOps?

    Puoi verificare se i log raggiungono Google SecOps utilizzando le metriche Ultima importazione e Ultima normalizzazione. Queste metriche confermano l'ultima volta che i dati sono stati inviati correttamente. Inoltre, le metriche del volume di importazione (per origine e per tipo di log) mostrano la quantità di dati importati.

  • I miei log vengono analizzati correttamente?

    Per verificare l'analisi corretta, visualizza la metrica Ultima normalizzazione. Questa metrica indica quando si è verificata l'ultima trasformazione riuscita dal log non elaborato in un evento UDM.

  • Perché l'importazione o l'analisi non vengono eseguite?

    Il testo nella colonna Dettagli problema identifica problemi specifici, il che ti aiuta a capire se l'azione è fruibile (la risolvi tu) o non fruibile (richiede assistenza). Il testo Forbidden 403: Permission denied è un esempio di errore su cui è possibile intervenire, in cui l'account di autenticazione fornito nella configurazione del feed non dispone delle autorizzazioni richieste. Il testo Internal_error è un esempio di errore non azionabile, in cui l'azione consigliata è aprire una richiesta di assistenza con Google SecOps.

  • Sono state rilevate variazioni significative nel numero di log inseriti e analizzati?

    Il campo Stato mostra l'integrità dei dati (da Integrità a Errore) in base al volume di dati. Puoi anche identificare picchi o cali improvvisi o prolungati visualizzando il grafico Log totali importati e analizzati.

  • Come faccio a ricevere un avviso se le mie fonti non funzionano?

    La dashboard Monitoraggio dell'integrità dei dati inserisce le metriche Stato e volume dei log in Cloud Monitoring. In una delle tabelle della dashboard Monitoraggio dell'integrità dei dati, fai clic sul link Avvisi pertinente per aprire l'interfaccia Cloud Monitoring. Qui puoi configurare avvisi personalizzati basati su API utilizzando le metriche Stato e volume dei log.

  • Come faccio a dedurre un ritardo in un'importazione di tipo log?

    Un ritardo viene indicato quando l'ora dell'ultimo evento è molto precedente al timestamp Ultimo inserimento. La dashboard Monitoraggio dell'integrità dei dati mostra il 95°th percentile del delta Ultima importazione - Ora ultimo evento per tipo di log. Un valore elevato suggerisce un problema di latenza all'interno della pipeline Google SecOps, mentre un valore normale potrebbe indicare che l'origine sta inviando dati obsoleti.

  • Le modifiche recenti alla mia configurazione hanno causato errori del feed?

    Se il timestamp Config Last Updated è vicino al timestamp Last Ingested, è possibile che la causa dell'errore sia un recente aggiornamento della configurazione. Questa correlazione è utile per l'analisi delle cause principali.

  • Come è cambiata nel tempo l'integrità dell'importazione e dell'analisi?

    Il grafico Log totali inseriti e analizzati mostra l'andamento storico dell'integrità dei dati, consentendoti di osservare tendenze e irregolarità a lungo termine.

Interfaccia

La dashboard Monitoraggio dell'integrità dei dati mostra i seguenti widget:

  • Widget Numero grande:

    • Integro: il numero di origini dati e parser che funzionano senza irregolarità.
    • Non riuscita: il numero di origini dati che richiedono attenzione immediata.
    • Irregolari: il numero di origini dati e parser irregolari.

  • Log totali inseriti e analizzati: un grafico a linee che mostra le curve dei log analizzati e inseriti al giorno nel tempo.

  • Tabella Stato di salute per origine dati: include le seguenti colonne:

    • Stato: lo stato cumulativo del feed (In buono stato, Non riuscito o Irregolare), derivato dal volume di dati, dagli errori di configurazione e dagli errori API.
    • Tipo di origine: il tipo di origine (meccanismo di importazione), ad esempio API Ingestion, Feed, Importazione nativa di Workspace o Feed Azure Event Hub.
    • Nome: il nome del feed.
    • Log Type: il tipo di log, ad esempio CS_EDR, UDM, GCP_CLOUDAUDIT o WINEVTLOG.
    • Dettagli problema: se si verifica un problema, la colonna mostra i dettagli, ad esempio Analisi dei log non riuscita, Problema con le credenziali di configurazione o Problema di normalizzazione. Il problema indicato può essere risolvibile (ad esempio, Incorrect Auth) o non risolvibile (ad esempio, Internal_error). Se il problema non è risolvibile, l'azione consigliata è aprire una richiesta di assistenza con Google SecOps. Quando lo Stato è In buono stato, il valore è vuoto.
    • Durata problema: il numero di giorni in cui l'origine dati si trova in uno stato irregolare o non riuscito. Quando lo Stato è In buono stato, il valore è vuoto.
    • Ultima raccolta: il timestamp dell'ultima raccolta di dati.
    • Ultima importazione: il timestamp dell'ultima importazione riuscita. Utilizza questa metrica per identificare se i log raggiungono Google SecOps.
    • Ultimo aggiornamento configurazione: il timestamp dell'ultima modifica alla metrica. Utilizza questo valore per correlare gli aggiornamenti della configurazione con le irregolarità osservate, in modo da determinare la causa principale dei problemi di importazione o analisi.
    • Visualizza dettagli importazione: un link che apre una nuova scheda con un'altra dashboard, che contiene informazioni storiche aggiuntive per un'analisi più approfondita.
    • Modifica origine dati: un link che apre una nuova scheda con la configurazione del feed corrispondente, in cui puoi correggere le irregolarità relative alla configurazione.
    • Configura avvisi: un link che apre una nuova scheda con l'interfaccia Cloud Monitoring corrispondente.

  • Tabella Stato di integrità per parser: include le seguenti colonne:

    • Stato: lo stato cumulativo del tipo di log (Integrità, Errore o Irregolare), derivato dal rapporto di normalizzazione.
    • Nome: il tipo di log, ad esempio DNS, USER, GENERIC, AZURE_AD, BIND_DNS, GCP SECURITYCENTER THREAT o WEBPROXY.
    • Dettagli problema: se si verifica un problema, la colonna mostra i dettagli relativi al problema o ai problemi di analisi, ad esempio Analisi dei log non riuscita, Problema con le credenziali di configurazione o Problema di normalizzazione. Il problema indicato può essere risolvibile (ad esempio, Incorrect Auth) o non risolvibile (ad esempio, Internal_error). Se il problema non è risolvibile, l'azione consigliata è aprire una richiesta di assistenza con Google SecOps. Quando lo Stato è In buono stato, il valore è vuoto.
    • Durata problema: il numero di giorni in cui l'origine dati si trova in uno stato irregolare o non riuscito. Quando lo Stato è In buono stato, il valore è vuoto.
    • Ultima importazione: il timestamp dell'ultima importazione riuscita. Puoi utilizzare questa metrica per determinare se i log raggiungono Google SecOps.

    • Ora ultimo evento: il timestamp dell'ultimo log normalizzato.

    • Ultima normalizzazione: il timestamp dell'ultima azione di analisi e normalizzazione per il tipo di log. Puoi utilizzare questa metrica per determinare se i log non elaborati vengono trasformati correttamente in eventi UDM.

    • Ultimo aggiornamento della configurazione: il timestamp dell'ultima modifica alla metrica. Utilizza questo valore per correlare gli aggiornamenti della configurazione con le irregolarità osservate, in modo da determinare la causa principale dei problemi di importazione o analisi.

    • Visualizza dettagli analisi: un link che apre una nuova scheda con un'altra dashboard, che contiene informazioni storiche aggiuntive per un'analisi più approfondita.

    • Modifica parser: un link che apre una nuova scheda con la configurazione del parser corrispondente, in cui puoi correggere le irregolarità relative alla configurazione.

    • Configura avviso: un link che apre una nuova scheda con l'interfaccia Cloud Monitoring corrispondente.

Motore di rilevamento delle irregolarità

La dashboard Monitoraggio dell'integrità dei dati utilizza il motore di rilevamento delle irregolarità di Google SecOps per identificare automaticamente modifiche significative nei dati, consentendoti di rilevare e risolvere rapidamente potenziali problemi.

Rilevamento di irregolarità nell'importazione dei dati

Google SecOps analizza le variazioni giornaliere del volume, tenendo conto dei normali pattern settimanali.

Il motore di rilevamento delle irregolarità utilizza i seguenti calcoli per rilevare aumenti o cali insoliti nell'importazione dati:

  • Confronti giornalieri e settimanali: Google SecOps calcola la differenza nel volume di importazione tra il giorno corrente e quello precedente, nonché la differenza tra il giorno corrente e il volume medio della settimana precedente.

  • Standardizzazione: per comprendere il significato di queste modifiche, Google SecOps le standardizza utilizzando la seguente formula del punteggio z:

    z = (xi − x_bar) / stdev

    dove

    • z è il punteggio standardizzato (o z-score) per una differenza individuale
    • xi è un valore di differenza individuale
    • x_bar è la media delle differenze
    • stdev è la deviazione standard delle differenze

  • Segnalazione di irregolarità: Google SecOps segnala un'irregolarità se le variazioni standardizzate giornaliere e settimanali sono statisticamente significative. Nello specifico, Google SecOps cerca:

    • Diminuzioni: sia le differenze standardizzate giornaliere che settimanali sono inferiori a -1,645.
    • Impennate: sia le differenze standardizzate giornaliere che settimanali sono maggiori di 1,645.

Rapporto di normalizzazione

Quando calcola il rapporto tra eventi importati ed eventi normalizzati, il motore di rilevamento delle irregolarità utilizza un approccio combinato per garantire che vengano segnalate solo le riduzioni significative dei tassi di normalizzazione. Il motore di rilevamento delle irregolarità genera un avviso solo quando vengono soddisfatte le seguenti due condizioni:

  • Si è verificato un calo statisticamente significativo del rapporto di normalizzazione rispetto al giorno precedente.
  • Il calo è significativo anche in termini assoluti, con una magnitudo pari o superiore a 0,05.

Rilevamento di irregolarità degli errori di analisi

Per gli errori che si verificano durante l'analisi dei dati, il motore di rilevamento delle irregolarità utilizza un metodo basato sul rapporto. Il motore di rilevamento delle irregolarità attiva un avviso se la percentuale di errori del parser rispetto al numero totale di eventi importati aumenta di 5 punti percentuali o più rispetto al giorno precedente.

Passaggi successivi

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.