Utilizzare la dashboard di monitoraggio dell'integrità dei dati

Supportato in:

Questo documento descrive la dashboard Monitoraggio dell'integrità dei dati, la posizione centrale in Google Security Operations per monitorare lo stato e l'integrità di tutte le origini dati configurate. La dashboard fornisce informazioni critiche su origini e tipi di log non riusciti, offrendo il contesto necessario per diagnosticare e risolvere i problemi della pipeline di dati.

La dashboard Monitoraggio dell'integrità dei dati include informazioni su quanto segue:

  • Volumi di importazione e integrità dell'importazione.
  • Analisi dei volumi dai log non elaborati agli eventi Unified Data Model (UDM).
  • Contesto e link a interfacce con informazioni e funzionalità aggiuntive pertinenti.
  • Origini e tipi di log non riusciti. La dashboard Monitoraggio dell'integrità dei dati rileva gli errori in base al cliente.

Vantaggi principali

Puoi utilizzare la dashboard Monitoraggio dell'integrità dei dati per:

  • Monitora l'integrità complessiva dei dati a colpo d'occhio. Visualizza lo stato di salute principale e le metriche associate per ogni feed, origine dati, tipo di log e origine (ovvero l'ID feed).
  • Monitora le metriche aggregate sull'integrità dei dati per l'importazione e l'analisi nel tempo con eventi evidenziati che rimandano a dashboard filtrate.
  • Accedi alle dashboard correlate, filtrate per periodo di tempo, tipo di log o feed.
  • Accedi alla configurazione del feed per modificare e risolvere un problema.
  • Accedi alla configurazione del parser per modificare e correggere o risolvere un problema.
  • Fai clic sul link Configura avvisi per aprire l'interfaccia di Cloud Monitoring e da lì configura avvisi personalizzati basati su API utilizzando le metriche Stato e volume dei log.

Domande chiave

Questa sezione si riferisce ai componenti e ai parametri della dashboard Monitoraggio dell'integrità dei dati, descritti nella sezione Interfaccia.

Puoi utilizzare la dashboard Monitoraggio dell'integrità dei dati per rispondere alle seguenti domande chiave tipiche sulla pipeline di dati:

  • I miei log raggiungono Google SecOps?

    Puoi verificare se i log raggiungono Google SecOps utilizzando le metriche Ultima importazione e Ultima normalizzazione. Queste metriche confermano l'ultima volta che i dati sono stati inviati correttamente. Inoltre, le metriche del volume di importazione (per origine e per tipo di log) mostrano la quantità di dati importati.

  • I miei log vengono analizzati correttamente?

    Per verificare l'analisi corretta, visualizza la metrica Ultima normalizzazione. Questa metrica indica quando si è verificata l'ultima trasformazione riuscita dal log non elaborato in un evento UDM.

  • Perché l'importazione o l'analisi non vengono eseguite?

    Il testo nella colonna Dettagli ultimo problema identifica problemi specifici, il che ti aiuta a capire se l'azione è fruibile (la risolvi tu) o non fruibile (richiede assistenza). Il testo Forbidden 403: Permission denied è un esempio di errore su cui è possibile intervenire, in cui l'account di autenticazione fornito nella configurazione del feed non dispone delle autorizzazioni richieste. Il testo Internal_error è un esempio di errore non azionabile, in cui l'azione consigliata è aprire una richiesta di assistenza con Google SecOps.

  • Sono state rilevate variazioni significative nel numero di log inseriti e analizzati?

    Il campo Stato mostra l'integrità dei dati (Integrità o Errore) in base al volume di dati. Puoi anche identificare aumenti o cali improvvisi o prolungati visualizzando il grafico Log totali importati.

  • Come faccio a ricevere un avviso se le mie fonti non funzionano?

    La dashboard Monitoraggio dell'integrità dei dati inserisce le metriche Stato e volume dei log in Cloud Monitoring. In una delle tabelle della dashboard Monitoraggio dell'integrità dei dati, fai clic sul link Avvisi pertinente per aprire l'interfaccia Cloud Monitoring. Qui puoi configurare avvisi personalizzati basati su API utilizzando le metriche Stato e volume dei log.

  • Come faccio a dedurre un ritardo in un'importazione di tipo log?

    Un ritardo viene indicato quando l'ora dell'ultimo evento è molto precedente al timestamp Ultimo inserimento. La dashboard Monitoraggio dell'integrità dei dati mostra il 95°th percentile del delta Ultima importazione - Ora ultimo evento per tipo di log. Un valore elevato suggerisce un problema di latenza all'interno della pipeline Google SecOps, mentre un valore normale potrebbe indicare che l'origine sta inviando dati obsoleti.

  • Le modifiche recenti alla mia configurazione hanno causato errori del feed?

    Se il timestamp Config Last Updated è vicino al timestamp Last Ingested, è possibile che la causa dell'errore sia un recente aggiornamento della configurazione. Questa correlazione è utile per l'analisi delle cause principali.

  • Come è cambiata nel tempo l'integrità dell'importazione e dell'analisi?

    I grafici Panoramica dell'integrità dell'origine dati, Panoramica dell'analisi e Log totali inseriti mostrano l'andamento storico dell'integrità dei dati, consentendoti di osservare i pattern a lungo termine.

Interfaccia

Per aprire la dashboard Monitoraggio dell'integrità dei dati, fai clic su Hub per l'integrità dei dati.

La dashboard Monitoraggio dell'integrità dei dati è una dashboard predefinita di sola lettura e non può essere modificata direttamente. Per personalizzare, crea una copia della dashboard e poi modificala per il tuo caso d'uso specifico.

La dashboard Monitoraggio dell'integrità dei dati mostra i seguenti widget:

  • Widget Numero grande:

    • Origini integre: il numero di origini dati che funzionano senza errori.
    • Origini non riuscite: il numero di origini dati che richiedono attenzione immediata.
    • Analizzatori integri: il numero di analizzatori che funzionano senza errori.
    • Parser non riusciti: il numero di parser che richiedono attenzione immediata.

  • Panoramica dello stato dell'origine dati: un grafico a linee che mostra le curve delle origini dati integre e critiche nel tempo.

  • Analisi della panoramica sullo stato: un grafico a linee che mostra le curve dei parser Sano e Critico al giorno nel tempo.

  • Log totali inseriti: un grafico a linee che mostra la curva dei log inseriti al giorno nel tempo.

  • Parser non riuscito per tipo di log: un grafico a linee che mostra una curva per ogni parser con uno stato di integrità critico, al giorno nel tempo. In questo contesto, lo stato di salute critico è dovuto a una percentuale di analisi riuscita molto bassa.

  • Tabella Stato di salute per origine dati: include le seguenti colonne:

    • Stato: lo stato cumulativo del feed (Integrità o Non riuscito), derivato dal volume di dati, dagli errori di configurazione e dagli errori API.
    • Tipo di origine: il tipo di origine (meccanismo di importazione), ad esempio API Ingestion, Feed, Importazione nativa di Workspace o Feed Azure Event Hub.
    • Nome: il nome del feed.
    • Log Type: il tipo di log, ad esempio CS_EDR, UDM, GCP_CLOUDAUDIT o WINEVTLOG.
    • Dettagli dell'ultimo problema: i dettagli dell'ultimo problema nel periodo di tempo specificato, ad esempio Errori di analisi dei log, Problema con le credenziali di configurazione o Problema di normalizzazione. Il problema indicato può essere risolvibile (ad esempio, Incorrect Auth) o non risolvibile (ad esempio, Internal_error). Se il problema non è risolvibile, l'azione consigliata è aprire una richiesta di assistenza con Google SecOps. Se non si è verificato alcun problema nel periodo di tempo specificato, il valore è vuoto o viene visualizzato OK.
    • Durata problema: il numero di giorni in cui l'origine dati si trova in uno stato di errore. Quando lo Stato è In buono stato, il valore è vuoto o viene visualizzato N/A.
    • Ultima raccolta: il timestamp dell'ultima raccolta di dati.
    • Ultima importazione: il timestamp dell'ultima importazione riuscita. Utilizza questa metrica per identificare se i log raggiungono Google SecOps.
    • Ultimo aggiornamento della configurazione: il timestamp dell'ultima modifica alla metrica. Utilizza questo valore per correlare gli aggiornamenti della configurazione con gli errori osservati, in modo da determinare la causa principale dei problemi di importazione o analisi.
    • Visualizza dettagli importazione: un link che apre una nuova scheda con un'altra dashboard, che contiene informazioni storiche aggiuntive per un'analisi più approfondita.
    • Modifica origine dati: un link che apre una nuova scheda con la configurazione del feed corrispondente, in cui puoi correggere gli errori correlati alla configurazione.
    • Configura avvisi: un link che apre una nuova scheda con l'interfaccia Cloud Monitoring corrispondente.

  • Tabella Stato di integrità per parser: include le seguenti colonne:

    • Stato: lo stato cumulativo del tipo di log (In buono stato o Non riuscito).
    • Tasso di analisi degli errori: la percentuale di log del tipo corrispondente che non sono stati analizzati.
    • Log Type: il tipo di log, ad esempio DNS, USER, GENERIC, AZURE_AD, BIND_DNS, GCP SECURITYCENTER THREAT o WEBPROXY.
    • Dettagli dell'ultimo problema: i dettagli dell'ultimo problema di analisi nel periodo di tempo specificato, ad esempio Log di analisi non riuscita, Problema con le credenziali di configurazione o Problema di normalizzazione. Il problema indicato può essere risolvibile (ad esempio, Incorrect Auth) o non risolvibile (ad esempio, Internal_error). Se il problema non è risolvibile, l'azione consigliata è aprire una richiesta di assistenza con Google SecOps. Se non si è verificato alcun problema nel periodo di tempo specificato, il valore è vuoto o viene visualizzato OK.
    • Durata problema: il numero di giorni in cui l'origine dati si trova in uno stato di errore. Quando lo Stato è In buono stato, il valore è vuoto.
    • Ultima importazione: il timestamp dell'ultima importazione riuscita. Puoi utilizzare questa metrica per determinare se i log raggiungono Google SecOps.

    • Ora ultimo evento: il timestamp dell'ultimo log normalizzato.

    • Ultima normalizzazione: il timestamp dell'ultima azione di analisi e normalizzazione per il tipo di log. Puoi utilizzare questa metrica per determinare se i log non elaborati vengono trasformati correttamente in eventi UDM.

    • Ultimo aggiornamento della configurazione: il timestamp dell'ultima modifica alla metrica. Utilizza questo valore per correlare gli aggiornamenti della configurazione con gli errori osservati, in modo da determinare la causa principale dei problemi di importazione o analisi.

    • Visualizza dettagli analisi: un link che apre una nuova scheda con un'altra dashboard, che contiene informazioni storiche aggiuntive per un'analisi più approfondita.

    • Modifica parser: un link che apre una nuova scheda con la configurazione del parser corrispondente, in cui puoi correggere gli errori correlati alla configurazione.

    • Configura avviso: un link che apre una nuova scheda con l'interfaccia Cloud Monitoring corrispondente.

Motore di rilevamento delle irregolarità

La dashboard Monitoraggio dell'integrità dei dati utilizza il motore di rilevamento delle irregolarità di Google SecOps per identificare automaticamente modifiche significative nei dati, consentendoti di rilevare e risolvere rapidamente potenziali problemi.

Rilevamento di irregolarità nell'importazione dei dati

Google SecOps analizza le variazioni giornaliere del volume, tenendo conto dei normali pattern settimanali.

Il motore di rilevamento delle irregolarità utilizza i seguenti calcoli per rilevare aumenti o cali insoliti nell'importazione dati:

  • Confronti giornalieri e settimanali: Google SecOps calcola la differenza nel volume di importazione tra il giorno corrente e quello precedente, nonché la differenza tra il giorno corrente e il volume medio della settimana precedente.

  • Standardizzazione: per comprendere il significato di queste modifiche, Google SecOps le standardizza utilizzando la seguente formula del punteggio z:

    z = (xi − x_bar) / stdev

    dove

    • z è il punteggio standardizzato (o z-score) per una differenza individuale
    • xi è un valore di differenza individuale
    • x_bar è la media delle differenze
    • stdev è la deviazione standard delle differenze

  • Segnalazione di irregolarità: Google SecOps segnala un'irregolarità se le variazioni standardizzate giornaliere e settimanali sono statisticamente significative. Nello specifico, Google SecOps cerca:

    • Diminuzioni: sia le differenze standardizzate giornaliere che settimanali sono inferiori a -1,645.
    • Impennate: sia le differenze standardizzate giornaliere che settimanali sono maggiori di 1,645.

Rapporto di normalizzazione

Quando calcola il rapporto tra eventi importati ed eventi normalizzati, il motore di rilevamento delle irregolarità utilizza un approccio combinato per garantire che vengano segnalate solo le riduzioni significative dei tassi di normalizzazione. Il motore di rilevamento delle irregolarità genera un avviso solo quando vengono soddisfatte le seguenti due condizioni:

  • Si è verificato un calo statisticamente significativo del rapporto di normalizzazione rispetto al giorno precedente.
  • Il calo è significativo anche in termini assoluti, con una magnitudo pari o superiore a 0,05.

Rilevamento di irregolarità degli errori di analisi

Per gli errori che si verificano durante l'analisi dei dati, il motore di rilevamento delle irregolarità utilizza un metodo basato sul rapporto. Il motore di rilevamento delle irregolarità attiva un avviso se la percentuale di errori del parser rispetto al numero totale di eventi importati aumenta di 5 punti percentuali o più rispetto al giorno precedente.

Passaggi successivi

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.