Panoramica delle metriche di importazione

Supportato in:

Google SecOps fornisce metriche di importazione dettagliate per offrire visibilità sull'integrità, sul volume e sullo stato di elaborazione della pipeline di dati di sicurezza. Il monitoraggio di queste metriche è fondamentale per garantire che i dati vengano trasmessi correttamente, identificare potenziali problemi e ottimizzare il deployment di Google SecOps.

Perché le metriche di importazione sono importanti

  • Monitoraggio dell'integrità:monitora lo stato dei feed di dati e degli agenti di raccolta.
  • Risoluzione dei problemi:diagnostica rapidamente problemi come cali di dati, errori di analisi o problemi di connettività.
  • Monitoraggio del volume:scopri la quantità di dati importati da varie origini, utile per la pianificazione della capacità e la gestione dei costi.
  • Informazioni sulla normalizzazione:monitora il tasso di successo dell'analisi dei log nel modello UDM (Unified Data Model).
  • Avvisi:configura le notifiche per le anomalie nel flusso di dati, gli errori o le modifiche del volume.

Dove accedere alle metriche di importazione

  • Google Cloud Monitoring:

    • Integra le metriche di Google SecOps in Cloud Monitoring, consentendoti di creare dashboard e configurare policy di avviso in base alle soglie per metriche come conteggi, dimensioni ed eventi di normalizzazione dei log importati.
    • Le metriche sono disponibili con prefissi come Chronicle Collector e Chronicle Log Type.
    • Riferimento: Utilizzare Cloud Monitoring per informazioni sull'importazione

  • Hub di integrità di Google SecOps:

    • L'hub di integrità fornisce una visualizzazione centralizzata all'interno della piattaforma Google SecOps per monitorare lo stato dell'origine dati, i volumi di importazione e l'integrità dell'analisi. Evidenzia gli errori e fornisce link per approfondire.
    • Riferimento: Utilizzare l'hub di integrità

  • BigQuery Export:

Campi e categorie di metriche chiave

Le metriche di importazione sono suddivise in base ai diversi componenti della pipeline di importazione (ad esempio, Forwarder, API Ingestion, Normalizer, Feed). Ecco alcuni campi chiave che incontrerai:

  • Metriche del volume:

    • log_count: numero di voci di log non elaborate ricevute o elaborate.
    • log_volume: dimensione totale dei log ricevuti o elaborati (in byte).
    • event_count: numero di eventi UDM generati dopo l'analisi.

  • Metriche di normalizzazione:

    • state: il risultato del processo di normalizzazione dei log (ad esempio, parsed, failed_parsing, failed_validation).
    • total_events: conteggio degli eventi UDM convalidati correttamente.
    • total_error_events: conteggio degli eventi per cui l'analisi o la convalida non è riuscita.
    • drop_reason_code: motivo per cui un log o un evento è stato eliminato.

  • Salute e rendimento:

    • last_heartbeat_time: indica l'ultima volta che un collector o un feed è stato attivo.
    • drop_count: numero di log eliminati da un componente.
    • cpu_used, memory_used, disk_used: utilizzo delle risorse per i componenti on-premise come l'agente Bindplane o il Forwarder legacy.
    • latency_count: metriche relative al tempo impiegato tra l'importazione e la normalizzazione.

  • Metriche della quota (API Ingestion):

    • quota_rejected_long_term_log_volume: volume di log rifiutati perché sono stati superati i limiti di quota.

Informazioni sulle dimensioni

Le metriche sono in genere suddivise per dimensioni, il che consente di filtrare e raggruppare i dati:

  • component: la parte della pipeline di importazione a cui si riferisce la metrica (ad esempio, Forwarder, Ingestion API, Normalizer, Out-of-Band Processor).
  • log_type: il tipo di origine log (ad esempio, WINDOWS_DNS, CS_EDR).
  • collector_id / feed_id: identificatore univoco per l'istanza del collector o il feed di dati specifico.
  • namespace: per l'organizzazione dei log, spesso utilizzato nell'importazione API.

Nota:come indicato nello schema delle metriche di importazione, le metriche di importazione aggregate devono essere trattate come indicatori di volume approssimativo anziché come conteggi esatti per un determinato intervallo di tempo.

Discrepanze tra il volume dei log non elaborati e il volume dei log della dashboard

Il ingestion.log_volume totale riportato nelle dashboard di Google SecOps (ad esempio, quando si esegue una query su ingestion.component = "Ingestion API") può differire in modo significativo dal volume totale dei log non elaborati archiviati nell'istanza. L'interfaccia di Google SecOps non mostra un contatore di importazione cumulativo per tutto il tempo dall'approvvigionamento dell'istanza. Poiché ogni strumento di generazione di report applica una finestra temporale massima, non puoi calcolare un totale cumulativo per tutto il tempo una volta che l'istanza è più vecchia del limite di conservazione dello strumento.

Queste differenze si verificano per i seguenti motivi:

  • Intervalli di tempo e limiti di ricerca diversi:

    • Archiviazione dei log non elaborati: conserva i dati in base alla policy di conservazione dell'istanza configurata. La tua istanza potrebbe aver importato log per più anni dall'approvvigionamento.
    • Dashboard di Google SecOps: calcola ingestion.log_volume solo per l'intervallo di tempo selezionato, fino a un limite di ricerca massimo di 365 giorni (o fino a 24 mesi in Cloud Monitoring per le istanze Bring Your Own Project (BYOP)). Se la tua istanza ha importato dati per più di 365 giorni, le query della dashboard riportano un totale inferiore rispetto al volume di importazione storico cumulativo.

  • Origini dati e pipeline di raccolta diverse:

    • Archiviazione dei log non elaborati: registra la dimensione in byte diretta dei batch di log non elaborati importati archiviati in Google SecOps.
    • Dashboard di Google SecOps: esegui una query su ingestion.log_volume dalla tabella ingestion_metrics, che raccoglie la telemetria in modo asincrono a intervalli di circa 5 minuti. Poiché questa pipeline di telemetria può subire latenza di raccolta, campionamento o cali di metriche temporanei, le query della dashboard forniscono un volume approssimativo anziché un conteggio esatto dei byte.

Dove calcolare il volume di importazione e in che modo i valori differiscono

Poiché l'interfaccia di Google SecOps non mostra un contatore di importazione cumulativo per tutto il tempo dall'ora di inizio dell'istanza, utilizza le seguenti posizioni per calcolare il volume di importazione a seconda dell'intervallo di tempo di cui hai bisogno:

  • Dashboard di Google SecOps (fino a 365 giorni):

    • Dove calcolare: apri Dashboard e report > Dashboard, quindi visualizza il widget Velocità effettiva nella dashboard Principale o Acquisizione e integrità dei dati (incluso il grafico Acquisizione - Velocità effettiva (per tutto il tempo)). Puoi anche eseguire una query della dashboard personalizzata per sum($event.ingestion.log_volume) filtrata da $event.ingestion.component = "Ingestion API".
    • Intervallo di tempo massimo: le query sono limitate a un massimo di 365 giorni, anche nel grafico curato Importazione - Velocità effettiva (per tutto il tempo).
    • In che modo i valori differiscono: le dashboard eseguono query sulla tabella asincrona ingestion_metrics, che raccoglie la telemetria a intervalli di circa 5 minuti e può subire latenza di raccolta o cali di metriche temporanei. I valori sono approssimativi e riflettono solo i log importati tramite l'API Ingestion durante l'intervallo di tempo selezionato, anziché i byte di log non elaborati per tutto il tempo o il volume fatturato finale.

  • Esplora metriche di Cloud Monitoring (fino a 24 mesi per le istanze BYOP):

    • Dove calcolare: apri Monitoring > Esplora metriche nella Google Cloud console, quindi esegui una query per chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"} (per istruzioni passo passo, consulta Visualizzare il volume di importazione fatturato).
    • Intervallo di tempo massimo: le query sono limitate a un massimo di 24 mesi, in base alla conservazione delle metriche di Cloud Monitoring.
    • In che modo i valori differiscono: Cloud Monitoring esegue query sui conteggi dei byte di importazione a livello di collector nella finestra di tempo selezionata. I valori coprono una finestra temporale più lunga rispetto alle dashboard di Google SecOps (fino a 24 mesi anziché 365 giorni), ma non riflettono un totale per tutto il tempo se l'istanza ha più di 24 mesi.

  • Esportazione in BigQuery (oltre 365 giorni, in base alla conservazione del set di dati):

    • Dove calcolare: apri il progetto BigQuery dopo aver esportato la tabella ingestion_metrics, quindi esegui una query per SUM(log_volume) (o total_size_bytes in Looker e BigQuery) filtrata da component = "Ingestion API".
    • Intervallo di tempo massimo: le query sono limitate al periodo di conservazione configurato per la tabella BigQuery dal momento in cui hai abilitato l'esportazione, anziché al limite di 365 giorni della dashboard.
    • In che modo i valori differiscono: BigQuery esegue query sulla stessa tabella asincrona ingestion_metrics delle dashboard di Google SecOps. I valori corrispondono alle query della dashboard per lo stesso intervallo di tempo, ma rimangono indicatori di telemetria approssimativi anziché byte di log non elaborati per tutto il tempo o volume fatturato finale.

Utilizzare le metriche di importazione

  • Risoluzione dei problemi:filtra per log_type e state (ad esempio, failed_parsing) nelle metriche di Normalizer per trovare problemi di analisi. Controlla drop_count e drop_reason_code per la perdita di dati.

  • Avvisi: configura gli avvisi in Cloud Monitoring per monitorare cali improvvisi in log_count per le origini log critiche o tassi elevati di total_error_events. Per monitorare il volume di importazione giornaliero rispetto ai limiti contrattuali, utilizza la metrica Dimensione totale dei log importati (chronicle.googleapis.com/ingestion/log/bytes_count). Non utilizzare la metrica chronicle.googleapis.com/ingestion/quota_limit per gli avvisi di volume giornaliero, per i seguenti motivi:

    • La metrica quota_limit misura la prossimità ai limiti di backend dinamici anziché il volume effettivo di dati importati.
    • L'utilizzo di quota_limit per gli avvisi di volume giornaliero può causare falsi allarmi quando le soglie di backend vengono modificate.

    Per i passaggi per configurare una policy di avviso di volume giornaliero, consulta Configurare una policy di esempio per monitorare il volume di importazione giornaliero.

  • Pianificazione della capacità:analizza le tendenze di log_volume in BigQuery per prevedere le esigenze future.

  • Convalida della configurazione:dopo aver configurato una nuova origine dati, controlla le metriche per verificare che i dati vengano trasmessi e analizzati come previsto.

Monitorando e comprendendo regolarmente queste metriche di importazione, puoi garantire una pipeline di dati affidabile ed efficiente per la tua istanza Google SecOps.

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.