Comprendere la disponibilità dei dati per la ricerca

Supportato in:

Questo documento descrive in dettaglio il ciclo di vita dell'importazione dati, inclusi il flusso di dati end-to-end e la latenza, e in che modo questi fattori influiscono sulla disponibilità dei dati importati di recente per le query e l'analisi.

Importare ed elaborare i dati in Google Security Operations

Questa sezione descrive in che modo Google SecOps importa, elabora e analizza i dati di sicurezza.

Importazione dati

La pipeline di importazione dei dati inizia raccogliendo i dati di sicurezza non elaborati da origini quali:

  • Log di sicurezza dei sistemi interni
  • Dati archiviati in Cloud Storage
  • Il tuo Security Operations Center (SOC) e altri sistemi interni

Google SecOps importa questi dati nella piattaforma utilizzando uno dei suoi metodi di importazione sicuri.

I metodi di importazione principali sono:

  • Importazione Google Cloud diretta

    Google SecOps utilizza l'importazione diretta per recuperare automaticamente i log e i dati di telemetria da Google Clouddella tua organizzazione, inclusi Cloud Logging, i metadati di Cloud Asset Inventory e i risultati di Security Command Center Premium. Google Cloud

  • API di importazione

    Invia i dati direttamente a Google SecOps utilizzando le API di importazione REST pubbliche. Utilizzi questo metodo per integrazioni personalizzate o per inviare dati come log non strutturati o eventi UDM (Unified Data Model) preformattati.

  • Agente Bindplane

    Puoi eseguire il deployment dell'agente Bindplane versatile nel tuo ambiente (on-premise o altri cloud) per raccogliere i log da un'ampia gamma di origini e inoltrarli a Google SecOps.

  • Feed di dati

    In Google SecOps, configuri i feed di dati per estrarre i log da origini di terze parti, ad esempio bucket di spazio di archiviazione sul cloud di terze parti specifici (come Amazon S3) o API di terze parti (come Okta o Microsoft 365).

Normalizzazione e arricchimento dei dati

Una volta che i dati arrivano in Google SecOps, la piattaforma li elabora nelle seguenti fasi:

  1. Analisi e normalizzazione

    I dati di log non elaborati vengono prima elaborati da un parser per convalidare, estrarre e trasformare i dati dal formato originale nel formato UDM standardizzato. L'analisi e la normalizzazione ti consentono di analizzare origini dati disparate (ad esempio, log del firewall, dati degli endpoint, log cloud) utilizzando uno schema unico e coerente. Il log non elaborato originale rimane memorizzato insieme all'evento UDM.

  2. Indicizzazione

    Dopo la normalizzazione, Google SecOps indicizza i dati UDM per garantire velocità di query elevate in set di dati di grandi dimensioni, rendendo gli eventi UDM ricercabili. Inoltre, indicizza i log non elaborati originali per le ricerche di "log non elaborati".

  3. Arricchimento dei dati

    Google SecOps arricchisce i tuoi dati con un contesto prezioso nel seguente modo:

    • Contesto dell'entità (assegnazione di alias): l'assegnazione di alias arricchisce i record di log UDM identificando e aggiungendo dati e indicatori di contesto per le entità di log. Ad esempio, collega il nome di accesso di un utente ai suoi vari indirizzi IP, nomi host e indirizzi MAC, creando un "grafico delle entità" consolidato.
    • Threat intelligence:i dati vengono confrontati automaticamente con la vasta threat intelligence di Google, incluse fonti come VirusTotal e Navigazione sicura, per identificare domini, IP, hash di file dannosi noti e altro ancora.
    • Geolocalizzazione:gli indirizzi IP vengono arricchiti con dati di geolocalizzazione.
    • WHOIS:i nomi di dominio sono arricchiti con le informazioni WHOIS di registrazione pubblica.

Disponibilità dei dati per l'analisi

Dopo essere stati elaborati e arricchiti, i dati UDM sono immediatamente disponibili per l'analisi:

  • Rilevamento in tempo reale

    Il motore di rilevamento esegue automaticamente regole personalizzate e create da Google abilitate per le regole live sui dati in arrivo in tempo reale per identificare le minacce e generare avvisi.

  • Ricerca e indagine

    Un analista può utilizzare i metodi di ricerca per eseguire ricerche in tutti questi dati normalizzati e arricchiti. Ad esempio, utilizza la ricerca UDM per passare da un'entità correlata (ad esempio un user, al suo asset, a un domain dannoso) e analizzare gli avvisi.

Metodi di ricerca

Google SecOps fornisce diversi metodi distinti per la ricerca nei dati, ognuno con uno scopo diverso.

La ricerca UDM è il metodo di ricerca principale e più veloce, utilizzato per la maggior parte delle indagini.

  • Cosa cerca:esegue query sugli eventi UDM normalizzati e indicizzati. Poiché tutti i dati vengono analizzati in questo formato standard, puoi scrivere una query per trovare la stessa attività (ad esempio un accesso) in tutti i tuoi diversi prodotti (ad esempio Windows, Okta, Linux).
  • Come funziona:utilizzi una sintassi specifica per eseguire query su campi, operatori e valori.
  • Esempio: principal.hostname = "win-server" AND target.ip = "10.1.2.3"

Utilizza la ricerca nei log non elaborati per trovare qualcosa nel messaggio di log originale non analizzato che potrebbe non essere stato mappato a un campo UDM.

  • Cosa cerca:esegue la scansione del testo originale non elaborato dei log prima che vengano analizzati e normalizzati. Ciò è utile per trovare stringhe specifiche, argomenti della riga di comando o altri artefatti che non sono campi UDM indicizzati.
  • Come funziona:utilizzi il prefisso raw =. Può essere più lenta della ricerca UDM perché non esegue la ricerca nei campi indicizzati.
  • Esempio (stringa): raw = "PsExec.exe"
  • Esempio (regex): raw = /admin\$/

Ricerca in linguaggio naturale (Gemini)

La ricerca in linguaggio naturale (Gemini) ti consente di porre domande in inglese semplice, che Gemini traduce in una query UDM formale.

  • Cosa cerca:fornisce un'interfaccia conversazionale per eseguire query sui dati UDM.
  • Come funziona:digiti una domanda e Gemini genera la query di ricerca UDM sottostante, che puoi eseguire o perfezionare.
  • Esempio: "Mostrami tutti gli accessi non riusciti dell'utente "bob" nelle ultime 24 ore"

La ricerca SOAR è specifica per i componenti SOAR. Lo utilizzi per gestire gli incidenti di sicurezza, non per cercare nei log.

  • Cosa cerca:cerca casi ed entità (come utenti, asset, IP) all'interno della piattaforma SOAR.
  • Come funziona:puoi utilizzare filtri basati su testo libero o campi per trovare i casi in base, ad esempio, a ID, nome avviso, stato e utente assegnato.
  • Esempio: cerca CaseIds:180 o AlertName:Brute Force

Pipeline di importazione dei dati per la disponibilità della ricerca

Il sistema elabora i dati appena importati in più passaggi. La durata di questi passaggi determina il momento in cui i dati appena importati diventano disponibili per le query e l'analisi.

La tabella seguente mostra in dettaglio i passaggi di elaborazione dei dati appena importati in base al metodo di ricerca. I dati appena importati diventano ricercabili dopo il completamento di questi passaggi.

Metodo di ricerca Dati in fase di ricerca Passaggi di elaborazione che contribuiscono al tempo di disponibilità
Eventi UDM normalizzati e arricchiti
  1. Importazione:il log arriva al punto di importazione di Google SecOps.
  2. Analisi:il log non elaborato viene identificato ed elaborato dal parser specifico.
  3. Normalizzazione:i dati vengono estratti e mappati allo schema UDM.
  4. Indicizzazione (UDM): il record UDM normalizzato viene indicizzato per una ricerca rapida e strutturata.
  5. Arricchimento:viene aggiunto il contesto (intelligence sulle minacce, geolocalizzazione, dati di utenti o asset).
Ricerca log non elaborati Testo del log originale non analizzato
  1. Importazione:il log arriva al punto di importazione di Google SecOps.
  2. Indicizzazione (grezza): la stringa di testo originale del log viene indicizzata.
Ricerca SOAR Casi ed entità Si tratta di un ciclo di vita diverso, in quanto cerca avvisi e casi, non log. L'ora si basa su:
  1. Disponibilità degli eventi UDM:utilizza gli stessi passaggi di elaborazione elencati per "Ricerca UDM".
  2. Rilevamento: una regola del motore di rilevamento deve corrispondere agli eventi UDM.
  3. Generazione di avvisi:il sistema crea un avviso formale dal rilevamento.
  4. Creazione della richiesta:la piattaforma SOAR acquisisce l'avviso e crea una richiesta.

Flusso di dati di esempio

Il seguente esempio mostra come Google SecOps importa, elabora, migliora e analizza i tuoi dati di sicurezza, rendendoli disponibili per le ricerche e ulteriori analisi.

Esempio di passaggi di trattamento dei dati

  1. Recupera i dati di sicurezza da servizi cloud come Amazon S3 o da Google Cloud. Google SecOps cripta questi dati in transito.
  2. Separa e archivia i tuoi dati di sicurezza criptati nel tuo account. L'accesso è limitato a te e a un numero ridotto di dipendenti Google per l'assistenza, lo sviluppo e la manutenzione del prodotto.
  3. Analizza e convalida i dati di sicurezza non elaborati, semplificandone l'elaborazione e la visualizzazione.
  4. Normalizza e indicizza i dati per ricerche rapide.
  5. Memorizza i dati analizzati e indicizzati all'interno del tuo account.
  6. Arricchisce con i dati contestuali.
  7. Offre agli utenti un accesso sicuro per cercare e rivedere i propri dati di sicurezza.
  8. Confronta i tuoi dati di sicurezza con il database di malware di VirusTotal per identificare corrispondenze. In una visualizzazione degli eventi di Google SecOps, ad esempio la visualizzazione Asset, fai clic su Contesto VT per visualizzare le informazioni di VirusTotal. Google SecOps non condivide i tuoi dati di sicurezza con VirusTotal.

Flusso ed elaborazione dei dati in Google SecOps

Esempi di tempo previsto fino alla disponibilità della ricerca

Il tempo previsto prima che i dati appena importati diventino disponibili per la ricerca è la somma delle durate del flusso lungo il flusso di dati.

Ad esempio, un tempo medio tipico per la disponibilità dei dati nella ricerca UDM è di circa 5 minuti e 30 secondi dal momento in cui i dati vengono inviati al servizio di importazione Google SecOps.

Passo del flusso di dati Descrizione Durata del flusso
Cloud Storage a Log non elaborati Importa i log non elaborati da Cloud Storage. Meno di 30 secondi
Log di sicurezza al servizio di inoltro dei dati Trasmette i log di sicurezza dai sistemi interni alla piattaforma. N/D
Servizio di inoltro dei dati ai log non elaborati Invia alla pipeline di importazione i dati di sicurezza non elaborati ricevuti da varie fonti. Meno di 30 secondi
Log non elaborati a Analizza e convalida Analizza e convalida i log non elaborati nel formato UDM. Meno di 3 minuti
Analizza e convalida per Indicizza Indicizza i dati UDM analizzati per una ricerca rapida. N/D
Indice dei dati dei clienti analizzati Rende i dati indicizzati disponibili come dati dei clienti analizzati per l'analisi. Meno di 2 minuti

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.