Informazioni sulla disponibilità dei dati per la ricerca

Supportato in:

Google SecOps

Questo documento descrive in dettaglio il ciclo di vita dell'importazione dati, inclusi il flusso di dati end-to-end e la latenza, e in che modo questi fattori influiscono sulla disponibilità dei dati acquisiti di recente per le query e l'analisi.

Importare ed elaborare i dati in Google SecOps

Questa sezione descrive in che modo Google SecOps importa, elabora e analizza i dati di sicurezza.

Acquisizione dei dati

La pipeline di acquisizione dei dati inizia raccogliendo i dati di sicurezza non elaborati da origini quali:

• Log di sicurezza dei tuoi sistemi interni
• Dati archiviati in Cloud Storage
• Il Security Operations Center (SOC) e altri sistemi interni

Google SecOps importa questi dati nella piattaforma utilizzando uno dei suoi metodi di importazione sicuri.

I metodi di importazione principali sono:

• Importazione Google Cloud diretta

  Google SecOps utilizza l'importazione diretta Google Cloud per recuperare automaticamente i log e i dati di telemetria dall' Google Clouddella tua organizzazione, inclusi Cloud Logging, i metadati di Cloud Asset Inventory e i risultati di Security Command Center Premium.

• API di importazione

  Invia i dati direttamente a Google SecOps utilizzando le relative API di importazione REST pubbliche. Utilizzi questo metodo per le integrazioni personalizzate o per inviare i dati come log non strutturati o eventi UDM (Unified Data Model) preformattati.

• Agente Bindplane

  Puoi eseguire il deployment dell'agente Bindplane versatile nel tuo ambiente (on-premise o altri cloud) per raccogliere i log da un'ampia gamma di origini e inoltrarli a Google SecOps.

• Feed di dati

  In Google SecOps, configuri i feed di dati per estrarre i log da origini di terze parti, come bucket di spazio di archiviazione sul cloud di terze parti specifici (come Amazon S3) o API di terze parti (come Okta o Microsoft 365).

Normalizzazione e arricchimento dei dati

Una volta che i dati arrivano in Google SecOps, la piattaforma li elabora nelle seguenti fasi:

1. Analisi e normalizzazione

   Un parser elabora innanzitutto i dati di log non elaborati per convalidarli, estrarli e trasformarli dal formato originale nel formato standardizzato UDM. L'analisi e la normalizzazione ti consentono di analizzare origini dati disparate (ad esempio, log del firewall, dati degli endpoint, log cloud) utilizzando un unico schema coerente. Il log raw originale rimane memorizzato insieme all'evento UDM.

2. Indicizzazione

   Dopo la normalizzazione, Google SecOps indicizza i dati UDM per offrire velocità di query elevate su set di dati di grandi dimensioni, rendendo gli eventi UDM consultabili.

3. Alias e arricchimento UDM

   • Google SecOps esegue l'assegnazione di alias e l'arricchimento UDM per arricchire gli eventi UDM con un contesto prezioso, identificando e aggiungendo dati e indicatori di contesto per le entità dei log. Ad esempio, collega l'login name di un utente ai suoi vari IP addresses, hostnames e MAC addresses.
   • Geolocalizzazione:Google SecOps arricchisce gli indirizzi IP con dati di geolocalizzazione.

4. Arricchimento ECG

   • Google SecOps esegue l'assegnazione di alias ECG, che unisce il contesto di più origini (come IdP, CMDB e threat intelligence) per creare un profilo di entità consolidato nel grafico del contesto delle entità.

   • Threat Intelligence:Google SecOps confronta automaticamente i dati sugli eventi con l'ampia Threat Intelligence di Google, incluse fonti come Google Threat Intelligence e Navigazione sicura, per identificare minacce dannose note, come domains, IP addresses e file hashes.

   • WHOIS:Google SecOps arricchisce i nomi di dominio con le informazioni pubbliche di registrazione WHOIS.

Disponibilità dei dati per l'analisi

Dopo essere stati elaborati e arricchiti, i dati UDM sono immediatamente disponibili per l'analisi:

• Rilevamento in tempo reale

  Il motore di rilevamento esegue automaticamente regole personalizzate e create da Google abilitate per le regole attive sui dati in entrata in tempo reale per identificare le minacce e generare avvisi.

• Ricerca e indagine

  Un analista può utilizzare i Metodi di ricerca per eseguire ricerche in tutti questi dati normalizzati e arricchiti. Ad esempio, utilizza la ricerca UDM per passare da un'entità correlata (ad esempio un user, al suo asset, a un domain dannoso) e analizzare gli avvisi.

Metodi di ricerca

Google SecOps fornisce diversi metodi distinti per la ricerca nei dati, ognuno con uno scopo diverso.

Ricerca UDM

La ricerca UDM è il metodo di ricerca principale e più veloce, utilizzato per la maggior parte delle indagini.

• Cosa cerca:esegue query sugli eventi UDM normalizzati e indicizzati. Poiché tutti i dati vengono analizzati in questo formato standard, puoi scrivere una query per trovare la stessa attività (ad esempio un accesso) in tutti i tuoi prodotti diversi (ad esempio Windows, Okta, Linux).
• Come funziona:utilizzi una sintassi specifica per eseguire query su campi, operatori e valori.

• Esempio: principal.hostname = "win-server" AND target.ip = "10.1.2.3"

  I risultati sono in genere disponibili entro 2-15 minuti dall'importazione.

Ricerca log non elaborati

Utilizza la ricerca nei log non elaborati per trovare qualcosa nel messaggio di log originale e non analizzato che potrebbe non essere stato mappato a un campo UDM. Questo metodo di ricerca è ottimizzato per le ricerche ad alta velocità, in genere restituisce risultati in meno di 2 secondi per indicatori specifici come hash di file o indirizzi IP.

• Cosa cerca:esegue la scansione del testo originale non elaborato dei log prima che vengano analizzati e normalizzati. Ciò è utile per trovare stringhe specifiche, argomenti della riga di comando o altri artefatti che non sono campi UDM indicizzati.
• Come funziona: utilizzi il prefisso raw =. Può essere più lenta della ricerca UDM perché non cerca nei campi indicizzati.
• Esempio (stringa): raw = "PsExec.exe"
• Esempio (regex): raw = /admin\$/

Ricerca statistiche

Utilizza la ricerca delle statistiche per le tendenze a lungo termine che aggregano milioni di righe di dati. Poiché la piattaforma deve eseguire l'analisi statistica e il raggruppamento, i tempi di caricamento di queste query saranno più lunghi.

Ricerca in linguaggio naturale (Gemini)

La ricerca in linguaggio naturale (Gemini) ti consente di utilizzare l'inglese semplice per porre domande, che Gemini traduce poi in una query UDM formale.

• Cosa cerca:fornisce un'interfaccia conversazionale per eseguire query sui dati UDM.
• Come funziona: digiti una domanda e Gemini genera la query di ricerca UDM sottostante, che puoi eseguire o perfezionare.
• Esempio: "Mostrami tutti gli accessi non riusciti dell'utente "bob" nelle ultime 24 ore"

Ricerca SOAR

La ricerca SOAR è specifica per i componenti SOAR. Lo utilizzi per gestire gli incidenti di sicurezza, non per cercare nei log.

• Cosa cerca:cerca Casi ed Entità (come utenti, asset, indirizzi IP) all'interno della piattaforma SOAR.
• Come funziona:puoi utilizzare filtri basati su testo libero o campi per trovare i casi in base, ad esempio, a ID, nome avviso, stato e utente assegnato.
• Esempio: cerca CaseIds:180 o AlertName:Brute Force

Pipeline di acquisizione dei dati per la disponibilità della ricerca

La disponibilità end-to-end dei dati è il tempo totale che intercorre tra il momento in cui si verifica un evento e il momento in cui è disponibile per la ricerca o l'esecuzione di regole in Google SecOps. Questa latenza è la somma dei seguenti due componenti:

1. Ritardo di disponibilità lato origine:il tempo che intercorre tra il momento in cui si verifica un evento e il momento in cui il sistema di origine rende disponibili i dati di log per l'importazione. Questo ritardo dipende dall'architettura, dall'elaborazione, dal raggruppamento e dalle pianificazioni di pubblicazione delle API del sistema di origine. Google SecOps non può influire su questo ritardo. Alcuni esempi includono ritardi quando un sistema scrive i log in un bucket di archiviazione o li pubblica in un endpoint API.

2. Tempo di elaborazione di Google SecOps: il tempo necessario a Google SecOps per elaborare i dati dopo averli ricevuti. Questa durata include le fasi della pipeline interna, come l'importazione, l'analisi, la normalizzazione, l'indicizzazione e l'arricchimento.

Devi considerare entrambi i componenti quando risolvi i problemi relativi alle cronologie di visibilità dei dati.

Ritardi provenienti dall'origine dati

I seguenti fattori possono influire sul ritardo di disponibilità lato origine:

• Elaborazione batch:alcuni sistemi generano log in batch a intervalli prestabiliti (ad esempio, ogni ora).
• Latenza dell'API:l'API di origine può avere ritardi intrinseci nel rendere eseguibili le query sui nuovi eventi.
• Ora di creazione e pubblicazione dell'evento:il timestamp di un evento in un log potrebbe essere molto precedente al timestamp in cui il log viene finalizzato e diventa disponibile per la raccolta.
• Limitazione: i limiti di frequenza dell'API lato origine possono rallentare il recupero dei dati.
• Riempimento iniziale: la pubblicazione e l'importazione di grandi volumi di dati storici richiedono tempo.

Questi ritardi variano in base all'origine dati e al tipo di log. Per maggiori dettagli sui metodi di acquisizione dei dati, consulta la panoramica sull'acquisizione dei dati. Il riferimento all'API di gestione dei feed descrive considerazioni specifiche per i tipi di log come Microsoft Graph, SentinelOne, Okta e CrowdStrike.

Tempo di elaborazione di Google SecOps

Il sistema elabora i dati appena importati in più passaggi. La durata di questi passaggi determina il momento in cui i dati appena importati diventano disponibili per le query e l'analisi.

La tabella seguente suddivide i passaggi di elaborazione dei dati appena importati in base al metodo di ricerca. I dati appena importati diventano ricercabili dopo il completamento di questi passaggi.

Metodo di ricerca	Dati in fase di ricerca	Passaggi di elaborazione che contribuiscono al tempo di disponibilità
Ricerca UDM Ricerca in linguaggio naturale (Gemini)	Eventi UDM normalizzati e arricchiti	Importazione:il log arriva al punto di importazione di Google SecOps. Analisi:il log non elaborato viene identificato ed elaborato dal parser specifico. Normalizzazione:i dati vengono estratti e mappati allo schema UDM. Indicizzazione (UDM): il record UDM normalizzato viene indicizzato per una ricerca strutturata e rapida. Arricchimento:viene aggiunto il contesto (intelligence sulle minacce, geolocalizzazione, dati di utenti o asset).
Ricerca log non elaborati	Testo del log originale non analizzato	Importazione:il log arriva al punto di importazione di Google SecOps.
Detection Engine (Rules)	Eventi normalizzati	Disponibilità degli eventi UDM:stessi passaggi elencati per la ricerca UDM. Valutazione del rilevamento:il motore delle regole valuta i log in "micro-batch", attivando in genere i rilevamenti entro 5-10 minuti dall'arrivo dell'evento.
Ricerca SOAR	Casi ed entità	Si tratta di un ciclo di vita diverso, in quanto cerca avvisi e casi, non log. L'ora si basa su: Disponibilità degli eventi UDM:utilizza gli stessi passaggi di elaborazione elencati per "Ricerca UDM". Rilevamento: una regola del motore di rilevamento deve corrispondere agli eventi UDM. Generazione di avvisi:il sistema crea un avviso formale dal rilevamento. Creazione della richiesta:la piattaforma SOAR acquisisce l'avviso e crea una richiesta.

Flusso di dati di esempio

Il seguente esempio mostra come Google SecOps importa, elabora, migliora e analizza i tuoi dati di sicurezza, rendendoli disponibili per le ricerche e ulteriori analisi.

Esempio di passaggi di trattamento dei dati

1. Recupera i dati di sicurezza da servizi cloud come Amazon S3 o da Google Cloud. Google SecOps cripta questi dati in transito.
2. Separa e archivia i tuoi dati di sicurezza criptati nel tuo account. L'accesso è limitato a te e a un numero ridotto di dipendenti Google per l'assistenza, lo sviluppo e la manutenzione del prodotto.
3. Analizza e convalida i dati di sicurezza non elaborati, semplificandone l'elaborazione e la visualizzazione.
4. Normalizza e indicizza i dati per ricerche rapide.
5. Memorizza i dati analizzati e indicizzati all'interno del tuo account.
6. Arricchisce con i dati di contesto.
7. Offre agli utenti un accesso sicuro per cercare e rivedere i propri dati di sicurezza.
8. Confronta i tuoi dati di sicurezza con il database di malware di Google Threat Intelligence per identificare corrispondenze. In una visualizzazione degli eventi di Google SecOps, ad esempio la visualizzazione Asset, fai clic su Contesto VT per visualizzare le informazioni di Google Threat Intelligence. Google SecOps non condivide i tuoi dati di sicurezza con Google Threat Intelligence.

Esempi del tempo previsto fino alla disponibilità della ricerca

Il tempo previsto prima che i dati appena importati diventino disponibili per la ricerca è la somma delle durate del flusso lungo il flusso di dati.

Ad esempio, un tempo medio tipico per la disponibilità dei dati nella ricerca UDM è di circa 5 minuti e 30 secondi dal momento in cui i dati vengono inviati al servizio di importazione di Google SecOps.

Passo del flusso di dati	Descrizione	Durata del flusso
Cloud Storage a Log non elaborati	Importa i log non elaborati da Cloud Storage.	Meno di 30 secondi
Log di sicurezza al servizio di inoltro dei dati	Trasmette i log di sicurezza dai sistemi interni alla piattaforma.	N/D
Servizio di inoltro dei dati ai log non elaborati	Invia alla pipeline di importazione i dati di sicurezza non elaborati ricevuti da varie fonti.	Meno di 30 secondi
Log non elaborati a Analizza e convalida	Analizza e convalida i log non elaborati nel formato UDM.	Meno di 3 minuti
Analizza e convalida per indicizzare	Indicizza i dati UDM analizzati per una ricerca rapida.	N/D
Indice dei dati dei clienti analizzati	Rende i dati indicizzati disponibili come dati dei clienti analizzati per l'analisi.	Meno di 2 minuti

Risoluzione dei problemi

Questa sezione fornisce indicazioni per la risoluzione dei problemi.

Latenza e limiti

I ritardi di elaborazione e visualizzazione all'interno della piattaforma Google SecOps sono soggetti ai seguenti limiti architetturali dopo che Google SecOps riceve i dati:

• Visibilità nella ricerca:da 2 a 15 minuti dopo l'importazione.
• Esecuzione delle regole:da 5 a 10 minuti dopo l'arrivo dell'evento.

Nota :per intervalli di ricerca superiori a 30 giorni, la visualizzazione degli eventi inseriti di recente potrebbe richiedere più tempo. Per risultati quasi in tempo reale, seleziona un intervallo di tempo di 30 giorni o meno.

Nota: questi orari iniziano dopo che Google SecOps riceve i dati. La disponibilità dei dati end-to-end dipende anche dai ritardi provenienti dall'origine dati che si verificano prima che i dati entrino nella pipeline di Google SecOps.

Attenzione: se una modifica non viene visualizzata immediatamente nell'interfaccia utente, non significa necessariamente che la sincronizzazione non sia riuscita. Se l'evento si è verificato meno di 15 minuti fa per la ricerca o 10 minuti fa per le regole, è probabile che i dati si trovino ancora nella pipeline di elaborazione standard. Il ritardo non indica un errore di sistema.

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.