Panoramica dell'estrazione automatica

Supportato in:

Google secops SIEM

Questo documento fornisce una panoramica di come i dati vengono estratti automaticamente per migliorare la capacità di importare, elaborare e analizzare i dati.

Google Security Operations utilizza parser predefiniti per estrarre e strutturare i dati dei log utilizzando lo schema UDM (Unified Data Model). La gestione e la manutenzione di questi parser possono essere difficili a causa di diverse limitazioni: estrazione dati incompleta, numero crescente di parser da gestire e necessità di aggiornamenti frequenti man mano che i formati dei log si evolvono.

Per risolvere queste difficoltà, puoi utilizzare la funzionalità di estrazione automatica. Questa funzionalità estrae automaticamente le coppie chiave-valore dai log in formato JSON e XML importati in Google SecOps. Supporta anche i log in formato Syslog che includono un messaggio JSON. Questi dati estratti vengono archiviati in un campo di tipo mappa UDM denominato extracted. Puoi quindi utilizzare questi dati nelle query di ricerca UDM, nelle dashboard native e nelle regole YARA-L.

Come best practice, le ricerche UDM che utilizzano i campi estratti devono includere metadata.log_type nella query per migliorare le prestazioni delle query di ricerca.

Il vantaggio dell'estrazione automatica è la minore dipendenza dai parser, che garantisce la disponibilità dei dati, anche quando un parser non è presente o non riesce ad analizzare un log.

Analizzare ed estrarre i dati dal log non elaborato

1. Analisi: Google SecOps tenta di analizzare i log utilizzando un parser specifico per il tipo di log, se disponibile. Se non esiste un parser specifico o se l'analisi non riesce, Google SecOps utilizza un parser generale per estrarre informazioni di base come il timestamp di importazione, il tipo di log e le etichette dei metadati.

2. Estrazione dei dati: l'estrazione automatica non è attivata per impostazione predefinita. Attiva e seleziona i campi specifici (punti dati) che vuoi estrarre dai log.

3. Arricchimento degli eventi: Google SecOps combina i dati analizzati e tutti i campi in formato personalizzato per creare eventi arricchiti, fornendo più contesto e dettagli.

4. Trasferimento dei dati downstream: questi eventi arricchiti vengono quindi inviati ad altri sistemi per ulteriori analisi ed elaborazioni.

Nota: il comportamento dell'estrazione automatica dipende dalla disponibilità di un parser per il tipo di log:

• Quando è presente un parser:l'estrazione automatica predefinita non viene eseguita. Devi attivare esplicitamente i campi specifici necessari, come spiegato nella sezione Utilizzare gli estrattori.
• Quando non è presente un parser:l'estrazione automatica viene attivata automaticamente ed estrae i primi 100 campi.

Utilizzare gli estrattori

Gli estrattori consentono di estrarre i campi da tutte le origini log supportate e sono progettati per ottimizzare la gestione dei log. Utilizzando gli estrattori, puoi ridurre le dimensioni degli eventi, migliorare l'efficienza dell'analisi e ottenere un maggiore controllo sull'estrazione dei dati. Questo è particolarmente utile per la gestione di nuovi tipi di log o per ridurre al minimo i tempi di elaborazione.

Puoi creare estrattori utilizzando il menu Impostazioni SIEM o eseguendo una ricerca nei log non elaborati.

Creare estrattori

1. Vai al riquadro Estrai campi aggiuntivi utilizzando uno dei seguenti metodi:

   • Fai clic su Impostazioni SIEM > Parser e procedi nel seguente modo:
     1. Nella tabella PARSER visualizzata, identifica un parser (origine log) e fai clic su Menu > Estendi parser > Estrai campi aggiuntivi.
   • Utilizza la scansione dei log non elaborati e procedi nel seguente modo:
     1. Seleziona le origini log (parser) richieste dal menu Origini log.
     2. Dai risultati dei log non elaborati, seleziona un'origine log per aprire il DATI EVENTO riquadro.
     3. Nel riquadro DATI EVENTO, fai clic su Gestisci parser > Estendi parser > Estrai campi aggiuntivi.
   • Utilizza la ricerca UDM e procedi nel seguente modo:
     1. Nella scheda EVENTI dei risultati di ricerca UDM, seleziona un'origine log per visualizzare il riquadro Visualizzatore eventi.
     2. Nella scheda Log non elaborati, fai clic su Gestisci parser > Estendi parser > Estrai campi aggiuntivi.

2. Nella scheda Seleziona estrattori del riquadro Estrai campi aggiuntivi , seleziona i campi dei log non elaborati richiesti. Per impostazione predefinita, puoi selezionare fino a 100 campi. Se non sono disponibili altri campi per l'estrazione, viene visualizzato un avviso.

   Fai clic sulla scheda Fai riferimento al log non elaborato per visualizzare i dati dei log non elaborati e l'anteprima dell'output UDM.

3. Fai clic su Salva.

Il nuovo estrattore creato è etichettato come EXTRACTOR. I campi estratti vengono visualizzati nell'output UDM comeextracted.field{"fieldName"}.

Visualizzare i dettagli dell'estrattore

1. Vai alla riga dell'estrattore nella tabella PARSER e fai clic su Menu > Estendi parser > Visualizza estensione.
2. Nella pagina VISUALIZZA PARSER PERSONALIZZATI, fai clic sulla scheda Estensioni e campi estratti.

Questa scheda mostra informazioni sulle estensioni del parser e sui campi dell'estrattore. Puoi modificare o rimuovere i campi e visualizzare l'anteprima dell'output del parser dalla pagina VISUALIZZA PARSER PERSONALIZZATI.

Limitazioni

• Se le dimensioni di un evento UDM batch superano 8,2 MB, tutti i campi estratti vengono eliminati.
• Se un singolo evento UDM supera i 500 KB, i campi estratti vengono eliminati.

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.