Esportare in un progetto BigQuery autogestito

Supportato in:

Google Security Operations ti consente di esportare i dati di Unified Data Model (UDM) in un progetto autogestito di tua proprietà. Puoi collegare il tuo Google Cloud progetto all'istanza Google SecOps e gestire in modo indipendente le autorizzazioni IAM senza dipendere dalle impostazioni gestite da Google. Puoi anche attivare e configurare la funzionalità Bring Your Own BigQuery (BYOBQ) selezionando Impostazioni SIEM > Esportazione dei dati.

Google SecOps esporta le seguenti categorie di dati nel tuo progetto BigQuery:

  • udm_events: dati dei log normalizzati nello schema UDM.
  • udm_events_aggregates: dati aggregati riepilogati per ogni ora di eventi normalizzati.
  • entity_graph: il grafico delle entità ha tre dimensioni (dati contestuali, dati derivati e contesto globale). Tutti i dati contestuali e i dati derivati, nonché parte dei dati di contesto globale, sono dati scritti e archiviati come UDM.
  • rule_detections: rilevamenti restituiti dalle regole eseguite in Google SecOps.
  • ioc_matches: corrispondenze IOC trovate rispetto agli eventi UDM.
  • ingestion_metrics: metriche relative alla pipeline di importazione e normalizzazione (esportate per impostazione predefinita).
  • udm_enum_value_to_name_mapping: mappa i valori enum ai nomi dei campi UDM (esportati per impostazione predefinita).
  • entity_enum_value_to_name_mapping: mappa i valori enum ai nomi dei campi delle entità (esportati per impostazione predefinita).

Periodo di conservazione

Se sei un cliente esistente, il periodo di conservazione che hai impostato definisce per quanto tempo i dati esportati per BigQuery rimangono nel tuo progetto gestito da Google.

Il periodo di conservazione inizia dalla data del record esportato più recente. Puoi configurare un periodo di conservazione separato per ogni origine dati, fino a un massimo che corrisponda al periodo di conservazione dei log predefinito in Google SecOps.

Se non viene specificato alcun periodo di conservazione, il comportamento predefinito è quello di continuare a esportare dati senza alcuna pulizia o eliminazione definitiva, per limitare il periodo di conservazione.

In questo caso, puoi impostare il periodo di conservazione su Illimitato:

  • Fai clic su Impostazioni SIEM > Esportazione dei dati.
  • Nella colonna Periodo di conservazione della tabella Esportazione dei dati, seleziona Illimitato dall'elenco per il tipo di dati pertinente.

Puoi quindi configurare una regola del ciclo di vita degli oggetti nel Google Cloud bucket di archiviazione per eliminare gli oggetti in base alle esigenze.

Migrazione dei dati per i clienti esistenti

Se sei un cliente esistente, i dati del progetto gestito da Google esistente non vengono migrati al progetto autogestito. Poiché i dati non vengono migrati, si trovano in due progetti separati. Per eseguire query sui dati in un intervallo di tempo che include la data di attivazione del progetto autogestito, devi completare una delle seguenti azioni:

  • Utilizza una singola query che unisce i dati di entrambi i progetti.
  • Esegui due query separate sui rispettivi progetti, una per i dati precedenti alla data di attivazione del progetto autogestito e una per i dati successivi. Quando il periodo di conservazione del progetto gestito da Google scade, i dati vengono eliminati. A questo punto, puoi eseguire query solo sui dati che si trovano all'interno del tuo Google Cloud progetto.

Autorizzazioni necessarie per esportare i dati

Per accedere ai dati BigQuery, esegui le query all'interno di BigQuery. Assegna i seguenti ruoli IAM a qualsiasi utente che deve accedere:

Avviare l'esportazione dei dati BigQuery nel progetto autogestito

  1. Crea un Google Cloud progetto in cui vuoi esportare i dati. Per ulteriori informazioni, vedi Configurare un Google Cloud progetto per Google SecOps.

  2. Collega il progetto autogestito all'istanza Google SecOps per stabilire una connessione tra Google SecOps e il progetto autogestito. Per ulteriori informazioni, vedi Collegare Google Security Operations a Google Cloud servizi. Puoi anche attivare e configurare la funzionalità Bring Your Own BigQuery (BYOBQ) selezionando Impostazioni SIEM > Esportazione dei dati.

  3. Per verificare che i dati vengano esportati nel progetto autogestito, controlla le tabelle nel set di dati datalake in BigQuery.

Puoi scrivere query ad hoc sui dati di Google SecOps archiviati nelle tabelle BigQuery. Puoi anche creare analisi più avanzate utilizzando altri strumenti di terze parti integrati con BigQuery.

Tutte le risorse create nel progetto autogestito Google Cloud per abilitare le esportazioni, inclusi il bucket Cloud Storage e le tabelle BigQuery, si trovano nella stessa regione di Google SecOps.

Se viene visualizzato un errore come Unrecognized name: <field_name> at [<some_number>:<some_number>] durante l'esecuzione di query su BigQuery, significa che il campo a cui stai tentando di accedere non è presente nel set di dati e perché lo schema viene generato dinamicamente durante il processo di esportazione.

Per ulteriori informazioni sui dati di Google SecOps in BigQuery, vedi Dati di Google SecOps in BigQuery.

Utilizza i metodi API descritti nei seguenti argomenti per accedere alle configurazioni di esportazione e gestire la modalità di invio dei dati a BigQuery:

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.