Esportare in un progetto BigQuery gestito da Google

Supportato in:

Google SecOps fornisce un data lake gestito di dati di telemetria normalizzati e arricchiti con threat intelligence esportando i dati in BigQuery. In questo modo, puoi:

  • Esegui query ad hoc direttamente in BigQuery.
  • Utilizza i tuoi strumenti di business intelligence, come Looker o Microsoft Power BI, per creare dashboard, report e analisi.
  • Unisci i dati di Google SecOps ai set di dati di terze parti.
  • Esegui analisi utilizzando strumenti di data science o machine learning.
  • Genera report utilizzando dashboard predefinite e personalizzate.

Google SecOps esporta in BigQuery le seguenti categorie di dati:

  • Record di eventi UDM:record UDM creati dai dati dei log inseriti dai clienti. Questi record sono arricchiti con informazioni sugli alias.
  • Corrispondenze delle regole (rilevamenti): istanze in cui una regola corrisponde a uno o più eventi.
  • Corrispondenze IoC: artefatti (ad esempio domini, indirizzi IP) provenienti da eventi che corrispondono ai feed degli indicatori di compromissione (IoC). Sono incluse le corrispondenze con i feed globali e quelli specifici per i clienti.
  • Metriche di importazione:includono statistiche, ad esempio il numero di righe di log importate, il numero di eventi prodotti dai log, il numero di errori di log che indicano che i log non sono stati analizzati e lo stato dei forwarder Google SecOps. Per saperne di più, consulta Schema BigQuery delle metriche di importazione.
  • Grafico delle entità e relazioni tra entità: memorizza la descrizione delle entità e le loro relazioni con altre entità.

Panoramica delle tabelle

Google SecOps crea il set di dati datalake in BigQuery e le seguenti tabelle:

  • entity_enum_value_to_name_mapping: per i tipi enumerati nella tabella entity_graph, mappa i valori numerici ai valori stringa.
  • entity_graph: memorizza i dati sulle entità UDM.
  • events: archivia i dati sugli eventi UDM.
  • ingestion_metrics: memorizza le statistiche relative all'importazione e alla normalizzazione dei dati provenienti da specifiche origini di importazione, come i forwarder, i feed e l'API Ingestion di Google SecOps.
  • ioc_matches: memorizza le corrispondenze IOC trovate rispetto agli eventi UDM.
  • job_metadata: una tabella interna utilizzata per monitorare l'esportazione dei dati in BigQuery.
  • rule_detections: memorizza i rilevamenti restituiti dalle regole eseguite in Google SecOps. Questa tabella include solo i rilevamenti delle regole attive (ad esempio, abilitate e non eliminate) al momento dell'esecuzione del processo di esportazione. I rilevamenti delle regole disattivate o eliminate prima dell'esecuzione del job di esportazione non verranno inclusi in questa tabella, anche se l'ora di rilevamento rientra nell'intervallo della query.
  • rulesets: memorizza informazioni sui rilevamenti curati di Google SecOps, inclusi la categoria a cui appartiene ogni insieme di regole, se è abilitato e lo stato attuale degli avvisi.
  • udm_enum_value_to_name_mapping: Per i tipi enumerati nella tabella degli eventi, mappa i valori numerici ai valori stringa.
  • udm_events_aggregates: memorizza i dati aggregati riepilogati per ora degli eventi normalizzati. Questa tabella viene compilata secondo il criterio del "best effort". I dati per ogni ora potrebbero non essere disponibili immediatamente e potrebbero verificarsi ritardi nella compilazione.

Aggiornamento dei dati e pianificazione dell'esportazione

I dati nelle tabelle BigQuery vengono aggiornati a intervalli diversi. Comprendere questi aspetti può aiutarti a impostare le aspettative per la disponibilità dei dati:

  • Eventi UDM (tabella events): in genere vengono aggiornati di frequente e i dati sono disponibili entro circa due ore dall'importazione.
  • Esportazioni con il criterio del "best effort":molti altri set di dati vengono esportati secondo il criterio del "best effort". Ciò include, a titolo esemplificativo:
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

Per le tabelle esportate secondo il criterio del "best effort", sebbene gli aggiornamenti siano regolari, non esiste una latenza o una tempistica rigorosamente impegnata. Possono verificarsi ritardi e, per gli aggregazioni orarie come udm_events_aggregates, i dati per ogni ora potrebbero non essere immediatamente disponibili alla fine dell'ora. In genere, i dati vengono aggiornati entro un giorno.

Accedere ai dati in BigQuery

Puoi eseguire query direttamente in BigQuery o connettere il tuo strumento di business intelligence, come Looker o Microsoft Power BI, a BigQuery.

Per abilitare l'accesso all'istanza BigQuery, utilizza l'API Google SecOps BigQuery Access. Puoi fornire un indirizzo email per un utente o un gruppo di tua proprietà. Se configuri l'accesso a un gruppo, utilizza il gruppo per gestire i membri del team che possono accedere all'istanza BigQuery.

Per connettere Looker o un altro strumento di business intelligence a BigQuery, contatta il tuo rappresentante Google SecOps per le credenziali delaccount di serviziot che ti consentono di connettere un'applicazione al set di dati BigQuery di Google SecOps. L'account di servizio avrà il ruolo IAM BigQuery Data Viewer (roles/bigquery.dataViewer) e il ruolo BigQuery Job Viewer (roles/bigquery.jobUser).

Conservazione dei dati

Per i clienti di Google SecOps Enterprise Plus che utilizzano BigQuery gestito da Google, si applicano le seguenti impostazioni di conservazione:

  • Clienti legacy di Google SecOps Enterprise Plus (in fase di ritiro):

    • Tabelle ioc_matches e rule_detections: non è impostato alcun limite di conservazione a causa del basso volume.
    • entity_graph, udm_events_aggregates e altre tabelle partizionate, ad eccezione della tabella events: 180 giorni.
    • events (eventi UDM): i dati vengono conservati in base al tuo contratto Google SecOps o al valore predefinito di 366 giorni se non specificato nel contratto.

  • Nuovi clienti: la durata della conservazione è regolata dal contratto Google SecOps (in linea con la funzionalità BigQuery Export avanzata).

Passaggi successivi

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.