Esportare in un progetto BigQuery gestito da Google

Supportato in:

Google SecOps fornisce un data lake gestito di telemetria normalizzata e arricchita con threat intelligence esportando i dati in BigQuery. In questo modo puoi:

  • Eseguire query ad hoc direttamente in BigQuery.
  • Utilizzare i tuoi strumenti di business intelligence, come Looker o Microsoft Power BI, per creare dashboard, report e analisi.
  • Unire i dati di Google SecOps con set di dati di terze parti.
  • Eseguire analisi utilizzando strumenti di data science o machine learning.
  • Eseguire report utilizzando dashboard predefinite e dashboard personalizzate.

Google SecOps esporta le seguenti categorie di dati in BigQuery:

  • Record di eventi UDM: record UDM creati dai dati di log importati dai clienti. Questi record sono arricchiti con informazioni sugli alias.
  • Corrispondenze delle regole (rilevamenti): istanze in cui una regola corrisponde a uno o più eventi.
  • Corrispondenze IoC: artefatti (ad es. domini, indirizzi IP) provenienti da eventi che corrispondono ai feed degli indicatori di compromissione (IoC). Sono incluse le corrispondenze con i feed globali e i feed specifici del cliente.
  • Metriche di importazione: includono statistiche, ad esempio il numero di righe di log importate, il numero di eventi prodotti dai log, il numero di errori di log che indicano che i log non sono stati analizzati e lo stato degli inviatori di Google SecOps. Per ulteriori informazioni, consulta lo schema BigQuery delle metriche di importazione.
  • Grafico delle entità e relazioni tra entità: memorizza la descrizione delle entità e le loro relazioni con altre entità.

Panoramica delle tabelle

Google SecOps crea il set di dati datalake in BigQuery e le seguenti tabelle:

  • entity_enum_value_to_name_mapping: per i tipi enumerati nella tabella entity_graph, mappa i valori numerici ai valori stringa.
  • entity_graph: memorizza i dati sulle entità UDM.
  • events: memorizza i dati sugli eventi UDM.
  • ingestion_metrics: memorizza le statistiche relative all'importazione e alla normalizzazione dei dati da origini di importazione specifiche, come gli inviatori di Google SecOps, i feed e l'API Ingestion.
  • ioc_matches: memorizza le corrispondenze IoC trovate rispetto agli eventi UDM.
  • job_metadata: una tabella interna utilizzata per monitorare l'esportazione dei dati in BigQuery.
  • rule_detections: memorizza i rilevamenti restituiti dalle regole eseguite in Google SecOps. Questa tabella include solo i rilevamenti delle regole attive (ad es. abilitate e non eliminate) al momento dell'esecuzione del processo di esportazione. I rilevamenti delle regole disattivate o eliminate prima dell'esecuzione del job di esportazione non verranno inclusi in questa tabella, anche se l'ora di rilevamento rientra nell'intervallo della query.
  • rulesets: memorizza le informazioni sui rilevamenti curati di Google SecOps, inclusa la categoria a cui appartiene ogni set di regole, se è abilitato e lo stato di avviso attuale.
  • udm_enum_value_to_name_mapping: per i tipi enumerati nella tabella degli eventi, mappa i valori numerici ai valori stringa.
  • udm_events_aggregates: memorizza i dati aggregati riepilogati per ora degli eventi normalizzati. Questa tabella viene compilata secondo il criterio del "best effort". I dati per ogni ora potrebbero non essere immediatamente disponibili e potrebbero verificarsi ritardi nella compilazione.

Aggiornamento dei dati e pianificazione dell'esportazione

I dati nelle tabelle BigQuery vengono aggiornati a intervalli diversi. La comprensione di questi intervalli può aiutarti a impostare le aspettative per la disponibilità dei dati:

  • Eventi UDM (tabella events): in genere vengono aggiornati di frequente e i dati sono in genere disponibili entro circa due ore dall'importazione.
  • Esportazioni "best effort": molti altri set di dati vengono esportati secondo il criterio del "best effort". Sono inclusi, a titolo esemplificativo:
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

Per le tabelle esportate secondo il criterio del "best effort", anche se gli aggiornamenti sono regolari, non esiste una latenza o una tempistica rigorosamente impegnata. Possono verificarsi ritardi e, per le aggregazioni orarie come udm_events_aggregates, i dati per ogni ora potrebbero non essere immediatamente disponibili alla fine dell'ora. In genere, i dati dovrebbero essere aggiornati entro un giorno.

Accedere ai dati in BigQuery

Puoi eseguire query direttamente in BigQuery o connettere il tuo strumento di business intelligence, come Looker o Microsoft Power BI, a BigQuery.

Per abilitare l'accesso all'istanza BigQuery, utilizza l' API Google SecOps BigQuery Access. Puoi fornire un indirizzo email per un utente o un gruppo di tua proprietà. Se configuri l'accesso a un gruppo, utilizza il gruppo per gestire i membri del team che possono accedere all'istanza BigQuery.

Per connettere Looker o un altro strumento di business intelligence a BigQuery, contatta il tuo rappresentante Google SecOps per le credenziali dell'account di servizio che ti consentono di connettere un'applicazione al set di dati BigQuery di Google SecOps. L'account di servizio avrà il ruolo IAM Visualizzatore dati BigQuery (roles/bigquery.dataViewer) e il ruolo Visualizzatore job BigQuery (roles/bigquery.jobUser).

Conservazione dei dati

Per i clienti Google SecOps Enterprise Plus che utilizzano BigQuery gestito da Google, si applicano le seguenti impostazioni di conservazione:

  • Clienti Google SecOps Enterprise Plus legacy (nel percorso di ritiro):

    • Tabelle ioc_matches e rule_detections: non è impostato alcun limite di conservazione, a causa del basso volume.
    • entity_graph, udm_events_aggregates, e altre tabelle partizionate, ad eccezione di la tabella events: 180 giorni.
    • Tabella events (eventi UDM): i dati vengono conservati in base al contratto Google SecOps o al valore predefinito di 366 giorni se non specificato nel contratto.

  • Nuovi clienti: la durata della conservazione è regolata dal contratto Google SecOps (coerente con la funzionalità Esportazione avanzata di BigQuery).

Passaggi successivi

Hai bisogno di ulteriore assistenza? Ricevi risposte dai membri della community e dai professionisti di Google SecOps.