Esportare in blocco i risultati in BigQuery

Standard-legacy, Standard, Premium ed Enterprise (obsoleto)

Le esportazioni collettive on demand ti consentono di esportare snapshot dei risultati di Security Command Center in BigQuery. Queste esportazioni supportano l'analisi della sicurezza personalizzata, l'audit di conformità e la generazione di report. Le esportazioni collettive integrano le esportazioni continue acquisendo gli stati dei risultati storici in un momento specifico.

Per scoprire di più su BigQuery, consulta la documentazione di BigQuery.

Funzionalità supportate per le esportazioni collettive

Con le esportazioni collettive, puoi:

Struttura del set di dati

I risultati vengono esportati in BigQuery come righe nella tabella findings, che è raggruppata per source_id, finding_id e event_time.

Ogni set di dati contiene una tabella findings, che include i seguenti campi:

Campo Descrizione
source_id

Un identificatore univoco che Security Command Center assegna alla origine di un risultato. Ad esempio, tutti i risultati dell'origine di Rilevamento di anomalie di Cloud hanno lo stesso valore source_id.

Esempio: 1234567890

finding_id Identificatore univoco che rappresenta il risultato. È univoco all'interno di un'origine per un'organizzazione. È alfanumerico e contiene al massimo 32 caratteri.
event_time

L'ora in cui si è verificato l'evento o l'ora in cui è stato eseguito l'aggiornamento del risultato. Ad esempio, se il risultato rappresenta un firewall aperto, event_time acquisisce l'ora in cui il rilevatore ritiene che il firewall sia stato aperto. Se il risultato viene risolto in un secondo momento, questa ora riflette il momento in cui è stato risolto.

Esempio: 2019-09-26 12:48:00.985000 UTC

Per ulteriori informazioni sulle modifiche che aggiornano l'ora dell'evento, consulta Panoramica del ciclo di vita dei risultati.

bulk_export_id

Per le esportazioni collettive, si tratta di un UUID.

Per le esportazioni continue, questo campo è vuoto.

finding

Un record di dati di valutazione, come sicurezza, rischio, integrità o privacy, che viene importato in Security Command Center per la presentazione, la notifica, l'analisi, il test delle policy e l'applicazione. Ad esempio, una vulnerabilità di cross-site scripting (XSS) in un'applicazione App Engine è un risultato.

Per ulteriori informazioni sui campi nidificati, consulta il riferimento API per l'oggetto Finding.

resource

Informazioni relative alla risorsa Google Cloud associata a questo risultato.

Per ulteriori informazioni sui campi nidificati, consulta il riferimento API per l'oggetto Resource.

Costo

Per l'archiviazione dei dati in BigQuery, ti verranno addebitati i costi di BigQuery relativi a questa funzionalità. Per saperne di più, consulta Prezzi di archiviazione di BigQuery.

Prima di iniziare

Devi completare questi passaggi prima di attivare questa funzionalità.

Configurare le autorizzazioni

Per completare questa guida, devi disporre dei seguenti ruoli Identity and Access Management (IAM):

Crea un set di dati BigQuery

Crea un set di dati BigQuery seguendo i passaggi descritti in Crea set di dati.

Abilita l'API Security Command Center

Per esportare i risultati, devi abilitare l'API Security Command Center seguendo questi passaggi:

  1. Vai alla pagina Libreria API nella console Google Cloud .

    Vai alla libreria API

  2. Seleziona il progetto per cui vuoi abilitare l'API Security Command Center.

  3. Nel campo Cerca, inserisci Security Command Center, quindi fai clic su Security Command Center nei risultati di ricerca.

  4. Nella pagina dell'API visualizzata, fai clic su Abilita.

L'API Security Command Center è abilitata per il tuo progetto.

Concedi l'accesso al perimetro nei Controlli di servizio VPC

Se utilizzi i Controlli di servizio VPC, consulta Concedi l'accesso al perimetro nei Controlli di servizio VPC e segui i passaggi, se necessario.

Questo passaggio deve essere ripetuto per ogni utente che crea un'esportazione collettiva per un determinato perimetro di servizio.

Crea una regola in entrata per la nuova esportazione collettiva di BigQuery

Se utilizzi i Controlli di servizio VPC, consulta Crea una regola in entrata per la nuova esportazione in BigQuery e segui i passaggi, se necessario.

Limitazioni per le esportazioni collettive di BigQuery

Tieni presente i seguenti vincoli durante la creazione delle esportazioni collettive di BigQuery:

  • Sono consentite solo tre esportazioni collettive contemporanee alla volta per una singola organizzazione.
  • Se richiedi più esportazioni collettive non simultanee nello stesso set di dati BigQuery, i risultati più recenti dell'esportazione vengono aggiunti alla tabella BigQuery findings. I risultati non vengono sovrascritti.

Crea un'esportazione collettiva in BigQuery

Un'esportazione collettiva dei risultati può essere eseguita per un'organizzazione, un progetto o una cartella.

Per avviare un'esportazione collettiva dei risultati in un'istanza BigQuery, utilizza gcloud CLI e segui questi passaggi:

  1. Vai alla console Google Cloud .

    Vai alla console Google Cloud

  2. Seleziona il progetto per cui hai abilitato l'API Security Command Center.

  3. Fai clic su Attiva Cloud Shell.

  4. Per creare una nuova configurazione di esportazione, esegui questo comando:

    gcloud scc findings export-to-bigquery PARENT \
        --dataset=DATASET_NAME \
        [--location=LOCATION; default="global"] \
    

    Sostituisci quanto segue:

    • PARENT: il nome relativo dell'ambito di esportazione: organizzazione, progetto o cartella. Formati di esempio: organizations/ORGANIZATION_ID, projects/PROJECT_ID, folders/FOLDER_ID
    • DATASET_NAME: il nome del set di dati BigQuery. Formato di esempio: projects/PROJECT_ID/datasets/DATASET_ID
    • LOCATION: la località di Security Command Center in cui creare una configurazione di esportazione; se la residenza dei dati è abilitata, utilizza eu, sa o us; in caso contrario, utilizza il valore global. Questa variabile è facoltativa.

      Ad esempio, per creare un'esportazione collettiva di tutti i risultati, esegui questo comando:

      gcloud scc findings export-to-bigquery organizations/123
        --dataset=projects/123/datasets/DATASET
      

      In termini di residenza dei dati, l'esempio precedente chiama l'endpoint globale.

      Per creare la stessa esportazione collettiva per l'endpoint eu, esegui il seguente comando:

      gcloud scc findings export-to-bigquery organizations/123
        --dataset=projects/123/datasets/DATASET
        --location=locations/eu
      

Questo comando restituisce un oggetto operazione a lunga esecuzione che contiene una stringa name necessaria per monitorare lo stato dell'esportazione. Per monitorare lo stato di questa esportazione collettiva di BigQuery, consulta Visualizza lo stato di un'esportazione collettiva.

Per esaminare i risultati, consulta Esamina i risultati.

Query

Per una serie di query che puoi utilizzare per analizzare i dati dei risultati, consulta Query utili.

Visualizza lo stato di un'esportazione collettiva

Per visualizzare lo stato di un'esportazione collettiva, devi avere la stringa long running operation name che ti è stata restituita quando hai creato l'esportazione collettiva.

  1. Vai alla console Google Cloud .

    Vai alla console Google Cloud

  2. Seleziona il progetto per cui hai abilitato l'API Security Command Center.

  3. Fai clic su Attiva Cloud Shell.

  4. Per verificare i dettagli della configurazione dell'esportazione collettiva, esegui questo comando:

    gcloud scc operations describe LONG_RUNNING_OPERATION_NAME \
        --organization=ORGANIZATION_ID
    

    Sostituisci quanto segue:

    • LONG_RUNNING_OPERATION_NAME: la stringa name restituita quando hai creato l'esportazione collettiva.
    • ORGANIZATION_ID

      Ad esempio, per visualizzare lo stato di una richiesta di esportazione collettiva, restituisci name: "long-running-operation-name" da un'organizzazione con un ID organizzazione impostato su 123, esegui questo comando:

      gcloud scc operations describe long-running-operation-name \
        --organization=123
      
  • Se un'esportazione è andata a buon fine, la risposta contiene done: true.
  • Se un'esportazione non è riuscita, la risposta contiene un codice di errore.
  • Se un'esportazione è ancora in corso, la risposta non contiene né done: true né un codice di errore.

Esportazioni collettive ed esportazioni continue di BigQuery

Se vuoi utilizzare le esportazioni BigQuery collettive e continue insieme nello stesso set di dati BigQuery, esistono due approcci possibili:

  • Crea prima un'esportazione continua, poi esegui il backfill con un'esportazione collettiva.

    1. Configura un'esportazione continua in un set di dati BigQuery. Una volta creata l'esportazione, inizierai a ricevere i risultati di Security Command Center in tempo reale.

    2. Crea un'esportazione collettiva utilizzando lo stesso set di dati BigQuery di destinazione. Nel set di dati selezionato viene esportato uno snapshot di tutti i risultati di Security Command Center al momento dell'esportazione.

    L'esecuzione di un'esportazione collettiva richiede tempo. Pertanto, se l'esportazione continua viene creata in T1, l'esportazione collettiva viene attivata in T2 e lo snapshot dei risultati per l'esportazione collettiva viene completato in T3, potrebbero essere visualizzati record duplicati tra T1 e T3. Tuttavia, non ci sono lacune nei risultati.

  • Crea prima un'esportazione collettiva, poi un'esportazione continua.

    1. Crea un'esportazione collettiva. Un'istantanea di tutti i risultati di Security Command Center al momento dell'esecuzione dell'esportazione viene esportata nel set di dati BigQuery selezionato.

    2. Configura un'esportazione continua nello stesso set di dati BigQuery di destinazione. Una volta creata l'esportazione, inizi a ricevere i risultati di Security Command Center in tempo reale.

    Se l'esportazione collettiva viene creata in T1, lo snapshot dei risultati per l'esportazione collettiva viene completato in T2 e l'esportazione continua viene attivata in T3, i risultati tra T2 e T3 potrebbero non essere presenti nel set di dati BigQuery.

Passaggi successivi