Set di dati di Storage Insights

Questo documento spiega in che modo i set di dati di Storage Insights ti aiutano a gestire l'ambiente Cloud Storage fornendo visibilità e insight sui tuoi dati.

I set di dati di Storage Insights creano un indice interrogabile di metadati e attività per i bucket e gli oggetti Cloud Storage della tua organizzazione, delle cartelle, dei progetti o di bucket specifici. Per eseguire query sull'indice di metadati e attività, devi collegare il set di dati a BigQuery. Puoi quindi utilizzare il set di dati BigQuery collegato per analizzare, eseguire query e visualizzare i dati. Collega il set di dati a BigQuery per abilitare l'esecuzione di query sull'indice di metadati e attività.

Il set di dati di Storage Insights è una funzionalità esclusiva disponibile con l'abbonamento a Storage Intelligence. Google Cloud offre una prova introduttiva di 30 giorni per Storage Intelligence. Puoi attivare la prova per ottenere insight sull'utilizzo dello spazio di archiviazione di Cloud Storage ed eseguire azioni. Per ulteriori informazioni sulla prova, consulta Prova introduttiva di 30 giorni per Storage Intelligence.

Panoramica

Un set di dati di Storage Insights fornisce uno snapshot continuo di metadati, dati delle attività, errori ed eventi per tutti i progetti, i bucket e gli oggetti nell'ambito definito. Il set di dati raccoglie e indicizza le informazioni per fornire una visualizzazione dei dati. Questa visualizzazione ti consente di monitorare le risorse Cloud Storage e gestire il tuo spazio di archiviazione.

Il set di dati è disponibile come set di dati BigQuery collegato, con un insieme di tabelle che hanno i seguenti schemi:

Casi d'uso dei set di dati di Storage Insights

I set di dati di Storage Insights forniscono visualizzazioni per ottenere insight granulari e a livello di organizzazione sui tuoi dati. Le sezioni seguenti descrivono i casi d'uso dei set di dati.

Comprendere lo spazio di archiviazione

Puoi ottenere insight sui tuoi dati visualizzando i metadati di progetti, bucket e oggetti. Le visualizzazioni dei metadati ti aiutano a svolgere le seguenti attività:

  • Individuare anomalie, ad esempio dati in una regione imprevista.
  • Identificare le opportunità di ottimizzazione, ad esempio individuare file temporanei o duplicati.
  • Eseguire query per insight specifici, ad esempio gli oggetti creati nelle ultime 24 ore o il conteggio totale dei file PDF.
  • Eseguire il drill-down sugli oggetti su cui vuoi intervenire estraendo un elenco di prefissi di un insieme di oggetti in base ai risultati della query.

Eseguire operazioni batch utilizzando i filtri dei set di dati

Integrando i set di dati di Storage Insights con le operazioni batch di archiviazione, puoi eseguire azioni su larga scala sugli oggetti identificati nei set di dati. Questa integrazione ti consente di selezionare sottoinsiemi specifici di dati in più bucket a livello di progetto e di applicare trasformazioni in base ai campi del set di dati. Questo approccio elimina la necessità di file manifest manuali.

Selezione diretta degli oggetti

Utilizza i flag dei filtri Common Expression Language (CEL) (--bucket-filters e --object-filters) direttamente in Google Cloud CLI per selezionare ed elaborare gli oggetti su larga scala. Questa selezione diretta ti consente di valutare i campi del set di dati ed eseguire azioni batch a livello di progetto. Questo metodo elimina la necessità di creare manualmente file CSV manifest. Non devi eseguire query sul set di dati in BigQuery, esportare i risultati della ricerca e caricare i manifest nei bucket. Questo ambito a livello di progetto ti consente di eseguire un singolo job batch su un massimo di 1000 bucket.

Ad esempio, puoi specificare i criteri di filtro direttamente in Google Cloud CLI:

--object-filters="size >= 5000 && name.endsWith('.pdf')"

Per informazioni sui campi e sugli operatori disponibili che puoi utilizzare in questi filtri, consulta il riferimento ai filtri CEL.

Analizzare i pattern di attività

Utilizzando la visualizzazione delle attività dei bucket, la visualizzazione delle attività dei progetti e la visualizzazione degli eventi degli oggetti, puoi:

  • Analizzare i pattern operativi e identificare i bucket inattivi.

  • Monitorare le operazioni sugli oggetti per vedere come cambia lo spazio di archiviazione nel tempo.

  • Mappare i progetti, i bucket e i prefissi più attivi.

Comprendere l'attività dei bucket regionali

La visualizzazione delle attività regionali dei bucket mostra campi come i byte di richiesta e risposta, che indicano le regioni che interagiscono di frequente con il bucket. Analizza l'attività regionale dei bucket per determinare se è necessaria la rilocalizzazione dei bucket:

  • Visualizza l'uscita e l'entrata totali per un bucket in una regione per identificare i bucket che potrebbero essere più adatti a una classe regionale anziché multiregionale.

  • Valuta il traffico dati totale all'interno e tra tutte le regioni.

Valutare lo stato di sicurezza

Puoi utilizzare i metadati dei bucket e degli oggetti per identificare gli oggetti esposti pubblicamente, i tipi di crittografia attivi e le tempistiche di scadenza per la conservazione dei dati. Le sezioni seguenti descrivono in che modo i set di dati di Storage Insights ti aiutano a valutare le potenziali vulnerabilità della sicurezza.

Identificare gli oggetti accessibili pubblicamente

Puoi utilizzare i set di dati di Storage Insights per identificare gli oggetti accessibili pubblicamente. Lo stato di accesso pubblico degli oggetti ti aiuta a gestire i dati di archiviazione e a ridurre i rischi di esfiltrazione di dati consentendoti di identificare gli oggetti esposti alla rete internet pubblica.

Lo schema dei metadati degli oggetti fornisce lo stato di accesso pubblico, una metrica calcolata che semplifica l'analisi della sicurezza. Per determinare lo stato di accesso pubblico di un oggetto, i set di dati di Storage Insights convalidano tutte le seguenti configurazioni:

Per aiutarti a identificare la configurazione specifica che concede l'accesso pubblico, i set di dati di Storage Insights includono informazioni quando un oggetto è leggibile o scrivibile pubblicamente. Per gli oggetti leggibili pubblicamente, queste informazioni indicano se l'autorizzazione ha origine a livello di oggetto, bucket o cartella gestita. Per gli oggetti scrivibili pubblicamente, fornisce dettagli sul fatto che l'accesso sia concesso da un ACL dell'oggetto, un ACL del bucket o una policy IAM.

Puoi eseguire query sullo stato di accesso pubblico degli oggetti utilizzando BigQuery e poi monitorare questi oggetti utilizzando le dashboard di Looker per elencare tutti gli oggetti leggibili o scrivibili pubblicamente. Per ulteriori informazioni sui campi dello stato di accesso pubblico, consulta securityInsights nello schema dei metadati degli oggetti.

Eseguire l'audit delle configurazioni di crittografia

Puoi utilizzare le visualizzazioni dei metadati dei bucket e degli oggetti per eseguire l'audit delle configurazioni di crittografia. Queste visualizzazioni includono informazioni sulla crittografia sia a livello di bucket sia di oggetto, con campi come encryption nei metadati dei bucket e encryptionType nei metadati degli oggetti. Puoi utilizzare queste informazioni per:

  • Verificare che i bucket abbiano la crittografia predefinita configurata controllando encryption.defaultEncryptionType e encryption.defaultKmsKeyName.
  • Convalidare la conformità alle policy di applicazione della crittografia controllando encryptionType per verificare se gli oggetti utilizzano chiavi di crittografia gestite da Google, dal cliente o fornite dal cliente.
  • Identificare tutti gli oggetti criptati con una chiave Cloud Key Management Service specifica o chiavi di crittografia fornite dal cliente.

Monitorare le policy di conservazione dei dati

Puoi utilizzare le visualizzazioni dei metadati dei bucket e degli oggetti per monitorare le policy di conservazione dei dati. Queste visualizzazioni includono campi come retentionExpirationTime nei metadati degli oggetti e softDeletePolicy nei metadati dei bucket. Puoi utilizzare questi campi per:

  • Monitorare gli oggetti in scadenza di conservazione.
  • Identificare i bucket con l'eliminazione temporanea abilitata e monitorarne la durata di conservazione.
  • Identificare gli oggetti in stato di eliminazione temporanea controllando softDeleteTime.

Velocizzare la risoluzione dei problemi

La visualizzazione object_events_view contiene informazioni sugli errori che possono aiutarti a risolvere i problemi. Puoi utilizzare questa visualizzazione per esaminare le operazioni che hanno generato errori, identificare i motivi degli errori e rilevare progetti e bucket con tassi di errore elevati. Ad esempio, puoi risolvere i problemi relativi agli errori 429 identificando il bucket e il progetto interessati e la causa principale, ad esempio la quota di risorse o i limiti di larghezza di banda.

Analizzare i dati e i metadati degli oggetti utilizzando BigQuery

Puoi analizzare i dati nei set di dati di Storage Insights utilizzando le funzioni ObjectRef di BigQuery. Ad esempio, puoi creare query per rilevare informazioni sensibili nei documenti o per generare descrizioni delle immagini.

Per analizzare i contenuti degli oggetti, utilizza la ref colonna delle tabelle dei metadati degli oggetti con le funzioni ObjectRef. Per i dettagli, vedi Analizzare i dati e i metadati degli oggetti utilizzando BigQuery.

Vantaggi dei set di dati di Storage Insights

I set di dati di Storage Insights forniscono informazioni sui metadati e sulle attività del tuo spazio di archiviazione in un formato interrogabile in BigQuery. Di seguito sono riportati i vantaggi dell'utilizzo dei set di dati di Storage Insights:

  • Analizza il tuo spazio di archiviazione in un ambito personalizzabile per ottenere insight a livello di organizzazione oppure specifica cartelle, progetti o bucket per l'analisi.

  • Con i dati disponibili in BigQuery, utilizza le query SQL e in linguaggio naturale con Gemini per analizzare i dati. Per i dettagli, vedi Analizzare i dati con l'assistenza di Gemini.

  • Puoi visualizzare i dati collegandoti a una dashboard di Looker. Puoi utilizzare la dashboard di Storage Intelligence come modello che fornisce un esempio degli insight che puoi ricavare dai set di dati. Puoi utilizzare il modello per connetterti ai tuoi set di dati o aggiungere grafici personalizzati. Per informazioni su come utilizzare il modello, consulta Istruzioni per la connessione alla dashboard di Storage Intelligence.

Come funzionano i set di dati di Storage Insights

Per utilizzare i set di dati di Storage Insights, devi prima configurare un set di dati all'interno di un progetto. Specifica l'organizzazione, le cartelle o i progetti per i quali vuoi monitorare i dati. Dopo la creazione, concedi le autorizzazioni necessarie al service agent per generare il set di dati. Puoi quindi collegare il set di dati a BigQuery per eseguire query. Una volta configurato, il servizio raccoglie e inserisce automaticamente snapshot giornalieri dei metadati degli oggetti, dei metadati dei bucket, delle operazioni e degli errori in un'istanza BigQuery di proprietà di Cloud Storage. I dati vengono conservati in base al periodo di conservazione configurato e archiviati in modo ottimizzato per ridurre al minimo i costi di archiviazione e analisi.

Nella configurazione del set di dati, definisci quali dati vengono raccolti, dove vengono archiviati e come vengono gestiti.

La tabella seguente descrive le proprietà chiave che devi definire quando configuri un set di dati:

Proprietà Descrizione Dettagli e limiti
Ambito del set di dati Specifica le risorse (organizzazioni, progetti o cartelle) che contengono i bucket e gli oggetti che vuoi includere nel set di dati. Puoi specificare progetti o cartelle singolarmente o utilizzando un file CSV file. Ogni configurazione consente un solo ambito del set di dati. Puoi specificare fino a 10,000 progetti o cartelle.
Filtri dei bucket Filtri utilizzati per includere o escludere bucket specifici dal set di dati.Puoi filtrare in base al nome del bucket utilizzando le espressioni regolari o filtrare in base alla località del bucket.
Periodo di conservazione del set di dati Il numero di giorni in cui il set di dati acquisisce e conserva i metadati e i dati delle attività, inclusa la data di creazione del set di dati. Per le tabelle dei dati delle attività, puoi sostituire il periodo di conservazione dei dati utilizzando la proprietà Periodo di conservazione dei dati delle attività. Questo periodo di conservazione è una finestra mobile e può durare fino a 90 giorni. I set di dati vengono aggiornati con i nuovi metadati ogni 24 ore. Il sistema elimina automaticamente i dati acquisiti al di fuori della finestra di conservazione. Ad esempio, se crei un set di dati il 1° ottobre 2023 con una finestra di conservazione impostata su 30 giorni. Il 30 ottobre, il set di dati riflette i dati degli ultimi 30 giorni (dal 1° al 30 ottobre). Il 31 ottobre, il set di dati riflette i dati dal 2 al 31 ottobre. Puoi modificare la finestra di conservazione in qualsiasi momento. Per impostazione predefinita, il periodo di conservazione si applica alle tabelle dei metadati e anche alle tabelle dei dati delle attività quando il periodo di conservazione dei dati delle attività non è specificato.
Periodo di conservazione dei dati delle attività Il numero di giorni in cui il set di dati acquisisce e conserva i dati delle attività. Se definito, questo valore sostituisce il periodo di conservazione del set di dati. Il periodo di conservazione può durare fino a 365 days. Il periodo di conservazione dei dati delle attività è applicabile alle tabelle dei dati delle attività.
Località La località BigQuery utilizzata per archiviare il set di dati e i dati associati. Deve essere una località supportata da BigQuery, ad esempio us-central1. Se hai tabelle BigQuery esistenti, ti consigliamo di selezionare la località delle tabelle BigQuery.
Tipo di service agent Determina l'ambito del service agent che legge e scrive i dati per la configurazione del set di dati. Può trattarsi di un service agent con ambito a livello di configurazione o di un service agent con ambito a livello di progetto. I service agent con ambito a livello di progetto possono accedere e scrivere set di dati per tutte le configurazioni dei set di dati nel progetto. Ad esempio, se hai più configurazioni di set di dati all'interno di un progetto, devi concedere le autorizzazioni richieste al service agent con ambito a livello di progetto una sola volta. In questo modo, può leggere e scrivere set di dati per tutte le configurazioni dei set di dati all'interno del progetto. Quando una configurazione del set di dati viene eliminata, il service agent con ambito a livello di progetto non viene eliminato.

I service agent con ambito a livello di configurazione possono accedere e scrivere solo il set di dati generato dalla configurazione del set di dati specifico. Di conseguenza, se hai più configurazioni di set di dati, devi concedere le autorizzazioni richieste a ogni service agent con ambito a livello di configurazione. Quando una configurazione del set di dati viene eliminata, viene eliminato anche il service agent con ambito a livello di configurazione.

Dopo aver specificato le proprietà di configurazione e aver concesso le autorizzazioni necessarie al service agent, collega il set di dati a BigQuery per eseguire query.

Per i dettagli sulle proprietà che imposti quando crei o aggiorni una configurazione del set di dati, consulta la risorsa DatasetConfigs nella documentazione dell'API JSON.

Dopo la configurazione, il servizio raccoglie e inserisce automaticamente i dati in un'istanza BigQuery di proprietà di Cloud Storage. La tempistica per il popolamento dei dati nei set di dati è la seguente:

  • Il caricamento iniziale del set di dati e dei dati delle attività per i bucket o gli oggetti appena aggiunti potrebbe richiedere dalle 24 alle 48 ore prima di essere visualizzato come set di dati collegato in BigQuery.

  • I dati delle attività vengono in genere inclusi entro quattro ore dall'attività (la latenza potrebbe occasionalmente essere maggiore).

  • Gli snapshot dei metadati (per progetti, bucket e oggetti) vengono aggiornati ogni 24 ore.

Considerazioni

Tieni presente quanto segue per le configurazioni dei set di dati:

  • Quando rinomini una cartella in un bucket con lo spazio dei nomi gerarchico abilitato, i nomi degli oggetti nel bucket vengono aggiornati. Quando il set di dati collegato inserisce questi snapshot degli oggetti, vengono considerati nuove voci.

  • I checksum CRC32C e gli hash MD5 non sono disponibili nella tabella object metadata per gli oggetti criptati con chiavi di crittografia gestite dal cliente (CMEK).

  • I set di dati sono supportati solo nelle seguenti località BigQuery:

    • EU
    • US
    • asia-south1
    • asia-south2
    • asia-southeast1
    • europe-west1
    • us-central1
    • us-east1
    • us-east4

  • Quando determini lo stato di accesso pubblico per gli oggetti utilizzando i set di dati di Storage Insights, si applicano le seguenti limitazioni:

    • Lo stato di accesso pubblico non è disponibile per gli oggetti all'interno delle cartelle gestite.

    • I set di dati di Storage Insights non tengono conto della configurazione dei Controlli di servizio VPC o del filtro IP del bucket quando determinano lo stato di accesso pubblico di un oggetto.

Passaggi successivi