Introduzione alla governance dei dati in BigQuery

Le funzionalità di governance integrate in BigQuery ti consentono di scoprire, gestire, monitorare e governare i dati e gli asset AI durante l'intero ciclo di vita dei dati. I team di dati possono curare i set di dati, arricchire i metadati, monitorare la qualità e applicare le policy di conformità, condividendo al contempo gli asset in modo sicuro su larga scala.

Queste funzionalità sono basate su Knowledge Catalog, un motore contestuale universale e sempre attivo che utilizza metadati tecnici e semantica aziendale in tutto il tuo patrimonio di dati per creare un grafo di contesto con autoapprendimento per le applicazioni downstream e gli analisti di dati.

Rilevamento dati

BigQuery rileva i dati in tutta l'organizzazione in Google Cloud, indipendentemente dal fatto che si trovino in BigQuery, Spanner, Cloud SQL, Pub/Sub o Cloud Storage. I metadati vengono estratti e archiviati automaticamente in Knowledge Catalog. Ad esempio, puoi estrarre i metadati per i dati strutturati e non strutturati da Cloud Storage e creare automaticamente tabelle BigLake pronte per le query su larga scala. In questo modo puoi eseguire analisi con un motore open source senza duplicazione dei dati.

Puoi anche estrarre e catalogare i metadati da origini dati di terze parti utilizzando connettori personalizzati.

BigQuery offre le seguenti funzionalità di rilevamento dei dati:

• Ricerca Cerca risorse di dati e AI nei progetti e nell'organizzazione. All'interno di BigQuery nella console Google Cloud , utilizza la ricerca semantica (anteprima) per cercare le risorse utilizzando il linguaggio di tutti i giorni. In alternativa, trova le risorse utilizzando la ricerca per parole chiave in Knowledge Catalog.
• Rilevamento automatico dei dati di Cloud Storage. Analizza i dati nei bucket Cloud Storage per estrarre e catalogare i metadati. Il rilevamento automatico crea tabelle sia per i dati strutturati che per quelli non strutturati.
• Importazione dei metadati. Importa metadati su larga scala da sistemi di terze parti in Knowledge Catalog. Puoi creare connettori personalizzati per estrarre i dati dalle tue origini dati, quindi eseguire pipeline di connettività gestite che orchestrano il flusso di lavoro di importazione dei metadati.
• Esportazione dei metadati. Esporta i metadati su larga scala da Knowledge Catalog. Puoi analizzare i metadati esportati con BigQuery o integrarli in applicazioni personalizzate o workflow di elaborazione programmatica.

Curation and data stewardship

Per migliorare la rilevabilità e l'usabilità dei dati, i data steward e gli amministratori possono utilizzare BigQuery per esaminare, aggiornare e analizzare i metadati. Le funzionalità di selezione e gestione dei dati di BigQuery ti aiutano a garantire che i tuoi dati siano accurati, coerenti e allineati alle policy della tua organizzazione.

BigQuery offre le seguenti funzionalità di gestione e selezione dei dati:

• Glossario aziendale. Migliora il contesto, la collaborazione e la ricerca definendo la terminologia della tua organizzazione in un glossario. Identifica i data steward per i termini e associa i termini ai campi degli asset di dati.
• Insight sui dati. Gemini utilizza i metadati per generare domande in linguaggio naturale sulla tua tabella e le query SQL per rispondere. Questi insight sui dati ti aiutano a individuare pattern, valutare la qualità dei dati ed eseguire analisi statistiche.
• Profilazione dei dati. Identifica le caratteristiche statistiche comuni delle colonne nelle tabelle BigQuery per comprendere e analizzare i tuoi dati in modo più efficace.
• Qualità dei dati. Definisci ed esegui controlli della qualità dei dati nelle tabelle di BigQuery e Cloud Storage e applica controlli relativi ai dati regolari e continui negli ambienti BigQuery.
• Derivazione dei dati. Monitora il flusso dei dati all'interno dei tuoi sistemi: da dove provengono, dove vengono trasmessi e quali trasformazioni vengono applicate. BigQuery supporta la derivazione dei dati a livello di tabella e di colonna.

Passaggi successivi per la selezione e la data stewardship

La tabella seguente illustra i passaggi successivi che puoi intraprendere per scoprire di più sulle funzionalità di cura e stewardship dei dati:

Livello di esperienza	Percorso di apprendimento
Nuovi utenti cloud	Esegui una scansione di profilazione dei dati per ottenere insight sui tuoi dati, inclusi i limiti o le medie dei dati.
Utenti cloud esperti	Abilita la provenienza dei dati nel tuo progetto BigQuery per registrare automaticamente le informazioni sulla provenienza per le operazioni BigQuery come il caricamento, la copia e le modifiche dei dati. Nota: puoi configurare l'importazione della derivazione dei dati per attivare o disattivare l'importazione automatica della derivazione per BigQuery. Configura una scansione della qualità dei dati ricorrente per ricevere avvisi su possibili problemi relativi ai dati utilizzando regole di scansione predefinite. Configura regole personalizzate per la qualità dei dati per le scansioni della qualità dei dati in modo che siano personalizzate in base alle tue esigenze specifiche.

Sicurezza e controllo dell'accesso

La gestione dell'accesso ai dati è il processo di definizione, applicazione e monitoraggio delle regole e delle policy che regolano chi ha accesso ai dati. La gestione degli accessi garantisce che i dati siano accessibili solo a chi è autorizzato ad accedervi.

BigQuery offre le seguenti funzionalità di sicurezza e controllo dell'accesso:

• Identity and Access Management (IAM). IAM ti consente di controllare chi ha accesso alle tue risorse BigQuery, come progetti, set di dati, tabelle e viste. Puoi concedere ruoli IAM a utenti, gruppi e service account. Questi ruoli definiscono cosa possono fare con le tue risorse.
• Controlli degli accessi a livello di colonna e controlli degli accessi a livello di riga. I controlli degli accessi a livello di colonna e di riga ti consentono di limitare l'accesso a colonne e righe specifiche di una tabella, in base agli attributi utente o ai valori dei dati. Questo controllo ti consente di implementare un accesso granulare per proteggere i dati sensibili da accessi non autorizzati.
• Gestione del trasferimento dei dati. I Controlli di servizio VPC ti consentono di creare perimetri intorno alle risorse Google Cloude di controllare l'accesso a queste risorse in base alle policy della tua organizzazione.
• Audit log. Gli audit log forniscono un record dettagliato delle attività utente e degli eventi di sistema nella tua organizzazione. Questi log ti aiutano ad applicare le policy di governance dei dati e a identificare potenziali rischi per la sicurezza.
• Mascheramento dei dati. Il mascheramento dei dati consente di oscurare i dati sensibili in una tabella, consentendo comunque agli utenti autorizzati di accedere ai dati circostanti. Il mascheramento dei dati può anche oscurare i dati che corrispondono a pattern di dati sensibili, proteggendo dalla divulgazione accidentale dei dati.
• Crittografia. BigQuery cripta automaticamente tutti i dati at-rest e in transito, consentendoti al contempo di personalizzare le impostazioni di crittografia per soddisfare i tuoi requisiti specifici.

Passaggi successivi per la sicurezza e controllo dell'accesso

La tabella seguente illustra i passaggi successivi che puoi intraprendere per scoprire di più sulle funzionalità di controllo dell'accesso:

Livello di esperienza	Percorso di apprendimento
Nuovi utenti cloud	Dai un'occhiata ai ruoli predefiniti in BigQuery e valuta come assegnarli in base al principio del privilegio minimo. Scopri come Google cripta i tuoi dati at-rest e in transito per impostazione predefinita.
Utenti cloud esperti	Per una maggiore flessibilità e granularità nella gestione delle autorizzazioni, valuta la possibilità di creare ruoli personalizzati che soddisfino le tue esigenze. Aggiungi controlli di riga e colonna per controllare l'accesso a righe e colonne specifiche nelle tabelle. Stabilisci un perimetro di accesso intorno alle tue Google Cloud risorse configurando i Controlli di servizio VPC. Aggiungi il mascheramento dei dati a livello di colonna alla tabella per condividere informazioni con la tua organizzazione senza rivelare dati sensibili. Utilizza Sensitive Data Protection per analizzare i tuoi dati alla ricerca di informazioni sensibili e ad alto rischio, come informazioni che consentono l'identificazione personale (PII), dati finanziari e informazioni sanitarie.

Dati e insight condivisi

BigQuery ti consente di condividere dati e insight su larga scala all'interno e all'esterno dei confini dell'organizzazione. Dispone di un solido framework di sicurezza e privacy tramite una piattaforma di scambio di dati integrata. Utilizzando la condivisione di BigQuery, puoi scoprire, accedere e utilizzare una libreria di dati curata da un'ampia selezione di fornitori di dati.

BigQuery offre le seguenti funzionalità di condivisione:

• Condividi più di semplici dati. Puoi condividere un'ampia gamma di dati e asset AI, come set di dati, tabelle, viste, stream in tempo reale con argomenti Pub/Sub, stored procedure SQL e modelli BigQuery ML.
• Accedi ai set di dati di Google. Potenzia le tue iniziative di analisi e ML con i set di dati Google di tendenze di ricerca, modelli DeepMind WeatherNext, Google Maps Platform, Google Earth Engine e altro ancora.
• Integrazione con i principi di governance dei dati. I proprietari dei dati mantengono il controllo sui propri dati e hanno la possibilità di definire e configurare regole o policy per limitare l'accesso e l'utilizzo.
• Condivisione dei dati in tempo reale e senza copia. I dati vengono condivisi in loco senza necessità di integrazione, spostamento o replica, garantendo che l'analisi si basi sulle informazioni più recenti. I set di dati collegati creati sono un puntatore in tempo reale all'asset condiviso.
• Migliora la security posture. Puoi utilizzare i controlli degli accessi per ridurre l'accesso con overprovisioning, incluso il supporto integrato dei Controlli di servizio VPC.
• Aumenta la visibilità con le metriche di utilizzo del provider. I publisher di dati possono visualizzare e monitorare l'utilizzo degli asset condivisi, ad esempio il numero di job eseguiti, i byte totali scansionati e gli abbonati per ogni organizzazione.
• Collabora sui dati sensibili con le data clean room. Le data clean room forniscono un ambiente con sicurezza avanzata in cui più parti possono condividere, unire e analizzare i propri asset di dati senza spostare o rivelare i dati sottostanti.
• Basato su BigQuery. Puoi sfruttare la scalabilità e le enormi capacità di elaborazione di BigQuery, consentendo collaborazioni su larga scala.

Passaggi successivi per la condivisione

La tabella seguente illustra i passaggi successivi che puoi seguire per scoprire di più sulle funzionalità di condivisione:

Livello di esperienza	Percorso di apprendimento
Nuovi utenti cloud	Scopri come creare e gestire scambi e schede per iniziare a condividere all'interno o all'esterno della tua organizzazione.
Utenti cloud esperti	Condividi i flussi di dati in tempo reale con gli argomenti Pub/Sub. Condividi e collabora su dati sensibili con le data clean room. Proteggi ulteriormente l'esfiltrazione di dati configurando i Controlli di servizio VPC attorno agli asset condivisi. Commercializza e vendi i tuoi asset su Google Cloud Marketplace

Passaggi successivi

• Scopri di più sull'autenticazione su Google.
• Scopri di più sull'eliminazione dei dati su Google Cloud.
• Scopri di più sulle best practice di IAM.
• Scopri la gerarchia delle risorse su Google Cloud.
• Scopri di più su IAM su Google Cloud.