Controlli BigQuery per i casi d'uso dell'AI generativa

Questo documento include le best practice e le linee guida per BigQuery quando esegui workload di AI generativa su Google Cloud. Utilizza BigQuery con Vertex AI per archiviare i dati. L'utilizzo di BigQuery con Vertex AI può migliorare significativamente il tuo flusso di lavoro ML perché puoi semplificare l'accesso ai dati, consentire l'analisi scalabile e utilizzare le sue funzionalità di ML.

Considera i seguenti casi d'uso di BigQuery con Vertex AI:

  • Integrazione perfetta: BigQuery e Vertex AI sono strettamente integrati, il che ti consente di accedere ai tuoi dati e analizzarli direttamente all'interno della piattaforma Vertex AI. Questa integrazione elimina la necessità di spostare i dati, semplifica il flusso di lavoro di ML e riduce gli attriti.
  • Analisi scalabile dei dati: BigQuery offre un data warehouse su scala petabyte, che ti consente di analizzare enormi set di dati senza preoccuparti dei limiti dell'infrastruttura. Questa scalabilità è fondamentale per l'addestramento e il deployment di modelli ML che richiedono grandi quantità di dati.
  • ML basato su SQL: BigQuery ML ti consente di utilizzare comandi SQL che conosci per addestrare e implementare modelli direttamente in BigQuery. Questa funzionalità consente agli analisti di dati e agli esperti di SQL di utilizzare le funzionalità di ML senza richiedere competenze di programmazione avanzate.
  • Previsioni online e batch: BigQuery ML supporta le previsioni online e batch. Puoi eseguire previsioni in tempo reale su singole righe o generare previsioni per set di dati di grandi dimensioni in modalità batch. Questa flessibilità consente diversi casi d'uso con requisiti di latenza variabili.
  • Spostamento dei dati ridotto: con BigQuery ML, non devi spostare i dati in risorse di archiviazione o di calcolo separate per l'addestramento e il deployment del modello. Questo movimento ridotto semplifica il flusso di lavoro, riduce la latenza e minimizza i costi associati al trasferimento dei dati.
  • Monitoraggio dei modelli: Vertex AI offre funzionalità complete di monitoraggio dei modelli, consentendoti di monitorare le prestazioni, l'equità e l'interpretabilità dei tuoi modelli BigQuery ML. Il monitoraggio dei modelli ti aiuta ad assicurarti che i tuoi modelli funzionino come previsto e a risolvere potenziali problemi.
  • Modelli preaddestrati: Vertex AI offre l'accesso a modelli preaddestrati, inclusi quelli per l'elaborazione del linguaggio naturale e la visione artificiale. Puoi utilizzare questi modelli in BigQuery per migliorare l'analisi ed estrarre insight più approfonditi dai tuoi dati.
  • Soluzione conveniente: BigQuery ML offre un modo conveniente e flessibile per addestrare ed eseguire il deployment di modelli di ML. Paghi solo per le risorse che utilizzi, il che lo rende un'opzione conveniente per le organizzazioni di tutte le dimensioni.
  • Funzionalità di analisi avanzata: BigQuery fornisce strumenti per l'analisi avanzata, tra cui l'analisi geospaziale e la previsione. Questi strumenti ti consentono di combinare il machine learning con altre tecniche di analisi per un'esplorazione più approfondita dei dati e informazioni più dettagliate.
  • Collaborazione avanzata: utilizzando BigQuery con Vertex AI, data scientist, ML engineer e analisti possono collaborare senza problemi ai progetti di ML. Questa collaborazione contribuisce a creare un approccio più integrato ed efficiente per affrontare problemi di dati complessi.

Controlli BigQuery obbligatori

Quando utilizzi BigQuery, ti consigliamo vivamente i seguenti controlli.

Assicurati che i set di dati BigQuery non siano leggibili pubblicamente o impostati su allAuthenticatedUsers

ID controllo Google BQ-CO-6.1
Categoria Obbligatorio
Descrizione

Limita l'accesso alle informazioni in un set di dati BigQuery solo a utenti specifici. Per configurare questa protezione, devi configurare ruoli dettagliati.
Prodotti applicabili
  • Servizio Policy dell'organizzazione
  • BigQuery
  • Identity and Access Management (IAM)
Percorso cloudasset.assets/assetType
Operatore ==
Valore
  • bigquery.googleapis.com/Dataset
Tipo Stringa
Controlli NIST-800-53 correlati
  • AC-3
  • AC-12
  • AC-17
  • AC-20
Controlli del profilo CRI correlati
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.AC-7.1
  • PR.AC-7.2
  • PR.PT-3.1
  • PR-PT-4.1
Informazioni correlate

Assicurati che le tabelle BigQuery non siano leggibili pubblicamente o impostate su allAuthenticatedUsers

ID controllo Google BQ-CO-6.2
Categoria Obbligatorio
Descrizione

Limita l'accesso alle informazioni in una tabella BigQuery solo a utenti specifici. Per configurare questa protezione, devi configurare ruoli dettagliati.
Prodotti applicabili
  • Identity and Access Management (IAM)
  • BigQuery
Percorso cloudasset.assets/iamPolicy.bindings.members
Operatore anyof
Valore
  • allUsers
  • allAuthenticatedUsers
Tipo Stringa
Controlli NIST-800-53 correlati
  • AC-3
  • AC-12
  • AC-17
  • AC-20
Controlli del profilo CRI correlati
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.AC-7.1
  • PR.AC-7.2
  • PR.PT-3.1
  • PR-PT-4.1
Informazioni correlate

Controlli BigQuery facoltativi

Questi controlli sono facoltativi. Valuta la possibilità di applicarli quando si riferiscono ai tuoi casi d'uso specifici.

Criptare i singoli valori in una tabella BigQuery

ID controllo Google BQ-CO-6.3
Categoria Facoltativo
Descrizione

Se la tua organizzazione richiede la crittografia dei singoli valori all'interno di una tabella BigQuery, utilizza le funzioni di crittografia AEAD (Authenticated Encryption with Associated Data).
Prodotti applicabili
  • BigQuery
Controlli NIST-800-53 correlati
  • SC-13
Controlli del profilo CRI correlati
  • PR.DS-5.1
Informazioni correlate

Utilizzare le viste autorizzate per i set di dati BigQuery

ID controllo Google BQ-CO-6.4
Categoria Facoltativo
Descrizione

Le viste autorizzate ti consentono di condividere un sottoinsieme di dati in un set di dati con utenti specifici. Ad esempio, una vista autorizzata ti consente di condividere i risultati di una query con utenti e gruppi specifici senza concedere loro l'accesso ai dati di origine sottostanti.
Prodotti applicabili
  • BigQuery
Controlli NIST-800-53 correlati
  • AC-3
  • AC-12
  • AC-17
  • AC-20
Controlli del profilo CRI correlati
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.AC-7.1
  • PR.AC-7.2
  • PR.PT-3.1
  • PR-PT-4.1
Informazioni correlate

Utilizzare la sicurezza a livello di colonna di BigQuery

ID controllo Google BQ-CO-6.5
Categoria Facoltativo
Descrizione

Utilizza la sicurezza a livello di colonna BigQuery per creare criteri che controllano al momento della query se un utente dispone dell'accesso corretto. BigQuery fornisce un accesso granulare alle colonne sensibili utilizzando i tag di criteri o la classificazione basata sui tipi di dati.
Prodotti applicabili
  • BigQuery
Controlli NIST-800-53 correlati
  • AC-3
  • AC-12
  • AC-17
  • AC-20
Controlli del profilo CRI correlati
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.AC-7.1
  • PR.AC-7.2
  • PR.PT-3.1
  • PR-PT-4.1
Informazioni correlate

Utilizzare la sicurezza a livello di riga di BigQuery

ID controllo Google BQ-CO-6.6
Categoria Facoltativo
Descrizione

Utilizza la sicurezza a livello di riga e i criteri di accesso per abilitare il controllo dell'accesso granulare a un sottoinsieme di dati in una tabella BigQuery.
Prodotti applicabili
  • BigQuery
Controlli NIST-800-53 correlati
  • AC-3
  • AC-12
  • AC-17
  • AC-20
Controlli del profilo CRI correlati
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.AC-7.1
  • PR.AC-7.2
  • PR.PT-3.1
  • PR-PT-4.1
Informazioni correlate

Utilizzare i grafici delle risorse BigQuery

ID controllo Google BQ-CO-7.1
Categoria Facoltativo
Descrizione

I grafici delle risorse BigQuery consentono agli amministratori BigQuery di osservare in che modo la loro organizzazione, cartella o prenotazione utilizza gli slot BigQuery e il rendimento delle query.
Prodotti applicabili
  • BigQuery
Controlli NIST-800-53 correlati
  • AC-3
  • AC-12
  • AC-17
  • AC-20
Controlli del profilo CRI correlati
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.AC-7.1
  • PR.AC-7.2
  • PR.PT-3.1
  • PR-PT-4.1
Informazioni correlate

Passaggi successivi