Controlli di Cloud Storage per i casi d'uso dell'AI generativa

Questo documento include le best practice e le linee guida per Cloud Storage quando esegui workload di AI generativa che utilizzano Google Cloud. Utilizza Cloud Storage con Vertex AI per archiviare i dati di addestramento, gli artefatti del modello e i dati di produzione.

Considera i seguenti casi d'uso di Cloud Storage con Vertex AI:

  • Archiviazione dei dati di addestramento: Vertex AI ti consente di archiviare i set di dati di addestramento nei bucket Cloud Storage. L'utilizzo di Cloud Storage offre diversi vantaggi:
    • Cloud Storage può gestire set di dati di qualsiasi dimensione, consentendoti di addestrare modelli su enormi quantità di dati senza limitazioni di archiviazione.
    • Puoi impostare controlli dell'accesso granulari e la crittografia sui bucket Cloud Storage per assicurarti che i dati di addestramento sensibili siano protetti.
    • Cloud Storage ti consente di monitorare le modifiche e ripristinare le versioni precedenti dei tuoi dati, fornendo audit trail preziosi e facilitando esperimenti di addestramento riproducibili.
    • Vertex AI si integra perfettamente con Cloud Storage, consentendoti di accedere ai dati di addestramento all'interno della piattaforma.
  • Archivia gli artefatti del modello: puoi archiviare gli artefatti del modello addestrato, ad esempio file del modello, configurazioni degli iperparametri e log di addestramento, nei bucket Cloud Storage. L'utilizzo di Cloud Storage ti consente di:
    • Conserva tutti gli artefatti del modello in Cloud Storage come repository centralizzato per accedervi e gestirli comodamente.
    • Monitora e gestisci diverse versioni dei tuoi modelli, facilitando i confronti e i rollback, se necessario.
    • Concedi ai colleghi e ai collaboratori l'accesso a bucket Cloud Storage specifici per condividere i modelli in modo efficiente.
  • Archivia i dati di produzione: per i modelli utilizzati in produzione, Cloud Storage può archiviare i dati inseriti nel modello per la previsione. Ad esempio, puoi utilizzare Cloud Storage per:
    • Archivia i dati e le interazioni degli utenti per suggerimenti personalizzati in tempo reale.
    • Conserva le immagini per l'elaborazione e la classificazione on demand utilizzando i tuoi modelli.
    • Mantieni i dati delle transazioni per l'identificazione delle frodi in tempo reale utilizzando i tuoi modelli.
  • Integrazione con altri servizi: Cloud Storage si integra perfettamente con altri servizi Google Cloud utilizzati nei flussi di lavoro di Vertex AI, ad esempio:
    • Dataflow per semplificare le pipeline di pre-elaborazione e trasformazione dei dati.
    • BigQuery per l'accesso a grandi set di dati archiviati in BigQuery per l'addestramento e l'inferenza dei modelli.
    • Funzioni Cloud Run per azioni basate su previsioni del modello o modifiche ai dati nei bucket Cloud Storage.
  • Gestisci i costi: Cloud Storage offre un modello di prezzi con pagamento a consumo, il che significa che paghi solo per lo spazio di archiviazione che utilizzi. Ciò garantisce l'efficienza dei costi, soprattutto per i set di dati di grandi dimensioni.
  • Abilita alta disponibilità e durabilità: Cloud Storage garantisce che i tuoi dati siano ad alta disponibilità e protetti da guasti o interruzioni, garantendo affidabilità e accesso solido ai tuoi asset ML.
  • Abilita il supporto multiregionale: archivia i dati in più regioni Cloud Storage geograficamente più vicine ai tuoi utenti o alle tue applicazioni, migliorando le prestazioni e riducendo la latenza per l'accesso ai dati e le previsioni dei modelli.

Controlli Cloud Storage obbligatori

Quando utilizzi Cloud Storage, ti consigliamo vivamente di utilizzare i seguenti controlli.

Bloccare l'accesso pubblico ai bucket Cloud Storage

ID controllo Google GCS-CO-4.1
Categoria Obbligatorio
Descrizione

Il vincolo booleano storage.publicAccessPrevention impedisce l'accesso alle risorse esistenti e future su internet. Disattiva e blocca gli elenchi di controllo dell'accesso dell'accesso (ACL) e le autorizzazioni Identity and Access Management (IAM) che concedono l'accesso a allUsers e allAuthenticatedUsers.
Prodotti applicabili
  • Servizio Policy dell'organizzazione
  • Cloud Storage
Percorso constraints/storage.publicAccessPrevention
Operatore ==
Valore
  • True
Tipo Booleano
Controlli NIST-800-53 correlati
  • AC-3
  • AC-17
  • AC-20
Controlli del profilo CRI correlati
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.PT-3.1
  • PR.PT-4.1
Informazioni correlate

Utilizzare l'accesso uniforme a livello di bucket

ID controllo Google GCS-CO-4.2
Categoria Obbligatorio
Descrizione

Il vincolo booleano storage.uniformBucketLevelAccess richiede che i bucket utilizzino un accesso uniforme a livello di bucket. L'accesso uniforme a livello di bucket consente di utilizzare solo le autorizzazioni Identity and Access Management (IAM) a livello di bucket per concedere l'accesso alle risorse Cloud Storage.
Prodotti applicabili
  • Servizio Policy dell'organizzazione
  • Cloud Storage
Percorso constraints/storage.uniformBucketLevelAccess
Operatore ==
Valore
  • True
Tipo Booleano
Controlli NIST-800-53 correlati
  • AC-3
  • AC-17
  • AC-20
Controlli del profilo CRI correlati
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.PT-3.1
  • PR.PT-4.1
Informazioni correlate

Proteggere le chiavi HMAC per i service account

ID controllo Google GCS-CO-6.9
Categoria Obbligatorio
Descrizione

Una chiave HMAC è un tipo di credenziale a lunga durata associata a un account di servizio o a un account utente in Cloud Storage. Utilizza una chiave HMAC per creare firme incluse nelle richieste a Cloud Storage. Una firma dimostra che un utente o un account di servizio ha autorizzato una richiesta.

A differenza delle credenziali di breve durata (ad es. token OAuth 2.0), le chiavi HMAC non scadono automaticamente e rimangono valide finché non vengono revocate manualmente. Le chiavi HMAC sono credenziali ad alto rischio: se compromesse, forniscono un accesso permanente alle tue risorse. Devi assicurarti che siano in atto meccanismi adeguati per proteggerli.
Prodotti applicabili
  • Cloud Storage
Percorso storage.projects.hmacKeys/id
Operatore Exists
Valore
  • []
Tipo Stringa
Controlli NIST-800-53 correlati
  • SC-12
  • SC-13
Controlli del profilo CRI correlati
  • PR.DS-1.1
  • PR.DS-1.2
  • PR.DS-2.1
  • PR.DS-2.2
  • PR.DS-5.1
Informazioni correlate

Rileva l'enumerazione dei bucket Cloud Storage da parte dei service account

ID controllo Google GCS-CO-7.2
Categoria Obbligatorio
Descrizione

Gli account di servizio sono identità non umane progettate per le applicazioni e il loro comportamento è prevedibile e automatizzato. In genere, i service account non devono elencare i bucket perché sono già mappati. Pertanto, se rilevi un account di servizio che tenta di recuperare un elenco di tutti i bucket Cloud Storage, esegui immediatamente un'indagine. L'enumerazione di ricognizione viene spesso utilizzata come tecnica di ricognizione da un malintenzionato che ha ottenuto l'accesso al account di servizio.
Prodotti applicabili
  • Cloud Storage
  • Cloud Audit Logs
Operatore ==
Valore
  • storage.bucket.list
Tipo Stringa
Controlli NIST-800-53 correlati
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Controlli del profilo CRI correlati
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Informazioni correlate

Rilevare le modifiche ai criteri Identity and Access Management (IAM) dei bucket Cloud Storage da parte dei service account

ID controllo Google GCS-CO-7.3
Categoria Obbligatorio
Descrizione

Configura un avviso che rileva quando la policy IAM di un bucket Cloud Storage viene modificata per concedere l'accesso pubblico. Questo avviso viene attivato quando le entità allUsers o allAuthenticatedUsers vengono aggiunte al criterio IAM di un bucket. Questo avviso è un evento critico di gravità elevata perché può esporre tutti i dati nel bucket. Esamina immediatamente questo avviso per verificare se la modifica è stata autorizzata o se è un segno di una configurazione errata o di un attore malintenzionato.

Nell'avviso, imposta l'attributo JSON data.protoPayload.serviceData.policyData.bindingDeltas.member su allUsers o allAuthenticatedUsers e l'azione su ADD.
Prodotti applicabili
  • Cloud Storage
  • Cloud Audit Logs
Controlli NIST-800-53 correlati
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Controlli del profilo CRI correlati
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Informazioni correlate

A seconda dei tuoi casi d'uso dell'AI generativa, ti consigliamo di utilizzare controlli aggiuntivi. Questi controlli includono i controlli di conservazione dei dati e altri controlli basati su criteri che si basano sui criteri aziendali.

Assicurati che la policy di conservazione del bucket Cloud Storage utilizzi il blocco dei bucket

ID controllo Google GCS-CO-6.1
Categoria Consigliato
Descrizione

A seconda dei requisiti normativi, assicurati che ogni criterio di conservazione dei bucket Cloud Storage sia bloccato. Imposta il periodo di conservazione su un intervallo di tempo che soddisfi i tuoi requisiti.
Prodotti applicabili
  • Cloud Storage
Percorso storage.buckets/retentionPolicy.isLocked
Operatore !=
Valore
  • True
Tipo Booleano
Controlli NIST-800-53 correlati
  • SI-12
Controlli del profilo CRI correlati
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informazioni correlate

Impostare regole del ciclo di vita per l'azione SetStorageClass

ID controllo Google GCS-CO-6.11
Categoria Consigliato
Descrizione

Applica le regole del ciclo di vita a ogni bucket Cloud Storage con un tipo di azione SetStorageClass.
Prodotti applicabili
  • Cloud Storage
Percorso storage.buckets/lifecycle.rule.action.type
Operatore ==
Valore
  • SetStorageClass
Tipo Stringa
Controlli NIST-800-53 correlati
  • SI-12
Controlli del profilo CRI correlati
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informazioni correlate

Impostare le regioni consentite per le classi di archiviazione

ID controllo Google GCS-CO-6.12
Categoria Consigliato
Descrizione
Assicurati che le classi di archiviazione per la configurazione del ciclo di vita non rientrino nelle classificazioni regionali consentite.
Prodotti applicabili
  • Cloud Storage
Percorso storage.buckets/lifecycle.rule.action.storageClass
Operatore nin
Valore
  • MULTI_REGIONAL
  • REGIONAL
Tipo Stringa
Controlli NIST-800-53 correlati
  • SI-12
Controlli del profilo CRI correlati
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informazioni correlate

Abilita la gestione del ciclo di vita per i bucket Cloud Storage

ID controllo Google GCS-CO-6.13
Categoria Consigliato
Descrizione

Assicurati che la gestione del ciclo di vita di Cloud Storage sia abilitata e configurata. Il controllo del ciclo di vita contiene la configurazione per il ciclo di vita dell'archiviazione. Verifica che le norme in questa impostazione corrispondano ai tuoi requisiti.
Prodotti applicabili
  • Cloud Storage
Percorso storage.buckets/lifecycle
Operatore Exists
Valore
  • []
Tipo Oggetto
Controlli NIST-800-53 correlati
  • SI-12
Controlli del profilo CRI correlati
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informazioni correlate

Abilita le regole di gestione del ciclo di vita per i bucket Cloud Storage

ID controllo Google GCS-CO-6.14
Categoria Consigliato
Descrizione

Assicurati che le regole di gestione del ciclo di vita per Cloud Storage siano abilitate e configurate. Il controllo delle regole contiene la configurazione per il ciclo di vita dell'archiviazione. Verifica che le norme in questa impostazione corrispondano ai tuoi requisiti.
Prodotti applicabili
  • Cloud Storage
Percorso storage.buckets/lifecycle.rule
Operatore Empty
Valore
  • []
Tipo Array
Controlli NIST-800-53 correlati
  • SI-12
Controlli del profilo CRI correlati
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informazioni correlate

Esaminare e valutare le sospensioni temporanee degli oggetti attivi

ID controllo Google GCS-CO-6.16
Categoria Consigliato
Descrizione

Identifica tutti gli oggetti in cui temporaryHold è impostato su TRUE e avvia una procedura di indagine e convalida. Questa valutazione è adatta ai seguenti casi d'uso:

  • Blocco per controversia legale:per rispettare i requisiti legali per l'archiviazione dei dati, è possibile utilizzare la sospensione temporanea per impedire l'eliminazione di dati sensibili che potrebbero essere pertinenti a indagini o controversie in corso.
  • Prevenzione della perdita di dati:per evitare l'eliminazione accidentale di dati importanti, la sospensione temporanea può essere utilizzata come misura di sicurezza per proteggere le informazioni aziendali critiche.
  • Moderazione dei contenuti:per esaminare i contenuti potenzialmente sensibili o inappropriati prima che diventino accessibili pubblicamente, applica una sospensione temporanea ai contenuti caricati su Cloud Storage per ulteriori ispezioni e decisioni di moderazione.
Prodotti applicabili
  • Cloud Storage
Percorso storage.objects/temporaryHold
Operatore ==
Valore
  • TRUE
Tipo Booleano
Controlli NIST-800-53 correlati
  • SI-12
Controlli del profilo CRI correlati
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informazioni correlate

Applica criteri di conservazione ai bucket Cloud Storage

ID controllo Google GCS-CO-6.17
Categoria Consigliato
Descrizione

Assicurati che tutti i bucket Cloud Storage abbiano un criterio di conservazione.
Prodotti applicabili
  • Cloud Storage
Percorso storage.buckets/retentionPolicy.retentionPeriod
Operatore agesmaller
Valore
  • [90,"DAY","AFTER","yyyy-MM-dd'T'HH:mm:ss'Z'"]
Tipo int64
Controlli NIST-800-53 correlati
  • SI-12
Controlli del profilo CRI correlati
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informazioni correlate

Imponi tag di classificazione per i bucket Cloud Storage

ID controllo Google GCS-CO-6.18
Categoria Consigliato
Descrizione

La classificazione dei dati è un componente fondamentale di qualsiasi programma di governance e sicurezza dei dati. È essenziale applicare un'etichetta di classificazione con valori come pubblico, interno, riservato o limitato a ogni bucket.

Verifica che google_storage_bucket.labels abbia un'espressione per la classificazione e crea una violazione in caso contrario.
Prodotti applicabili
  • Cloud Storage
Percorso storage.buckets/labels.classification
Operatore notexists
Valore
  • []
Tipo Esteso
Controlli NIST-800-53 correlati
  • SI-12
Controlli del profilo CRI correlati
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informazioni correlate

Imponi bucket di log per i bucket Cloud Storage

ID controllo Google GCS-CO-6.3
Categoria Consigliato
Descrizione

Assicurati che ogni bucket Cloud Storage includa un bucket log.
Prodotti applicabili
  • Cloud Storage
Percorso storage.buckets/logging.logBucket
Operatore notexists
Valore
  • []
Tipo Stringa
Controlli NIST-800-53 correlati
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Controlli del profilo CRI correlati
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Informazioni correlate

Configura le regole di eliminazione per i bucket Cloud Storage

ID controllo Google GCS-CO-6.5
Categoria Consigliato
Descrizione

In Cloud Storage, storage.buckets/lifecycle.rule.action.type si riferisce al tipo di azione da intraprendere su un oggetto specifico in base a una regola del ciclo di vita all'interno di un bucket. Questa configurazione consente di automatizzare la gestione e il ciclo di vita dei dati archiviati nel cloud.

Configura storage.buckets/lifecycle.rule.action.type per assicurarti che gli oggetti vengano eliminati definitivamente dal bucket.
Prodotti applicabili
  • Cloud Storage
Percorso storage.buckets/lifecycle.rule.action.type
Operatore ==
Valore
  • Delete
Tipo Stringa
Controlli NIST-800-53 correlati
  • SI-12
Controlli del profilo CRI correlati
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informazioni correlate

Assicurati che la condizione isLive sia False per le regole di eliminazione

ID controllo Google GCS-CO-6.6
Categoria Consigliato
Descrizione

Per le regole di eliminazione, assicurati che la condizione isLive della regola sia impostata su false.

In Cloud Storage, storage.buckets/lifecycle.rule.condition.isLive è una condizione booleana utilizzata nelle regole del ciclo di vita per determinare se un oggetto è considerato attivo. Questo filtro contribuisce a garantire che le azioni all'interno di una regola del ciclo di vita vengano applicate solo agli oggetti desiderati in base al loro stato live.

Casi d'uso:

  • Archivia le versioni storiche:archivia solo le versioni non correnti degli oggetti per risparmiare sui costi di archiviazione, mantenendo al contempo facilmente accessibile l'ultima versione.
  • Ripulisci gli oggetti eliminati:automatizza l'eliminazione definitiva degli oggetti eliminati dagli utenti, liberando spazio nel bucket.
  • Proteggi i dati attivi:assicurati che azioni come l'impostazione di blocchi temporanei vengano applicate solo agli oggetti attivi, impedendo la modifica accidentale di versioni archiviate o eliminate
Prodotti applicabili
  • Cloud Storage
Percorso storage.buckets/lifecycle.rule.condition.isLive
Operatore ==
Valore
  • False
Tipo Booleano
Controlli NIST-800-53 correlati
  • SI-12
Controlli del profilo CRI correlati
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informazioni correlate

Imponi il controllo delle versioni per i bucket Cloud Storage

ID controllo Google GCS-CO-6.7
Categoria Consigliato
Descrizione

Assicurati che il controllo delle versioni sia abilitato per tutti i bucket Cloud Storage. I casi d'uso includono:

  • Protezione e recupero dei dati:proteggiti dalla perdita accidentale di dati impedendo le sovrascritture e consentendo il recupero dei dati eliminati o modificati.
  • Conformità e controllo:conserva una cronologia di tutte le modifiche agli oggetti a fini di conformità normativa o controllo interno.
  • Controllo delle versioni:monitora le modifiche apportate a file e set di dati, consentendo la collaborazione e il rollback alle versioni precedenti, se necessario.
Prodotti applicabili
  • Cloud Storage
Percorso storage.buckets/versioning.enabled
Operatore !=
Valore
  • True
Tipo Booleano
Controlli NIST-800-53 correlati
  • SI-12
Controlli del profilo CRI correlati
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informazioni correlate

Imponi proprietari per i bucket Cloud Storage

ID controllo Google GCS-CO-6.8
Categoria Consigliato
Descrizione

Assicurati che google_storage_bucket.labels abbia un'espressione per un proprietario.
Prodotti applicabili
  • Cloud Storage
Percorso storage.buckets/labels.owner
Operatore notexists
Valore
  • []
Tipo Esteso
Controlli NIST-800-53 correlati
  • SI-12
Controlli del profilo CRI correlati
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informazioni correlate

Abilita il logging delle attività chiave di Cloud Storage

ID controllo Google GCS-CO-7.4
Categoria Consigliato
Descrizione

Abilita la registrazione aggiuntiva per determinati oggetti di archiviazione in base al loro caso d'uso. Ad esempio, registra l'accesso ai bucket di dati sensibili in modo da poter tracciare chi ha ottenuto l'accesso e quando. Quando abiliti la registrazione aggiuntiva, considera il volume di log che potresti generare.
Prodotti applicabili
  • Cloud Storage
Controlli NIST-800-53 correlati
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Controlli del profilo CRI correlati
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Informazioni correlate

Passaggi successivi