Contrôles Cloud Storage pour les cas d'utilisation de l'IA générative

Ce document inclut les bonnes pratiques et les consignes pour Cloud Storage lors de l'exécution de charges de travail d'IA générative qui utilisent Google Cloud. Utilisez Cloud Storage avec Vertex AI pour stocker les données d'entraînement, les artefacts de modèle et les données de production.

Voici quelques cas d'utilisation de Cloud Storage avec Vertex AI :

  • Stocker les données d'entraînement : Vertex AI vous permet de stocker vos ensembles de données d'entraînement dans des buckets Cloud Storage. L'utilisation de Cloud Storage présente plusieurs avantages :
    • Cloud Storage peut gérer des ensembles de données de n'importe quelle taille, ce qui vous permet d'entraîner des modèles sur de grandes quantités de données sans limite de stockage.
    • Vous pouvez définir des contrôles d'accès précis et le chiffrement sur vos buckets Cloud Storage pour vous assurer que vos données d'entraînement sensibles sont protégées.
    • Cloud Storage vous permet de suivre les modifications et de revenir aux versions précédentes de vos données. Vous disposez ainsi de pistes d'audit précieuses et vous pouvez reproduire les expériences d'entraînement.
    • Vertex AI s'intègre de manière transparente à Cloud Storage, ce qui vous permet d'accéder à vos données d'entraînement au sein de la plate-forme.
  • Stocker les artefacts de modèle : vous pouvez stocker les artefacts de modèle entraînés, tels que les fichiers de modèle, les configurations d'hyperparamètres et les journaux d'entraînement, dans des buckets Cloud Storage. L'utilisation de Cloud Storage vous permet d'effectuer les opérations suivantes :
    • Conservez tous vos artefacts de modèle dans Cloud Storage en tant que dépôt centralisé pour y accéder et les gérer facilement.
    • Suivez et gérez différentes versions de vos modèles, ce qui facilite les comparaisons et les retours en arrière si nécessaire.
    • Accordez à vos coéquipiers et collaborateurs l'accès à des buckets Cloud Storage spécifiques pour partager efficacement des modèles.
  • Stocker les données de production : pour les modèles utilisés en production, Cloud Storage peut stocker les données fournies au modèle pour la prédiction. Par exemple, vous pouvez utiliser Cloud Storage pour effectuer les opérations suivantes :
    • Stockez les données et les interactions des utilisateurs pour obtenir des recommandations personnalisées en temps réel.
    • Conservez les images pour le traitement et la classification à la demande à l'aide de vos modèles.
    • Conservez les données de transaction pour identifier les fraudes en temps réel à l'aide de vos modèles.
  • Intégration à d'autres services : Cloud Storage s'intègre de manière transparente à d'autres services Google Cloud utilisés dans les workflows Vertex AI, tels que les suivants :
    • Dataflow pour simplifier les pipelines de prétraitement et de transformation des données.
    • BigQuery pour accéder à de grands ensembles de données stockés dans BigQuery pour l'entraînement et l'inférence des modèles.
    • Fonctions Cloud Run pour les actions basées sur les prédictions de modèles ou les modifications de données dans les buckets Cloud Storage.
  • Gérez vos coûts : Cloud Storage propose un modèle de tarification à l'usage, ce qui signifie que vous ne payez que l'espace de stockage que vous utilisez. Cela permet de réduire les coûts, en particulier pour les grands ensembles de données.
  • Activer la haute disponibilité et la durabilité : Cloud Storage garantit la disponibilité élevée de vos données et les protège contre les défaillances ou les pannes, ce qui assure la fiabilité et un accès robuste à vos composants de ML.
  • Activez la compatibilité multirégionale : stockez vos données dans plusieurs régions Cloud Storage géographiquement plus proches de vos utilisateurs ou applications. Vous améliorerez ainsi les performances et réduirez la latence pour l'accès aux données et les prédictions de modèles.

Contrôles Cloud Storage requis

Les contrôles suivants sont fortement recommandés lorsque vous utilisez Cloud Storage.

Bloquer l'accès public aux buckets Cloud Storage

ID de contrôle Google GCS-CO-4.1
Catégorie Obligatoire
Description

La contrainte booléenne storage.publicAccessPrevention empêche l'accès aux ressources existantes et futures sur Internet. Elle désactive et bloque les listes de contrôle des accès (LCA) et les autorisations Identity and Access Management (IAM) qui accordent l'accès à allUsers et allAuthenticatedUsers.
Produits applicables
  • Service de règles d'administration
  • Cloud Storage
Chemin d'accès constraints/storage.publicAccessPrevention
Opérateur ==
Valeur
  • True
Type Booléen
Contrôles NIST-800-53 associés
  • AC-3
  • AC-17
  • AC-20
Contrôles associés du profil CRI
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.PT-3.1
  • PR.PT-4.1
Informations connexes

Utiliser l'accès uniforme au niveau du bucket

ID de contrôle Google GCS-CO-4.2
Catégorie Obligatoire
Description

La contrainte booléenne storage.uniformBucketLevelAccess exige que les buckets utilisent l'accès uniforme au niveau du bucket. L'accès uniforme au niveau du bucket vous permet d'utiliser uniquement les autorisations Identity and Access Management (IAM) au niveau du bucket pour accorder l'accès à vos ressources Cloud Storage.
Produits applicables
  • Service de règles d'administration
  • Cloud Storage
Chemin d'accès constraints/storage.uniformBucketLevelAccess
Opérateur ==
Valeur
  • True
Type Booléen
Contrôles NIST-800-53 associés
  • AC-3
  • AC-17
  • AC-20
Contrôles associés du profil CRI
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.PT-3.1
  • PR.PT-4.1
Informations connexes

Protéger les clés HMAC pour les comptes de service

ID de contrôle Google GCS-CO-6.9
Catégorie Obligatoire
Description

Une clé HMAC est un type d'identifiant à longue durée de vie associé à un compte de service ou à un compte utilisateur dans Cloud Storage. Utilisez une clé HMAC pour créer des signatures incluses dans les requêtes envoyées à Cloud Storage. Une signature prouve qu'un utilisateur ou un compte de service a autorisé une requête.

Contrairement aux identifiants éphémères (tels que Contrairement aux jetons OAuth 2.0, les clés HMAC n'expirent pas automatiquement et restent valides jusqu'à ce qu'elles soient révoquées manuellement. Les clés HMAC sont des identifiants à haut risque. Si elles sont compromises, elles permettent d'accéder de manière persistante à vos ressources. Vous devez vous assurer que des mécanismes appropriés sont en place pour les protéger.
Produits applicables
  • Cloud Storage
Chemin d'accès storage.projects.hmacKeys/id
Opérateur Exists
Valeur
  • []
Type Chaîne
Contrôles NIST-800-53 associés
  • SC-12
  • SC-13
Contrôles associés du profil CRI
  • PR.DS-1.1
  • PR.DS-1.2
  • PR.DS-2.1
  • PR.DS-2.2
  • PR.DS-5.1
Informations connexes

Détecter l'énumération des buckets Cloud Storage par les comptes de service

ID de contrôle Google GCS-CO-7.2
Catégorie Obligatoire
Description

Les comptes de service sont des identités non humaines conçues pour les applications. Leur comportement est prévisible et automatisé. En règle générale, les comptes de service n'ont pas besoin de lister les buckets, car ils sont déjà mappés. Par conséquent, si vous détectez un compte de service qui tente de récupérer la liste de tous les buckets Cloud Storage, examinez-le immédiatement. L'énumération de reconnaissance est souvent utilisée comme technique de reconnaissance par un acteur malveillant qui a obtenu l'accès au compte de service.
Produits applicables
  • Cloud Storage
  • Cloud Audit Logs
Opérateur ==
Valeur
  • storage.bucket.list
Type Chaîne
Contrôles NIST-800-53 associés
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Contrôles associés du profil CRI
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Informations connexes

Détecter les modifications apportées aux règles Identity and Access Management (IAM) des buckets Cloud Storage par les comptes de service

ID de contrôle Google GCS-CO-7.3
Catégorie Obligatoire
Description

Configurez une alerte qui détecte lorsqu'une stratégie IAM de bucket Cloud Storage est modifiée pour accorder un accès public. Cette alerte se déclenche lorsque les comptes principaux allUsers ou allAuthenticatedUsers sont ajoutés à la stratégie IAM d'un bucket. Cette alerte est un événement critique de haute gravité, car elle peut exposer toutes les données du bucket. Examinez immédiatement cette alerte pour confirmer si la modification a été autorisée ou si elle est le signe d'une mauvaise configuration ou d'un acteur malveillant.

Dans l'alerte, définissez l'attribut JSON data.protoPayload.serviceData.policyData.bindingDeltas.member sur allUsers ou allAuthenticatedUsers, et l'action sur ADD.
Produits applicables
  • Cloud Storage
  • Cloud Audit Logs
Contrôles NIST-800-53 associés
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Contrôles associés du profil CRI
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Informations connexes

En fonction de vos cas d'utilisation de l'IA générative, nous vous recommandons d'utiliser des contrôles supplémentaires. Ces contrôles incluent des contrôles de conservation des données et d'autres contrôles basés sur des règles qui sont basés sur les règles de votre entreprise.

S'assurer que la règle de conservation du bucket Cloud Storage utilise le verrou de bucket

ID de contrôle Google GCS-CO-6.1
Catégorie Recommandé
Description

En fonction de vos exigences réglementaires, assurez-vous que la règle de conservation de chaque bucket Cloud Storage est verrouillée. Définissez la durée de conservation sur une période qui répond à vos besoins.
Produits applicables
  • Cloud Storage
Chemin d'accès storage.buckets/retentionPolicy.isLocked
Opérateur !=
Valeur
  • True
Type Booléen
Contrôles NIST-800-53 associés
  • SI-12
Contrôles associés du profil CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informations connexes

Définir des règles de cycle de vie pour l'action SetStorageClass

ID de contrôle Google GCS-CO-6.11
Catégorie Recommandé
Description

Appliquez des règles de cycle de vie à chaque bucket Cloud Storage dont le type d'action est SetStorageClass.
Produits applicables
  • Cloud Storage
Chemin d'accès storage.buckets/lifecycle.rule.action.type
Opérateur ==
Valeur
  • SetStorageClass
Type Chaîne
Contrôles NIST-800-53 associés
  • SI-12
Contrôles associés du profil CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informations connexes

Définir les régions autorisées pour les classes de stockage

ID de contrôle Google GCS-CO-6.12
Catégorie Recommandé
Description
Assurez-vous que les classes de stockage de la configuration du cycle de vie ne font pas partie des classifications régionales autorisées.
Produits applicables
  • Cloud Storage
Chemin d'accès storage.buckets/lifecycle.rule.action.storageClass
Opérateur nin
Valeur
  • MULTI_REGIONAL
  • REGIONAL
Type Chaîne
Contrôles NIST-800-53 associés
  • SI-12
Contrôles associés du profil CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informations connexes

Activer la gestion du cycle de vie pour les buckets Cloud Storage

ID de contrôle Google GCS-CO-6.13
Catégorie Recommandé
Description

Assurez-vous que la gestion du cycle de vie de Cloud Storage est activée et configurée. Le contrôle du cycle de vie contient la configuration du cycle de vie du stockage. Vérifiez que les règles de ce paramètre correspondent à vos exigences.
Produits applicables
  • Cloud Storage
Chemin d'accès storage.buckets/lifecycle
Opérateur Exists
Valeur
  • []
Type Objet
Contrôles NIST-800-53 associés
  • SI-12
Contrôles associés du profil CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informations connexes

Activer les règles de gestion du cycle de vie pour les buckets Cloud Storage

ID de contrôle Google GCS-CO-6.14
Catégorie Recommandé
Description

Assurez-vous que les règles de gestion du cycle de vie pour Cloud Storage sont activées et configurées. Le contrôle des règles contient la configuration du cycle de vie du stockage. Vérifiez que les règles de ce paramètre correspondent à vos exigences.
Produits applicables
  • Cloud Storage
Chemin d'accès storage.buckets/lifecycle.rule
Opérateur Empty
Valeur
  • []
Type Tableau
Contrôles NIST-800-53 associés
  • SI-12
Contrôles associés du profil CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informations connexes

Examiner et évaluer les préservations temporaires placées sur des objets actifs

ID de contrôle Google GCS-CO-6.16
Catégorie Recommandé
Description

Identifiez tous les objets pour lesquels temporaryHold est défini sur TRUE, puis lancez un processus d'investigation et de validation. Cette évaluation convient aux cas d'utilisation suivants :

  • Préservation à titre conservatoire : pour respecter les exigences légales en matière de stockage de données, vous pouvez utiliser une préservation temporaire afin d'empêcher la suppression de données sensibles pouvant être pertinentes pour des enquêtes ou des litiges en cours.
  • Protection contre la perte de données : pour éviter la suppression accidentelle de données importantes, vous pouvez utiliser la conservation temporaire comme mesure de sécurité pour protéger les informations critiques de votre entreprise.
  • Modération de contenu : pour examiner les contenus potentiellement sensibles ou inappropriés avant qu'ils ne deviennent accessibles au public, appliquez une suspension temporaire aux contenus importés dans Cloud Storage afin de les inspecter plus en détail et de prendre une décision de modération.
Produits applicables
  • Cloud Storage
Chemin d'accès storage.objects/temporaryHold
Opérateur ==
Valeur
  • TRUE
Type Booléen
Contrôles NIST-800-53 associés
  • SI-12
Contrôles associés du profil CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informations connexes

Appliquer des règles de conservation aux buckets Cloud Storage

ID de contrôle Google GCS-CO-6.17
Catégorie Recommandé
Description

Assurez-vous que tous les buckets Cloud Storage disposent d'une règle de conservation.
Produits applicables
  • Cloud Storage
Chemin d'accès storage.buckets/retentionPolicy.retentionPeriod
Opérateur agesmaller
Valeur
  • [90,"DAY","AFTER","yyyy-MM-dd'T'HH:mm:ss'Z'"]
Type int64
Contrôles NIST-800-53 associés
  • SI-12
Contrôles associés du profil CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informations connexes

Appliquer des tags de classification pour les buckets Cloud Storage

ID de contrôle Google GCS-CO-6.18
Catégorie Recommandé
Description

La classification des données est un élément fondamental de tout programme de gouvernance et de sécurité des données. Il est essentiel d'appliquer un libellé de classification avec des valeurs telles que "public", "interne", "confidentiel" ou "limité" à chaque bucket.

Vérifiez que google_storage_bucket.labels comporte une expression pour la classification et créez un cas de non-respect si ce n'est pas le cas.
Produits applicables
  • Cloud Storage
Chemin d'accès storage.buckets/labels.classification
Opérateur notexists
Valeur
  • []
Type Étendu
Contrôles NIST-800-53 associés
  • SI-12
Contrôles associés du profil CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informations connexes

Appliquer des buckets de journaux pour les buckets Cloud Storage

ID de contrôle Google GCS-CO-6.3
Catégorie Recommandé
Description

Assurez-vous que chaque bucket Cloud Storage inclut un bucket de journaux.
Produits applicables
  • Cloud Storage
Chemin d'accès storage.buckets/logging.logBucket
Opérateur notexists
Valeur
  • []
Type Chaîne
Contrôles NIST-800-53 associés
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Contrôles associés du profil CRI
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Informations connexes

Configurer des règles de suppression pour les buckets Cloud Storage

ID de contrôle Google GCS-CO-6.5
Catégorie Recommandé
Description

Dans Cloud Storage, storage.buckets/lifecycle.rule.action.type fait référence au type d'action à effectuer sur un objet spécifique en fonction d'une règle de cycle de vie dans un bucket. Cette configuration permet d'automatiser la gestion et le cycle de vie de vos données stockées dans le cloud.

Configurez storage.buckets/lifecycle.rule.action.type pour vous assurer que les objets sont définitivement supprimés du bucket.
Produits applicables
  • Cloud Storage
Chemin d'accès storage.buckets/lifecycle.rule.action.type
Opérateur ==
Valeur
  • Delete
Type Chaîne
Contrôles NIST-800-53 associés
  • SI-12
Contrôles associés du profil CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informations connexes

Assurez-vous que la condition "isLive" est définie sur "False" pour les règles de suppression.

ID de contrôle Google GCS-CO-6.6
Catégorie Recommandé
Description

Pour les règles de suppression, assurez-vous que la condition isLive de la règle est définie sur false.

Dans Cloud Storage, storage.buckets/lifecycle.rule.condition.isLive est une condition booléenne utilisée dans les règles de cycle de vie pour déterminer si un objet est considéré comme actif. Ce filtre permet de s'assurer que les actions d'une règle de cycle de vie ne sont appliquées qu'aux objets souhaités en fonction de leur état actif.

Cas d'utilisation :

  • Archiver les versions historiques : archivez uniquement les versions obsolètes des objets pour réduire les coûts de stockage tout en gardant la dernière version facilement accessible.
  • Nettoyer les objets supprimés : automatisez la suppression définitive des objets supprimés par les utilisateurs pour libérer de l'espace dans le bucket.
  • Protéger les données actives : assurez-vous que les actions telles que la définition de préservations temporaires ne sont appliquées qu'aux objets actifs, ce qui évite toute modification accidentelle des versions archivées ou supprimées.
Produits applicables
  • Cloud Storage
Chemin d'accès storage.buckets/lifecycle.rule.condition.isLive
Opérateur ==
Valeur
  • False
Type Booléen
Contrôles NIST-800-53 associés
  • SI-12
Contrôles associés du profil CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informations connexes

Appliquer la gestion des versions pour les buckets Cloud Storage

ID de contrôle Google GCS-CO-6.7
Catégorie Recommandé
Description

Assurez-vous que la gestion des versions est activée pour tous les buckets Cloud Storage. Voici quelques cas d'utilisation :

  • Protection et récupération des données : protégez-vous contre la perte accidentelle de données en empêchant l'écrasement et en permettant la récupération des données supprimées ou modifiées.
  • Conformité et audit : conservez un historique de toutes les modifications apportées aux objets à des fins de conformité réglementaire ou d'audit interne.
  • Contrôle des versions : suivez les modifications apportées aux fichiers et aux ensembles de données, ce qui permet la collaboration et le retour aux versions précédentes si nécessaire.
Produits applicables
  • Cloud Storage
Chemin d'accès storage.buckets/versioning.enabled
Opérateur !=
Valeur
  • True
Type Booléen
Contrôles NIST-800-53 associés
  • SI-12
Contrôles associés du profil CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informations connexes

Appliquer des propriétaires pour les buckets Cloud Storage

ID de contrôle Google GCS-CO-6.8
Catégorie Recommandé
Description

Assurez-vous que google_storage_bucket.labels comporte une expression pour un propriétaire.
Produits applicables
  • Cloud Storage
Chemin d'accès storage.buckets/labels.owner
Opérateur notexists
Valeur
  • []
Type Étendu
Contrôles NIST-800-53 associés
  • SI-12
Contrôles associés du profil CRI
  • PR.IP-2.1
  • PR.IP-2.2
  • PR.IP-2.3
Informations connexes

Activer la journalisation des principales activités Cloud Storage

ID de contrôle Google GCS-CO-7.4
Catégorie Recommandé
Description

Activez la journalisation supplémentaire pour des objets de stockage spécifiques en fonction de leur cas d'utilisation. Par exemple, enregistrez l'accès aux buckets de données sensibles pour pouvoir savoir qui y a accédé et quand. Lorsque vous activez la journalisation supplémentaire, tenez compte du volume de journaux que vous pourriez générer.
Produits applicables
  • Cloud Storage
Contrôles NIST-800-53 associés
  • AU-2
  • AU-3
  • AU-8
  • AU-9
Contrôles associés du profil CRI
  • DM.ED-7.1
  • DM.ED-7.2
  • DM.ED-7.3
  • DM.ED-7.4
  • PR.IP-1.4
Informations connexes

Étapes suivantes