Profiler les données Amazon S3

Cette page explique comment configurer la découverte Sensitive Data Protection pour Amazon S3.

Pour en savoir plus sur le service de découverte, consultez Profils de données.

Cette fonctionnalité n'est disponible que pour les clients qui ont activé Security Command Center au niveau Enterprise.

Avant de commencer

  1. Dans Security Command Center, créez un connecteur pour Amazon Web Services (AWS). Ne décochez pas la case Accorder des autorisations pour la découverte Sensitive Data Protection. Sensitive Data Protection a besoin de ces autorisations pour profiler vos données Amazon S3.

    Si vous disposez déjà d'un connecteur pour lequel l'option Accorder des autorisations pour la découverte Sensitive Data Protection n'est pas sélectionnée, consultez Accorder des autorisations de découverte des données sensibles à un connecteur AWS existant.

  2. Vérifiez que vous disposez des autorisations IAM requises pour configurer des profils de données au niveau de l'organisation.

    Si vous ne disposez pas du rôle Administrateur de l'organisation (roles/resourcemanager.organizationAdmin) ou Administrateur de sécurité (roles/iam.securityAdmin), vous pouvez tout de même créer une configuration d'analyse. Toutefois, une fois la configuration d'analyse créée, une personne disposant de l'un de ces rôles doit accorder l'accès au profilage des données à votre agent de service.

  3. Vérifiez que vous disposez d'un modèle d'inspection dans la région global ou dans la région où vous prévoyez de stocker la configuration de l'analyse de détection et tous les profils de données générés.

    Cette tâche vous permet de créer automatiquement un modèle d'inspection dans la région global uniquement. Si des règles d'administration vous empêchent de créer un modèle d'inspection dans la région global, vous devez créer un modèle d'inspection dans la région où vous prévoyez de stocker la configuration de l'analyse de détection avant d'effectuer cette tâche.

  4. Pour envoyer des notifications Pub/Sub à un sujet lorsque certains événements se produisent (par exemple, lorsque Sensitive Data Protection profile un nouveau bucket), créez un sujet Pub/Sub avant d'effectuer cette tâche.

Pour générer des profils de données, vous avez besoin d'un conteneur d'agent de service et d'un agent de service à l'intérieur. Cette tâche vous permet de les créer automatiquement.

Créer une configuration d'analyse

  1. Accédez à la page Créer une configuration d'analyse.

    Accéder à la page "Créer une configuration d'analyse"

  2. Accédez à votre organisation. Dans la barre d'outils, cliquez sur le sélecteur de projet et sélectionnez votre organisation.

Les sections suivantes fournissent plus d'informations sur les étapes de la page Créer une configuration d'analyse. À la fin de chaque section, cliquez sur Continuer.

Sélectionner un type de détection

Sélectionnez Amazon S3.

Sélectionner un niveau d'accès

Effectuez l'une des opérations suivantes :

  • Pour analyser toutes les données S3 auxquelles votre connecteur AWS a accès, sélectionnez Analyser tous les comptes AWS disponibles via votre connecteur.
  • Pour analyser les données S3 d'un seul compte AWS, sélectionnez Analyser le compte sélectionné. Saisissez l'ID du compte AWS.
  • Pour analyser un seul bucket S3, sélectionnez Analyser un bucket. Saisissez l'ID du compte AWS contenant le bucket, puis saisissez le nom du bucket.

Gérer les planifications

Si la fréquence de profilage par défaut vous convient, vous pouvez ignorer cette section de la page Créer une configuration d'analyse.

Configurez cette section pour les raisons suivantes :

  • Pour ajuster précisément la fréquence de profilage de toutes vos données ou de certains sous-ensembles de données.
  • Pour spécifier les buckets que vous ne souhaitez pas profiler.
  • Pour spécifier les buckets que vous ne souhaitez pas profiler plus d'une fois.

Pour ajuster précisément la fréquence de profilage, procédez comme suit :

  1. Cliquez sur Ajouter une programmation.

  2. Dans la section Filtres, définissez un ou plusieurs filtres qui spécifient les buckets inclus dans le champ d'application de la programmation. Un bucket est considéré comme relevant du champ d'application de la programmation s'il correspond à au moins l'un des filtres définis.

    Pour configurer un filtre, spécifiez au moins l'un des éléments suivants :

    • ID de compte ou expression régulière spécifiant un ou plusieurs ID de compte
    • Un nom de bucket ou une expression régulière qui spécifie un ou plusieurs buckets

    Les expressions régulières doivent suivre la syntaxe RE2.

    Par exemple, si vous souhaitez que tous les buckets d'un compte soient inclus dans le filtre, saisissez l'ID de compte dans le champ ID de compte.

    Pour correspondre à un filtre, un bucket doit répondre à toutes les expressions régulières spécifiées dans ce filtre.

    Pour ajouter d'autres filtres, cliquez sur Ajouter un filtre et répétez cette étape.

  3. Cliquez sur Fréquence.

  4. Dans la section Fréquence, indiquez si vous souhaitez profiler les buckets que vous avez sélectionnés et, le cas échéant, à quelle fréquence :

    • Si vous ne souhaitez jamais profiler les buckets, désactivez l'option Profiler ces données.

    • Si vous souhaitez que les buckets soient profilés au moins une fois, laissez l'option Profiler ces données activée.

      Indiquez si vous souhaitez reprofiler vos données et quels événements doivent déclencher une opération de reprofilage. Pour en savoir plus, consultez Fréquence de génération des profils de données.

      1. Pour Selon une planification, spécifiez la fréquence à laquelle vous souhaitez que les buckets soient reprofilés. Les buckets sont reprofilés, qu'ils aient subi ou non des modifications.
      2. Pour Fréquence d'inspection des modifications apportées au modèle, indiquez si vous souhaitez que vos données soient reprofilées lorsque le modèle d'inspection associé est mis à jour et, le cas échéant, à quelle fréquence.

        Une modification du modèle d'inspection est détectée dans l'un des cas suivants :

        • Le nom d'un modèle d'inspection change dans votre configuration d'analyse.
        • Le updateTime d'un modèle d'inspection change.

  5. Facultatif : Cliquez sur Conditions.

    Dans la section Conditions, spécifiez les conditions que les buckets (définis dans vos filtres) doivent remplir avant que Sensitive Data Protection ne les profile.

    Si nécessaire, définissez les éléments suivants :

    • Conditions minimales : activez cette option si vous souhaitez retarder le profilage d'un bucket jusqu'à ce qu'il atteigne un certain âge. Saisissez ensuite la durée minimale.

    • Conditions de classes de stockage d'objets : par défaut, Sensitive Data Protection analyse tous les objets d'un bucket. Si vous ne souhaitez analyser que les objets possédant des attributs spécifiques, sélectionnez ces attributs.

    Exemples de conditions

    Supposons que vous ayez la configuration suivante :

    • Conditions minimales

      • Durée minimale : 24 heures
    • Conditions de classes de stockage d'objets

      • Analyser les objets avec la classe de stockage d'objets S3 Standard
      • Analyser les objets avec la classe de stockage S3 Glacier Instant Retrieval

    Dans ce cas, Sensitive Data Protection ne prend en compte que les buckets datant d'au moins 24 heures. Dans ces buckets, Sensitive Data Protection ne profile que les objets qui se trouvent dans la classe de stockage Amazon S3 Standard ou Amazon S3 Glacier Instant Retrieval.

  6. Cliquez sur OK.

  7. Facultatif : Pour ajouter d'autres programmations, cliquez sur Ajouter une programmation et répétez les étapes précédentes.

  8. Pour spécifier la priorité entre les planifications, réorganisez-les à l'aide des flèches vers le haut  et vers le bas .

    L'ordre des plannings indique comment les conflits entre les plannings sont résolus. Si un bucket correspond aux filtres de deux planifications différentes, la planification la plus élevée dans la liste des planifications dicte la fréquence de profilage de ce bucket.

  9. Facultatif : Modifiez ou désactivez la programmation globale.

    Le dernier programme de la liste est le programme général. Cette programmation couvre les buckets de votre champ d'application sélectionné qui ne correspondent à aucune des programmations que vous avez créées. La programmation globale suit la fréquence de profilage par défaut du système.

    • Pour ajuster la programmation globale, cliquez sur Modifier la programmation, puis ajustez les paramètres si nécessaire.
    • Pour empêcher Sensitive Data Protection de profiler les ressources couvertes par la programmation globale, désactivez l'option Profiler les ressources qui ne correspondent à aucune programmation personnalisée.

Sélectionner un modèle d'inspection

Selon la manière dont vous souhaitez fournir une configuration d'inspection, choisissez l'une des options suivantes. Quelle que soit l'option choisie, Sensitive Data Protection analyse vos données dans la région où elles sont stockées. En d'autres termes, vos données ne quittent pas leur région d'origine.

Option 1 : Créer un modèle d'inspection

Choisissez cette option si vous souhaitez créer un modèle d'inspection dans la région global.

  1. Cliquez sur Créer un modèle d'inspection.
  2. Facultatif : Pour modifier la sélection par défaut des infoTypes, cliquez sur Gérer les infoTypes.

    Pour savoir comment gérer les infoTypes intégrés et personnalisés, consultez Gérer les infoTypes dans la consoleGoogle Cloud .

    Vous devez sélectionner au moins un infoType pour continuer.

  3. Facultatif : poursuivez la configuration du modèle d'inspection en ajoutant des ensembles de règles et en définissant un seuil de confiance. Pour en savoir plus, consultez la section Configurer la détection.

Lorsque Sensitive Data Protection crée la configuration d'analyse, il stocke ce nouveau modèle d'inspection dans la région global.

Option 2 : Utiliser un modèle d'inspection existant

Choisissez cette option si vous disposez de modèles d'inspection existants que vous souhaitez utiliser.

  1. Cliquez sur Sélectionner un modèle d'inspection existant.
  2. Saisissez le nom de ressource complet du modèle d'inspection que vous souhaitez utiliser. Le champ Région est automatiquement renseigné avec le nom de la région dans laquelle votre modèle d'inspection est stocké.

    Le modèle d'inspection que vous saisissez doit se trouver dans la même région que celle où vous prévoyez de stocker cette configuration d'analyse de découverte et tous les profils de données générés.

    Pour respecter la résidence des données, Sensitive Data Protection n'utilise pas de modèle d'inspection en dehors de la région où ce modèle est stocké.

    Pour trouver le nom de ressource complet d'un modèle d'inspection, procédez comme suit :

    1. Accédez à la liste de vos modèles d'inspection. Cette page s'ouvre dans un nouvel onglet.

      Accéder aux modèles d'inspection

    2. Sélectionnez le projet contenant le modèle d'inspection que vous souhaitez utiliser.
    3. Sélectionnez Configuration > Modèles > Inspecter, puis cliquez sur l'ID du modèle que vous souhaitez utiliser.
    4. Sur la page qui s'affiche, copiez le nom complet de la ressource du modèle. Le nom complet de la ressource suit le format suivant :
      projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID
    5. Sur la page Créer une configuration d'analyse, collez le nom complet de la ressource du modèle dans le champ Nom du modèle.

Ajouter des actions

Cette section explique comment spécifier les actions que vous souhaitez que Sensitive Data Protection effectue après avoir profilé un bucket. Ces actions sont utiles si vous souhaitez envoyer des insights recueillis à partir de profils de données à d'autres servicesGoogle Cloud .

Publier dans Google Security Operations

Les métriques collectées à partir des profils de données peuvent ajouter du contexte à vos résultats Google Security Operations. Le contexte ajouté peut vous aider à déterminer les problèmes de sécurité les plus importants à résoudre.

Par exemple, si vous enquêtez sur un agent de service particulier, Google Security Operations peut déterminer les ressources auxquelles l'agent de service a accédé et si l'une de ces ressources contient des données hautement sensibles.

Pour envoyer vos profils de données à votre instance Google Security Operations, activez l'option Publier dans Google Security Operations.

Si aucune instance Google Security Operations n'est activée pour votre organisation (via le produit autonome ou via Security Command Center Enterprise), l'activation de cette option n'a aucun effet.

Publier dans Security Command Center

Les résultats des profils de données fournissent du contexte lorsque vous triez et développez des plans de réponse pour vos résultats de failles et de menaces dans Security Command Center.

Pour envoyer les résultats de vos profils de données à Security Command Center, assurez-vous que l'option Publier dans Security Command Center est activée.

Pour en savoir plus, consultez Publier des profils de données dans Security Command Center.

Enregistrer des copies des profils de données dans BigQuery

Sensitive Data Protection enregistre une copie de chaque profil de données généré dans une table BigQuery. Si vous ne fournissez pas les détails de la table de votre choix, Sensitive Data Protection crée un ensemble de données et une table dans le conteneur de l'agent de service. Par défaut, l'ensemble de données est nommé sensitive_data_protection_discovery et la table est nommée discovery_profiles.

Cette action vous permet de conserver un historique de tous les profils que vous avez générés. Cet historique peut être utile pour créer des rapports d'audit et visualiser des profils de données. Vous pouvez également charger ces informations dans d'autres systèmes.

Cette option vous permet également de voir tous vos profils de données dans une seule vue, quelle que soit la région où résident vos données. Bien que vous puissiez également afficher les profils de données via la consoleGoogle Cloud , la console n'affiche les profils que dans une seule région à la fois.

Lorsque Sensitive Data Protection ne parvient pas à profiler un bucket, il effectue de nouvelles tentatives régulièrement. Pour minimiser le bruit dans les données exportées, Sensitive Data Protection n'exporte vers BigQuery que les profils générés avec succès.

Sensitive Data Protection commence à exporter les profils dès que vous activez cette option. Les profils générés avant l'activation de l'exportation ne sont pas enregistrés dans BigQuery.

Pour obtenir des exemples de requêtes que vous pouvez utiliser lors de l'analyse des profils de données, consultez Analyser les profils de données.

Enregistrer un échantillon des résultats de la découverte dans BigQuery

Sensitive Data Protection peut ajouter des exemples de résultats à une table BigQuery de votre choix. Les exemples de résultats représentent un sous-ensemble de tous les résultats et peuvent ne pas représenter tous les infoTypes découverts. En règle générale, le système génère environ 10 exemples de résultats par bucket, mais ce nombre peut varier pour chaque exécution de découverte.

Chaque résultat inclut la chaîne réelle (également appelée citation) qui a été détectée et son emplacement exact.

Cette action est utile si vous souhaitez évaluer si votre configuration d'inspection correspond correctement au type d'informations que vous souhaitez signaler comme sensibles. À l'aide des profils de données exportés et des exemples de résultats exportés, vous pouvez exécuter des requêtes pour obtenir plus d'informations sur les éléments spécifiques qui ont été signalés, les infoTypes auxquels ils correspondent, leurs emplacements exacts, leurs niveaux de sensibilité calculés et d'autres détails.

Pour cet exemple, les options Enregistrer des copies des profils de données dans BigQuery et Enregistrer un échantillon des résultats de la découverte dans BigQuery doivent être activées.

La requête suivante utilise une opération INNER JOIN sur la table des profils de données exportés et sur la table des exemples de résultats exportés. Dans le tableau qui s'affiche, chaque enregistrement indique la citation du résultat, l'infoType auquel il correspond, la ressource qui contient le résultat et le niveau de sensibilité calculé de la ressource.

SELECT
 findings_table.quote,
 findings_table.infotype.name,
 findings_table.location.container_name,
 profiles_table.file_store_profile.file_store_path as bucket_name,
 profiles_table.file_store_profile.sensitivity_score as bucket_sensitivity_score
FROM
 `FINDINGS_TABLE_PROJECT_ID.FINDINGS_TABLE_DATASET_ID.FINDINGS_TABLE_ID_latest_v1` AS findings_table
INNER JOIN
 `PROFILES_TABLE_PROJECT_ID.PROFILES_TABLE_DATASET_ID.PROFILES_TABLE_ID_latest_v1` AS profiles_table
ON
 findings_table.data_profile_resource_name=profiles_table.file_store_profile.name
 AND findings_table.timestamp.timestamp=profiles_table.file_store_profile.profile_last_generated.timestamp

Pour enregistrer un échantillon de résultats dans une table BigQuery, procédez comme suit :

  1. Activez l'option Enregistrer un échantillon des résultats de la découverte dans BigQuery.

  2. Saisissez les détails de la table BigQuery dans laquelle vous souhaitez enregistrer les exemples de résultats.

    La table que vous spécifiez pour cette action doit être différente de celle utilisée pour l'action Enregistrer des copies des profils de données dans BigQuery.

    • Dans le champ ID du projet, saisissez l'ID d'un projet existant vers lequel vous souhaitez exporter les résultats.

    • Dans le champ ID de l'ensemble de données, saisissez le nom d'un ensemble de données existant dans le projet.

    • Dans le champ ID de table, saisissez le nom de la table BigQuery dans laquelle vous souhaitez enregistrer les résultats. Si cette table n'existe pas, Sensitive Data Protection la crée automatiquement pour vous en utilisant le nom que vous fournissez.

Pour en savoir plus sur le contenu de chaque résultat enregistré dans la table BigQuery, consultez DataProfileFinding.

Publier dans Pub/Sub

L'activation de l'option Publier dans Pub/Sub vous permet d'effectuer des actions programmatiques en fonction des résultats du profilage. Vous pouvez utiliser les notifications Pub/Sub pour développer un workflow permettant de détecter et de corriger les résultats présentant un risque ou une sensibilité de données importants.

Pour envoyer des notifications à un sujet Pub/Sub, procédez comme suit :

  1. Activez Publier dans Pub/Sub.

    Une liste d'options s'affiche. Chaque option décrit un événement qui déclenche l'envoi d'une notification à Pub/Sub par Sensitive Data Protection.

  2. Sélectionnez les événements qui doivent déclencher une notification Pub/Sub.

    Si vous sélectionnez Envoyer une notification Pub/Sub à chaque mise à jour d'un profil, Sensitive Data Protection envoie une notification en cas de modification du niveau de sensibilité, du niveau de risque des données, des infoTypes détectés, de l'accès public et d'autres métriques importantes du profil.

  3. Pour chaque événement que vous sélectionnez, procédez comme suit :

    1. Saisissez le nom du sujet. Le nom doit être au format suivant :

      projects/PROJECT_ID/topics/TOPIC_ID
      

      Remplacez les éléments suivants :

      • PROJECT_ID : ID du projet associé au sujet Pub/Sub.
      • TOPIC_ID : ID du sujet Pub/Sub.
    2. Indiquez si vous souhaitez inclure le profil de bucket complet dans la notification ou seulement le nom de ressource complet du bucket profilé.

    3. Définissez les niveaux minimaux de risque et de sensibilité des données à respecter pour que Sensitive Data Protection envoie une notification.

    4. Indiquez si une seule ou les deux conditions de risque et de sensibilité des données doivent être remplies. Par exemple, si vous choisissez AND, les conditions de risque et de sensibilité des données doivent être remplies pour que Sensitive Data Protection envoie une notification.

Gérer le conteneur d'agent de service et la facturation

Dans cette section, vous allez spécifier le projet à utiliser comme conteneur d'agent de service. Vous pouvez demander à Sensitive Data Protection de créer automatiquement un nouveau projet ou en sélectionner un existant.

Que vous utilisiez un agent de service nouvellement créé ou que vous en réutilisiez un existant, assurez-vous qu'il dispose d'un accès en lecture aux données à profiler.

Créer automatiquement un projet

Si vous ne disposez pas des autorisations nécessaires pour créer un projet dans l'organisation, vous devez sélectionner un projet existant ou obtenir les autorisations requises. Pour en savoir plus sur les autorisations requises, consultez Rôles requis pour utiliser les profils de données au niveau de l'organisation ou du dossier.

Pour créer automatiquement un projet à utiliser comme conteneur d'agent de service, procédez comme suit :

  1. Dans le champ Conteneur de l'agent de service, vérifiez l'ID du projet suggéré et modifiez-le si nécessaire.
  2. Cliquez sur Créer.
  3. Facultatif : Modifiez le nom du projet par défaut.
  4. Sélectionnez le compte à facturer pour toutes les opérations facturables liées à ce nouveau projet, y compris les opérations qui ne sont pas liées à la découverte.

  5. Cliquez sur Créer.

Sensitive Data Protection crée le projet. L'agent de service de ce projet sera utilisé pour s'authentifier auprès de Sensitive Data Protection et d'autres API.

Sélectionner un projet existant

Pour sélectionner un projet existant comme conteneur d'agent de service, cliquez sur le champ Conteneur d'agent de service, puis sélectionnez le projet.

Définir l'emplacement de stockage de la configuration

Cliquez sur la liste Emplacement de la ressource, puis sélectionnez la région dans laquelle vous souhaitez stocker cette configuration d'analyse. Toutes les configurations d'analyse que vous créerez ultérieurement seront également stockées à cet emplacement.

L'emplacement où vous choisissez de stocker la configuration de l'analyse n'a aucune incidence sur les données à analyser. Vos données sont analysées dans la région où elles sont stockées. Pour en savoir plus, consultez Considérations relatives à la résidence des données.

Examiner et créer la configuration

  1. Si vous souhaitez vous assurer que le profilage ne démarre pas automatiquement après la création de la configuration d'analyse, sélectionnez Créer une analyse en mode suspendu.

    Cette option est utile dans les cas suivants :

    • Votre administrateur Google Cloud doit toujours accorder l'accès au profilage des données à l'agent de service.
    • Vous souhaitez créer plusieurs configurations d'analyse et vous voulez que certaines configurations remplacent d'autres.
    • Vous avez choisi d'enregistrer les profils de données dans BigQuery et vous souhaitez vous assurer que l'agent de service dispose d'un accès en écriture à la table BigQuery dans laquelle les copies des profils de données seront enregistrées.
    • Vous avez choisi d'enregistrer un échantillon des résultats de la découverte dans BigQuery et vous souhaitez vous assurer que l'agent de service dispose d'un accès en écriture à la table BigQuery où l'échantillon des résultats sera enregistré.
    • Vous avez configuré des notifications Pub/Sub et vous souhaitez accorder un accès en publication à l'agent de service.
  2. Vérifiez vos paramètres, puis cliquez sur Créer.

    La protection des données sensibles crée la configuration d'analyse et l'ajoute à la liste des configurations d'analyse de découverte.

Pour afficher ou gérer vos configurations d'analyse, consultez Gérer les configurations d'analyse.

Étapes suivantes