Utiliser CMEK avec Managed Service pour Apache Spark

Par défaut, Managed Service pour Apache Spark chiffre le contenu client au repos. Managed Service pour Apache Spark gère le chiffrement sans intervention de votre part. Cette option est appelée chiffrement par défaut de Google.

Si vous souhaitez contrôler vos clés de chiffrement, vous pouvez utiliser des clés de chiffrement gérées par le client (CMEK) dans Cloud KMS avec des services bénéficiant d'une intégration des CMEK, y compris Managed Service pour Apache Spark. L'utilisation de clés Cloud KMS vous permet de contrôler leur niveau de protection, leur emplacement, leur calendrier de rotation, leurs autorisations d'utilisation et d'accès, ainsi que leurs limites cryptographiques. Cloud KMS vous permet également de suivre l'utilisation des clés, de consulter les journaux d'audit et de contrôler les cycles de vie des clés. Au lieu de laisser Google posséder et gérer les clés de chiffrement de clés (KEK) symétriques qui protègent vos données, c'est vous qui vous chargez de cette tâche dans Cloud KMS.

Une fois que vous avez configuré vos ressources avec des CMEK, l'accès à vos ressources Managed Service pour Apache Spark est semblable à celui du chiffrement par défaut de Google. Pour en savoir plus sur les options de chiffrement, consultez Clés de chiffrement gérées par le client (CMEK).

Lorsque vous utilisez Managed Service pour Apache Spark, les données sont stockées sur des disques de l'infrastructure sans serveur sous-jacente et dans un bucket de préproduction Cloud Storage. Ces données sont chiffrées à l'aide d'une clé de chiffrement des données (DEK) et d'une clé de chiffrement de clé (KEK) générées par Google. Si vous souhaitez contrôler votre KEK, vous pouvez utiliser une clé de chiffrement gérée par le client (CMEK) au lieu du chiffrement au repos par défaut. Lorsque vous utilisez une CMEK, vous créez la clé et gérez l'accès à celle-ci. Vous pouvez également révoquer l'accès à la clé pour empêcher le déchiffrement de vos DEK et de vos données.

Utiliser CMEK

Suivez les étapes de cette section pour utiliser CMEK afin de chiffrer les données que Managed Service pour Apache Spark écrit sur le disque persistant et dans le bucket de préproduction Managed Service pour Apache Spark.

À partir du 23 avril 2024 :

• Managed Service pour Apache Spark utilise également votre CMEK pour chiffrer les arguments des job par lot. Le rôle IAM Chiffreur/Déchiffreur de CryptoKeys Cloud KMS doit être attribué au compte de service de l'agent de service Managed Service pour Apache Spark pour activer ce comportement. Si le rôle d'agent de service Managed Service pour Apache Spark n'est pas associé au compte de service de l'agent de service Managed Service pour Apache Spark, ajoutez l'autorisation serviceusage.services.use à un rôle personnalisé associé au compte de service de l'agent de service Managed Service pour Apache Spark . L'API Cloud KMS doit être activée sur le projet qui exécute les ressources Managed Service pour Apache Spark.
• batches.list renvoie un champ unreachable qui liste tous les lots contenant des arguments de job qui n'ont pas pu être déchiffrés. Vous pouvez envoyer des requêtes batches.get pour obtenir plus d'informations sur les lots inaccessibles.
• La clé (CMEK) doit se trouver au même emplacement que la ressource chiffrée. Par exemple, la CMEK utilisée pour chiffrer un lot qui s'exécute dans la région us-central1 doit également se trouver dans la région us-central1.

Vous pouvez utiliser Cloud Key Management Service pour créer et gérer des trousseaux de clés et des clés, ou utiliser Cloud KMS Autokey pour créer automatiquement des trousseaux de clés et des clés de manière simplifiée.

Utiliser Cloud KMS Autokey

1. Activez Autokey sur le dossier qui contient votre projet.
2. Créez un handle de clé. Lorsque vous créez le handle de clé, spécifiez dataproc.googleapis.com/Batch ou dataproc.googleapis.com/Session comme --resource-type. Autokey génère une clé et l'attribue au handle de clé.
3. Accordez des autorisations aux comptes de service et configurez votre charge de travail par lot ou de session en suivant les étapes 4 et 5 de la section Créer et utiliser des clés manuellement ci-dessous. Lorsque vous envoyez votre charge de travail, spécifiez le nom de ressource du handle de clé à la place du nom de ressource de la clé dans le champ kmsKey.

Créer et utiliser des clés manuellement

Suivez ces étapes pour créer manuellement des clés Cloud KMS et les utiliser avec Managed Service pour Apache Spark.

1. Créez une clé à l'aide de Cloud Key Management Service (Cloud KMS).

2. Copiez le nom de la ressource.

   

   Le nom de la ressource est construit comme suit :

   projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
   

3. Activez les comptes de service Compute Engine, Managed Service pour Apache Spark et l'agent de service Cloud Storage pour utiliser votre clé :

   1. Consultez Protéger des ressources avec des clés Cloud KMS > Rôles requis pour attribuer le rôle Chiffreur/Déchiffreur de CryptoKeys Cloud KMS au compte de service de l'agent de service Compute Engine. Si ce compte de service n'est pas listé sur la page IAM de la console Google Cloud , cliquez sur Inclure les attributions de rôles fournies par Google pour l'afficher.

   2. Attribuez le rôle Chiffreur/Déchiffreur de CryptoKeys Cloud KMS au compte de service de l'agent de service Managed Service pour Apache Spark. Pour attribuer le rôle, vous pouvez utiliser Google Cloud CLI comme suit :

       gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
       --member serviceAccount:[e-mail] \
       --role roles/cloudkms.cryptoKeyEncrypterDecrypter
      

      Remplacez les éléments suivants :

      KMS_PROJECT_ID : ID de votre projet Google Cloud qui exécute Cloud KMS. Ce projet peut également être celui qui exécute les ressources Managed Service pour Apache Spark.

      PROJECT_NUMBER : numéro de votre projet Google Cloud qui exécute les ressources Managed Service pour Apache Spark, et non son ID.

   3. Activez l'API Cloud KMS sur le projet qui exécute les ressources Managed Service pour Apache Spark.

   4. Si le rôle d'agent de service Managed Service pour Apache Spark n'est pas associé au compte de service de l'agent de service Managed Service pour Apache Spark, ajoutez l'autorisation serviceusage.services.use au rôle personnalisé associé au compte de service de l'agent de service Managed Service pour Apache Spark. Si le rôle d'agent de service Managed Service pour Apache Spark est associé au compte de service de l'agent de service Managed Service pour Apache Spark, vous pouvez ignorer cette étape.

   5. Suivez les étapes pour ajouter votre clé au bucket.

4. Lorsque vous soumettez une charge de travail par lot :

   1. Spécifiez votre clé dans le paramètre de lot kmsKey.
   2. Spécifiez le nom de votre bucket Cloud Storage dans le paramètre de lot stagingBucket.

5. Lorsque vous créez une session interactive ou un profil d'exécution (modèle de session), configurez la clé de chiffrement et le bucket de préproduction :

   1. Spécifiez votre clé. Sur la page Créer un profil d'exécution de la consoleGoogle Cloud , sous Configuration supplémentaire, modifiez Réseau et sécurité, sélectionnez Clé Cloud KMS sous Chiffrement, puis sélectionnez votre clé. Vous pouvez également spécifier votre clé dans le paramètre de session ou de modèle de session kmsKey.

   2. Spécifiez le nom de votre bucket Cloud Storage. Sur la page Créer un profil d'exécution de la console Google Cloud , sous Configuration supplémentaire, modifiez la Configuration d'exécution et sélectionnez votre bucket dans le champ Bucket de préproduction. Vous pouvez également spécifier le bucket dans le paramètre stagingBucket de la session ou du modèle de session.