Usar CMEK con Google Cloud Serverless para Apache Spark

De forma predeterminada, Google Cloud Serverless para Apache Spark cifra el contenido del cliente en reposo. Serverless para Apache Spark se encarga del cifrado sin que tengas que hacer nada más. Esta opción se llama Cifrado predeterminado de Google.

Si quieres controlar tus claves de cifrado, puedes usar claves de cifrado gestionadas por el cliente (CMEKs) en Cloud KMS con servicios integrados con CMEKs, como Serverless para Apache Spark. Si usas claves de Cloud KMS, tendrás control sobre su nivel de protección, ubicación, calendario de rotación, permisos de uso y acceso, y límites criptográficos. Cloud KMS también te permite monitorizar el uso de las claves, ver los registros de auditoría y controlar los ciclos de vida de las claves. En lugar de que Google sea el propietario y el gestor de las claves de cifrado de claves (KEKs) simétricas que protegen tus datos, tú controlas y gestionas estas claves en Cloud KMS.

Una vez que hayas configurado tus recursos con CMEKs, la experiencia de acceso a tus recursos de Serverless para Apache Spark será similar a la de usar el cifrado predeterminado de Google. Para obtener más información sobre las opciones de encriptado, consulta Claves de encriptado gestionadas por el cliente (CMEK).

Cuando usas Google Cloud Serverless para Apache Spark, los datos se almacenan en discos de la infraestructura sin servidor subyacente y en un segmento de almacenamiento provisional de Cloud Storage. Estos datos se cifran con una clave de cifrado de datos (DEK) y una clave de cifrado de claves (KEK) generadas por Google. Si quieres controlar tu KEK, puedes usar una clave de cifrado gestionada por el cliente (CMEK) en lugar del cifrado predeterminado en reposo. Cuando usas una CMEK, creas la clave y gestionas el acceso a ella. Además, puedes revocar el acceso para evitar que se descifren tus DEKs y tus datos.

Usar CMEK

Sigue los pasos de esta sección para usar CMEK y encriptar los datos que Google Cloud Serverless para Apache Spark escribe en el disco persistente y en el bucket de almacenamiento provisional de Dataproc.

A partir del 23 de abril del 2024:

• Serverless para Apache Spark también usa tu CMEK para cifrar los argumentos de los trabajos por lotes. Para habilitar este comportamiento, se debe asignar el rol de gestión de identidades y accesos Encargado del encriptado y desencriptado de la clave criptográfica Cloud KMS a la cuenta de servicio del agente de servicio de Dataproc. Si el rol de agente de servicio de Dataproc no está asociado a la cuenta de servicio del agente de servicio de Dataproc, añade el permiso serviceusage.services.use a un rol personalizado asociado a la cuenta de servicio del agente de servicio de Dataproc . La API Cloud KMS debe estar habilitada en el proyecto que ejecuta los recursos de Serverless para Apache Spark.
• batches.list devuelve un campo unreachable que muestra las tandas con argumentos de trabajo que no se han podido descifrar. Puedes enviar solicitudes batches.get para obtener más información sobre los lotes a los que no se puede acceder.
• La clave (CMEK) debe estar en la misma ubicación que el recurso cifrado. Por ejemplo, la CMEK que se usa para cifrar un lote que se ejecuta en la región us-central1 también debe estar ubicada en la región us-central1.

1. Crea una clave con Cloud Key Management Service (Cloud KMS).

2. Copia el nombre del recurso.

   

   El nombre del recurso se construye de la siguiente manera:

   projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
   

3. Habilita las cuentas de servicio del agente de servicio de Compute Engine, Dataproc y Cloud Storage para que usen tu clave:

   1. Consulta Proteger recursos con claves de Cloud KMS > Roles obligatorios para asignar el rol Encargado del encriptado y desencriptado de la clave criptográfica Cloud KMS a la cuenta de servicio del agente de servicio de Compute Engine. Si esta cuenta de servicio no aparece en la página Gestión de identidades y accesos de la consola de Google Cloud , haz clic en Incluir asignaciones de roles proporcionadas por Google para que se muestre.

   2. Asigna el rol Encargado del encriptado y desencriptado de la clave criptográfica Cloud KMS a la cuenta de servicio del agente de servicio de Dataproc. Puedes usar Google Cloud CLI para asignar el rol:

       gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
       --member serviceAccount:[e-mail] \
       --role roles/cloudkms.cryptoKeyEncrypterDecrypter
      

      Haz los cambios siguientes:

      KMS_PROJECT_ID: el ID de tu proyecto Google Cloud que ejecuta Cloud KMS. Este proyecto también puede ser el que ejecute los recursos de Dataproc.

      PROJECT_NUMBER: el número del proyecto (no el ID del proyecto) en el que se ejecutan los recursos de Dataproc. Google Cloud

   3. Habilita la API Cloud KMS en el proyecto que ejecuta recursos de Serverless para Apache Spark.

   4. Si el rol de agente de servicio de Dataproc no está asociado a la cuenta de servicio de agente de servicio de Dataproc, añade el permiso serviceusage.services.use al rol personalizado asociado a la cuenta de servicio de agente de servicio de Dataproc. Si el rol Agente de servicio de Dataproc está asociado a la cuenta de servicio Agente de servicio de Dataproc, puedes saltarte este paso.

   5. Sigue los pasos para añadir tu llave al contenedor.

4. Cuando envías una carga de trabajo por lotes:

   1. Especifica tu clave en el parámetro batch kmsKey.
   2. Especifica el nombre de tu segmento de Cloud Storage en el parámetro batch stagingBucket.

5. Cuando creas una sesión interactiva o una plantilla de sesión:

   1. Especifique su clave en el parámetro de sesión kmsKey.
   2. Especifica el nombre de tu segmento de Cloud Storage en el parámetro de sesión stagingBucket.