Usa la CMEK con Google Cloud Serverless for Apache Spark

De forma predeterminada, Google Cloud Serverless para Apache Spark encripta el contenido del cliente en reposo. Serverless para Apache Spark controla la encriptación por ti sin que debas realizar ninguna acción adicional. Esta opción se denomina Encriptación predeterminada de Google.

Si deseas controlar tus claves de encriptación, puedes usar las claves de encriptación administradas por el cliente (CMEK) en Cloud KMS con servicios integrados en CMEK, incluido Serverless para Apache Spark. El uso de claves de Cloud KMS te permite controlar su nivel de protección, ubicación, programa de rotación, permisos de uso y acceso, y límites criptográficos. El uso de Cloud KMS también te permite hacer un seguimiento del uso de las claves, ver los registros de auditoría y controlar los ciclos de vida de las claves. En lugar de que Google posea y administre las claves de encriptación de claves (KEK) simétricas que protegen tus datos, tú las controlas y administras en Cloud KMS.

Después de configurar tus recursos con CMEK, la experiencia de acceso a tus recursos de Serverless for Apache Spark es similar a usar la encriptación predeterminada de Google. Para obtener más información sobre tus opciones de encriptación, consulta Claves de encriptación administradas por el cliente (CMEK).

Cuando usas Google Cloud Serverless for Apache Spark, los datos se almacenan en discos en la infraestructura subyacente sin servidores y en un bucket de etapa de pruebas de Cloud Storage. Estos datos se encriptan con una clave de encriptación de datos (DEK) y una clave de encriptación de claves (KEK) generadas por Google. Si quieres controlar tu KEK, puedes usar una clave de encriptación administrada por el cliente (CMEK) en lugar de la encriptación predeterminada en reposo. Cuando usas una CMEK, creas la clave y administras el acceso a ella, y puedes revocar el acceso para evitar la desencriptación de tus DEK y datos.

Usa CMEK

Sigue los pasos de esta sección para usar la CMEK y encriptar los datos que Google Cloud Serverless for Apache Spark escribe en el disco persistente y en el bucket de etapa de pruebas de Dataproc.

A partir del 23 de abril de 2024:

• Serverless for Apache Spark también usa tu CMEK para encriptar los argumentos de trabajo por lotes. Se debe asignar el rol de IAM de Encriptador/Desencriptador de CryptoKey de Cloud KMS a la cuenta de servicio del agente de servicio de Dataproc para habilitar este comportamiento. Si el rol de agente de servicio de Dataproc no está asociado a la cuenta de servicio del agente de servicio de Dataproc, agrega el permiso serviceusage.services.use a un rol personalizado asociado a la cuenta de servicio del agente de servicio de Dataproc . La API de Cloud KMS debe estar habilitada en el proyecto que ejecuta recursos de Serverless para Apache Spark.
• batches.list devuelve un campo unreachable que enumera los lotes con argumentos de trabajo que no se pudieron descifrar. Puedes enviar solicitudes de batches.get para obtener más información sobre los lotes a los que no se puede acceder.
• La clave (CMEK) debe estar en la misma ubicación que el recurso encriptado. Por ejemplo, la CMEK que se usa para encriptar un lote que se ejecuta en la región us-central1 también debe estar ubicada en esa región.us-central1

Puedes usar Cloud Key Management Service para crear y administrar llaveros y claves, o bien usar Cloud KMS Autokey para la creación automática simplificada de llaveros y claves.

Usa Autokey de Cloud KMS

1. Habilita Autokey en la carpeta que contiene tu proyecto.
2. Crea un identificador de clave. Cuando crees el identificador de clave, especifica dataproc.googleapis.com/Batch o dataproc.googleapis.com/Session como --resource-type. Autokey genera una clave y la asigna al identificador de clave.
3. Otorga permisos a las cuentas de servicio y configura tu carga de trabajo por lotes o de sesión siguiendo los pasos 4 y 5 de la siguiente sección Crea y usa claves de forma manual. Cuando envíes tu carga de trabajo, especifica el nombre del recurso de identificador de clave en lugar del nombre del recurso de clave en el campo kmsKey.

Crea y usa claves de forma manual

Sigue estos pasos para crear manualmente claves de Cloud KMS y usarlas con Serverless for Apache Spark.

1. Crea una clave con Cloud Key Management Service (Cloud KMS).

2. Copia el nombre del recurso.

   

   El nombre del recurso se construye de la siguiente manera:

   projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
   

3. Habilita las cuentas de servicio de Compute Engine, Dataproc y Cloud Storage Service Agent para que usen tu clave:

   1. Consulta Protege recursos con claves de Cloud KMS > Roles obligatorios para asignar el rol Encriptador/Desencriptador de CryptoKey de Cloud KMS a la cuenta de servicio del agente de servicio de Compute Engine. Si esta cuenta de servicio no aparece en la página de IAM en la consola de Google Cloud , haz clic en Incluir asignaciones de roles proporcionadas por Google para que aparezca.

   2. Asigna el rol Encriptador/Desencriptador de CryptoKey de Cloud KMS a la cuenta de servicio del agente de servicios de Dataproc. Puedes usar Google Cloud CLI para asignar la función:

       gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
       --member serviceAccount:[e-mail] \
       --role roles/cloudkms.cryptoKeyEncrypterDecrypter
      

      Reemplaza lo siguiente:

      KMS_PROJECT_ID: Es el ID de tu proyecto Google Cloud que ejecuta Cloud KMS. Este proyecto también puede ser el que ejecuta los recursos de Dataproc.

      PROJECT_NUMBER: Es el número del proyecto (no el ID del proyecto de Google Cloud que ejecuta recursos de Dataproc.

   3. Habilita la API de Cloud KMS en el proyecto que ejecuta recursos de Serverless para Apache Spark.

   4. Si el rol de agente de servicio de Dataproc no está asociado a la cuenta de servicio del agente de servicio de Dataproc, agrega el permiso serviceusage.services.use al rol personalizado asociado a la cuenta de servicio del agente de servicio de Dataproc. Si el rol de agente de servicio de Dataproc está asociado a la cuenta de servicio del agente de servicio de Dataproc, puedes omitir este paso.

   5. Sigue los pasos para agregar tu clave al bucket.

4. Cuando envías una carga de trabajo por lotes, sucede lo siguiente:

   1. Especifica tu clave en el parámetro kmsKey del lote.
   2. Especifica el nombre de tu bucket de Cloud Storage en el parámetro stagingBucket del lote.

5. Cuando creas una sesión interactiva o una plantilla de sesión, haz lo siguiente:

   1. Especifica tu clave en el parámetro de sesión kmsKey.
   2. Especifica el nombre de tu bucket de Cloud Storage en el parámetro de sesión stagingBucket.