Use a CMEK com o Google Cloud Serverless para Apache Spark

Por predefinição, Google Cloud o Serverless para Apache Spark encripta o conteúdo do cliente enquanto inativo. O Serverless para Apache Spark processa a encriptação por si sem ações adicionais da sua parte. Esta opção chama-se Encriptação predefinida da Google.

Se quiser controlar as suas chaves de encriptação, pode usar chaves de encriptação geridas pelo cliente (CMEK) no Cloud KMS com serviços integrados com CMEK, incluindo o Serverless para Apache Spark. A utilização de chaves do Cloud KMS dá-lhe controlo sobre o respetivo nível de proteção, localização, programação de rotação, utilização e autorizações de acesso, bem como limites criptográficos. A utilização do Cloud KMS também permite monitorizar a utilização das chaves, ver registos de auditoria e controlar os ciclos de vida das chaves. Em vez de a Google possuir e gerir as chaves de encriptação de chaves (KEKs) simétricas que protegem os seus dados, controla e gere estas chaves no Cloud KMS.

Depois de configurar os seus recursos com CMEKs, a experiência de acesso aos recursos do Serverless for Apache Spark é semelhante à utilização da encriptação predefinida da Google. Para mais informações acerca das suas opções de encriptação, consulte o artigo Chaves de encriptação geridas pelo cliente (CMEK).

Quando usa o Google Cloud Serverless para Apache Spark, os dados são armazenados em discos na infraestrutura sem servidor subjacente e num contentor de preparação do Cloud Storage. Estes dados são encriptados através de uma chave de encriptação de dados (DEK) e uma chave de encriptação de chaves (KEK) geradas pela Google. Se quiser ter controlo sobre a sua KEK, pode usar uma chave de encriptação gerida pelo cliente (CMEK) em vez da encriptação em repouso predefinida. Quando usa uma CMEK, cria a chave e gere o acesso à mesma, e pode revogar o acesso à mesma para impedir a desencriptação das suas DEKs e dados.

Use CMEK

Siga os passos nesta secção para usar a CMEK para encriptar dados que o Google Cloud Serverless para Apache Spark escreve no disco persistente e no contentor de preparação do Dataproc.

A partir de 23 de abril de 2024:

• O Serverless para Apache Spark também usa a sua CMEK para encriptar argumentos de tarefas em lote. A função da IAM Encriptador/desencriptador de CryptoKey do Cloud KMS tem de ser atribuída à conta de serviço do agente do serviço do Dataproc para ativar este comportamento. Se a função de agente de serviço do Dataproc não estiver associada à conta de serviço do agente de serviço do Dataproc, adicione a autorização serviceusage.services.use a uma função personalizada associada à conta de serviço do agente de serviço do Dataproc . A API Cloud KMS tem de estar ativada no projeto que executa recursos do Serverless para Apache Spark.
• batches.list devolve um campo unreachable que lista todos os lotes com argumentos de tarefas que não foi possível desencriptar. Pode emitir batches.get pedidos para obter mais informações sobre lotes inacessíveis.
• A chave (CMEK) tem de estar localizada no mesmo local que o recurso encriptado. Por exemplo, a CMEK usada para encriptar um lote executado na região us-central1 também tem de estar localizada na região us-central1.

1. Crie uma chave através do Cloud Key Management Service (Cloud KMS).

2. Copie o nome do recurso.

   

   O nome do recurso é construído da seguinte forma:

   projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
   

3. Ative as contas de serviço do Compute Engine, Dataproc e agente de serviço do Cloud Storage para usar a sua chave:

   1. Consulte o artigo Proteja os recursos através de chaves do Cloud KMS > Funções necessárias para atribuir a função Encriptador/desencriptador de CryptoKey do Cloud KMS à conta de serviço do agente de serviço do Compute Engine. Se esta conta de serviço não estiver listada na página IAM na Google Cloud consola, clique em Incluir concessões de funções fornecidas pela Google para a listar.

   2. Atribua a função Encriptador/desencriptador de CryptoKey do Cloud KMS à conta de serviço do agente de serviço do Dataproc. Pode usar a Google Cloud CLI para atribuir a função:

       gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
       --member serviceAccount:[e-mail] \
       --role roles/cloudkms.cryptoKeyEncrypterDecrypter
      

      Substitua o seguinte:

      KMS_PROJECT_ID: o ID do seu projeto que executa o Cloud KMS. Google Cloud Este projeto também pode ser o projeto que executa recursos do Dataproc.

      PROJECT_NUMBER: o número do projeto (não o ID do projeto) do seu Google Cloud projeto que executa recursos do Dataproc.

   3. Ative a API Cloud KMS no projeto que executa recursos do Serverless para Apache Spark.

   4. Se a função de agente do serviço do Dataproc não estiver associada à conta de serviço do agente do serviço do Dataproc, adicione a autorização serviceusage.services.use à função personalizada associada à conta de serviço do agente do serviço do Dataproc. Se a função de agente do serviço do Dataproc estiver associada à conta de serviço do agente do serviço do Dataproc, pode ignorar este passo.

   5. Siga os passos para adicionar a chave no contentor.

4. Quando envia uma carga de trabalho em lote:

   1. Especifique a chave no parâmetro kmsKey do lote.
   2. Especifique o nome do contentor do Cloud Storage no parâmetro stagingBucket em lote.

5. Quando cria uma sessão interativa ou um modelo de sessão:

   1. Especifique a chave no parâmetro de sessão kmsKey
   2. Especifique o nome do contentor do Cloud Storage no parâmetro stagingBucket de sessão.