Utilizzare CMEK con Google Cloud Serverless per Apache Spark

Per impostazione predefinita, Google Cloud Serverless per Apache Spark cripta i contenuti inattivi dei clienti. Serverless per Apache Spark gestisce la crittografia per tuo conto senza che tu debba fare altro. Questa opzione è denominata Crittografia predefinita di Google.

Se vuoi controllare le tue chiavi di crittografia, puoi utilizzare le chiavi di crittografia gestite dal cliente (CMEK) in Cloud KMS con servizi integrati con CMEK, tra cui Serverless per Apache Spark. L'utilizzo delle chiavi Cloud KMS ti consente di controllare il livello di protezione, la località, la pianificazione della rotazione, le autorizzazioni di utilizzo e di accesso e i limiti crittografici. Con Cloud KMS puoi inoltre monitorare l'utilizzo delle chiavi, visualizzare gli audit log e controllare i cicli di vita delle chiavi. Invece di Google, sei tu ad avere la proprietà e la gestione delle chiavi di crittografia della chiave (KEK) simmetriche che proteggono i tuoi dati. Puoi controllare e gestire queste chiavi in Cloud KMS.

Dopo aver configurato le risorse con le chiavi CMEK, l'esperienza di accesso alle risorse Serverless per Apache Spark è simile all'utilizzo della crittografia predefinita di Google. Per saperne di più sulle opzioni di crittografia, consulta Chiavi di crittografia gestite dal cliente (CMEK).

Quando utilizzi Google Cloud Serverless per Apache Spark, i dati vengono archiviati sui dischi dell'infrastruttura serverless sottostante e in un bucket di staging Cloud Storage. Questi dati vengono criptati utilizzando una chiave di crittografia dei dati (DEK) e una chiave di crittografia della chiave (KEK) generate da Google. Se vuoi controllare la tua KEK, puoi utilizzare una chiave di crittografia gestita dal cliente (CMEK) anziché la crittografia at-rest predefinita. Quando utilizzi una chiave CMEK, crei la chiave e gestisci l'accesso, e puoi revocare l'accesso per impedire la decriptazione delle tue chiavi di crittografia dei dati e dei tuoi dati.

Utilizzo di CMEK

Segui i passaggi descritti in questa sezione per utilizzare CMEK per criptare i dati che Google Cloud Serverless per Apache Spark scrive sul disco permanente e nel bucket di staging Dataproc.

A partire dal 23 aprile 2024:

• Serverless per Apache Spark utilizza la CMEK anche per criptare gli argomenti dei job batch. Per attivare questo comportamento, al service account dell'agente di servizio Dataproc deve essere assegnato il ruolo IAM Autore crittografia/decrittografia CryptoKey Cloud KMS. Se il ruolo Agente di servizio Dataproc non è collegato all'account di servizio Agente di servizio Dataproc, aggiungi l'autorizzazione serviceusage.services.use a un ruolo personalizzato collegato all'account di servizio Agente di servizio Dataproc . L'API Cloud KMS deve essere abilitata nel progetto che esegue le risorse Serverless per Apache Spark.
• batches.list restituisce un campo unreachable che elenca tutti i batch con argomenti del job che non è stato possibile decriptare. Puoi inviare richieste batches.get per ottenere maggiori informazioni sui batch non raggiungibili.
• La chiave (CMEK) deve trovarsi nella stessa località della risorsa criptata. Ad esempio, la CMEK utilizzata per criptare un batch eseguito nella regione us-central1 deve trovarsi anche nella regione us-central1.

1. Crea una chiave utilizzando Cloud Key Management Service (Cloud KMS).

2. Copia il nome della risorsa.

   

   Il nome della risorsa è strutturato come segue:

   projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
   

3. Consenti agli account di servizio dell'agente di servizio Compute Engine, Dataproc e Cloud Storage di utilizzare la tua chiave:

   1. Consulta Proteggi le risorse utilizzando le chiavi Cloud KMS > Ruoli richiesti per assegnare il ruolo Autore crittografia/decrittografia CryptoKey Cloud KMS all'account di servizio dell'agente di servizio Compute Engine. Se questo account di servizio non è elencato nella pagina IAM della console Google Cloud , fai clic su Includi concessioni di ruoli fornite da Google per elencarlo.

   2. Assegna il ruolo Autore crittografia/decrittografia CryptoKey Cloud KMS all'account di servizio agente di servizio Dataproc. Puoi utilizzare Google Cloud CLI per assegnare il ruolo:

       gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
       --member serviceAccount:[e-mail] \
       --role roles/cloudkms.cryptoKeyEncrypterDecrypter
      

      Sostituisci quanto segue:

      KMS_PROJECT_ID: l'ID del tuo progetto Google Cloud che esegue Cloud KMS. Questo progetto può anche essere quello che esegue le risorse Dataproc.

      PROJECT_NUMBER: il numero di progetto (non l'ID progetto) del tuo progetto Google Cloud che esegue le risorse Dataproc.

   3. Abilita l'API Cloud KMS nel progetto che esegue le risorse Serverless per Apache Spark.

   4. Se il ruolo Agente di servizio Dataproc non è collegato all'account di servizio Agente di servizio Dataproc, aggiungi l'autorizzazione serviceusage.services.use al ruolo personalizzato collegato all'account di servizio Agente di servizio Dataproc. Se il ruolo Agente di servizio Dataproc è associato all'account di servizio Agente di servizio Dataproc, puoi ignorare questo passaggio.

   5. Segui i passaggi per aggiungere la chiave al bucket.

4. Quando invii un carico di lavoro batch:

   1. Specifica la chiave nel parametro kmsKey batch.
   2. Specifica il nome del bucket Cloud Storage nel parametro batch stagingBucket.

5. Quando crei una sessione interattiva o un modello di sessione:

   1. Specifica la chiave nel parametro kmsKey sessione.
   2. Specifica il nome del bucket Cloud Storage nel parametro stagingBucket della sessione.