Utilizzo delle chiavi di crittografia gestite dal cliente (CMEK)

Questa pagina descrive come utilizzare una chiave di crittografia Cloud Key Management Service (Cloud KMS) con Cloud Data Fusion.

Per impostazione predefinita, Cloud Data Fusion cripta i contenuti inattivi dei clienti. Cloud Data Fusion gestisce la crittografia per conto tuo senza che tu debba fare altro. Questa opzione è denominata crittografia predefinita di Google.

Se vuoi controllare le chiavi di crittografia, puoi utilizzare le chiavi di crittografia gestite dal cliente (CMEK) in Cloud KMS con i servizi integrati con CMEK, incluso Cloud Data Fusion. L'utilizzo delle chiavi Cloud KMS ti consente di controllare il livello di protezione , la località, la pianificazione della rotazione, le autorizzazioni di utilizzo e di accesso e i limiti crittografici. Con Cloud KMS puoi inoltre monitorare l'utilizzo delle chiavi, visualizzare gli audit log e controllare i cicli di vita delle chiavi. Invece di Google, sei tu ad avere la proprietà e la gestione delle chiavi di crittografia della chiave (KEK) simmetriche che proteggono i tuoi dati. Puoi controllare e gestire queste chiavi in Cloud KMS.

Dopo aver configurato le risorse con le CMEK, l'esperienza di accesso alle risorse di Cloud Data Fusion è simile all'utilizzo della crittografia predefinita di Google. Per saperne di più sulle opzioni di crittografia, consulta Chiavi di crittografia gestite dal cliente (CMEK).

Cloud Data Fusion supporta il monitoraggio dell'utilizzo delle chiavi Cloud KMS per la risorsa Instance.

CMEK consente di controllare i dati scritti nelle risorse interne di Google nei progetti tenant e i dati scritti dalle pipeline di Cloud Data Fusion, tra cui:

• Metadati e log della pipeline
• Metadati del cluster di Managed Service for Apache Spark
• Varie azioni, origini e sink di dati di Cloud Storage, BigQuery, Pub/Sub e Spanner

Risorse di Cloud Data Fusion

Per un elenco dei plug-in di Cloud Data Fusion che supportano CMEK, consulta la pagina relativa ai plug-in supportati.

Cloud Data Fusion supporta CMEK per i cluster di Managed Service for Apache Spark. Cloud Data Fusion crea un cluster temporaneo di Managed Service for Apache Spark da utilizzare nella pipeline, quindi lo elimina al termine della pipeline. CMEK protegge i metadati del cluster scritti in:

• Dischi permanenti (DP) collegati alle VM del cluster
• Output del driver del job e altri metadati scritti nel bucket gestione temporanea di Managed Service for Apache Spark creato automaticamente o dall'utente staging bucket

Nota: Cloud Data Fusion non supporta CMEK in Google Cloud Observability.

Configurare CMEK

Creare una chiave Cloud KMS

Crea una chiave Cloud KMS nel Google Cloud progetto che contiene l'istanza Cloud Data Fusion o in un progetto utente separato. La località del keyring Cloud KMS deve corrispondere alla regione in cui crei l'istanza. A livello di istanza non è consentita una chiave regionale multiregionale o globale perché Cloud Data Fusion è sempre associato a una regione specifica.

Avviso: se disabiliti la chiave utilizzata dall'istanza, l'istanza smette di funzionare e non potrai accedere all'interfaccia utente di Cloud Data Fusion. Per risolvere il problema, riabilita la chiave. L'applicazione dell'azione richiede alcuni minuti.

Avviso: se elimini la versione della chiave primaria utilizzata inizialmente per criptare un'istanza, l'istanza smetterà di funzionare e non potrai recuperare i dati utilizzati dall'istanza. Ti verranno addebitati i costi fino all'eliminazione dell'istanza.

Recuperare il nome risorsa della chiave

API REST

Recupera il nome risorsa della chiave che hai creato con il seguente comando:

projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

Sostituisci quanto segue:

• PROJECT_ID: il progetto del cliente che ospita l' istanza Cloud Data Fusion
• REGION: una regione Google Cloud vicina alla tua posizione, ad esempio us-east1
• KEY_RING_NAME: il nome del keyring che raggruppa le chiavi di crittografia
• KEY_NAME: il nome della chiave Cloud KMS

Console

1. Vai alla pagina Gestione delle chiavi.

   Vai a Gestione delle chiavi

2. Accanto alla chiave, fai clic su Altro .

3. Seleziona Copia nome risorsa per copiare il nome risorsa negli appunti.

   

Aggiornare i service account del progetto per utilizzare la chiave

Nota: non devi assegnare il ruolo Cloud KMS CryptoKey Encrypter/Decrypter al account di servizio utilizzato per eseguire la pipeline. I service account menzionati di seguito sono altri service account a livello di progetto preinstallati utilizzati internamente da Cloud Data Fusion per vari scopi.

Per configurare i service account del progetto in modo che utilizzino la chiave:

1. Obbligatorio: concedi il ruolo Cloud KMS CryptoKey Encrypter/Decrypter (roles/cloudkms.cryptoKeyEncrypterDecrypter) all'agente di servizio Cloud Data Fusion (vedi Concedere ruoli a un account di servizio per risorse specifiche). Questo account ha il seguente formato:

   [e-mail]

   La concessione del ruolo Cloud KMS CryptoKey Encrypter/Decrypter all'agente di servizio Cloud Data Fusion consente a Cloud Data Fusion di utilizzare CMEK per criptare i dati dei clienti archiviati nei progetti tenant.

2. Obbligatorio: concedi il ruolo Cloud KMS CryptoKey Encrypter/Decrypter all'agente di servizio Compute Engine (vedi Assegnare una chiave Cloud KMS a un service account Cloud Storage). Questo account, a cui per impostazione predefinita viene concesso il ruolo Agente di servizio Compute Engine, ha il seguente formato:

   [e-mail]

   La concessione del ruolo Cloud KMS CryptoKey Encrypter/Decrypter all'agente di servizio Compute Engine consente a Cloud Data Fusion di utilizzare CMEK per criptare i metadati dei disco permanente (DP) scritti dal cluster di Managed Service for Apache Spark in esecuzione nella pipeline.

3. Obbligatorio: concedi il ruolo Cloud KMS CryptoKey Encrypter/Decrypter all'agente di servizio Cloud Storage (vedi Assegnare una chiave Cloud KMS a un agente di servizio Cloud Storage). Questo service agent ha il seguente formato:

   [e-mail]

   La concessione di questo ruolo all'agente di servizio Cloud Storage consente a Cloud Data Fusion di utilizzare CMEK per criptare il bucket Cloud Storage che archivia e memorizza nella cache le informazioni e i dati della pipeline scritti nel bucket gestione temporanea del cluster di Managed Service per Apache Spark e in qualsiasi altro bucket Cloud Storage nel progetto utilizzato dalla pipeline.

4. Obbligatorio: concedi il ruolo Cloud KMS CryptoKey Encrypter/Decrypter all'agente di servizio Google Cloud Dataproc. Questo service agent ha il seguente formato:

   [e-mail]

5. Facoltativo: se la pipeline utilizza risorse BigQuery, concedi il ruolo Cloud KMS CryptoKey Encrypter/Decrypter al account di servizio BigQuery (vedi Concedere l'autorizzazione di crittografia e decrittografia). Questo account ha il seguente formato:

   [e-mail]

6. Facoltativo: se la pipeline utilizza risorse Pub/Sub, concedi il ruolo Cloud KMS CryptoKey Encrypter/Decrypter al account di servizio Pub/Sub (vedi Utilizzare le chiavi di crittografia gestite dal cliente). Questo account ha il seguente formato:

   [e-mail]

7. Facoltativo: se la pipeline utilizza risorse Spanner, concedi il ruolo Cloud KMS CryptoKey Encrypter/Decrypter al account di servizio Spanner. Questo account ha il seguente formato:

   [e-mail]

Creare un'istanza Cloud Data Fusion con CMEK

CMEK è disponibile in tutte le versioni di Cloud Data Fusion 6.5.0 e successive.

Nota: le chiavi devono trovarsi nella stessa regione dell'istanza e le chiavi globali non sono supportate (vedi Creare una chiave Cloud KMS).

API REST

1. Per creare un'istanza con una chiave di crittografia gestita dal cliente, imposta le seguenti variabili di ambiente:

   export PROJECT=PROJECT_ID
   export LOCATION=REGION
   export INSTANCE=INSTANCE_ID
   export DATA_FUSION_API_NAME=datafusion.googleapis.com
   export KEY=KEY_NAME
   

   Sostituisci quanto segue:

   • PROJECT_ID: il progetto del cliente che ospita l'istanza Cloud Data Fusion
   • REGION: una Google Cloud regione vicina alla tua posizione, ad esempio us-east1
   • INSTANCE_ID: il nome dell'istanza Cloud Data Fusion
   • KEY_NAME: il nome risorsa completo della chiave CMEK

2. Esegui il comando seguente per creare un'istanza Cloud Data Fusion:

   curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE -X POST -d '{"description": "CMEK-enabled CDF instance created through REST.", "type": "BASIC", "cryptoKeyConfig": {"key_reference": "$KEY"} }'
   

Console

1. Vai alla pagina Cloud Data Fusion.

2. Fai clic su Istanze, quindi su Crea un'istanza.

   Vai a Istanze

3. In Opzioni avanzate, seleziona Utilizza una chiave di crittografia gestita dal cliente (CMEK).

4. Nel campo Seleziona una chiave gestita dal cliente, seleziona il nome risorsa della chiave.

   

5. Dopo aver inserito tutti i dettagli dell'istanza, fai clic su Crea. Quando l'istanza è pronta per l'uso, viene visualizzata nella pagina Istanze.

Verificare se CMEK è abilitato su un'istanza

Console

Visualizza i dettagli dell'istanza:

1. Nella Google Cloud console, vai alla pagina Cloud Data Fusion.

2. Fai clic su Istanze, quindi sul nome dell'istanza per andare alla pagina Dettagli istanza.

   Vai a Istanze

Se CMEK è abilitato, il campo Chiave di crittografia viene visualizzato come Disponibile.

Se CMEK è disabilitato, il campo Chiave di crittografia viene visualizzato come Non disponibile.

Utilizzare CMEK con i plug-in supportati

Nota: anche se Cloud Data Fusion supporta solo le chiavi regionali, puoi utilizzare le chiavi di crittografia multiregionali nei plug-in supportati. Ad esempio, il sink BigQuery supporta le chiavi multiregionali.

Quando imposti il nome della chiave di crittografia, utilizza il seguente formato:

projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

La seguente tabella descrive il comportamento della chiave nei plug-in di Cloud Data Fusion che supportano CMEK.

Plug-in supportati	Comportamento della chiave
Sink di Cloud Data Fusion
Cloud Storage	Cripta i dati scritti in qualsiasi bucket creato dal plug-in. Se il bucket esiste già, questo valore viene ignorato.
File multipli di Cloud Storage	Cripta i dati scritti in qualsiasi bucket creato dal plug-in.
BigQuery	Cripta i dati scritti in qualsiasi bucket, set di dati o tabella creato dal plug-in.
Tabella multipla di BigQuery	Cripta i dati scritti in qualsiasi bucket, set di dati o tabella creato dal plug-in.
Pub/Sub	Cripta i dati scritti in qualsiasi argomento creato dal plug-in. Se l'argomento esiste già, questo valore viene ignorato.
Spanner	Cripta i dati scritti in qualsiasi database creato dal plug-in. Se il database esiste già, questo valore viene ignorato.
Azioni di Cloud Data Fusion
Cloud Storage Create Cloud Storage Copy Cloud Storage Move Cloud Storage Done File Marker	Cripta i dati scritti in qualsiasi bucket creato dal plug-in. Se il bucket esiste già, questo valore viene ignorato.
BigQuery Execute	Cripta i dati scritti nel set di dati o nella tabella creati dal plug-in per archiviare i risultati della query. È applicabile solo se archivi i risultati della query in una tabella BigQuery.
Origini di Cloud Data Fusion
Origine BigQuery	Cripta i dati scritti in qualsiasi bucket creato dal plug-in. Se il bucket esiste già, questo valore viene ignorato.
Motore SQL di Cloud Data Fusion
Motore di pushdown BigQuery	Cripta i dati scritti in qualsiasi bucket, set di dati o tabella creato dal plug-in.

Utilizzare CMEK con i metadati del cluster di Managed Service for Apache Spark

I profili di calcolo precreati utilizzano la chiave CMEK fornita durante la creazione dell'istanza per criptare i metadati del Persistent Disk (DP) e del bucket gestione temporanea scritti dal cluster di Managed Service for Apache Spark in esecuzione nella pipeline. Puoi modificare l'utilizzo di un'altra chiave in uno dei seguenti modi:

• Consigliato: crea un nuovo profilo di calcolo di Managed Service for Apache Spark (solo versione Enterprise).
• Modifica un profilo di calcolo di Managed Service for Apache Spark esistente (versioni Developer, Basic o Enterprise).

Nota: devi concedere il ruolo Cloud KMS CryptoKey Encrypter/Decrypter per il account di servizio nel progetto associato a una risorsa.

Console

1. Apri l'istanza Cloud Data Fusion:

   1. Nella Google Cloud console, vai alla pagina Cloud Data Fusion.

   2. Per aprire l'istanza in Cloud Data Fusion Studio, fai clic su Istanze e poi su Visualizza istanza.

      Vai a Istanze

2. Fai clic su Amministratore di sistema > Configurazione.

3. Fai clic sul menu a discesa Profili di calcolo di sistema.

4. Fai clic su Crea nuovo profilo e seleziona Managed Service for Apache Spark.

5. Inserisci un etichetta del profilo, un nome del profilo e una descrizione.

6. Per impostazione predefinita, Managed Service for Apache Spark crea bucket temporanei e di staging ogni volta che Cloud Data Fusion crea un cluster gestione temporanea. Cloud Data Fusion supporta il passaggio del bucket gestione temporanea di Managed Service for Apache Spark come argomento nel profilo di calcolo. Per criptare il bucket gestione temporanea, crea un bucket abilitato per CMEK e passalo come argomento a Managed Service for Apache Spark nel profilo di calcolo.

   Nota: Cloud Data Fusion 6.9.2 supporta il passaggio del bucket temporaneo di Managed Service for Apache Spark come argomento. Per saperne di più, consulta Bucket temporaneo.

7. Per impostazione predefinita, Cloud Data Fusion crea automaticamente un bucket Cloud Storage per preparare le dipendenze utilizzate da Managed Service for Apache Spark. Se preferisci utilizzare un bucket Cloud Storage già esistente nel tuo progetto, segui questi passaggi:

   1. Nella sezione Impostazioni generali, inserisci il bucket Cloud Storage esistente nel campo Bucket Cloud Storage.

   2. Aggiungi la chiave Cloud KMS al bucket Cloud Storage.

8. Recupera l'ID risorsa della chiave Cloud KMS. Nella sezione Impostazioni generali, inserisci l'ID risorsa nel campo Nome chiave di crittografia.

9. Fai clic su Crea.

10. Se nella sezione Profili di calcolo di sistema della scheda Configurazione sono elencati più profili, imposta il nuovo profilo di Managed Service for Apache Spark come profilo predefinito tenendo il puntatore sul campo del nome del profilo e facendo clic sulla stella visualizzata.

    

    Nota: il profilo di Managed Service for Apache Spark si applica solo alla pipeline corrente.

Utilizzare CMEK con altre risorse

La chiave CMEK fornita è impostata sulla preferenza di sistema durante la creazione dell'istanza Cloud Data Fusion. Viene utilizzata per criptare i dati scritti nelle risorse appena create dai sink della pipeline, come i sink di Cloud Storage, BigQuery, Pub/Sub o Spanner.

Questa chiave si applica solo alle risorse appena create. Se la risorsa esiste già prima dell'esecuzione della pipeline, devi applicare manualmente la chiave CMEK a queste risorse esistenti.

Puoi modificare la chiave CMEK in uno dei seguenti modi:

• Utilizza un argomento di runtime.
• Imposta una preferenza di sistema di Cloud Data Fusion.

Nota: devi concedere il ruolo Cloud KMS CryptoKey Encrypter/Decrypter per il account di servizio nel progetto associato a una risorsa.

Argomento di runtime

1. Nella pagina Studio della pipeline di Cloud Data Fusion, fai clic sulla freccia menu a discesa a destra del pulsante Esegui.
2. Nel campo Nome, inserisci gcp.cmek.key.name.
3. Nel campo Valore, inserisci l'ID risorsa della chiave.

   

4. Fai clic su Salva.

   L'argomento di runtime impostato qui si applica solo alle esecuzioni della pipeline corrente.

Preferenza

1. Nell'interfaccia utente di Cloud Data Fusion, fai clic su AMMINISTRATORE DI SISTEMA.
2. Fai clic sulla scheda Configurazione.
3. Fai clic sul menu a discesa Preferenze di sistema.
4. Fai clic su Modifica preferenze di sistema.
5. Nel campo Chiave, inserisci gcp.cmek.key.name.
6. Nel campo Valore, inserisci l'ID risorsa della chiave.

   

7. Fai clic su Salva e chiudi.
   La preferenza di sistema impostata qui si applica a tutte le pipeline nelle istanze Cloud Data Fusion.