Menggunakan CMEK dengan Managed Service for Apache Spark

Secara default, Managed Service untuk Apache Spark mengenkripsi konten pelanggan dalam penyimpanan. Managed Service for Apache Spark menangani enkripsi untuk Anda tanpa tindakan tambahan dari Anda. Opsi ini disebut Enkripsi default Google.

Jika ingin mengontrol kunci enkripsi, Anda dapat menggunakan kunci enkripsi yang dikelola pelanggan (CMEK) di Cloud KMS dengan layanan yang terintegrasi dengan CMEK, termasuk Managed Service for Apache Spark. Dengan menggunakan kunci Cloud KMS, Anda dapat mengontrol tingkat perlindungan, lokasi, jadwal rotasi, izin penggunaan dan akses, serta batasan kriptografisnya. Dengan Cloud KMS, Anda juga dapat melacak penggunaan kunci, melihat log audit, dan mengontrol siklus proses kunci. Bukan Google yang memiliki dan mengelola kunci enkripsi kunci (KEK) simetris yang melindungi data Anda. Andalah yang mengontrol dan mengelola kunci ini di Cloud KMS.

Setelah Anda menyiapkan resource dengan CMEK, pengalaman mengakses resource Managed Service for Apache Spark Anda akan serupa dengan menggunakan enkripsi default Google. Untuk mengetahui informasi selengkapnya tentang opsi enkripsi, lihat Kunci enkripsi yang dikelola pelanggan (CMEK).

Saat Anda menggunakan Managed Service for Apache Spark, data disimpan di disk pada infrastruktur serverless yang mendasarinya dan di bucket penyiapan Cloud Storage. Data ini dienkripsi menggunakan kunci enkripsi data (DEK) dan kunci enkripsi kunci (KEK) yang dibuat oleh Google. Jika ingin mengontrol KEK, Anda dapat menggunakan kunci enkripsi yang dikelola pelanggan (CMEK) dan bukan enkripsi default saat istirahat. Saat menggunakan CMEK, Anda membuat kunci dan mengelola akses ke kunci tersebut, serta dapat mencabut akses ke kunci tersebut untuk mencegah dekripsi DEK dan data Anda.

Menggunakan CMEK

Ikuti langkah-langkah di bagian ini untuk menggunakan CMEK guna mengenkripsi data yang ditulis Managed Service untuk Apache Spark ke disk persisten dan ke bucket penyiapan Managed Service untuk Apache Spark.

Mulai 23 April 2024:

• Managed Service for Apache Spark juga menggunakan CMEK Anda untuk mengenkripsi argumen tugas batch. Peran IAM Cloud KMS CryptoKey Encrypter/Decrypter harus ditetapkan ke akun layanan Managed Service for Apache Spark Service Agent untuk mengaktifkan perilaku ini. Jika Managed Service for Apache Spark Service Agent role tidak dilampirkan ke akun layanan Managed Service for Apache Spark Service Agent, tambahkan izin serviceusage.services.use ke peran kustom yang dilampirkan ke akun layanan Managed Service for Apache Spark Service Agent . Cloud KMS API harus diaktifkan di project yang menjalankan resource Managed Service for Apache Spark.
• batches.list menampilkan kolom unreachable yang mencantumkan batch dengan argumen tugas yang tidak dapat didekripsi. Anda dapat mengeluarkan permintaan batches.get untuk mendapatkan informasi selengkapnya tentang batch yang tidak dapat dijangkau.
• Kunci (CMEK) harus berada di lokasi yang sama dengan resource terenkripsi. Misalnya, CMEK yang digunakan untuk mengenkripsi batch yang berjalan di region us-central1 juga harus berada di region us-central1.

Anda dapat menggunakan Cloud Key Management Service untuk membuat dan mengelola key ring dan kunci, atau menggunakan Autokey Cloud KMS untuk penyederhanaan pembuatan otomatis key ring dan kunci.

Menggunakan Cloud KMS Autokey

1. Aktifkan Autokey di folder yang berisi project Anda.
2. Buat handle kunci. Saat membuat handle kunci, tentukan dataproc.googleapis.com/Batch atau dataproc.googleapis.com/Session sebagai --resource-type. Autokey membuat kunci dan menetapkannya ke handle kunci.
3. Beri izin ke akun layanan dan konfigurasi batch atau beban kerja sesi Anda dengan mengikuti langkah 4 dan 5 di bagian Membuat dan menggunakan kunci secara manual di bawah. Saat Anda mengirimkan workload, tentukan nama resource handle kunci, bukan nama resource kunci, di kolom kmsKey.

Membuat dan menggunakan kunci secara manual

Ikuti langkah-langkah berikut untuk membuat kunci Cloud KMS secara manual dan menggunakannya dengan Managed Service for Apache Spark.

1. Buat kunci menggunakan Cloud Key Management Service (Cloud KMS).

2. Salin nama resource.

   

   Nama resource dibuat sebagai berikut:

   projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
   

3. Aktifkan akun layanan Compute Engine, Managed Service for Apache Spark, dan Cloud Storage Service Agent untuk menggunakan kunci Anda:

   1. Lihat Melindungi resource menggunakan kunci Cloud KMS > Peran yang Diperlukan untuk menetapkan peran Pengenkripsi/Pendekripsi CryptoKey Cloud KMS ke akun layanan Agen Layanan Compute Engine. Jika akun layanan ini tidak tercantum di halaman IAM di konsol Google Cloud , klik Include Google-provided role grants untuk mencantumkannya.

   2. Tetapkan peran Cloud KMS CryptoKey Encrypter/Decrypter ke akun layanan Managed Service for Apache Spark Service Agent. Anda dapat menggunakan Google Cloud CLI untuk menetapkan peran:

       gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
       --member serviceAccount:[e-mail] \
       --role roles/cloudkms.cryptoKeyEncrypterDecrypter
      

      Ganti kode berikut:

      KMS_PROJECT_ID: ID project Google Cloud yang menjalankan Cloud KMS. Project ini juga dapat berupa project yang menjalankan resource Managed Service for Apache Spark.

      PROJECT_NUMBER: nomor project (bukan project ID) dari Google Cloud project yang menjalankan resource Managed Service for Apache Spark.

   3. Aktifkan Cloud KMS API di project yang menjalankan resource Managed Service for Apache Spark.

   4. Jika Managed Service for Apache Spark Service Agent role tidak dilampirkan ke Managed Service for Apache Spark Service Agent service account, tambahkan izin serviceusage.services.use ke peran kustom yang dilampirkan ke Managed Service for Apache Spark Service Agent service account. Jika peran Managed Service for Apache Spark Service Agent sudah diberikan ke akun layanan Managed Service for Apache Spark Service Agent, Anda dapat melewati langkah ini.

   5. Ikuti langkah-langkah untuk menambahkan kunci Anda di bucket.

4. Saat Anda mengirimkan beban kerja batch:

   1. Tentukan kunci Anda dalam parameter batch kmsKey.
   2. Tentukan nama bucket Cloud Storage Anda di parameter batch stagingBucket.

5. Saat Anda membuat sesi interaktif atau template sesi:

   1. Tentukan kunci Anda dalam parameter kmsKey sesi.
   2. Tentukan nama bucket Cloud Storage Anda di parameter stagingBucket sesi.