Mengenkripsi boot disk bidang kontrol dan etcd

Autopilot Standard

Catatan: Dokumen ini menggunakan fitur ketersediaan umum bernama otoritas bidang kontrol GKE yang hanya tersedia untuk pelanggan yang memenuhi syarat Google Cloud. Untuk meminta akses ke fitur ini, hubungi Google Cloud tim akun Anda.

Dokumen ini menunjukkan cara mengenkripsi data yang disimpan di bidang kontrol Google Kubernetes Engine (GKE) menggunakan kunci yang Anda kelola di Cloud Key Management Service (Cloud KMS). Anda seharusnya sudah memahami konsep seperti etcd, arsitektur cluster GKE, dan Cloud KMS.

Halaman ini menjelaskan satu bagian dari serangkaian fitur bidang kontrol opsional di GKE yang memungkinkan Anda melakukan tugas seperti memverifikasi postur keamanan bidang kontrol atau mengonfigurasi enkripsi dan penandatanganan kredensial di bidang kontrol menggunakan kunci yang Anda kelola. Untuk mengetahui detailnya, lihat Tentang otoritas bidang kontrol GKE.

Secara default, Google Cloud menerapkan berbagai langkah keamanan ke bidang kontrol terkelola. Halaman ini menjelaskan opsional kemampuan yang memberi Anda lebih banyak visibilitas atau kontrol atas bidang kontrol GKE.

Tentang enkripsi etcd dan boot disk bidang kontrol

Secara default, GKE mengenkripsi boot disk node bidang kontrol, disk yang menyimpan data di etcd, dan Google Cloud cadangan operasional internal etcd menggunakan kunci enkripsi yang Google Cloud dikelola. Untuk mengetahui detail tentang enkripsi default ini, lihat Enkripsi dalam penyimpanan default. Anda dapat secara opsional menggunakan kunci enkripsi Anda sendiri yang Anda kelola menggunakan Cloud KMS untuk mengenkripsi resource ini. Untuk mempelajari lebih lanjut, lihat Enkripsi etcd dan boot disk bidang kontrol.

Anda membuat kunci di Cloud KMS yang digunakan GKE untuk mengenkripsi resource bidang kontrol. Pertimbangkan hal berikut saat Anda membuat resource ini:

• Anda dapat menggunakan satu key ring untuk semua kunci dalam cluster, terlepas dari tujuan setiap kunci. Jika Anda memiliki key ring yang sudah ada dan digunakan untuk tujuan lain, seperti menyiapkan certificate authority Anda sendiri, Anda dapat menggunakan key ring tersebut untuk panduan ini.
• Sebaiknya buat kunci di lokasikunci Google Cloud yang sama dengan cluster Anda untuk mendapatkan latensi yang lebih baik.
• Untuk sebagian besar kasus penggunaan, Anda dapat menggunakan tingkat perlindungan kunci Cloud KMS software. Anda juga dapat menggunakan kunci hardware dengan Cloud HSM.
• Anda harus menentukan flag --purpose dengan nilai encryption karena kunci ini digunakan untuk enkripsi simetris.
• Anda tidak boleh mengubah durasi default untuk penghancuran kunci.

Penggunaan dengan fitur otoritas bidang kontrol GKE lainnya

Otoritas bidang kontrol GKE menyediakan fitur berikut yang terkait dengan kunci yang dikelola sendiri yang harus Anda aktifkan secara bersamaan saat membuat cluster:

• Mengenkripsi komponen bidang kontrol (dokumen ini)
• Menjalankan kunci dan certificate authority (CA) Anda sendiri

Anda hanya dapat mengaktifkan fitur ini saat membuat cluster GKE baru. Anda tidak dapat mengupdate cluster yang ada untuk menggunakan fitur ini. Untuk menggunakan kedua fitur ini di cluster yang sama, lakukan semua prosedur konfigurasi kunci dan CA di kedua panduan, lalu jalankan perintah pembuatan cluster yang mengaktifkan kedua kumpulan fitur seperti yang dijelaskan di bagian Membuat cluster.

Sebelum memulai

Sebelum memulai, pastikan Anda telah melakukan tugas berikut:

• Aktifkan Google Kubernetes Engine API.
Aktifkan Google Kubernetes Engine API
• Jika ingin menggunakan Google Cloud CLI untuk tugas ini, instal lalu lakukan inisialisasi gcloud CLI. Jika sebelumnya Anda telah menginstal gcloud CLI, dapatkan versi terbaru dengan menjalankan perintah gcloud components update. Versi gcloud CLI yang lebih lama mungkin tidak mendukung perintah yang dijalankan dalam dokumen ini.
  Catatan: Untuk penginstalan gcloud CLI yang ada, pastikan untuk menetapkan compute/region properti . Jika Anda menggunakan cluster zona terutama, tetapkan compute/zone sebagai gantinya. Dengan menetapkan lokasi default, Anda dapat menghindari error di gcloud CLI seperti berikut: One of [--zone, --region] must be supplied: Please specify location. Anda mungkin perlu menentukan lokasi dalam perintah tertentu jika lokasi cluster Anda berbeda dengan default yang Anda tetapkan.

• Pastikan project kunci Anda memiliki key ring Cloud KMS untuk cluster Anda. Anda dapat menggunakan key ring yang sudah ada di lokasi cluster Anda. Untuk membuat key ring baru, lihat Membuat key ring.

• Aktifkan Cloud Key Management Service API.

  Peran yang diperlukan untuk mengaktifkan API

  Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Service Usage (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

  Mengaktifkan API

Mengidentifikasi project

Sebaiknya gunakan project Google Cloud terpisah sebagai berikut:

• Project kunci: berisi semua kunci.
• Project cluster: berisi cluster GKE Anda.

Anda dapat menggunakan project yang sama untuk kunci dan cluster GKE Anda, tetapi sebaiknya gunakan project terpisah agar tim yang mengelola kunci dan operasi kriptografi Anda terpisah dari tim yang mengelola cluster Anda.

Peran dan izin yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menjalankan kunci enkripsi Anda sendiri, minta administrator untuk memberi Anda peran IAM berikut:

• Membuat kunci Cloud KMS: Cloud KMS Admin (roles/cloudkms.admin) di project kunci Anda
• Membuat cluster GKE: Kubernetes Engine Cluster Admin (roles/container.clusterAdmin) di project cluster Anda

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Persyaratan

Enkripsi disk bidang kontrol dengan kunci Anda sendiri memiliki persyaratan berikut:

• Cluster Anda harus menjalankan GKE versi 1.31.1-gke.1846000 atau yang lebih baru.

• Anda harus membuat cluster di salah satu region berikut:

  • asia-east1
  • asia-northeast1
  • asia-southeast1
  • europe-west1
  • europe-west4
  • us-central1
  • us-central2
  • us-east1
  • us-east4
  • us-east5
  • us-south1
  • us-west1
  • us-west3
  • us-west4
  Catatan: Selain otoritas bidang kontrol GKE, Anda dapat menggunakan Mode rahasia untuk Hyperdisk Balanced untuk disk node Anda. Jika Anda berencana menggunakan Mode rahasia untuk Hyperdisk Balanced untuk node Anda selain mengenkripsi disk bidang kontrol dengan kunci Anda sendiri, Anda harus membuat cluster di region yang mendukung Mode rahasia untuk Hyperdisk Balanced. Jika Anda membuat cluster di region lain, Anda tidak akan dapat menggunakan Mode rahasia untuk Hyperdisk Balanced untuk node Anda.

Batasan

• Anda hanya dapat mengonfigurasi kunci enkripsi etcd dan boot disk selama pembuatan cluster.

• Untuk cluster mode Standard regional dan untuk cluster Autopilot, region tempat Anda membuat cluster harus memiliki kapasitas untuk Mode rahasia untuk Hyperdisk Balanced di setidaknya tiga zona di region tersebut.

  Untuk cluster mode Standard zona, zona cluster harus memiliki kapasitas Hyperdisk Balanced. Untuk mendapatkan bantuan terkait kapasitas, hubungi Cloud Customer Care.

• GKE hanya mendukung kunci dari Cloud KMS. Anda tidak dapat menggunakan penyedia KMS Kubernetes lain atau penyedia enkripsi lainnya.

• Kunci Cloud External Key Manager (Cloud EKM) tidak didukung.

• Anda tidak dapat mengakses atau berinteraksi dengan Google Cloud internal cadangan operasional etcd, yang hanya untuk pemulihan dari bencana.

• Keyring multi-region tidak didukung. Anda harus menggunakan key ring regional.

Membuat kunci

Di bagian ini, Anda akan membuat kunci enkripsi untuk disk etcd dan boot disk di bidang kontrol Anda dan kunci enkripsi terpisah untuk Google Cloud cadangan operasional internal etcd. Anda dapat menggunakan satu key ring untuk menyimpan semua kunci ini dan kunci lainnya untuk cluster.

Peringatan: Jangan aktifkan rotasi kunci otomatis dengan Cloud KMS. Merotasi kunci enkripsi Anda memerlukan langkah tambahan untuk memastikan bahwa resource bidang kontrol Anda dienkripsi ulang dengan versi kunci baru sebelum versi kunci asli dihancurkan.

1. Buat kunci enkripsi untuk disk etcd dan boot disk bidang kontrol Anda:

   gcloud kms keys create KCP_DISK_KEY_NAME \
       --keyring=KEYRING_NAME \
       --location=LOCATION \
       --purpose="encryption" \
       --protection-level=PROTECTION_LEVEL \
       --project=KEY_PROJECT_ID
   

   Ganti kode berikut:

   • KCP_DISK_KEY_NAME: nama untuk kunci enkripsi untuk disk etcd dan boot disk bidang kontrol Anda.
   • KEYRING_NAME: nama key ring untuk menyimpan kunci enkripsi Anda untuk cluster.
   • LOCATION: Google Cloud lokasifor the key ring. Lokasi ini harus sama dengan lokasi cluster Anda. Untuk mengetahui daftar region, filter "Region" di tabel lokasi Cloud KMS.
   • PROTECTION_LEVEL: tingkat perlindungan untuk kunci, seperti software atau hsm.
   • KEY_PROJECT_ID: project ID project kunci Anda.

2. Buat kunci enkripsi cadangan internal etcd:

   gcloud kms keys create ETCD_BACKUP_KEY_NAME \
       --keyring=KEYRING_NAME \
       --location=LOCATION \
       --purpose="encryption" \
       --protection-level=PROTECTION_LEVEL \
       --project=KEY_PROJECT_ID
   

   Ganti ETCD_BACKUP_KEY_NAME dengan nama untuk kunci enkripsi cadangan internal etcd.

Memberikan peran IAM ke agen layanan GKE

Di bagian ini, Anda akan memberikan peran IAM pada kunci yang Anda buat ke agen layanan GKE di project cluster. Agen layanan GKE memerlukan peran ini untuk menggunakan kunci ini guna mengenkripsi resource bidang kontrol yang sesuai.

1. Temukan nomor project cluster Anda:

   gcloud projects describe CLUSTER_PROJECT_ID \
       --format='value(projectNumber)'
   

   Ganti CLUSTER_PROJECT_ID dengan project ID project cluster GKE Anda.

   Outputnya mirip dengan hal berikut ini:

   1234567890
   

2. Berikan peran Cloud KMS CryptoKey Encrypter/Decrypter (roles/cloudkms.cryptoKeyEncrypterDecrypter) pada kunci enkripsi untuk disk etcd dan boot disk ke agen layanan GKE di project cluster:

   gcloud kms keys add-iam-policy-binding KCP_DISK_KEY_NAME \
       --location=LOCATION \
       --keyring=KEYRING_NAME \
       --member="serviceAccount:[e-mail]" \
       --role=roles/cloudkms.cryptoKeyEncrypterDecrypter \
       --project=KEY_PROJECT_ID
   

   Ganti kode berikut:

   • KCP_DISK_KEY_NAME: nama kunci enkripsi disk.
   • LOCATION: Google Cloud lokasi kunci.
   • KEYRING_NAME: nama key ring yang berisi kunci enkripsi.
   • CLUSTER_PROJECT_NUMBER: nomor project numerik dari project cluster, yang Anda temukan di langkah sebelumnya.
   • KEY_PROJECT_ID: project ID project kunci Anda.

3. Berikan peran Cloud KMS CryptoKey Encrypter/Decrypter Via Delegation (roles/cloudkms.cryptoKeyEncrypterDecrypterViaDelegation) pada kunci enkripsi untuk disk etcd dan boot disk ke agen layanan GKE di project cluster:

   gcloud kms keys add-iam-policy-binding KCP_DISK_KEY_NAME \
       --location=LOCATION \
       --keyring=KEYRING_NAME \
       --member="serviceAccount:[e-mail]" \
       --role=roles/cloudkms.cryptoKeyEncrypterDecrypterViaDelegation \
       --project=KEY_PROJECT_ID
   

4. Berikan peran Pengguna Kunci Cloud KMS pada kunci enkripsi untuk disk etcd dan boot disk ke agen layanan GKE di project cluster untuk rotasi kunci:

   gcloud kms keys add-iam-policy-binding KCP_DISK_KEY_NAME \
       --location=LOCATION \
       --keyring=KEYRING_NAME \
       --member="serviceAccount:[e-mail]" \
       --role=roles/container.cloudKmsKeyUser \
       --project=KEY_PROJECT_ID
   

5. Berikan peran Cloud KMS CryptoKey Encrypter (roles/cloudkms.cryptoKeyEncrypter) pada kunci enkripsi cadangan internal etcd ke agen layanan GKE di project cluster:

   gcloud kms keys add-iam-policy-binding ETCD_BACKUP_KEY_NAME \
       --location=LOCATION \
       --keyring=KEYRING_NAME \
       --member="serviceAccount:[e-mail]" \
       --role=roles/cloudkms.cryptoKeyEncrypter \
       --project=KEY_PROJECT_ID
   

   Ganti ETCD_BACKUP_KEY_NAME dengan nama kunci enkripsi cadangan operasional etcd.

   Memberikan peran roles/cloudkms.cryptoKeyEncrypter akan mencegah GKE melakukan pemulihan database atas nama Anda dan meningkatkan waktu pemulihan fungsi secara signifikan saat terjadi masalah database. Untuk mengizinkan GKE melakukan pemulihan untuk Anda, berikan peran roles/cloudkms.cryptoKeyEncrypterDecrypter sebagai gantinya.

Menggunakan kunci enkripsi di cluster

Bagian ini menunjukkan cara mengidentifikasi jalur ke kunci enkripsi Anda.

1. Identifikasi jalur ke kunci enkripsi disk Anda:

   gcloud kms keys describe KCP_DISK_KEY_NAME \
       --keyring=KEYRING_NAME \
       --location=LOCATION \
       --project=KEY_PROJECT_ID \
       --format="value(name)"
   

   Ganti kode berikut:

   • KCP_DISK_KEY_NAME: nama kunci enkripsi untuk disk etcd dan boot disk bidang kontrol.
   • KEYRING_NAME: nama key ring yang berisi kunci.
   • LOCATION: lokasi Google Cloud kunci.
   • KEY_PROJECT_ID: project ID project kunci Anda.

   Outputnya mirip dengan hal berikut ini:

   projects/KEY_PROJECT_ID/locations/LOCATION/keyRings/KEYRING_NAME/cryptoKeys/disk-encryption-key
   

2. Identifikasi jalur ke kunci enkripsi cadangan internal etcd Anda:

   gcloud kms keys describe ETCD_BACKUP_KEY_NAME \
       --keyring=KEYRING_NAME \
       --location=LOCATION \
       --project=KEY_PROJECT_ID \
       --format="value(name)"
   

   Ganti ETCD_BACKUP_KEY_NAME dengan nama kunci enkripsi cadangan operasional etcd.

   Outputnya mirip dengan hal berikut ini:

   projects/KEY_PROJECT_ID/locations/LOCATION/keyRings/KEYRING_NAME/cryptoKeys/etcd-backup-encryption-key
   

Membuat cluster

Peringatan: Mencabut atau menghapus kunci Cloud KMS yang Anda gunakan untuk enkripsi akan membuat cluster Anda berisiko kehilangan data yang tidak dapat dipulihkan.

Di bagian ini, Anda akan membuat cluster dengan opsi berbeda yang ditentukan bergantung pada fitur otoritas bidang kontrol GKE yang ingin Anda konfigurasi. Anda hanya dapat mengonfigurasi fitur ini di cluster selama pembuatan cluster. Perintah berikut membuat cluster mode Standard. Untuk membuat cluster mode Autopilot sebagai gantinya, gunakan flag yang sama dengan gcloud container clusters create-auto perintah.

• Untuk membuat cluster yang mengonfigurasi enkripsi disk dan menjalankan kunci penandatanganan akun layanan dan CA Anda sendiri, lakukan hal berikut:

  1. Lakukan semua langkah konfigurasi kunci dan CA di Menjalankan kunci dan certificate authority Anda sendiri.
  2. Temukan jalur ke setiap kunci akun layanan dan CA menggunakan petunjuk di Menyiapkan CA dan kunci di cluster baru.

  3. Buat cluster:

     gcloud container clusters create CLUSTER_NAME \
         --location=LOCATION \
         --project=CLUSTER_PROJECT_ID \
         --control-plane-disk-encryption-key=PATH_TO_DISK_KEY \
         --gkeops-etcd-backup-encryption-key=PATH_TO_ETCD_BACKUP_KEY \
         --service-account-signing-keys=PATH_TO_SIGNING_KEY_VERSION \
         --service-account-verification-keys=PATH_TO_VERIFICATION_KEY_VERSION \
         --cluster-ca=PATH_TO_CLUSTER_CA \
         --etcd-peer-ca=PATH_TO_ETCD_PEER_CA \
         --etcd-api-ca=PATH_TO_ETCD_API_CA \
         --aggregation-ca=PATH_TO_AGGREGATION_CA
     

     Ganti kode berikut:

     • CLUSTER_NAME: nama cluster baru Anda.
     • LOCATION: lokasi cluster baru Anda.
     • CLUSTER_PROJECT_ID: project ID project cluster Anda.
     • PATH_TO_DISK_KEY: jalur ke kunci enkripsi disk Anda dari langkah-langkah sebelumnya dalam dokumen ini.
     • PATH_TO_ETCD_BACKUP_KEY: jalur ke kunci enkripsi cadangan internal etcd Anda dari langkah-langkah sebelumnya dalam dokumen ini.
     • PATH_TO_SIGNING_KEY_VERSION: jalur ke versi kunci penandatanganan ServiceAccount Kubernetes di Cloud KMS.
     • PATH_TO_VERIFICATION_KEY_VERSION: jalur ke versi kunci verifikasi ServiceAccount Kubernetes di Cloud KMS.
     • PATH_TO_CLUSTER_CA: jalur ke kumpulan CA cluster.
     • PATH_TO_ETCD_PEER_CA: jalur ke kumpulan CA peer etcd.
     • PATH_TO_ETCD_API_CA: jalur ke kumpulan CA API etcd.
     • PATH_TO_AGGREGATION_CA: jalur ke kumpulan CA agregasi.

• Untuk membuat cluster yang hanya mengonfigurasi enkripsi disk menggunakan kunci yang Anda buat dalam panduan ini, jalankan perintah berikut:

  gcloud container clusters create CLUSTER_NAME \
      --location=LOCATION \
      --project=CLUSTER_PROJECT_ID \
      --control-plane-disk-encryption-key=PATH_TO_DISK_KEY \
      --gkeops-etcd-backup-encryption-key=PATH_TO_ETCD_BACKUP_KEY
  

  Ganti kode berikut:

  • CLUSTER_NAME: nama cluster baru Anda.
  • LOCATION: lokasi cluster baru Anda.
  • CLUSTER_PROJECT_ID: project ID project cluster Anda.
  • PATH_TO_DISK_KEY: jalur ke kunci enkripsi disk Anda dari langkah-langkah sebelumnya.
  • PATH_TO_ETCD_BACKUP_KEY: jalur ke kunci enkripsi cadangan internal etcd Anda dari langkah-langkah sebelumnya.

Anda juga dapat menentukan semua flag ini saat membuat cluster mode Standard baru.

Memverifikasi status kunci enkripsi

Bagian ini menunjukkan cara memverifikasi kunci enkripsi yang digunakan selama pembuatan cluster. Anda dapat melakukan verifikasi ini menggunakan Cloud Logging atau menggunakan Google Cloud CLI.

Menggunakan Logging untuk memverifikasi kunci

Untuk memverifikasi kunci menggunakan Logging, lakukan hal berikut:

1. Di Google Cloud konsol, buka halaman Logs Explorer:

   Buka Logs Explorer

2. Dapatkan log pembuatan cluster dengan menentukan kueri berikut:

   resource.type="gke_cluster"
   resource.labels.cluster_name="CLUSTER_NAME"
   resource.labels.location="CLUSTER_LOCATION"
   protoPayload.serviceName="container.googleapis.com"
   protoPayload.methodName=~"google.container.v(1|1alpha1|1beta1).ClusterManager.CreateCluster"
   protoPayload.request.cluster.userManagedKeysConfig:*
   

3. Klik Run query.

Dalam output, pastikan parameter pembuatan cluster menyertakan jalur kunci yang sesuai dengan kunci yang Anda siapkan di Cloud KMS, seperti dalam contoh berikut:

# lines omitted for clarity
userManagedKeysConfig: {
  controlPlaneDiskEncryptionKey: "projects/KEY_PROJECT_ID/locations/LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/KCP_DISK_KEY_NAME"
  gkeopsEtcdBackupEncryptionKey: "projects/KEY_PROJECT_ID/locations/LOCATION/keyRings/KEY_RING_NAME/cryptoKeys/ETCD_BACKUP_KEY_NAME"
}

Menggunakan gcloud CLI untuk memverifikasi kunci

Untuk menggunakan gcloud CLI guna memverifikasi kunci enkripsi, lakukan hal berikut:

1. Untuk kunci enkripsi disk, jalankan perintah berikut:

   gcloud container clusters describe CLUSTER_NAME \
       --location=LOCATION \
       --format="value(userManagedKeysConfig.controlPlaneDiskEncryptionKey)"
   

2. Untuk kunci enkripsi cadangan internal etcd, jalankan perintah berikut:

   gcloud container clusters describe CLUSTER_NAME \
       --location=LOCATION \
       --format="value(userManagedKeysConfig.gkeopsEtcdBackupEncryptionKey)"
   

Merotasi kunci enkripsi disk bidang kontrol dan etcd

Kunci enkripsi yang Anda buat tidak akan habis masa berlakunya. Untuk meningkatkan postur keamanan Anda, rotasi kunci ini secara rutin dan enkripsi ulang resource Anda dengan versi kunci baru. Untuk mengetahui informasi selengkapnya, lihat Merotasi kunci enkripsi boot disk bidang kontrol dan etcd.

Langkah berikutnya

• Pelajari hal lain yang dapat Anda lihat di bidang kontrol
• Menjalankan kunci dan certificate authority Anda sendiri di GKE
• Memverifikasi integritas VM bidang kontrol