Anda dapat mengonfigurasi cluster Google Kubernetes Engine (GKE) Standard agar berfungsi mirip dengan cluster mode Autopilot dengan mengaktifkan setelan cluster seperti ComputeClass default, kebijakan keamanan cluster Autopilot, dan penskalaan hingga nol cluster.
Dokumen ini ditujukan untuk administrator platform dan engineer keamanan yang ingin mendapatkan semua manfaat mode Autopilot di cluster Standard dengan fleksibilitas untuk mengubah atau menonaktifkan setelan individual. Jika Anda tidak memerlukan fleksibilitas ini, buat cluster Autopilot khusus.
Anda seharusnya sudah memahami konsep berikut:
Setelan cluster Autopilot
Untuk mengonfigurasi cluster Standard agar berfungsi seperti cluster Autopilot, Anda harus mengonfigurasi semua setelan berikut:
- ComputeClass Autopilot sebagai default cluster: tetapkan salah satu ComputeClass Autopilot bawaan. Setiap Pod yang tidak memilih ComputeClass akan berjalan menggunakan ComputeClass default yang ditentukan. ComputeClass bawaan semuanya menggunakan mode Autopilot dan model penagihan berbasis Pod.
- Lakukan penskalaan otomatis cluster ke nol node: konfigurasikan autoscaler cluster untuk menskalakan cluster ke nol node saat tidak ada workload pengguna yang aktif di cluster. Secara opsional, Anda dapat menyesuaikan periode penundaan sebelum autoscaler menskalakan cluster ke nol node.
- Nol node awal: selama pembuatan cluster, cegah pembuatan otomatis node pool default. Untuk cluster yang ada, hapus node pool yang dibuat secara manual.
- Kebijakan keamanan cluster Autopilot: menerapkan semua kebijakan keamanan Autopilot. Kebijakan ini membantu melindungi workload dan identitas sistem.
Anda dapat mengubah cluster untuk mengubah setelan ini secara terpisah dari setelan lainnya. Misalnya, jika Anda perlu membuat node pool secara manual, Anda dapat menonaktifkan kebijakan keamanan cluster Autopilot yang sesuai tanpa mengubah setelan lainnya.
Pertimbangan fleksibilitas dan keamanan
Saat Anda membuat cluster Autopilot, mode cluster bersifat permanen. Setelan cluster seperti penskalaan ke nol node, mencegah pembuatan node pool secara manual, dan berbagai batasan keamanan tidak dapat diubah. Namun, saat Anda mengonfigurasi cluster Standard untuk menggunakan semua setelan cluster Autopilot, setelan tersebut dapat diubah. Siapa pun yang memiliki akses untuk mengubah konfigurasi cluster dapat mengubah atau menonaktifkan setelan individual.
Untuk menerapkan penggunaan setelan ini di seluruh organisasi, folder, atau project, administrator organisasi dapat menggunakan batasan kebijakan organisasi kustom. Untuk mengetahui informasi selengkapnya, lihat bagian Menerapkan setelan Autopilot dengan kebijakan organisasi kustom dalam dokumen ini.
Batasan
Jika Anda mengonfigurasi Confidential GKE Nodes di level cluster, GKE akan mengabaikan perintah Anda untuk menggunakan ComputeClass Autopilot sebagai default cluster.
Sebelum memulai
Sebelum memulai, pastikan Anda telah melakukan tugas berikut:
- Aktifkan Google Kubernetes Engine API. Aktifkan Google Kubernetes Engine API
- Untuk menggunakan Google Cloud CLI untuk tugas ini,
instal lalu
lakukan inisialisasi
gcloud CLI. Jika sebelumnya Anda telah menginstal gcloud CLI, dapatkan versi terbaru dengan menjalankan perintah
gcloud components update. Versi gcloud CLI yang lebih lama mungkin tidak mendukung menjalankan perintah dalam dokumen ini.
- Pastikan Anda memiliki cluster Standard yang memenuhi semua persyaratan.
Persyaratan
Untuk menggunakan semua kemampuan Autopilot di cluster Standard, cluster Anda harus memenuhi persyaratan berikut:
Cluster harus menjalankan GKE versi 1.37.1-gke.3020000 atau yang lebih baru. Persyaratan versi untuk setiap setelan adalah sebagai berikut:
- Untuk menetapkan ComputeClass Autopilot bawaan sebagai default cluster, cluster harus menjalankan GKE versi 1.37.1-gke.1380000 atau yang lebih baru.
- Untuk membuat cluster yang memiliki nol node awal, cluster harus menjalankan GKE versi 1.37.1-gke.3020000 atau yang lebih baru.
- Untuk mengonfigurasi autoscaler cluster agar menskalakan cluster ke nol node, cluster harus menjalankan GKE versi 1.37.1-gke.3020000 atau yang lebih baru.
Untuk mengupgrade cluster ke versi yang kompatibel, lihat Mengupgrade bidang kontrol atau node pool cluster secara manual.
Cluster harus memenuhi semua persyaratan untuk menggunakan ComputeClasses Autopilot. Untuk memeriksa apakah cluster Anda memenuhi persyaratan ini, lihat Menjalankan workload dalam mode Autopilot di cluster Standard.
Peran dan izin yang diperlukan
Untuk mendapatkan izin yang Anda perlukan untuk membuat atau mengupdate cluster agar menggunakan mode Autopilot, minta administrator untuk memberi Anda peran IAM berikut di project Google Cloud Anda:
-
Membuat dan mengupdate cluster dan node pool:
Kubernetes Engine Cluster Admin (
roles/container.clusterAdmin) -
Mengelola ComputeClass dan workload di cluster:
Kubernetes Engine Developer (
roles/container.developer)
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Membuat cluster Standard yang menggunakan mode Autopilot
Untuk membuat cluster Standard baru yang menggunakan semua setelan Autopilot, jalankan perintah berikut:
gcloud container clusters create CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--num-nodes=0 \
--default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
--enable-cluster-scale-to-zero \
--autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
Ganti kode berikut:
CLUSTER_NAME: nama untuk cluster baru Anda.CONTROL_PLANE_LOCATION: region untuk bidang kontrol cluster Anda, sepertius-central1.BUILT_IN_COMPUTECLASS_NAME: ComputeClass bawaan yang akan digunakan sebagai default cluster, sepertiautopilot.
Secara opsional, Anda dapat menyesuaikan periode penundaan sebelum autoscaler cluster
menskalakan cluster ke nol node menggunakan flag
--cluster-scale-to-zero-delay:
gcloud container clusters create CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--num-nodes=0 \
--default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
--enable-cluster-scale-to-zero \
--cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAY \
--autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
Ganti SCALE_TO_ZERO_DELAY dengan durasi penundaan.
Nilai ini harus menentukan bilangan bulat dan satuan waktu, seperti 0s, 1m, atau
3h. Penundaan maksimum adalah 3 jam. Jika Anda tidak menentukan flag --cluster-scale-to-zero-delay, penundaan defaultnya adalah 3 jam.
Jika perintah pembuatan cluster Anda gagal dan menampilkan pesan error, periksa pesan error untuk mengetahui informasi selengkapnya. Error yang paling umum adalah sebagai berikut:
- Cluster Anda menggunakan versi yang tidak mendukung salah satu flag yang ditentukan. Untuk mengatasi error ini, update cluster Anda ke versi minimum yang diperlukan seperti yang ditentukan di bagian Persyaratan.
- Anda menentukan flag konfigurasi node pool (seperti flag
--machine-type) dalam perintah pembuatan cluster. Karena cluster baru Anda tidak memiliki node pool awal, Anda tidak dapat menentukan flag konfigurasi node pool. Untuk mengatasi error ini, hapus flag konfigurasi node pool dari perintah Anda. - Anda menentukan nama ComputeClass kustom untuk flag
--default-compute-class. Untuk mengatasi error ini, tentukan salah satu ComputeClass Autopilot bawaan.
Mengupdate cluster Standard yang ada untuk menggunakan mode Autopilot
Anda dapat mengubah cluster Standard yang ada untuk menggunakan mode Autopilot. Proses ini melibatkan perubahan yang berpotensi mengganggu workload Anda, seperti menghapus node pool yang dibuat secara manual. Lakukan langkah-langkah ini selama periode pemeliharaan terjadwal.
Pastikan cluster Anda memenuhi semua Persyaratan dalam dokumen ini.
Tinjau cluster Anda dan lakukan perubahan yang diperlukan untuk menghindari konflik dengan kebijakan cluster Autopilot. Untuk mengetahui informasi selengkapnya tentang potensi perubahan, lihat Kebijakan yang didukung.
Saat Anda menetapkan ComputeClass Autopilot sebagai default cluster, Pod masuk yang tidak memilih ComputeClass lain akan menjadi workload Autopilot. Periksa workload yang tidak memilih ComputeClass untuk properti berikut:
- Pastikan workload Anda mematuhi batasan keamanan Autopilot, atau konfigurasikan daftar yang diizinkan untuk workload dengan hak istimewa.
- Temukan dan hapus pemilih node
cloud.google.com/gke-nodepoolatau aturan afinitas node dari Pod. - Periksa apakah ada namespace yang memiliki label
cloud.google.com/default-compute-classataucloud.google.com/default-compute-class-non-daemonset. ComputeClass default tingkat namespace lebih diutamakan daripada ComputeClass default tingkat cluster.
Periksa apakah cluster memiliki ComputeClass kustom yang bernama
default:kubectl get computeclass default -o yamlJika output kosong, lanjutkan ke langkah berikutnya. Jika ComputeClass
defaultada, output-nya akan mirip dengan yang berikut ini:apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: annotations: cloud.google.com/gke-managed-default-compute-class: "true" name: default # Multiple lines are omitted here.Dalam output, jika anotasi
cloud.google.com/gke-managed-default-compute-class: "true"ada di kolommetadata.annotations, lanjutkan ke langkah berikutnya. Jika anotasi ini tidak ada, hapus ComputeClass:kubectl delete computeclass defaultTemukan dan hapus node pool yang dibuat secara manual di cluster.
Aktifkan setelan Autopilot untuk cluster:
Tetapkan ComputeClass default cluster ke ComputeClass bawaan:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --default-compute-class=BUILT_IN_COMPUTECLASS_NAMEGanti kode berikut:
CLUSTER_NAME: nama cluster Standard yang ada.CONTROL_PLANE_LOCATION: region bidang kontrol cluster Anda.BUILT_IN_COMPUTECLASS_NAME: ComputeClass Autopilot bawaan yang akan digunakan sebagai default cluster, sepertiautopilot.
Aktifkan penskalaan otomatis cluster dan biarkan autoscaler menskalakan cluster ke nol node:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zeroSecara opsional, Anda dapat menyesuaikan periode penundaan sebelum autoscaler cluster menskalakan cluster ke nol node menggunakan flag
--cluster-scale-to-zero-delay:gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zero \ --cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAYGanti
SCALE_TO_ZERO_DELAYdengan durasi penundaan. Nilai ini harus menentukan bilangan bulat dan satuan waktu, seperti0s,1m, atau3h. Penundaan maksimum adalah 3 jam. Jika Anda tidak menentukan flag--cluster-scale-to-zero-delay, penundaan defaultnya adalah 3 jam.Aktifkan kebijakan cluster Autopilot:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
Jika salah satu perintah update cluster Anda gagal dan menampilkan pesan error, periksa pesan error untuk mengetahui informasi selengkapnya. Error yang paling umum adalah sebagai berikut:
- Cluster Anda menggunakan versi yang tidak mendukung salah satu flag yang ditentukan. Untuk mengatasi error ini, upgrade cluster Anda ke versi minimum yang diperlukan seperti yang ditentukan di bagian Persyaratan.
- Anda menentukan nama ComputeClass kustom untuk flag
--default-compute-class. Untuk mengatasi error ini, tentukan salah satu ComputeClass Autopilot bawaan. - Cluster Anda memiliki node pool yang dibuat secara manual, sehingga GKE tidak dapat
menerapkan kebijakan
no-standard-node-pools. Untuk mengatasi error ini, hapus node pool yang dibuat secara manual.
Memverifikasi bahwa cluster Anda menggunakan mode Autopilot
Setelah mengonfigurasi cluster baru atau yang sudah ada, pastikan setelan Autopilot aktif:
Pastikan setelan ComputeClass default, penskalaan hingga nol, dan kebijakan cluster diaktifkan di cluster:
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="yaml(autoscaling.defaultComputeClassConfig,autoscaling.scaleToZeroConfig,autopilot.clusterPolicyConfig)"Outputnya mirip dengan hal berikut ini:
autoscaling: defaultComputeClassConfig: computeClass: autopilot enabled: true scaleToZeroConfig: enabled: true delay: 3h autopilot: clusterPolicyConfig: noManualNodePools: true noSystemImpersonation: true noSystemMutation: true noUnsafeWebhooks: truePastikan GKE membuat ComputeClass
defaultterkelola di cluster Anda:kubectl get computeclass default -o yamlOutputnya mirip dengan hal berikut ini:
Jika output kosong, lanjutkan ke langkah berikutnya. Jika ComputeClass
defaultada, output-nya akan mirip dengan yang berikut ini:apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: annotations: cloud.google.com/gke-managed-default-compute-class: "true" name: default # Multiple lines are omitted here. spec: autopilot: enabled: true # Multiple lines are omitted here.Dalam output ini, anotasi
cloud.google.com/gke-managed-default-compute-class: "true"menunjukkan bahwa GKE membuat ComputeClass.Saat Anda men-deploy Pod yang tidak memilih ComputeClass yang berbeda, pastikan Pod tersebut berjalan di node yang dikelola Autopilot:
kubectl get pods -o wideDalam output, node yang dikelola oleh Autopilot memiliki awalan
gk3-di kolomNODE.
Mengubah atau menonaktifkan setelan Autopilot satu per satu
Karena setiap kemampuan Autopilot dalam cluster Standard bersifat modular, Anda dapat menyesuaikan atau menonaktifkan setelan individual kapan saja. Jika Anda adalah administrator keamanan, Anda dapat menggunakan batasan kebijakan organisasi kustom untuk menerapkan setelan ini. Untuk mengetahui informasi selengkapnya, lihat Menerapkan setelan Autopilot dengan kebijakan organisasi kustom.
- Nonaktifkan kebijakan Autopilot tertentu di cluster Anda, seperti
no-standard-node-pools. - Nonaktifkan ComputeClass default tingkat cluster. Atau, Anda dapat menetapkan ComputeClass kustom sebagai default cluster dengan membuat ComputeClass bernama
default. Cegah cluster melakukan penskalaan otomatis ke nol node:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --no-enable-cluster-scale-to-zero
Menerapkan setelan Autopilot dengan kebijakan organisasi kustom
Karena setelan Autopilot di cluster Standard dapat diubah atau dinonaktifkan oleh pengguna yang memiliki izin update cluster, administrator organisasi dapat menggunakan batasan kebijakan organisasi kustom di Organization Policy Service untuk menerapkan setelan ini di seluruh organisasi, folder, atau project. Contoh batasan berikut menolak operasi pembuatan atau update cluster untuk cluster yang tidak menerapkan semua setelan Autopilot:
name: organizations/ORGANIZATION_ID/customConstraints/custom.enforceAutopilotSettings
resourceTypes:
- container.googleapis.com/Cluster
methodTypes:
- CREATE
condition: >-
"resource.ClusterPolicyConfig.no_system_mutation != true ||
resource.ClusterPolicyConfig.no_system_impersonation != true ||
resource.ClusterPolicyConfig.no_unsafe_webhooks != true ||
resource.ClusterPolicyConfig.no_standard_node_pools != true ||
resource.ScaleToZeroConfig.enabled != true ||
!(resource.DefaultComputeClassConfig.computeClass in [
'autopilot', 'autopilot-spot', 'autopilot-arm', 'autopilot-arm-spot'
])"
actionType: DENY
displayName: Enforce Autopilot cluster policies in Standard clusters
description: All new clusters must use all Autopilot settings by default.
Ganti ORGANIZATION_ID dengan ID organisasi Anda.
Langkah berikutnya
- Pelajari lebih lanjut workload Autopilot di GKE Standard
- Menjalankan workload dalam mode Autopilot di cluster Standard
- Menerapkan ComputeClass ke Pod secara default
- Menerapkan kebijakan keamanan Autopilot di cluster Standard
- Melakukan penskalaan otomatis cluster