Dokumen ini menunjukkan cara menonaktifkan autoscaler cluster yang dikelola Google Kubernetes Engine (GKE) dan men-deploy autoscaler cluster yang dihosting sendiri di cluster Standard menggunakan Helm. Dengan men-deploy autoscaler cluster yang dihosting sendiri, Anda dapat menyesuaikan flag penskalaan otomatis, menguji parameter eksperimental, atau menjalankan build kustom dari repositori autoscaler cluster GKE open source.
Dokumen ini ditujukan untuk administrator platform yang mengelola penskalaan cluster dan infrastruktur serta memerlukan kontrol terperinci atas parameter autoscaler di luar yang disediakan oleh autoscaler cluster yang dikelola GKE.
Persyaratan dan batasan
- Autoscaler cluster yang dihosting sendiri hanya didukung di cluster GKE Standard yang menjalankan versi 1.37.2-gke.1042000 atau yang lebih baru.
- Autoscaler cluster yang dihosting sendiri tidak kompatibel dengan cluster Autopilot, cluster Standard yang berisi node pool yang dikelola Autopilot, atau cluster Standard yang menggunakan mode Autopilot untuk ComputeClass.
- Cluster Anda harus memiliki setidaknya satu worker node yang berjalan setiap saat untuk menghosting Pod autoscaler cluster yang dihosting sendiri. Cluster yang menjalankan autoscaler cluster yang dihosting sendiri tidak dapat memperkecil skala hingga total node nol.
- Anda bertanggung jawab untuk men-deploy, mengupdate, dan memantau workload autoscaler cluster yang dihosting sendiri. Cloud Customer Care tidak memecahkan masalah deployment autoscaler cluster yang dihosting sendiri atau dibuat kustom. Untuk menerima dukungan dari Layanan Pelanggan terkait masalah penskalaan otomatis, beralihlah kembali ke autoscaler cluster yang dikelola GKE.
- Jika penskalaan otomatis yang dikelola GKE dinonaktifkan, GKE tidak akan memunculkan peristiwa visibilitas autoscaler cluster bidang kontrol ke aliran log
container.googleapis.com/cluster-autoscaler-visibility. Sebagai gantinya, lihat log dan metrik penskalaan langsung dari Pod autoscaler cluster yang dihosting sendiri.
Sebelum memulai
Sebelum memulai, pastikan Anda telah melakukan tugas berikut:
- Aktifkan Google Kubernetes Engine API. Aktifkan Google Kubernetes Engine API
- Untuk menggunakan Google Cloud CLI untuk tugas ini,
instal lalu
lakukan inisialisasi
gcloud CLI. Jika sebelumnya Anda telah menginstal gcloud CLI, dapatkan versi terbaru dengan menjalankan perintah
gcloud components update. Versi gcloud CLI yang lebih lama mungkin tidak mendukung menjalankan perintah dalam dokumen ini.
- Pastikan Anda memiliki cluster Standard yang menjalankan versi 1.37.2-gke.1042000 atau yang lebih baru, dengan Workload Identity Federation for GKE diaktifkan pada cluster dan setidaknya pada satu node pool. Anda juga dapat membuat cluster baru di bagian berikutnya.
- Instal Helm versi 4.0.0 atau yang lebih baru, Git, Go, dan Docker.
- Pastikan Anda memiliki repositori Docker di Artifact Registry atau Container Registry lain yang dapat ditarik oleh cluster Anda untuk menyimpan image container autoscaler cluster yang dihosting sendiri. Untuk mengetahui informasi selengkapnya, lihat Menyimpan image container Docker di Artifact Registry.
- Konfigurasi
kubectluntuk berkomunikasi dengan cluster Anda. Untuk mengetahui informasi selengkapnya, lihat Menginstalkubectldan mengonfigurasi akses cluster.
Peran yang diperlukan
Untuk mendapatkan izin yang diperlukan untuk menonaktifkan penskalaan otomatis terkelola, mengonfigurasi resource Identity and Access Management (IAM), dan men-deploy autoscaler cluster yang dihosting sendiri, minta administrator untuk memberi Anda peran IAM berikut pada project Anda:
-
Mengelola cluster GKE:
Kubernetes Engine Admin (
roles/container.admin) -
Membuat peran IAM khusus:
Role Administrator (
roles/iam.roleAdmin) -
Membuat dan mengelola akun layanan IAM:
Service Account Admin (
roles/iam.serviceAccountAdmin) -
Memberikan peran IAM pada project:
Project IAM Admin (
roles/resourcemanager.projectIamAdmin)
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Menonaktifkan autoscaler cluster yang dikelola GKE
Sebelum men-deploy autoscaler cluster yang dihosting sendiri, Anda harus menonaktifkan autoscaler cluster yang dikelola GKE di bidang kontrol untuk mencegah kondisi race antara dua instance autoscaler. Menonaktifkan autoscaler cluster yang dikelola GKE akan menghentikan bidang kontrol menskalakan node. Namun, GKE mempertahankan konfigurasi penskalaan otomatis node pool dan ComputeClasses yang ada sehingga autoscaler cluster yang dihosting sendiri dapat bertindak berdasarkan konfigurasi tersebut.
Untuk menonaktifkan autoscaler cluster yang dikelola GKE, ikuti langkah-langkah berikut, selesaikan salah satu langkah berikut:
Untuk menonaktifkan autoscaler cluster yang dikelola GKE di cluster Standard yang ada, jalankan perintah berikut:
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --disable-managed-autoscalingJika Workload Identity Federation for GKE belum diaktifkan di cluster dan di setidaknya satu node pool untuk menghosting Pod autoscaler cluster yang dihosting sendiri, jalankan perintah berikut:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-pool=PROJECT_ID.svc.id.goog gcloud container node-pools update NODEPOOL_NAME \ --cluster=CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-metadata=GKE_METADATA ```
Untuk membuat cluster Standard baru dengan autoscaler cluster yang dikelola GKE sudah dinonaktifkan, jalankan perintah berikut:
gcloud beta container clusters create CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --cluster-version=CLUSTER_VERSION \ --workload-pool=PROJECT_ID.svc.id.goog \ --disable-managed-autoscaling
Ganti kode berikut:
CLUSTER_NAME: nama cluster Standard.CONTROL_PLANE_LOCATION: region atau zona Compute Engine dari bidang kontrol cluster Anda. Berikan region untuk cluster regional, atau zona untuk cluster zona.PROJECT_ID: Project ID Google Cloud Anda.NODEPOOL_NAME: nama node pool yang ada untuk menghosting Pod autoscaler cluster yang dihosting sendiri.CLUSTER_VERSION: versi GKE untuk cluster baru, yang harus berupa 1.37.2-gke.1042000 atau yang lebih baru.
Untuk memverifikasi bahwa autoscaler cluster yang dikelola GKE dinonaktifkan di cluster Anda, jalankan perintah berikut:
gcloud beta container clusters describe CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--format="value(autoscaling.managedAutoscalingDisabled)"
Outputnya adalah True.
Mengonfigurasi izin IAM untuk autoscaler cluster yang dihosting sendiri
Autoscaler cluster yang dihosting sendiri memerlukan izin IAM untuk mengelola grup instance Compute Engine dan membaca metadata cluster di project Anda.
Berikan izin ini kepada autoscaler dengan membuat peran IAM kustom dengan hak istimewa terendah dan mengikatnya ke ServiceAccount Kubernetes autoscaler dengan Workload Identity Federation untuk GKE:
Ambil nomor project Anda:
gcloud projects describe PROJECT_ID \ --format="value(projectNumber)"Catat nilai output sebagai
PROJECT_NUMBERuntuk digunakan pada langkah selanjutnya.Simpan definisi peran IAM kustom berikut sebagai file
gcp-role.yaml:Buat peran IAM khusus
selfHostedClusterAutoscalerdi project Anda:gcloud iam roles create selfHostedClusterAutoscaler \ --project=PROJECT_ID \ --file=gcp-role.yamlBuat akun layanan IAM bernama
selfhosted-autoscaler:gcloud iam service-accounts create selfhosted-autoscaler \ --project=PROJECT_IDBerikan peran IAM kustom ke akun layanan IAM
selfhosted-autoscaler:gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \ --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"Jika cluster Anda menggunakan node auto-provisioning atau ComputeClass kustom untuk membuat node pool baru, berikan peran Pengguna Akun Layanan (
roles/iam.serviceAccountUser) ke akun layananselfhosted-autoscaler. Jalankan perintah berikut untuk setiap akun layanan IAM yang digunakan node baru Anda:gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \ --project=PROJECT_ID \ --role="roles/iam.serviceAccountUser" \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"Ganti
NODE_SA_EMAILdengan alamat email akun layanan IAM yang digunakan node Anda. Berikan peran ini pada akun layanan default node auto-provisioning dan pada akun layanan apa pun yang Anda tentukan di ComputeClass. Kecuali jika Anda mengonfigurasi akun layanan kustom, node auto-provisioning akan menggunakan akun layanan default Compute Engine,PROJECT_NUMBER-compute@developer.gserviceaccount.com.Izinkan ServiceAccount Kubernetes
selfhosted-autoscalerdi namespacekube-systemmeniru akun layanan IAM:gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \ --project=PROJECT_ID \ --role="roles/iam.workloadIdentityUser" \ --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
Men-deploy autoscaler cluster yang dihosting sendiri menggunakan Helm
Deploy autoscaler cluster yang dihosting sendiri menggunakan diagram Helm di
direktori charts/cluster-autoscaler
repositori autoscaler cluster GKE open source:
Ambil ID cluster Anda:
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --project=PROJECT_ID \ --format="value(id)"Catat nilai output sebagai
CLUSTER_IDuntuk file konfigurasi Helm.Clone repositori autoscaler cluster GKE:
git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.gitBangun dan kirim image container autoscaler cluster ke container registry Anda:
cd cluster-autoscaler make release \ REGISTRY=REGISTRY_PATH \ TAG=IMAGE_TAGGanti kode berikut:
REGISTRY_PATH: jalur dasar container registry Anda, sepertiLOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY. Perintahmake releasemembangun dan mengirim image keREGISTRY_PATH/cluster-autoscaler:IMAGE_TAG.IMAGE_TAG: tag untuk image container Anda, seperti37.234.0.
Untuk mengetahui informasi selengkapnya tentang cara membangun image container, lihat repositori autoscaler cluster GKE.
Buka direktori diagram Helm:
cd charts/cluster-autoscalerBuat file
my-values.yamluntuk mengonfigurasi identitas cluster, akun layanan Workload Identity Federation for GKE, dan parameter autoscaler:image: repository: "REGISTRY_PATH/cluster-autoscaler" tag: "IMAGE_TAG" cluster: name: "CLUSTER_NAME" hash: "CLUSTER_ID" projectNumber: "PROJECT_NUMBER" location: "CONTROL_PLANE_LOCATION" regional: IS_REGIONAL nodeSelector: iam.gke.io/gke-metadata-server-enabled: "true" serviceAccount: name: "selfhosted-autoscaler" gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" config: autoscalingProfile: AUTOSCALING_PROFILEGanti kode berikut:
REGISTRY_PATH: jalur dasar container registry Anda dari langkah sebelumnya, sepertiLOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY.IMAGE_TAG: tag image container yang Anda kirim di langkah sebelumnya, seperti37.234.0. Jika Anda menghapus kolomimage.tag, diagram Helm akan ditetapkan secara default ke nilaiappVersionyang Anda tetapkan saat memaketkan diagram.CLUSTER_ID: ID cluster yang Anda ambil di langkah sebelumnya.PROJECT_NUMBER: nomor project yang Anda ambil di langkah sebelumnya.IS_REGIONAL:truejika cluster Anda adalah cluster regional, ataufalsejika cluster Anda adalah cluster zona.AUTOSCALING_PROFILE: profil penskalaan otomatis yang akan diterapkan. Tentukan profildefaultuntuk penskalaan yang seimbang atau profiloptimizeUtilizationuntuk memperkecil skala node yang kurang dimanfaatkan secara lebih agresif. Untuk mengetahui daftar lengkap flag dan parameter yang dapat dikonfigurasi, lihat filevalues.yamldefault di GitHub.
Paketkan diagram Helm dengan versi komponen autoscaler cluster yang ingin Anda jalankan, dan instal diagram di namespace
kube-system:helm package \ --version=CA_VERSION \ --app-version=CA_VERSION . helm upgrade --install selfhosted-ca \ cluster-autoscaler-CA_VERSION.tgz \ --namespace=kube-system \ -f my-values.yamlGanti
CA_VERSIONdengan versi komponen autoscaler cluster dalam format<minor>.<ca-version>.<patch>, seperti37.234.0. Chart menggunakan versi ini untuk menentukan eksperimen autoscaler yang akan diaktifkan dari filevalues.yaml.
Memverifikasi deployment autoscaler cluster yang dihosting sendiri
Setelah menginstal diagram Helm, pastikan Pod autoscaler cluster yang dihosting sendiri berjalan dan memantau cluster Anda secara aktif:
Pastikan Pod autoscaler cluster yang dihosting sendiri berada dalam status
Running:kubectl get pods -n kube-system \ -l app.kubernetes.io/instance=selfhosted-caOutputnya mirip dengan hal berikut ini:
NAME READY STATUS RESTARTS AGE selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k 1/1 Running 0 2mPeriksa log dari Pod autoscaler cluster yang dihosting sendiri untuk mengonfirmasi bahwa Pod tersebut dimulai tanpa error autentikasi:
kubectl logs -n kube-system \ -l app.kubernetes.io/instance=selfhosted-ca \ --tail=50Periksa ConfigMap
cluster-autoscaler-statusuntuk melihat status penskalaan saat ini yang dilaporkan autoscaler:kubectl get configmap cluster-autoscaler-status \ -n kube-system -o yaml
Beralih kembali ke autoscaler cluster yang dikelola GKE
Untuk kembali ke autoscaler cluster yang dikelola GKE, hapus deployment yang dihosting sendiri sebelum mengaktifkan kembali penskalaan otomatis terkelola di bidang kontrol:
Uninstal rilis Helm autoscaler cluster yang dihosting sendiri:
helm uninstall selfhosted-ca --namespace=kube-systemAktifkan kembali autoscaler cluster yang dikelola GKE di cluster Anda:
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-managed-autoscalingPastikan autoscaler cluster yang dikelola GKE diaktifkan:
gcloud beta container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="value(autoscaling.managedAutoscalingDisabled)"Output-nya kosong atau
False.
Langkah berikutnya
- Pelajari lebih lanjut cara kerja autoscaler cluster.
- Pelajari cara mengonfigurasi penskalaan otomatis cluster untuk node pool.
- Pelajari repositori autoscaler cluster GKE dan diagram Helm open source.