Men-deploy autoscaler cluster yang dihosting sendiri

Dokumen ini menunjukkan cara menonaktifkan autoscaler cluster yang dikelola Google Kubernetes Engine (GKE) dan men-deploy autoscaler cluster yang dihosting sendiri di cluster Standard menggunakan Helm. Dengan men-deploy autoscaler cluster yang dihosting sendiri, Anda dapat menyesuaikan flag penskalaan otomatis, menguji parameter eksperimental, atau menjalankan build kustom dari repositori autoscaler cluster GKE open source.

Dokumen ini ditujukan untuk administrator platform yang mengelola penskalaan cluster dan infrastruktur serta memerlukan kontrol terperinci atas parameter autoscaler di luar yang disediakan oleh autoscaler cluster yang dikelola GKE.

Persyaratan dan batasan

  • Autoscaler cluster yang dihosting sendiri hanya didukung di cluster GKE Standard yang menjalankan versi 1.37.2-gke.1042000 atau yang lebih baru.
  • Autoscaler cluster yang dihosting sendiri tidak kompatibel dengan cluster Autopilot, cluster Standard yang berisi node pool yang dikelola Autopilot, atau cluster Standard yang menggunakan mode Autopilot untuk ComputeClass.
  • Cluster Anda harus memiliki setidaknya satu worker node yang berjalan setiap saat untuk menghosting Pod autoscaler cluster yang dihosting sendiri. Cluster yang menjalankan autoscaler cluster yang dihosting sendiri tidak dapat memperkecil skala hingga total node nol.
  • Anda bertanggung jawab untuk men-deploy, mengupdate, dan memantau workload autoscaler cluster yang dihosting sendiri. Cloud Customer Care tidak memecahkan masalah deployment autoscaler cluster yang dihosting sendiri atau dibuat kustom. Untuk menerima dukungan dari Layanan Pelanggan terkait masalah penskalaan otomatis, beralihlah kembali ke autoscaler cluster yang dikelola GKE.
  • Jika penskalaan otomatis yang dikelola GKE dinonaktifkan, GKE tidak akan memunculkan peristiwa visibilitas autoscaler cluster bidang kontrol ke aliran log container.googleapis.com/cluster-autoscaler-visibility. Sebagai gantinya, lihat log dan metrik penskalaan langsung dari Pod autoscaler cluster yang dihosting sendiri.

Sebelum memulai

Sebelum memulai, pastikan Anda telah melakukan tugas berikut:

  • Aktifkan Google Kubernetes Engine API.
  • Aktifkan Google Kubernetes Engine API
  • Untuk menggunakan Google Cloud CLI untuk tugas ini, instal lalu lakukan inisialisasi gcloud CLI. Jika sebelumnya Anda telah menginstal gcloud CLI, dapatkan versi terbaru dengan menjalankan perintah gcloud components update. Versi gcloud CLI yang lebih lama mungkin tidak mendukung menjalankan perintah dalam dokumen ini.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk menonaktifkan penskalaan otomatis terkelola, mengonfigurasi resource Identity and Access Management (IAM), dan men-deploy autoscaler cluster yang dihosting sendiri, minta administrator untuk memberi Anda peran IAM berikut pada project Anda:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Menonaktifkan autoscaler cluster yang dikelola GKE

Sebelum men-deploy autoscaler cluster yang dihosting sendiri, Anda harus menonaktifkan autoscaler cluster yang dikelola GKE di bidang kontrol untuk mencegah kondisi race antara dua instance autoscaler. Menonaktifkan autoscaler cluster yang dikelola GKE akan menghentikan bidang kontrol menskalakan node. Namun, GKE mempertahankan konfigurasi penskalaan otomatis node pool dan ComputeClasses yang ada sehingga autoscaler cluster yang dihosting sendiri dapat bertindak berdasarkan konfigurasi tersebut.

Untuk menonaktifkan autoscaler cluster yang dikelola GKE, ikuti langkah-langkah berikut, selesaikan salah satu langkah berikut:

  • Untuk menonaktifkan autoscaler cluster yang dikelola GKE di cluster Standard yang ada, jalankan perintah berikut:

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --disable-managed-autoscaling
    

    Jika Workload Identity Federation for GKE belum diaktifkan di cluster dan di setidaknya satu node pool untuk menghosting Pod autoscaler cluster yang dihosting sendiri, jalankan perintah berikut:

    gcloud container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-pool=PROJECT_ID.svc.id.goog
    gcloud container node-pools update NODEPOOL_NAME \
        --cluster=CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-metadata=GKE_METADATA
        ```
    
  • Untuk membuat cluster Standard baru dengan autoscaler cluster yang dikelola GKE sudah dinonaktifkan, jalankan perintah berikut:

    gcloud beta container clusters create CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --cluster-version=CLUSTER_VERSION \
        --workload-pool=PROJECT_ID.svc.id.goog \
        --disable-managed-autoscaling
    

Ganti kode berikut:

  • CLUSTER_NAME: nama cluster Standard.
  • CONTROL_PLANE_LOCATION: region atau zona Compute Engine dari bidang kontrol cluster Anda. Berikan region untuk cluster regional, atau zona untuk cluster zona.
  • PROJECT_ID: Project ID Google Cloud Anda.
  • NODEPOOL_NAME: nama node pool yang ada untuk menghosting Pod autoscaler cluster yang dihosting sendiri.
  • CLUSTER_VERSION: versi GKE untuk cluster baru, yang harus berupa 1.37.2-gke.1042000 atau yang lebih baru.

Untuk memverifikasi bahwa autoscaler cluster yang dikelola GKE dinonaktifkan di cluster Anda, jalankan perintah berikut:

gcloud beta container clusters describe CLUSTER_NAME \
    --location=CONTROL_PLANE_LOCATION \
    --format="value(autoscaling.managedAutoscalingDisabled)"

Outputnya adalah True.

Mengonfigurasi izin IAM untuk autoscaler cluster yang dihosting sendiri

Autoscaler cluster yang dihosting sendiri memerlukan izin IAM untuk mengelola grup instance Compute Engine dan membaca metadata cluster di project Anda.

Berikan izin ini kepada autoscaler dengan membuat peran IAM kustom dengan hak istimewa terendah dan mengikatnya ke ServiceAccount Kubernetes autoscaler dengan Workload Identity Federation untuk GKE:

  1. Ambil nomor project Anda:

    gcloud projects describe PROJECT_ID \
        --format="value(projectNumber)"
    

    Catat nilai output sebagai PROJECT_NUMBER untuk digunakan pada langkah selanjutnya.

  2. Simpan definisi peran IAM kustom berikut sebagai file gcp-role.yaml:

    title: Self Hosted Cluster Autoscaler Role
    description: Least privilege role for self-hosted CA to manage GKE clusters
    stage: BETA
    includedPermissions:
    - compute.acceleratorTypes.list
    - compute.instanceGroupManagers.get
    - compute.instanceGroupManagers.list
    - compute.instanceGroupManagers.update
    - compute.instanceTemplates.get
    - compute.instances.delete
    - compute.instances.get
    - compute.instances.list
    - compute.instances.setMetadata
    - compute.machineTypes.get
    - compute.machineTypes.list
    - compute.regions.get
    - compute.regions.list
    - compute.reservations.list
    - compute.resourcePolicies.list
    - compute.zoneOperations.get
    - compute.zones.get
    - compute.zones.list
    - container.clusters.get
    - container.clusters.update
    - container.operations.get
  3. Buat peran IAM khusus selfHostedClusterAutoscaler di project Anda:

    gcloud iam roles create selfHostedClusterAutoscaler \
        --project=PROJECT_ID \
        --file=gcp-role.yaml
    
  4. Buat akun layanan IAM bernama selfhosted-autoscaler:

    gcloud iam service-accounts create selfhosted-autoscaler \
        --project=PROJECT_ID
    
  5. Berikan peran IAM kustom ke akun layanan IAM selfhosted-autoscaler:

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \
        --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"
    
  6. Jika cluster Anda menggunakan node auto-provisioning atau ComputeClass kustom untuk membuat node pool baru, berikan peran Pengguna Akun Layanan (roles/iam.serviceAccountUser) ke akun layanan selfhosted-autoscaler. Jalankan perintah berikut untuk setiap akun layanan IAM yang digunakan node baru Anda:

    gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \
        --project=PROJECT_ID \
        --role="roles/iam.serviceAccountUser" \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    

    Ganti NODE_SA_EMAIL dengan alamat email akun layanan IAM yang digunakan node Anda. Berikan peran ini pada akun layanan default node auto-provisioning dan pada akun layanan apa pun yang Anda tentukan di ComputeClass. Kecuali jika Anda mengonfigurasi akun layanan kustom, node auto-provisioning akan menggunakan akun layanan default Compute Engine, PROJECT_NUMBER-compute@developer.gserviceaccount.com.

  7. Izinkan ServiceAccount Kubernetes selfhosted-autoscaler di namespace kube-system meniru akun layanan IAM:

    gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \
        --project=PROJECT_ID \
        --role="roles/iam.workloadIdentityUser" \
        --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
    

Men-deploy autoscaler cluster yang dihosting sendiri menggunakan Helm

Deploy autoscaler cluster yang dihosting sendiri menggunakan diagram Helm di direktori charts/cluster-autoscaler repositori autoscaler cluster GKE open source:

  1. Ambil ID cluster Anda:

    gcloud container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --project=PROJECT_ID \
        --format="value(id)"
    

    Catat nilai output sebagai CLUSTER_ID untuk file konfigurasi Helm.

  2. Clone repositori autoscaler cluster GKE:

    git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.git
    
  3. Bangun dan kirim image container autoscaler cluster ke container registry Anda:

    cd cluster-autoscaler
    make release \
        REGISTRY=REGISTRY_PATH \
        TAG=IMAGE_TAG
    

    Ganti kode berikut:

    • REGISTRY_PATH: jalur dasar container registry Anda, seperti LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY. Perintah make release membangun dan mengirim image ke REGISTRY_PATH/cluster-autoscaler:IMAGE_TAG.
    • IMAGE_TAG: tag untuk image container Anda, seperti 37.234.0.

    Untuk mengetahui informasi selengkapnya tentang cara membangun image container, lihat repositori autoscaler cluster GKE.

  4. Buka direktori diagram Helm:

    cd charts/cluster-autoscaler
    
  5. Buat file my-values.yaml untuk mengonfigurasi identitas cluster, akun layanan Workload Identity Federation for GKE, dan parameter autoscaler:

    image:
      repository: "REGISTRY_PATH/cluster-autoscaler"
      tag: "IMAGE_TAG"
    
    cluster:
      name: "CLUSTER_NAME"
      hash: "CLUSTER_ID"
      projectNumber: "PROJECT_NUMBER"
      location: "CONTROL_PLANE_LOCATION"
      regional: IS_REGIONAL
    
    nodeSelector:
      iam.gke.io/gke-metadata-server-enabled: "true"
    
    serviceAccount:
      name: "selfhosted-autoscaler"
      gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    
    config:
      autoscalingProfile: AUTOSCALING_PROFILE
    

    Ganti kode berikut:

    • REGISTRY_PATH: jalur dasar container registry Anda dari langkah sebelumnya, seperti LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY.
    • IMAGE_TAG: tag image container yang Anda kirim di langkah sebelumnya, seperti 37.234.0. Jika Anda menghapus kolom image.tag, diagram Helm akan ditetapkan secara default ke nilai appVersion yang Anda tetapkan saat memaketkan diagram.
    • CLUSTER_ID: ID cluster yang Anda ambil di langkah sebelumnya.
    • PROJECT_NUMBER: nomor project yang Anda ambil di langkah sebelumnya.
    • IS_REGIONAL: true jika cluster Anda adalah cluster regional, atau false jika cluster Anda adalah cluster zona.
    • AUTOSCALING_PROFILE: profil penskalaan otomatis yang akan diterapkan. Tentukan profil default untuk penskalaan yang seimbang atau profil optimizeUtilization untuk memperkecil skala node yang kurang dimanfaatkan secara lebih agresif. Untuk mengetahui daftar lengkap flag dan parameter yang dapat dikonfigurasi, lihat file values.yaml default di GitHub.
  6. Paketkan diagram Helm dengan versi komponen autoscaler cluster yang ingin Anda jalankan, dan instal diagram di namespace kube-system:

    helm package \
        --version=CA_VERSION \
        --app-version=CA_VERSION .
    helm upgrade --install selfhosted-ca \
        cluster-autoscaler-CA_VERSION.tgz \
        --namespace=kube-system \
        -f my-values.yaml
    

    Ganti CA_VERSION dengan versi komponen autoscaler cluster dalam format <minor>.<ca-version>.<patch>, seperti 37.234.0. Chart menggunakan versi ini untuk menentukan eksperimen autoscaler yang akan diaktifkan dari file values.yaml.

Memverifikasi deployment autoscaler cluster yang dihosting sendiri

Setelah menginstal diagram Helm, pastikan Pod autoscaler cluster yang dihosting sendiri berjalan dan memantau cluster Anda secara aktif:

  1. Pastikan Pod autoscaler cluster yang dihosting sendiri berada dalam status Running:

    kubectl get pods -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca
    

    Outputnya mirip dengan hal berikut ini:

    NAME                                                READY   STATUS    RESTARTS   AGE
    selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k   1/1     Running   0          2m
    
  2. Periksa log dari Pod autoscaler cluster yang dihosting sendiri untuk mengonfirmasi bahwa Pod tersebut dimulai tanpa error autentikasi:

    kubectl logs -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca \
        --tail=50
    
  3. Periksa ConfigMap cluster-autoscaler-status untuk melihat status penskalaan saat ini yang dilaporkan autoscaler:

    kubectl get configmap cluster-autoscaler-status \
        -n kube-system -o yaml
    

Beralih kembali ke autoscaler cluster yang dikelola GKE

Untuk kembali ke autoscaler cluster yang dikelola GKE, hapus deployment yang dihosting sendiri sebelum mengaktifkan kembali penskalaan otomatis terkelola di bidang kontrol:

  1. Uninstal rilis Helm autoscaler cluster yang dihosting sendiri:

    helm uninstall selfhosted-ca --namespace=kube-system
    
  2. Aktifkan kembali autoscaler cluster yang dikelola GKE di cluster Anda:

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --enable-managed-autoscaling
    
  3. Pastikan autoscaler cluster yang dikelola GKE diaktifkan:

    gcloud beta container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --format="value(autoscaling.managedAutoscalingDisabled)"
    

    Output-nya kosong atau False.

Langkah berikutnya