部署自行託管的叢集自動配置器

本文說明如何停用 Google Kubernetes Engine (GKE) 代管的叢集自動配置器,並使用 Helm 在 Standard 叢集中部署自行託管的叢集自動配置器。部署自行託管的叢集自動配置器,即可自訂自動調度資源旗標、測試實驗性參數,或從開放原始碼 GKE 叢集自動配置器存放區執行自訂建構作業。

本文適用對象為平台管理員,他們負責管理叢集資源調度作業和基礎架構,且需要精細控管自動配置器參數,超出 GKE 代管叢集自動配置器提供的範圍。

需求條件和限制

  • 自行託管的叢集自動配置器僅支援 1.37.2-gke.1042000 以上版本的 GKE Standard 叢集。
  • 自行託管的叢集自動配置器與 Autopilot 叢集、包含 Autopilot 代管節點集區的 Standard 叢集,或針對 ComputeClass 使用 Autopilot 模式的 Standard 叢集不相容。
  • 叢集必須隨時至少有一個執行中的 worker 節點,才能託管自行託管的叢集自動配置器 Pod。如果叢集執行自行託管的叢集自動配置器,則無法將節點總數縮減為零。
  • 您必須負責部署、更新及監控自行託管的叢集自動配置器工作負載。Cloud Customer Care 不會對自行託管或自訂建構的叢集自動配置器部署作業進行疑難排解。如要取得客戶服務提供的自動調度資源問題支援服務,請切換回 GKE 代管的叢集自動配置器。
  • 如果停用 GKE 代管的自動調度資源功能,GKE 就不會將控制層叢集自動配置器可見度事件傳送至 container.googleapis.com/cluster-autoscaler-visibility 記錄串流。請改為直接從自行託管的叢集自動配置器 Pod 查看資源調度記錄和指標。

事前準備

開始之前,請確認您已執行下列工作:

  • 啟用 Google Kubernetes Engine API。
  • 啟用 Google Kubernetes Engine API
  • 如要使用 Google Cloud CLI 執行這項工作,請安裝並初始化 gcloud CLI。如果您先前已安裝 gcloud CLI,請執行 gcloud components update 指令,取得最新版本。較舊的 gcloud CLI 版本可能不支援執行本文件中的指令。

必要的角色

如要取得停用代管自動調度資源、設定 Identity and Access Management (IAM) 資源,以及部署自行託管叢集自動配置器所需的權限,請要求管理員在專案中授予您下列 IAM 角色:

如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色,取得必要權限。

停用 GKE 代管的叢集自動配置器

部署自行託管的叢集自動配置器之前,您必須在控制層停用 GKE 代管的叢集自動配置器,以免兩個自動配置器執行個體之間發生競爭狀況。停用 GKE 代管的叢集自動配置器,可防止控制層調度節點資源。不過,GKE 會保留現有的節點集區自動調度資源設定和 ComputeClasses,讓自行託管的叢集自動配置器可以對其執行操作。

如要停用 GKE 代管叢集自動配置器,請按照下列步驟操作,完成其中一項:

  • 如要停用現有 Standard 叢集上由 GKE 管理的叢集自動配置器,請執行下列指令:

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --disable-managed-autoscaling
    

    如果叢集和至少一個節點集區尚未啟用 Workload Identity Federation for GKE,無法託管自行託管的叢集自動配置器 Pod,請執行下列指令:

    gcloud container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-pool=PROJECT_ID.svc.id.goog
    gcloud container node-pools update NODEPOOL_NAME \
        --cluster=CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-metadata=GKE_METADATA
        ```
    
  • 如要建立新的 Standard 叢集,並停用 GKE 代管叢集自動配置器,請執行下列指令:

    gcloud beta container clusters create CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --cluster-version=CLUSTER_VERSION \
        --workload-pool=PROJECT_ID.svc.id.goog \
        --disable-managed-autoscaling
    

更改下列內容:

  • CLUSTER_NAME:Standard 叢集的名稱。
  • CONTROL_PLANE_LOCATION:叢集控制層的 Compute Engine 區域或可用區。提供區域叢集的區域,或可用區叢集的可用區。
  • PROJECT_ID:您的 Google Cloud 專案 ID。
  • NODEPOOL_NAME:現有節點集區的名稱,用於託管自行託管的叢集自動配置器 Pod。
  • CLUSTER_VERSION:新叢集的 GKE 版本,必須是 1.37.2-gke.1042000 以上版本。

如要確認叢集已停用 GKE 代管叢集自動配置器,請執行下列指令:

gcloud beta container clusters describe CLUSTER_NAME \
    --location=CONTROL_PLANE_LOCATION \
    --format="value(autoscaling.managedAutoscalingDisabled)"

輸出內容為 True。

設定自行託管叢集自動配置器的 IAM 權限

自行託管的叢集自動配置器需要 IAM 權限,才能管理 Compute Engine 執行個體群組,以及讀取專案中的叢集中繼資料。

如要授予自動配置器這些權限,請建立最小權限自訂 IAM 角色,並使用 Workload Identity Federation for GKE,將該角色繫結至自動配置器的 Kubernetes ServiceAccount:

  1. 擷取專案編號:

    gcloud projects describe PROJECT_ID \
        --format="value(projectNumber)"
    

    請記下輸出值 PROJECT_NUMBER,後續步驟會用到。

  2. 將下列自訂 IAM 角色定義儲存為 gcp-role.yaml 檔案:

    title: Self Hosted Cluster Autoscaler Role
    description: Least privilege role for self-hosted CA to manage GKE clusters
    stage: BETA
    includedPermissions:
    - compute.acceleratorTypes.list
    - compute.instanceGroupManagers.get
    - compute.instanceGroupManagers.list
    - compute.instanceGroupManagers.update
    - compute.instanceTemplates.get
    - compute.instances.delete
    - compute.instances.get
    - compute.instances.list
    - compute.instances.setMetadata
    - compute.machineTypes.get
    - compute.machineTypes.list
    - compute.regions.get
    - compute.regions.list
    - compute.reservations.list
    - compute.resourcePolicies.list
    - compute.zoneOperations.get
    - compute.zones.get
    - compute.zones.list
    - container.clusters.get
    - container.clusters.update
    - container.operations.get
  3. 在專案中建立 selfHostedClusterAutoscaler 自訂 IAM 角色:

    gcloud iam roles create selfHostedClusterAutoscaler \
        --project=PROJECT_ID \
        --file=gcp-role.yaml
    
  4. 建立名為 selfhosted-autoscaler 的 IAM 服務帳戶:

    gcloud iam service-accounts create selfhosted-autoscaler \
        --project=PROJECT_ID
    
  5. 將自訂 IAM 角色授予 selfhosted-autoscaler IAM 服務帳戶:

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \
        --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"
    
  6. 如果叢集使用自動佈建節點或自訂 ComputeClass 建立新的節點集區,請將服務帳戶使用者角色 (roles/iam.serviceAccountUser) 授予 selfhosted-autoscaler 服務帳戶。針對新節點使用的每個 IAM 服務帳戶,執行下列指令:

    gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \
        --project=PROJECT_ID \
        --role="roles/iam.serviceAccountUser" \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    

    將 NODE_SA_EMAIL 替換為節點使用的 IAM 服務帳戶電子郵件地址。請將這個角色授予自動佈建節點預設服務帳戶,以及您在 ComputeClass 中指定的任何服務帳戶。除非您設定自訂服務帳戶,否則自動佈建節點功能會使用 Compute Engine 預設服務帳戶 PROJECT_NUMBER-compute@developer.gserviceaccount.com。

  7. 允許 kube-system 命名空間中的 selfhosted-autoscaler Kubernetes ServiceAccount 模擬 IAM 服務帳戶:

    gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \
        --project=PROJECT_ID \
        --role="roles/iam.workloadIdentityUser" \
        --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
    

使用 Helm 部署自行託管的叢集自動配置器

使用開放原始碼 GKE 叢集自動配置器存放區 charts/cluster-autoscaler 目錄中的 Helm 圖表,部署自行託管的叢集自動配置器:

  1. 擷取叢集 ID:

    gcloud container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --project=PROJECT_ID \
        --format="value(id)"
    

    將輸出值記錄為 Helm 設定檔的 CLUSTER_ID。

  2. 複製 GKE 叢集自動配置器存放區:

    git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.git
    
  3. 建構叢集自動配置器容器映像檔,並推送至容器登錄檔:

    cd cluster-autoscaler
    make release \
        REGISTRY=REGISTRY_PATH \
        TAG=IMAGE_TAG
    

    更改下列內容:

    • REGISTRY_PATH:您的 Container Registry 的基本路徑,例如 LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY。make release 指令會建構映像檔並推送至 REGISTRY_PATH/cluster-autoscaler:IMAGE_TAG。
    • IMAGE_TAG:容器映像檔的標記,例如 37.234.0。

    如要進一步瞭解如何建構容器映像檔,請參閱 GKE 叢集自動配置器存放區。

  4. 前往 Helm 圖表目錄:

    cd charts/cluster-autoscaler
    
  5. 建立 my-values.yaml 檔案,設定叢集身分、Workload Identity Federation for GKE 服務帳戶和自動配置器參數:

    image:
      repository: "REGISTRY_PATH/cluster-autoscaler"
      tag: "IMAGE_TAG"
    
    cluster:
      name: "CLUSTER_NAME"
      hash: "CLUSTER_ID"
      projectNumber: "PROJECT_NUMBER"
      location: "CONTROL_PLANE_LOCATION"
      regional: IS_REGIONAL
    
    nodeSelector:
      iam.gke.io/gke-metadata-server-enabled: "true"
    
    serviceAccount:
      name: "selfhosted-autoscaler"
      gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    
    config:
      autoscalingProfile: AUTOSCALING_PROFILE
    

    更改下列內容:

    • REGISTRY_PATH:先前步驟中 Container Registry 的基本路徑,例如 LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY。
    • IMAGE_TAG:您在上一個步驟中推送的容器映像檔標記,例如 37.234.0。如果省略 image.tag 欄位,Helm 圖表會預設為您在封裝圖表時設定的 appVersion 值。
    • CLUSTER_ID:您在先前步驟中擷取的叢集 ID。
    • PROJECT_NUMBER:您在先前步驟中擷取的專案編號。
    • IS_REGIONAL:如果叢集是區域叢集,則為 true;如果叢集是可用區叢集,則為 false。
    • AUTOSCALING_PROFILE:要套用的自動調度資源設定檔。指定 default 設定檔,以平衡擴充,或指定 optimizeUtilization 設定檔,更積極地縮減使用率偏低的節點。如需可設定旗標和參數的完整清單,請參閱 GitHub 中的預設 values.yaml 檔案。
  6. 將 Helm 圖表與要執行的叢集自動配置器元件版本封裝,並在 kube-system 命名空間中安裝圖表:

    helm package \
        --version=CA_VERSION \
        --app-version=CA_VERSION .
    helm upgrade --install selfhosted-ca \
        cluster-autoscaler-CA_VERSION.tgz \
        --namespace=kube-system \
        -f my-values.yaml
    

    將 CA_VERSION 替換為叢集自動配置器元件版本,格式為 <minor>.<ca-version>.<patch>,例如 37.234.0。圖表會使用這個版本,判斷要從 values.yaml 檔案啟用哪些自動配置器實驗。

驗證自行託管的叢集自動配置器部署作業

安裝 Helm 圖表後,請確認自行託管的叢集自動配置器 Pod 正在執行,並主動監控叢集:

  1. 確認自行託管的叢集自動配置器 Pod 處於 Running 狀態:

    kubectl get pods -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca
    

    輸出結果會與下列內容相似:

    NAME                                                READY   STATUS    RESTARTS   AGE
    selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k   1/1     Running   0          2m
    
  2. 檢查自行託管叢集自動配置器 Pod 的記錄,確認啟動時沒有驗證錯誤:

    kubectl logs -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca \
        --tail=50
    
  3. 查看 cluster-autoscaler-status ConfigMap,瞭解自動調度資源工具回報的目前調度狀態:

    kubectl get configmap cluster-autoscaler-status \
        -n kube-system -o yaml
    

切換回 GKE 代管的叢集自動配置器

如要改回使用 GKE 代管的叢集自動配置器,請先移除自行託管的部署項目,再重新啟用控制層中的代管自動調度資源功能:

  1. 解除安裝自行託管的叢集自動配置器 Helm 版本:

    helm uninstall selfhosted-ca --namespace=kube-system
    
  2. 在叢集上重新啟用 GKE 代管的叢集自動配置器:

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --enable-managed-autoscaling
    
  3. 確認已啟用 GKE 代管叢集自動配置器:

    gcloud beta container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --format="value(autoscaling.managedAutoscalingDisabled)"
    

    輸出結果為空白或 False。

後續步驟