本文說明如何停用 Google Kubernetes Engine (GKE) 代管的叢集自動配置器,並使用 Helm 在 Standard 叢集中部署自行託管的叢集自動配置器。部署自行託管的叢集自動配置器,即可自訂自動調度資源旗標、測試實驗性參數,或從開放原始碼 GKE 叢集自動配置器存放區執行自訂建構作業。
本文適用對象為平台管理員,他們負責管理叢集資源調度作業和基礎架構,且需要精細控管自動配置器參數,超出 GKE 代管叢集自動配置器提供的範圍。
需求條件和限制
- 自行託管的叢集自動配置器僅支援 1.37.2-gke.1042000 以上版本的 GKE Standard 叢集。
- 自行託管的叢集自動配置器與 Autopilot 叢集、包含 Autopilot 代管節點集區的 Standard 叢集,或針對 ComputeClass 使用 Autopilot 模式的 Standard 叢集不相容。
- 叢集必須隨時至少有一個執行中的 worker 節點,才能託管自行託管的叢集自動配置器 Pod。如果叢集執行自行託管的叢集自動配置器,則無法將節點總數縮減為零。
- 您必須負責部署、更新及監控自行託管的叢集自動配置器工作負載。Cloud Customer Care 不會對自行託管或自訂建構的叢集自動配置器部署作業進行疑難排解。如要取得客戶服務提供的自動調度資源問題支援服務,請切換回 GKE 代管的叢集自動配置器。
- 如果停用 GKE 代管的自動調度資源功能,GKE 就不會將控制層叢集自動配置器可見度事件傳送至
container.googleapis.com/cluster-autoscaler-visibility記錄串流。請改為直接從自行託管的叢集自動配置器 Pod 查看資源調度記錄和指標。
事前準備
開始之前,請確認您已執行下列工作:
- 啟用 Google Kubernetes Engine API。 啟用 Google Kubernetes Engine API
- 如要使用 Google Cloud CLI 執行這項工作,請安裝並初始化 gcloud CLI。如果您先前已安裝 gcloud CLI,請執行
gcloud components update指令,取得最新版本。較舊的 gcloud CLI 版本可能不支援執行本文件中的指令。
- 確認您有現有的 Standard 叢集,且該叢集執行 1.37.2-gke.1042000 以上版本,並在叢集和至少一個節點集區上啟用 Workload Identity Federation for GKE。您也可以在下一節建立新叢集。
- 安裝 Helm 4.0.0 以上版本、Git、Go 和 Docker。
- 確認 Artifact Registry 或其他 Container Registry 中有 Docker 存放區,可供叢集提取,以儲存自行託管的叢集自動配置器容器映像檔。詳情請參閱「在 Artifact Registry 中儲存 Docker 容器映像檔」。
- 設定
kubectl與叢集通訊。詳情請參閱「安裝kubectl並設定叢集存取權」。
必要的角色
如要取得停用代管自動調度資源、設定 Identity and Access Management (IAM) 資源,以及部署自行託管叢集自動配置器所需的權限,請要求管理員在專案中授予您下列 IAM 角色:
-
Kubernetes Engine 管理員 (
roles/container.admin):管理 GKE 叢集 -
建立自訂 IAM 角色:角色管理員 (
roles/iam.roleAdmin) -
建立及管理 IAM 服務帳戶:服務帳戶管理員 (
roles/iam.serviceAccountAdmin) -
授予專案的 IAM 角色:專案 IAM 管理員 (
roles/resourcemanager.projectIamAdmin)
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
停用 GKE 代管的叢集自動配置器
部署自行託管的叢集自動配置器之前,您必須在控制層停用 GKE 代管的叢集自動配置器,以免兩個自動配置器執行個體之間發生競爭狀況。停用 GKE 代管的叢集自動配置器,可防止控制層調度節點資源。不過,GKE 會保留現有的節點集區自動調度資源設定和 ComputeClasses,讓自行託管的叢集自動配置器可以對其執行操作。
如要停用 GKE 代管叢集自動配置器,請按照下列步驟操作,完成其中一項:
如要停用現有 Standard 叢集上由 GKE 管理的叢集自動配置器,請執行下列指令:
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --disable-managed-autoscaling如果叢集和至少一個節點集區尚未啟用 Workload Identity Federation for GKE,無法託管自行託管的叢集自動配置器 Pod,請執行下列指令:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-pool=PROJECT_ID.svc.id.goog gcloud container node-pools update NODEPOOL_NAME \ --cluster=CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-metadata=GKE_METADATA ```
如要建立新的 Standard 叢集,並停用 GKE 代管叢集自動配置器,請執行下列指令:
gcloud beta container clusters create CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --cluster-version=CLUSTER_VERSION \ --workload-pool=PROJECT_ID.svc.id.goog \ --disable-managed-autoscaling
更改下列內容:
CLUSTER_NAME:Standard 叢集的名稱。CONTROL_PLANE_LOCATION:叢集控制層的 Compute Engine 區域或可用區。提供區域叢集的區域,或可用區叢集的可用區。PROJECT_ID:您的 Google Cloud 專案 ID。NODEPOOL_NAME:現有節點集區的名稱,用於託管自行託管的叢集自動配置器 Pod。CLUSTER_VERSION:新叢集的 GKE 版本,必須是 1.37.2-gke.1042000 以上版本。
如要確認叢集已停用 GKE 代管叢集自動配置器,請執行下列指令:
gcloud beta container clusters describe CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--format="value(autoscaling.managedAutoscalingDisabled)"
輸出內容為 True。
設定自行託管叢集自動配置器的 IAM 權限
自行託管的叢集自動配置器需要 IAM 權限,才能管理 Compute Engine 執行個體群組,以及讀取專案中的叢集中繼資料。
如要授予自動配置器這些權限,請建立最小權限自訂 IAM 角色,並使用 Workload Identity Federation for GKE,將該角色繫結至自動配置器的 Kubernetes ServiceAccount:
擷取專案編號:
gcloud projects describe PROJECT_ID \ --format="value(projectNumber)"請記下輸出值
PROJECT_NUMBER,後續步驟會用到。將下列自訂 IAM 角色定義儲存為
gcp-role.yaml檔案:在專案中建立
selfHostedClusterAutoscaler自訂 IAM 角色:gcloud iam roles create selfHostedClusterAutoscaler \ --project=PROJECT_ID \ --file=gcp-role.yaml建立名為
selfhosted-autoscaler的 IAM 服務帳戶:gcloud iam service-accounts create selfhosted-autoscaler \ --project=PROJECT_ID將自訂 IAM 角色授予
selfhosted-autoscalerIAM 服務帳戶:gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \ --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"如果叢集使用自動佈建節點或自訂 ComputeClass 建立新的節點集區,請將服務帳戶使用者角色 (
roles/iam.serviceAccountUser) 授予selfhosted-autoscaler服務帳戶。針對新節點使用的每個 IAM 服務帳戶,執行下列指令:gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \ --project=PROJECT_ID \ --role="roles/iam.serviceAccountUser" \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"將
NODE_SA_EMAIL替換為節點使用的 IAM 服務帳戶電子郵件地址。請將這個角色授予自動佈建節點預設服務帳戶,以及您在 ComputeClass 中指定的任何服務帳戶。除非您設定自訂服務帳戶,否則自動佈建節點功能會使用 Compute Engine 預設服務帳戶PROJECT_NUMBER-compute@developer.gserviceaccount.com。允許
kube-system命名空間中的selfhosted-autoscalerKubernetes ServiceAccount 模擬 IAM 服務帳戶:gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \ --project=PROJECT_ID \ --role="roles/iam.workloadIdentityUser" \ --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
使用 Helm 部署自行託管的叢集自動配置器
使用開放原始碼 GKE 叢集自動配置器存放區 charts/cluster-autoscaler 目錄中的 Helm 圖表,部署自行託管的叢集自動配置器:
擷取叢集 ID:
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --project=PROJECT_ID \ --format="value(id)"將輸出值記錄為 Helm 設定檔的
CLUSTER_ID。複製 GKE 叢集自動配置器存放區:
git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.git建構叢集自動配置器容器映像檔,並推送至容器登錄檔:
cd cluster-autoscaler make release \ REGISTRY=REGISTRY_PATH \ TAG=IMAGE_TAG更改下列內容:
REGISTRY_PATH:您的 Container Registry 的基本路徑,例如LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY。make release指令會建構映像檔並推送至REGISTRY_PATH/cluster-autoscaler:IMAGE_TAG。IMAGE_TAG:容器映像檔的標記,例如37.234.0。
如要進一步瞭解如何建構容器映像檔,請參閱 GKE 叢集自動配置器存放區。
前往 Helm 圖表目錄:
cd charts/cluster-autoscaler建立
my-values.yaml檔案,設定叢集身分、Workload Identity Federation for GKE 服務帳戶和自動配置器參數:image: repository: "REGISTRY_PATH/cluster-autoscaler" tag: "IMAGE_TAG" cluster: name: "CLUSTER_NAME" hash: "CLUSTER_ID" projectNumber: "PROJECT_NUMBER" location: "CONTROL_PLANE_LOCATION" regional: IS_REGIONAL nodeSelector: iam.gke.io/gke-metadata-server-enabled: "true" serviceAccount: name: "selfhosted-autoscaler" gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" config: autoscalingProfile: AUTOSCALING_PROFILE更改下列內容:
REGISTRY_PATH:先前步驟中 Container Registry 的基本路徑,例如LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY。IMAGE_TAG:您在上一個步驟中推送的容器映像檔標記,例如37.234.0。如果省略image.tag欄位,Helm 圖表會預設為您在封裝圖表時設定的appVersion值。CLUSTER_ID:您在先前步驟中擷取的叢集 ID。PROJECT_NUMBER:您在先前步驟中擷取的專案編號。IS_REGIONAL:如果叢集是區域叢集,則為true;如果叢集是可用區叢集,則為false。AUTOSCALING_PROFILE:要套用的自動調度資源設定檔。指定default設定檔,以平衡擴充,或指定optimizeUtilization設定檔,更積極地縮減使用率偏低的節點。如需可設定旗標和參數的完整清單,請參閱 GitHub 中的預設values.yaml檔案。
將 Helm 圖表與要執行的叢集自動配置器元件版本封裝,並在
kube-system命名空間中安裝圖表:helm package \ --version=CA_VERSION \ --app-version=CA_VERSION . helm upgrade --install selfhosted-ca \ cluster-autoscaler-CA_VERSION.tgz \ --namespace=kube-system \ -f my-values.yaml將
CA_VERSION替換為叢集自動配置器元件版本,格式為<minor>.<ca-version>.<patch>,例如37.234.0。圖表會使用這個版本,判斷要從values.yaml檔案啟用哪些自動配置器實驗。
驗證自行託管的叢集自動配置器部署作業
安裝 Helm 圖表後,請確認自行託管的叢集自動配置器 Pod 正在執行,並主動監控叢集:
確認自行託管的叢集自動配置器 Pod 處於
Running狀態:kubectl get pods -n kube-system \ -l app.kubernetes.io/instance=selfhosted-ca輸出結果會與下列內容相似:
NAME READY STATUS RESTARTS AGE selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k 1/1 Running 0 2m檢查自行託管叢集自動配置器 Pod 的記錄,確認啟動時沒有驗證錯誤:
kubectl logs -n kube-system \ -l app.kubernetes.io/instance=selfhosted-ca \ --tail=50查看
cluster-autoscaler-statusConfigMap,瞭解自動調度資源工具回報的目前調度狀態:kubectl get configmap cluster-autoscaler-status \ -n kube-system -o yaml
切換回 GKE 代管的叢集自動配置器
如要改回使用 GKE 代管的叢集自動配置器,請先移除自行託管的部署項目,再重新啟用控制層中的代管自動調度資源功能:
解除安裝自行託管的叢集自動配置器 Helm 版本:
helm uninstall selfhosted-ca --namespace=kube-system在叢集上重新啟用 GKE 代管的叢集自動配置器:
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-managed-autoscaling確認已啟用 GKE 代管叢集自動配置器:
gcloud beta container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="value(autoscaling.managedAutoscalingDisabled)"輸出結果為空白或
False。
後續步驟
- 進一步瞭解叢集自動配置器的運作方式。
- 瞭解如何為節點集區設定叢集自動調度資源。
- 探索開放原始碼 GKE 叢集自動配置器存放區和 Helm 圖表。