本文档介绍了如何停用 Google Kubernetes Engine (GKE) 代管式集群自动扩缩器,以及如何使用 Helm 在标准集群中部署自托管式集群自动扩缩器。通过部署自托管式集群自动扩缩器,您可以自定义自动扩缩标志、测试实验性参数,或从开源 GKE 集群自动扩缩器代码库运行自定义 build。
本文档适用于管理集群伸缩和基础设施,并且需要对自动伸缩器参数进行精细控制(超出 GKE 管理的集群自动伸缩器提供的控制范围)的平台管理员。
要求和限制
- 只有运行 1.37.2-gke.1042000 版或更高版本的 GKE Standard 集群才支持自托管式集群自动扩缩器。
- 自托管式集群自动扩缩器与 Autopilot 集群、包含 Autopilot 托管式节点池的 Standard 集群或对 ComputeClass 使用 Autopilot 模式的 Standard 集群不兼容。
- 您的集群必须始终至少有一个正在运行的工作器节点,才能托管自托管式集群自动扩缩器 Pod。运行自托管集群自动扩缩器的集群无法缩容至零个节点。
- 您负责部署、更新和监控自托管式集群自动扩缩器工作负载。Cloud Customer Care 不会排查自托管或自定义构建的集群自动扩缩器部署问题。如需就自动扩缩问题获得客户服务团队的支持,请切换回 GKE 管理的集群自动扩缩器。
- 如果停用 GKE 管理的自动扩缩,GKE 不会向
container.googleapis.com/cluster-autoscaler-visibility日志流发出控制平面集群自动扩缩器可见性事件。而是直接从自托管式集群自动伸缩器 Pod 查看伸缩日志和指标。
准备工作
在开始之前,请确保您已执行以下任务:
- 启用 Google Kubernetes Engine API。 启用 Google Kubernetes Engine API
- 如需使用 Google Cloud CLI 执行此任务,请安装并初始化 gcloud CLI。如果您之前安装了 gcloud CLI,请通过运行
gcloud components update命令来获取最新版本。较早版本的 gcloud CLI 可能不支持运行本文档中的命令。
- 验证您是否已有运行 1.37.2-gke.1042000 版或更高版本的 Standard 集群,并且该集群和至少一个节点池池上已启用适用于 GKE 的 Workload Identity Federation。您还可以在下一部分中创建新集群。
- 安装 Helm 4.0.0 或更高版本、Git、Go 和 Docker。
- 验证您在 Artifact Registry 或其他 Container Registry 中是否有 Docker 仓库,您的集群可以从中拉取该仓库来存储自托管集群自动扩缩器容器映像。如需了解详情,请参阅在 Artifact Registry 中存储 Docker 容器映像。
- 配置
kubectl以与您的集群通信。如需了解详情,请参阅安装kubectl并配置集群访问权限。
所需的角色
如需获得停用代管式自动扩缩、配置 Identity and Access Management (IAM) 资源以及部署自托管式集群自动扩缩器所需的权限,请让管理员向您授予项目的以下 IAM 角色:
-
管理 GKE 集群:Kubernetes Engine Admin (
roles/container.admin) -
创建自定义 IAM 角色:Role Administrator (
roles/iam.roleAdmin) -
创建和管理 IAM 服务账号:Service Account Admin (
roles/iam.serviceAccountAdmin) -
授予项目的 IAM 角色:Project IAM Admin (
roles/resourcemanager.projectIamAdmin)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
停用 GKE 管理的集群自动扩缩器
在部署自托管式集群自动扩缩器之前,您必须在控制平面中停用 GKE 管理的集群自动扩缩器,以防止两个自动扩缩器实例之间发生竞态条件。停用 GKE 管理的集群自动伸缩器会阻止控制平面伸缩节点。不过,GKE 会保留您现有的节点池自动扩缩配置和 ComputeClasses,以便自托管式集群自动扩缩器可以对其执行操作。
如需停用 GKE 管理的集群自动扩缩器,请按照以下步骤操作,完成以下任一步骤:
如需在现有 Standard 集群上停用 GKE 管理的集群自动扩缩器,请运行以下命令:
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --disable-managed-autoscaling如果集群和至少一个节点池尚未启用 Workload Identity Federation for GKE,无法托管自托管式集群自动扩缩器 Pod,请运行以下命令:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-pool=PROJECT_ID.svc.id.goog gcloud container node-pools update NODEPOOL_NAME \ --cluster=CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-metadata=GKE_METADATA ```
如需创建已停用 GKE 管理的集群自动扩缩器的新 Standard 集群,请运行以下命令:
gcloud beta container clusters create CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --cluster-version=CLUSTER_VERSION \ --workload-pool=PROJECT_ID.svc.id.goog \ --disable-managed-autoscaling
替换以下内容:
CLUSTER_NAME:Standard 集群的名称。CONTROL_PLANE_LOCATION:集群控制平面的 Compute Engine 区域或可用区。为区域级集群提供区域,或为可用区级集群提供可用区。PROJECT_ID:您的 Google Cloud 项目 ID。NODEPOOL_NAME:用于托管自托管式集群自动扩缩器 Pod 的现有节点池的名称。CLUSTER_VERSION:新集群的 GKE 版本,必须为 1.37.2-gke.1042000 或更高版本。
如需验证集群上是否已停用 GKE 管理的集群自动扩缩器,请运行以下命令:
gcloud beta container clusters describe CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--format="value(autoscaling.managedAutoscalingDisabled)"
输出为 True。
为自托管式集群自动扩缩器配置 IAM 权限
自托管式集群自动扩缩器需要 IAM 权限才能管理 Compute Engine 实例组并读取项目中的集群元数据。
通过创建最小权限自定义 IAM 角色并将其绑定到自动扩缩器的 Kubernetes ServiceAccount(使用 Workload Identity Federation for GKE),向自动扩缩器授予这些权限:
检索项目编号:
gcloud projects describe PROJECT_ID \ --format="value(projectNumber)"将输出值记录为
PROJECT_NUMBER,以便在后续步骤中使用。将以下自定义 IAM 角色定义保存为
gcp-role.yaml文件:在项目中创建
selfHostedClusterAutoscaler自定义 IAM 角色:gcloud iam roles create selfHostedClusterAutoscaler \ --project=PROJECT_ID \ --file=gcp-role.yaml创建名为
selfhosted-autoscaler的 IAM 服务账号:gcloud iam service-accounts create selfhosted-autoscaler \ --project=PROJECT_ID向
selfhosted-autoscalerIAM 服务账号授予自定义 IAM 角色:gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \ --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"如果您的集群使用节点自动预配或自定义 ComputeClass 创建新节点池,请向
selfhosted-autoscaler服务账号授予 Service Account User 角色 (roles/iam.serviceAccountUser)。针对新节点使用的每个 IAM 服务账号运行以下命令:gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \ --project=PROJECT_ID \ --role="roles/iam.serviceAccountUser" \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"将
NODE_SA_EMAIL替换为节点使用的 IAM 服务账号的邮箱。请在节点自动预配默认服务账号以及您在 ComputeClass 中指定的任何服务账号上授予此角色。除非您配置自定义服务账号,否则节点自动预配会使用 Compute Engine 默认服务账号PROJECT_NUMBER-compute@developer.gserviceaccount.com。允许
kube-system命名空间中的selfhosted-autoscalerKubernetes ServiceAccount 模拟 IAM 服务账号:gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \ --project=PROJECT_ID \ --role="roles/iam.workloadIdentityUser" \ --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
使用 Helm 部署自托管式集群自动扩缩器
使用开源 GKE 集群自动扩缩器代码库的 charts/cluster-autoscaler 目录中的 Helm chart 部署自托管式集群自动扩缩器:
检索您的集群 ID:
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --project=PROJECT_ID \ --format="value(id)"将输出值记录为 Helm 配置文件的
CLUSTER_ID。克隆 GKE 集群自动扩缩器代码库:
git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.git构建集群自动扩缩器容器映像并将其推送到容器注册表:
cd cluster-autoscaler make release \ REGISTRY=REGISTRY_PATH \ TAG=IMAGE_TAG替换以下内容:
REGISTRY_PATH:您的 Container Registry 的基本路径,例如LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY。make release命令会构建映像并将其推送到REGISTRY_PATH/cluster-autoscaler:IMAGE_TAG。IMAGE_TAG:容器映像的标记,例如37.234.0。
如需详细了解如何构建容器映像,请参阅 GKE 集群自动扩缩器代码库。
导航到 Helm 图表目录:
cd charts/cluster-autoscaler创建一个
my-values.yaml文件,以配置集群身份、Workload Identity Federation for GKE 服务账号和自动扩缩器参数:image: repository: "REGISTRY_PATH/cluster-autoscaler" tag: "IMAGE_TAG" cluster: name: "CLUSTER_NAME" hash: "CLUSTER_ID" projectNumber: "PROJECT_NUMBER" location: "CONTROL_PLANE_LOCATION" regional: IS_REGIONAL nodeSelector: iam.gke.io/gke-metadata-server-enabled: "true" serviceAccount: name: "selfhosted-autoscaler" gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" config: autoscalingProfile: AUTOSCALING_PROFILE替换以下内容:
REGISTRY_PATH:前面步骤中 Container Registry 的基本路径,例如LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY。IMAGE_TAG:您在上一步中推送的容器映像标记,例如37.234.0。如果您省略image.tag字段,则 Helm 图表会默认使用您在打包图表时设置的appVersion值。CLUSTER_ID:您在前面步骤中检索到的集群 ID。PROJECT_NUMBER:您在前面步骤中检索到的项目编号。IS_REGIONAL:如果您的集群是区域级集群,则为true;如果您的集群是可用区级集群,则为false。AUTOSCALING_PROFILE:要应用的自动扩缩配置文件。指定default配置文件以实现均衡伸缩,或指定optimizeUtilization配置文件以更主动地缩容未充分利用的节点。如需查看可配置标志和参数的完整列表,请参阅 GitHub 中的默认values.yaml文件。
使用要运行的集群自动扩缩器组件版本打包 Helm 图表,并将图表安装在
kube-system命名空间中:helm package \ --version=CA_VERSION \ --app-version=CA_VERSION . helm upgrade --install selfhosted-ca \ cluster-autoscaler-CA_VERSION.tgz \ --namespace=kube-system \ -f my-values.yaml将
CA_VERSION替换为采用<minor>.<ca-version>.<patch>格式的集群自动扩缩器组件版本,例如37.234.0。图表使用此版本来确定要从values.yaml文件中启用哪些自动扩缩器实验。
验证自托管式集群自动扩缩器部署
安装 Helm chart 后,验证自托管式集群自动扩缩器 Pod 是否正在运行并主动监控集群:
验证自托管式集群自动扩缩器 Pod 是否处于
Running状态:kubectl get pods -n kube-system \ -l app.kubernetes.io/instance=selfhosted-ca输出类似于以下内容:
NAME READY STATUS RESTARTS AGE selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k 1/1 Running 0 2m检查自托管集群自动扩缩器 Pod 中的日志,确认其启动时没有身份验证错误:
kubectl logs -n kube-system \ -l app.kubernetes.io/instance=selfhosted-ca \ --tail=50检查
cluster-autoscaler-statusConfigMap,查看自动伸缩器报告的当前伸缩状态:kubectl get configmap cluster-autoscaler-status \ -n kube-system -o yaml
切换回 GKE 管理的集群自动扩缩器
如需返回到 GKE 管理的集群自动扩缩器,请先移除自托管式部署,然后在控制平面中重新启用代管式自动扩缩:
卸载自托管式集群自动扩缩器 Helm 版本:
helm uninstall selfhosted-ca --namespace=kube-system在集群上重新启用 GKE 托管式集群自动扩缩器:
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-managed-autoscaling验证是否已启用 GKE 管理的集群自动扩缩器:
gcloud beta container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="value(autoscaling.managedAutoscalingDisabled)"输出为空或
False。
后续步骤
- 详细了解集群自动扩缩器的工作原理。
- 了解如何为节点池配置集群自动扩缩。
- 探索开源 GKE 集群自动扩缩器代码库和 Helm 图表。