部署自托管式集群自动扩缩器

本文档介绍了如何停用 Google Kubernetes Engine (GKE) 代管式集群自动扩缩器,以及如何使用 Helm 在标准集群中部署自托管式集群自动扩缩器。通过部署自托管式集群自动扩缩器,您可以自定义自动扩缩标志、测试实验性参数,或从开源 GKE 集群自动扩缩器代码库运行自定义 build。

本文档适用于管理集群伸缩和基础设施,并且需要对自动伸缩器参数进行精细控制(超出 GKE 管理的集群自动伸缩器提供的控制范围)的平台管理员。

要求和限制

  • 只有运行 1.37.2-gke.1042000 版或更高版本的 GKE Standard 集群才支持自托管式集群自动扩缩器。
  • 自托管式集群自动扩缩器与 Autopilot 集群、包含 Autopilot 托管式节点池的 Standard 集群或对 ComputeClass 使用 Autopilot 模式的 Standard 集群不兼容。
  • 您的集群必须始终至少有一个正在运行的工作器节点,才能托管自托管式集群自动扩缩器 Pod。运行自托管集群自动扩缩器的集群无法缩容至零个节点。
  • 您负责部署、更新和监控自托管式集群自动扩缩器工作负载。Cloud Customer Care 不会排查自托管或自定义构建的集群自动扩缩器部署问题。如需就自动扩缩问题获得客户服务团队的支持,请切换回 GKE 管理的集群自动扩缩器。
  • 如果停用 GKE 管理的自动扩缩,GKE 不会向 container.googleapis.com/cluster-autoscaler-visibility 日志流发出控制平面集群自动扩缩器可见性事件。而是直接从自托管式集群自动伸缩器 Pod 查看伸缩日志和指标。

准备工作

在开始之前,请确保您已执行以下任务:

  • 启用 Google Kubernetes Engine API。
  • 启用 Google Kubernetes Engine API
  • 如需使用 Google Cloud CLI 执行此任务,请安装并初始化 gcloud CLI。如果您之前安装了 gcloud CLI,请通过运行 gcloud components update 命令来获取最新版本。较早版本的 gcloud CLI 可能不支持运行本文档中的命令。

所需的角色

如需获得停用代管式自动扩缩、配置 Identity and Access Management (IAM) 资源以及部署自托管式集群自动扩缩器所需的权限,请让管理员向您授予项目的以下 IAM 角色:

如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

停用 GKE 管理的集群自动扩缩器

在部署自托管式集群自动扩缩器之前,您必须在控制平面中停用 GKE 管理的集群自动扩缩器,以防止两个自动扩缩器实例之间发生竞态条件。停用 GKE 管理的集群自动伸缩器会阻止控制平面伸缩节点。不过,GKE 会保留您现有的节点池自动扩缩配置和 ComputeClasses,以便自托管式集群自动扩缩器可以对其执行操作。

如需停用 GKE 管理的集群自动扩缩器,请按照以下步骤操作,完成以下任一步骤:

  • 如需在现有 Standard 集群上停用 GKE 管理的集群自动扩缩器,请运行以下命令:

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --disable-managed-autoscaling
    

    如果集群和至少一个节点池尚未启用 Workload Identity Federation for GKE,无法托管自托管式集群自动扩缩器 Pod,请运行以下命令:

    gcloud container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-pool=PROJECT_ID.svc.id.goog
    gcloud container node-pools update NODEPOOL_NAME \
        --cluster=CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-metadata=GKE_METADATA
        ```
    
  • 如需创建已停用 GKE 管理的集群自动扩缩器的新 Standard 集群,请运行以下命令:

    gcloud beta container clusters create CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --cluster-version=CLUSTER_VERSION \
        --workload-pool=PROJECT_ID.svc.id.goog \
        --disable-managed-autoscaling
    

替换以下内容:

  • CLUSTER_NAME:Standard 集群的名称。
  • CONTROL_PLANE_LOCATION:集群控制平面的 Compute Engine 区域或可用区。为区域级集群提供区域,或为可用区级集群提供可用区。
  • PROJECT_ID:您的 Google Cloud 项目 ID。
  • NODEPOOL_NAME:用于托管自托管式集群自动扩缩器 Pod 的现有节点池的名称。
  • CLUSTER_VERSION:新集群的 GKE 版本,必须为 1.37.2-gke.1042000 或更高版本。

如需验证集群上是否已停用 GKE 管理的集群自动扩缩器,请运行以下命令:

gcloud beta container clusters describe CLUSTER_NAME \
    --location=CONTROL_PLANE_LOCATION \
    --format="value(autoscaling.managedAutoscalingDisabled)"

输出为 True。

为自托管式集群自动扩缩器配置 IAM 权限

自托管式集群自动扩缩器需要 IAM 权限才能管理 Compute Engine 实例组并读取项目中的集群元数据。

通过创建最小权限自定义 IAM 角色并将其绑定到自动扩缩器的 Kubernetes ServiceAccount(使用 Workload Identity Federation for GKE),向自动扩缩器授予这些权限:

  1. 检索项目编号:

    gcloud projects describe PROJECT_ID \
        --format="value(projectNumber)"
    

    将输出值记录为 PROJECT_NUMBER,以便在后续步骤中使用。

  2. 将以下自定义 IAM 角色定义保存为 gcp-role.yaml 文件:

    title: Self Hosted Cluster Autoscaler Role
    description: Least privilege role for self-hosted CA to manage GKE clusters
    stage: BETA
    includedPermissions:
    - compute.acceleratorTypes.list
    - compute.instanceGroupManagers.get
    - compute.instanceGroupManagers.list
    - compute.instanceGroupManagers.update
    - compute.instanceTemplates.get
    - compute.instances.delete
    - compute.instances.get
    - compute.instances.list
    - compute.instances.setMetadata
    - compute.machineTypes.get
    - compute.machineTypes.list
    - compute.regions.get
    - compute.regions.list
    - compute.reservations.list
    - compute.resourcePolicies.list
    - compute.zoneOperations.get
    - compute.zones.get
    - compute.zones.list
    - container.clusters.get
    - container.clusters.update
    - container.operations.get
  3. 在项目中创建 selfHostedClusterAutoscaler 自定义 IAM 角色:

    gcloud iam roles create selfHostedClusterAutoscaler \
        --project=PROJECT_ID \
        --file=gcp-role.yaml
    
  4. 创建名为 selfhosted-autoscaler 的 IAM 服务账号:

    gcloud iam service-accounts create selfhosted-autoscaler \
        --project=PROJECT_ID
    
  5. 向 selfhosted-autoscaler IAM 服务账号授予自定义 IAM 角色:

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \
        --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"
    
  6. 如果您的集群使用节点自动预配或自定义 ComputeClass 创建新节点池,请向 selfhosted-autoscaler 服务账号授予 Service Account User 角色 (roles/iam.serviceAccountUser)。针对新节点使用的每个 IAM 服务账号运行以下命令:

    gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \
        --project=PROJECT_ID \
        --role="roles/iam.serviceAccountUser" \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    

    将 NODE_SA_EMAIL 替换为节点使用的 IAM 服务账号的邮箱。请在节点自动预配默认服务账号以及您在 ComputeClass 中指定的任何服务账号上授予此角色。除非您配置自定义服务账号,否则节点自动预配会使用 Compute Engine 默认服务账号 PROJECT_NUMBER-compute@developer.gserviceaccount.com。

  7. 允许 kube-system 命名空间中的 selfhosted-autoscaler Kubernetes ServiceAccount 模拟 IAM 服务账号:

    gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \
        --project=PROJECT_ID \
        --role="roles/iam.workloadIdentityUser" \
        --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
    

使用 Helm 部署自托管式集群自动扩缩器

使用开源 GKE 集群自动扩缩器代码库的 charts/cluster-autoscaler 目录中的 Helm chart 部署自托管式集群自动扩缩器:

  1. 检索您的集群 ID:

    gcloud container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --project=PROJECT_ID \
        --format="value(id)"
    

    将输出值记录为 Helm 配置文件的 CLUSTER_ID。

  2. 克隆 GKE 集群自动扩缩器代码库:

    git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.git
    
  3. 构建集群自动扩缩器容器映像并将其推送到容器注册表:

    cd cluster-autoscaler
    make release \
        REGISTRY=REGISTRY_PATH \
        TAG=IMAGE_TAG
    

    替换以下内容:

    • REGISTRY_PATH:您的 Container Registry 的基本路径,例如 LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY。make release 命令会构建映像并将其推送到 REGISTRY_PATH/cluster-autoscaler:IMAGE_TAG。
    • IMAGE_TAG:容器映像的标记,例如 37.234.0。

    如需详细了解如何构建容器映像,请参阅 GKE 集群自动扩缩器代码库。

  4. 导航到 Helm 图表目录:

    cd charts/cluster-autoscaler
    
  5. 创建一个 my-values.yaml 文件,以配置集群身份、Workload Identity Federation for GKE 服务账号和自动扩缩器参数:

    image:
      repository: "REGISTRY_PATH/cluster-autoscaler"
      tag: "IMAGE_TAG"
    
    cluster:
      name: "CLUSTER_NAME"
      hash: "CLUSTER_ID"
      projectNumber: "PROJECT_NUMBER"
      location: "CONTROL_PLANE_LOCATION"
      regional: IS_REGIONAL
    
    nodeSelector:
      iam.gke.io/gke-metadata-server-enabled: "true"
    
    serviceAccount:
      name: "selfhosted-autoscaler"
      gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    
    config:
      autoscalingProfile: AUTOSCALING_PROFILE
    

    替换以下内容:

    • REGISTRY_PATH:前面步骤中 Container Registry 的基本路径,例如 LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY。
    • IMAGE_TAG:您在上一步中推送的容器映像标记,例如 37.234.0。如果您省略 image.tag 字段,则 Helm 图表会默认使用您在打包图表时设置的 appVersion 值。
    • CLUSTER_ID:您在前面步骤中检索到的集群 ID。
    • PROJECT_NUMBER:您在前面步骤中检索到的项目编号。
    • IS_REGIONAL:如果您的集群是区域级集群,则为 true;如果您的集群是可用区级集群,则为 false。
    • AUTOSCALING_PROFILE:要应用的自动扩缩配置文件。指定 default 配置文件以实现均衡伸缩,或指定 optimizeUtilization 配置文件以更主动地缩容未充分利用的节点。如需查看可配置标志和参数的完整列表,请参阅 GitHub 中的默认 values.yaml 文件。
  6. 使用要运行的集群自动扩缩器组件版本打包 Helm 图表,并将图表安装在 kube-system 命名空间中:

    helm package \
        --version=CA_VERSION \
        --app-version=CA_VERSION .
    helm upgrade --install selfhosted-ca \
        cluster-autoscaler-CA_VERSION.tgz \
        --namespace=kube-system \
        -f my-values.yaml
    

    将 CA_VERSION 替换为采用 <minor>.<ca-version>.<patch> 格式的集群自动扩缩器组件版本,例如 37.234.0。图表使用此版本来确定要从 values.yaml 文件中启用哪些自动扩缩器实验。

验证自托管式集群自动扩缩器部署

安装 Helm chart 后,验证自托管式集群自动扩缩器 Pod 是否正在运行并主动监控集群:

  1. 验证自托管式集群自动扩缩器 Pod 是否处于 Running 状态:

    kubectl get pods -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca
    

    输出类似于以下内容:

    NAME                                                READY   STATUS    RESTARTS   AGE
    selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k   1/1     Running   0          2m
    
  2. 检查自托管集群自动扩缩器 Pod 中的日志,确认其启动时没有身份验证错误:

    kubectl logs -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca \
        --tail=50
    
  3. 检查 cluster-autoscaler-status ConfigMap,查看自动伸缩器报告的当前伸缩状态:

    kubectl get configmap cluster-autoscaler-status \
        -n kube-system -o yaml
    

切换回 GKE 管理的集群自动扩缩器

如需返回到 GKE 管理的集群自动扩缩器,请先移除自托管式部署,然后在控制平面中重新启用代管式自动扩缩:

  1. 卸载自托管式集群自动扩缩器 Helm 版本:

    helm uninstall selfhosted-ca --namespace=kube-system
    
  2. 在集群上重新启用 GKE 托管式集群自动扩缩器:

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --enable-managed-autoscaling
    
  3. 验证是否已启用 GKE 管理的集群自动扩缩器:

    gcloud beta container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --format="value(autoscaling.managedAutoscalingDisabled)"
    

    输出为空或 False。

后续步骤