您可以配置 Google Kubernetes Engine (GKE) Standard 集群,使其功能类似于 Autopilot 模式集群,方法是启用默认 ComputeClass、Autopilot 集群安全政策和集群缩减至零等集群设置。
本文档适用于希望在 Standard 集群中获得 Autopilot 模式的所有优势,并能够灵活修改或停用个别设置的平台管理员和安全工程师。如果您不需要这种灵活性,请创建专用 Autopilot 集群。
您应该已经熟悉以下概念:
Autopilot 集群设置
如需将 Standard 集群配置为像 Autopilot 集群一样运行,请配置以下所有设置:
- Autopilot ComputeClass 作为集群默认值:设置一个内置 Autopilot ComputeClass。未选择 ComputeClass 的任何 Pod 都会使用指定的默认 ComputeClass 运行。内置 ComputeClass 均使用 Autopilot 模式和基于 Pod 的结算模式。
- 将集群自动扩缩至零个节点:将集群自动扩缩器配置为在集群中没有活跃用户工作负载时将集群扩缩至零个节点。您可以选择调整自动扩缩器将集群扩缩到零节点之前的延迟时间。
- 零初始节点:在创建集群期间,阻止自动创建默认节点池。对于现有集群,请删除所有手动创建的节点池。
- Autopilot 集群安全政策:强制执行所有 Autopilot 安全政策。这些政策有助于保护系统工作负载和身份。
您可以修改集群,以独立于其他设置更改其中任何设置。例如,如果您需要手动创建节点池,则可以停用相应的 Autopilot 集群安全政策,而无需更改任何其他设置。
灵活性和安全注意事项
创建 Autopilot 集群后,集群模式是永久性的。集群设置(例如伸缩到零个节点、阻止手动创建节点池以及各种安全限制条件)不可变。但是,当您将 Standard 集群配置为使用 Autopilot 集群的所有设置时,这些设置是可变的。任何有权修改集群配置的用户都可以更改或停用个别设置。
如需在组织、文件夹或项目中强制使用这些设置,组织管理员可以使用自定义组织政策限制条件。如需了解详情,请参阅本文档中的使用自定义组织政策强制执行 Autopilot 设置部分。
限制
如果您在集群级层配置机密 GKE 节点,则 GKE 会忽略您使用 Autopilot ComputeClass 作为集群默认设置的命令。
准备工作
在开始之前,请确保您已执行以下任务:
- 启用 Google Kubernetes Engine API。 启用 Google Kubernetes Engine API
- 如需使用 Google Cloud CLI 执行此任务,请安装并初始化 gcloud CLI。如果您之前安装了 gcloud CLI,请通过运行
gcloud components update命令来获取最新版本。较早版本的 gcloud CLI 可能不支持运行本文档中的命令。
- 确保您拥有满足所有要求的标准集群。
要求
如需在 Standard 集群中使用所有 Autopilot 功能,您的集群必须满足以下要求:
集群必须运行 GKE 1.37.1-gke.3020000 版或更高版本。各个设置的版本要求如下:
- 如需将内置 Autopilot ComputeClass 设置为集群默认 ComputeClass,集群必须运行 GKE 1.37.1-gke.1380000 版或更高版本。
- 如需创建初始节点数为零的集群,该集群必须运行 GKE 1.37.1-gke.1153000 版或更高版本。
- 如需将集群自动扩缩器配置为将集群扩缩到零节点,集群必须运行 GKE 1.37.1-gke.3020000 版或更高版本。
如需将集群升级到兼容版本,请参阅手动升级集群的控制平面或节点池。
集群必须满足使用 Autopilot ComputeClass 的所有要求。如需检查您的集群是否满足这些要求,请参阅在 Standard 集群中以 Autopilot 模式运行工作负载。
所需的角色和权限
如需获得创建或更新集群以使用 Autopilot 模式所需的权限,请让您的管理员为您授予 Google Cloud 项目的以下 IAM 角色:
-
创建和更新集群和节点池:Kubernetes Engine Cluster Admin (
roles/container.clusterAdmin) -
管理集群中的 ComputeClass 和工作负载:Kubernetes Engine Developer (
roles/container.developer)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
创建使用 Autopilot 模式的标准集群
如需创建使用所有 Autopilot 设置的新 Standard 集群,请运行以下命令:
gcloud container clusters create CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--num-nodes=0 \
--default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
--enable-cluster-scale-to-zero \
--autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
替换以下内容:
CLUSTER_NAME:新集群的名称。CONTROL_PLANE_LOCATION:集群控制平面所在的区域,例如us-central1。BUILT_IN_COMPUTECLASS_NAME:要用作集群默认值的内置 ComputeClass,例如autopilot。
(可选)您可以使用 --cluster-scale-to-zero-delay 标志调整集群自动扩缩器将集群扩缩到零个节点之前的延迟时间:
gcloud container clusters create CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--num-nodes=0 \
--default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
--enable-cluster-scale-to-zero \
--cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAY \
--autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
将 SCALE_TO_ZERO_DELAY 替换为延迟时长。此值必须指定一个整数和一个时间单位,例如 0s、1m 或 3h。最长延迟时间为 3 小时。如果您未指定 --cluster-scale-to-zero-delay 标志,则默认延迟时间为 3 小时。
如果集群创建命令失败并显示错误消息,请查看错误消息了解详情。最常见的错误如下:
- 您的集群使用的版本不支持某个指定的标志。如需解决此错误,请将集群更新到要求部分中指定的最低要求版本。
- 您在集群创建命令中指定了节点池配置标志(例如
--machine-type标志)。由于新集群没有初始节点池,因此您无法指定节点池配置标志。如需解决此错误,请从命令中移除节点池配置标志。 - 您为
--default-compute-class标志指定了自定义 ComputeClass 的名称。如需解决此错误,请指定一个内置 Autopilot ComputeClass。
更新现有 Standard 集群以使用 Autopilot 模式
您可以修改现有 Standard 集群,以使用 Autopilot 模式。此过程涉及对工作负载进行可能具有破坏性的更改,例如删除手动创建的节点池。在计划内维护期间执行这些步骤。
验证您的集群是否满足本文档中的所有要求。
请检查您的集群并进行必要的更改,以免与 Autopilot 集群政策发生冲突。如需详细了解潜在更改,请参阅支持的政策。
将 Autopilot ComputeClass 设置为集群默认值后,未选择其他 ComputeClass 的传入 Pod 会成为 Autopilot 工作负载。检查未选择 ComputeClass 的任何工作负载是否具有以下属性:
- 验证您的工作负载是否符合 Autopilot 安全限制,或为特权工作负载配置许可清单。
- 从 Pod 中查找并移除
cloud.google.com/gke-nodepool节点选择器或节点亲和性规则。 - 检查是否有任何命名空间具有
cloud.google.com/default-compute-class或cloud.google.com/default-compute-class-non-daemonset标签。命名空间级默认 ComputeClass 优先于集群级默认 ComputeClass。
检查集群是否具有名为
default的自定义 ComputeClass:kubectl get computeclass default -o yaml如果输出为空,请跳至下一步。如果
defaultComputeClass 存在,则输出类似于以下内容:apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: annotations: cloud.google.com/gke-managed-default-compute-class: "true" name: default # Multiple lines are omitted here.在输出中,如果
cloud.google.com/gke-managed-default-compute-class: "true"注解位于metadata.annotations字段中,请跳至下一步。如果此注解不存在,请删除 ComputeClass:kubectl delete computeclass default在集群中查找并删除任何现有的手动创建的节点池。
为集群启用 Autopilot 设置:
将集群默认 ComputeClass 设置为内置 ComputeClass:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --default-compute-class=BUILT_IN_COMPUTECLASS_NAME替换以下内容:
CLUSTER_NAME:现有 Standard 集群的名称。CONTROL_PLANE_LOCATION:集群控制平面所在的区域。BUILT_IN_COMPUTECLASS_NAME:要用作集群默认值的内置 Autopilot ComputeClass,例如autopilot。
启用集群自动扩缩,并让自动扩缩器将集群扩缩到零个节点:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zero(可选)您可以使用
--cluster-scale-to-zero-delay标志调整集群自动扩缩器将集群扩缩到零个节点之前的延迟时间:gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zero \ --cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAY将
SCALE_TO_ZERO_DELAY替换为延迟时长。此值必须指定一个整数和一个时间单位,例如0s、1m或3h。最长延迟时间为 3 小时。如果您未指定--cluster-scale-to-zero-delay标志,则默认延迟时间为 3 小时。启用 Autopilot 集群政策:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
如果任何集群更新命令失败并显示错误消息,请查看错误消息了解详情。最常见的错误如下:
- 您的集群使用的版本不支持某个指定的标志。如需解决此错误,请将集群升级到要求部分中指定的最低要求版本。
- 您为
--default-compute-class标志指定了自定义 ComputeClass 的名称。如需解决此错误,请指定一个内置 Autopilot ComputeClass。 - 您的集群具有手动创建的节点池,因此 GKE 无法强制执行
no-standard-node-pools政策。如需解决此错误,请删除手动创建的节点池。
验证集群是否使用 Autopilot 模式
配置新集群或现有集群后,请验证 Autopilot 设置是否处于有效状态:
验证集群上是否已启用默认 ComputeClass、缩减至零和集群政策设置:
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="yaml(autoscaling.defaultComputeClassConfig,autoscaling.scaleToZeroConfig,autopilot.clusterPolicyConfig)"输出类似于以下内容:
autoscaling: defaultComputeClassConfig: computeClass: autopilot enabled: true scaleToZeroConfig: enabled: true delay: 3h autopilot: clusterPolicyConfig: noManualNodePools: true noSystemImpersonation: true noSystemMutation: true noUnsafeWebhooks: true验证 GKE 是否已在集群中创建代管式
defaultComputeClass:kubectl get computeclass default -o yaml输出类似于以下内容:
如果输出为空,请跳至下一步。如果
defaultComputeClass 存在,则输出类似于以下内容:apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: annotations: cloud.google.com/gke-managed-default-compute-class: "true" name: default # Multiple lines are omitted here. spec: autopilot: enabled: true # Multiple lines are omitted here.在此输出中,
cloud.google.com/gke-managed-default-compute-class: "true"注解表示 GKE 创建了 ComputeClass。部署未选择其他 ComputeClass 的 Pod 时,请验证该 Pod 是否在 Autopilot 管理的节点上运行:
kubectl get pods -o wide在输出中,由 Autopilot 管理的节点在
NODE列中具有gk3-前缀。
修改或停用个别 Autopilot 设置
由于 Standard 集群中的每项 Autopilot 功能都是模块化的,因此您可以随时自定义或停用个别设置。如果您是安全管理员,则可以使用自定义组织政策限制条件来强制执行这些设置。如需了解详情,请参阅使用自定义组织政策强制执行 Autopilot 设置。
- 在集群中停用特定的 Autopilot 政策,例如
no-standard-node-pools。 - 停用集群级默认 ComputeClass。或者,您也可以通过创建名为
default的 ComputeClass,将自定义 ComputeClass 设置为集群默认值。 防止集群自动扩缩到零节点:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --no-enable-cluster-scale-to-zero
使用自定义组织政策强制执行 Autopilot 设置
由于具有集群更新权限的用户可以修改或停用 Standard 集群中的 Autopilot 设置,因此组织管理员可以使用 Organization Policy Service 中的自定义组织政策限制条件,在整个组织、文件夹或项目中强制执行这些设置。以下示例限制条件会拒绝未强制执行所有 Autopilot 设置的集群的集群创建或更新操作:
name: organizations/ORGANIZATION_ID/customConstraints/custom.enforceAutopilotSettings
resourceTypes:
- container.googleapis.com/Cluster
methodTypes:
- CREATE
condition: >-
"resource.ClusterPolicyConfig.no_system_mutation != true ||
resource.ClusterPolicyConfig.no_system_impersonation != true ||
resource.ClusterPolicyConfig.no_unsafe_webhooks != true ||
resource.ClusterPolicyConfig.no_standard_node_pools != true ||
resource.ScaleToZeroConfig.enabled != true ||
!(resource.DefaultComputeClassConfig.computeClass in [
'autopilot', 'autopilot-spot', 'autopilot-arm', 'autopilot-arm-spot'
])"
actionType: DENY
displayName: Enforce Autopilot cluster policies in Standard clusters
description: All new clusters must use all Autopilot settings by default.
将 ORGANIZATION_ID 替换为您的组织 ID。
后续步骤
- 详细了解 GKE Standard 中的 Autopilot 工作负载
- 在 Standard 集群中以 Autopilot 模式运行工作负载
- 默认将 ComputeClass 应用于 Pod
- 在 Standard 集群中强制执行 Autopilot 安全政策
- 自动扩缩集群