您可以通过配置集群自动扩缩器,自动调整 Google Kubernetes Engine (GKE) Standard 集群中节点池的大小,以匹配工作负载需求并降低计算费用。本文档介绍了如何在新的和现有的节点池上启用或停用自动扩缩、设置节点数下限和上限,以及通过节点污点控制扩容行为。在 Autopilot 集群中,您无需手动管理节点,因为 GKE 会通过节点池自动创建功能自动创建和扩缩节点池。
如需详细了解伸缩决策的工作原理,请参阅 GKE 集群自动伸缩简介。
本文档适用于配置和管理节点池伸缩的管理员、架构师和运维人员。如需详细了解我们在Google Cloud 内容中提及的常见角色和示例任务,请参阅常见的 GKE 用户角色和任务。
使用集群自动扩缩器
以下部分介绍如何使用集群自动扩缩器。
创建具有自动扩缩功能的集群
您可以使用 Google Cloud CLI 或 Google Cloud 控制台创建启用了自动扩缩的集群。
gcloud
如需创建启用了自动扩缩功能的集群,请使用 --enable-autoscaling 标志并指定 --min-nodes 和 --max-nodes:
gcloud container clusters create CLUSTER_NAME \
--enable-autoscaling \
--num-nodes NUM_NODES \
--min-nodes MIN_NODES \
--max-nodes MAX_NODES \
--location=CONTROL_PLANE_LOCATION
替换以下内容:
CLUSTER_NAME:要创建的集群的名称。NUM_NODES:要在每个位置创建的节点数。MIN_NODES:为每个可用区中指定节点池自动扩缩的节点数下限。如需在 GKE 1.24 及更高版本中指定整个节点池的节点数下限,请使用--total-min-nodes。标志--total-min-nodes和--total-max-nodes与标志--min-nodes和--max-nodes互斥。MAX_NODES:为每个可用区中指定节点池自动扩缩的节点数上限。如需在 GKE 1.24 及更高版本中指定整个节点池的节点数上限,请使用--total-max-nodes。标志--total-min-nodes和--total-max-nodes与标志--min-nodes和--max-nodes互斥。CONTROL_PLANE_LOCATION:集群控制平面的 Compute Engine 位置。为区域级集群提供区域,或为可用区级集群提供可用区。
示例:创建启用节点自动扩缩功能的集群并设置节点数下限和上限
以下命令会创建一个包含 90 个节点的集群;或者如果区域内有 3 个可用区,则每个可用区内 30 个节点。该集群已启用节点自动扩缩功能,可根据集群负载调整节点数量。集群自动扩缩器可以将默认节点池缩减到每个可用区 15 个节点,也可以将节点池扩容到每个可用区最多 50 个节点。
gcloud container clusters create my-cluster --enable-autoscaling \
--num-nodes=30 \
--min-nodes=15 --max-nodes=50 \
--location=us-central1
示例:创建启用节点自动扩缩功能的集群并设置节点总数
以下命令会创建一个包含 30 个节点的集群;或者如果区域内有 3 个可用区,则每个可用区内 10 个节点。该集群已启用节点自动扩缩功能,可根据集群负载调整节点数量。在此示例中,集群的总大小介于 10 到 60 个节点之间,无论这些节点在各个可用区之间的分布如何。
gcloud container clusters create my-cluster --enable-autoscaling \
--num-nodes 10 \
--location us-central1 \
--total-min-nodes 10 --total-max-nodes 60
控制台
如需创建其中的默认节点池已启用自动扩缩功能的新集群,请执行以下操作:
在 Google Cloud 控制台中,前往创建一个 Kubernetes 集群页面。
根据需要配置集群。
在导航窗格的节点池下,点击默认池 (default-pool)。
选中启用自动扩缩复选框。
根据需要更改节点数下限和节点数上限字段的值。
点击创建。
在空闲时将集群缩容至零节点
在 GKE 1.37.1-gke.3020000 版及更高版本中,您可以配置新集群或现有集群,使其在指定时间内没有用户管理的工作负载在集群中运行时,缩容到零个节点。默认情况下,自动扩缩器在将集群缩容到零个节点之前会延迟 3 小时。
如需启用自动扩缩到零节点并视需要修改延迟时间,请运行以下命令之一。您只能在集群级别启用伸缩至零个节点。
在默认延迟期(3 小时)后,启用伸缩至零节点:
gcloud container clusters create CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zero替换以下内容:
CLUSTER_NAME:集群的名称。CONTROL_PLANE_LOCATION:集群控制平面的 Compute Engine 位置。为区域级集群提供区域,或为可用区级集群提供可用区。
自定义集群缩容到零个节点之前的延迟时间:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zero \ --cluster-scale-to-zero-delay=DELAY_PERIOD将
DELAY_PERIOD替换为延迟时间。此值必须是指定数字和时间单位的字符串,例如1s、5m或3h。延迟时间必须介于0s到3h之间。
如需停用缩减到零个节点的功能,请运行以下命令:
gcloud container clusters update CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--no-enable-cluster-scale-to-zero
添加具有自动扩缩功能的节点池
您可以使用 gcloud CLI 或 Google Cloud 控制台创建启用了自动扩缩的节点池。
gcloud
如需将具有自动扩缩功能的节点池添加到现有集群,请使用以下命令:
gcloud container node-pools create POOL_NAME \
--cluster=CLUSTER_NAME \
--enable-autoscaling \
--min-nodes=MIN_NODES \
--max-nodes=MAX_NODES \
--location=CONTROL_PLANE_LOCATION
替换以下内容:
POOL_NAME:所需节点池的名称。CLUSTER_NAME:在其中创建节点池的集群的名称。MIN_NODES:为每个可用区中指定节点池自动扩缩的节点数下限。如需在 GKE 1.24 及更高版本中指定整个节点池的节点数下限,请使用--total-min-nodes。标志--total-min-nodes和--total-max-nodes与标志--min-nodes和--max-nodes互斥。MAX_NODES:为每个可用区中指定节点池自动扩缩的节点数上限。如需在 GKE 1.24 及更高版本中指定整个节点池的节点数上限,请使用--total-max-nodes。标志--total-min-nodes和--total-max-nodes与标志--min-nodes和--max-nodes互斥。CONTROL_PLANE_LOCATION:集群控制平面的 Compute Engine 位置。为区域级集群提供区域,或为可用区级集群提供可用区。
示例:添加启用了节点自动扩缩功能的节点池
以下命令会创建一个具有节点自动扩缩功能的节点池,该功能将节点池扩缩至最多 5 个节点,最少 1 个节点:
gcloud container node-pools create my-node-pool \
--cluster my-cluster \
--enable-autoscaling \
--min-nodes 1 --max-nodes 5 \
--location us-central1-c
控制台
如需将具有自动扩缩功能的节点池添加到现有集群,请执行以下操作:
前往 Google Cloud 控制台中的 Google Kubernetes Engine 页面。
在集群列表中,点击您要修改的集群的名称。
点击节点标签页。
点击 add_box 创建由用户管理的节点池。
根据需要配置节点池。
在大小下,选中启用自动扩缩功能复选框。
根据需要更改节点数下限和节点数上限字段的值。
点击创建。
为现有节点池启用自动扩缩功能
您可以使用 gcloud CLI 或 Google Cloud 控制台为现有节点池启用自动扩缩。
gcloud
如需为现有节点池启用自动扩缩功能,请使用以下命令:
gcloud container clusters update CLUSTER_NAME \
--enable-autoscaling \
--node-pool=POOL_NAME \
--min-nodes=MIN_NODES \
--max-nodes=MAX_NODES \
--location=CONTROL_PLANE_LOCATION
替换以下内容:
CLUSTER_NAME:要更新的集群的名称。POOL_NAME:所需节点池的名称。如果您只有一个节点池,请提供default-pool作为值。MIN_NODES:为每个可用区中指定节点池自动扩缩的节点数下限。如需在 GKE 1.24 及更高版本中指定整个节点池的节点数下限,请使用--total-min-nodes。标志--total-min-nodes和--total-max-nodes与标志--min-nodes和--max-nodes互斥。MAX_NODES:为每个可用区中指定节点池自动扩缩的节点数上限。如需在 GKE 1.24 及更高版本中指定整个节点池的节点数上限,请使用--total-max-nodes。标志--total-min-nodes和--total-max-nodes与标志--min-nodes和--max-nodes互斥。CONTROL_PLANE_LOCATION:集群控制平面的 Compute Engine 位置。为区域级集群提供区域,或为可用区级集群提供可用区。
控制台
要为现有节点池启用自动扩缩功能,请执行以下操作:
前往 Google Cloud 控制台中的 Google Kubernetes Engine 页面。
在集群列表中,点击您要修改的集群的名称。
点击节点标签页。
在节点池下,点击要修改的节点池的名称,然后点击 edit 修改。
在大小下,选中启用自动扩缩功能复选框。
根据需要更改节点数下限和节点数上限字段的值。
点击保存。
验证是否已为现有节点池启用自动扩缩
您可以通过 Google Cloud CLI 或 Google Cloud 控制台来验证集群是否使用的是自动扩缩。
gcloud
描述集群中的节点池:
gcloud container node-pools describe NODE_POOL_NAME --cluster=CLUSTER_NAME |grep autoscaling -A 1
替换以下内容:
NODE_POOL_NAME:您选择的新节点池的名称。CLUSTER_NAME:集群的名称。
如果启用了自动扩缩,则输出内容类似如下:
autoscaling:
enabled: true
控制台
前往 Google Cloud 控制台中的 Google Kubernetes Engine 页面。
在集群列表中,点击您要验证的集群的名称。
点击节点标签页。
在节点池下,验证节点池是否为
Autoscalling状态。
创建优先优化未使用的预留的节点池
您可以在创建节点池时使用 --location-policy=ANY 标志,以指示集群自动扩缩器优先利用未使用的预留:
gcloud container node-pools create POOL_NAME \
--cluster=CLUSTER_NAME \
--location-policy=ANY
替换以下内容:
POOL_NAME:您选择的新节点池的名称。CLUSTER_NAME:集群的名称。
为现有节点池停用自动扩缩功能
您可以使用 gcloud CLI 或 Google Cloud 控制台为现有节点池停用自动扩缩。
gcloud
如需为特定节点池停用自动扩缩功能,请使用 --no-enable-autoscaling 标志:
gcloud container clusters update CLUSTER_NAME \
--no-enable-autoscaling \
--node-pool=POOL_NAME \
--location=CONTROL_PLANE_LOCATION
替换以下内容:
CLUSTER_NAME:要更新的集群的名称。POOL_NAME:所需节点池的名称。CONTROL_PLANE_LOCATION:集群控制平面的 Compute Engine 位置。为区域级集群提供区域,或为可用区级集群提供可用区。
集群大小固定为集群的当前默认节点池大小,您可以手动更新。
控制台
要为特定节点池停用自动扩缩功能,请执行以下操作:
前往 Google Cloud 控制台中的 Google Kubernetes Engine 页面。
在集群列表中,点击您要修改的集群的名称。
点击节点标签页。
在节点池下,点击要修改的节点池的名称,然后点击 edit 修改。
在大小下,清除启用自动扩缩功能复选框。
点击保存。
调整节点池的大小
对于启用了自动扩缩功能的集群,集群自动扩缩器会在大小下限 (--min-nodes) 和大小上限 (--max-nodes) 值或总大小下限 (--total-min-nodes) 和总大小上限 (--total-max-nodes) 值指定的范围内自动调整节点池的大小。这两组标志是互斥的。您无法通过更改这些值来手动调整节点池的大小。
如果您要手动调整启用了自动扩缩功能的集群中的节点池的大小,请执行以下操作:
阻止在所选节点上调度 Pod
您可以使用 startup 或 status 污点来阻止 Pod 调度到选定节点上,具体取决于应用场景。
GKE 1.28 版及更高版本中提供此功能。
启动污点
如果有操作必须先完成,然后才能在节点上运行任何 Pod,请使用 startup 污点。例如,在节点上完成驱动程序安装之前,Pod 不应运行。
集群自动扩缩器会将具有 startup 污点的节点视为未就绪,但在扩容逻辑期间会考虑这些节点(假设它们很快就会就绪)。
启动污点定义为所有具有 startup-taint.cluster-autoscaler.kubernetes.io/ 前缀的污点
状态污点
如果 GKE 不应使用给定节点来运行 Pod,请使用 status 污点。
集群自动扩缩器会将具有 status 污点的节点视为已就绪,但在纵向扩容逻辑期间会忽略这些节点。即使污点节点已就绪,Pod 也不应运行。如果 Pod 需要更多资源,GKE 会扩容集群并忽略具有污点的节点。
状态污点定义为所有具有 status-taint.cluster-autoscaler.kubernetes.io/ 前缀的污点
忽略污点
忽略污点定义为所有具有 ignore-taint.cluster-autoscaler.kubernetes.io/ 前缀的污点
问题排查
如需获取问题排查建议,请参阅以下页面:
后续步骤
- 详细了解集群自动扩缩器。
- 查看节点池自动创建的概览。
- 了解如何配置节点池自动创建。
- 了解集群自动扩缩器可见性。
- 了解如何部署自托管式集群自动扩缩器。
- 了解如何调整集群大小。