本頁面說明如何在 Google Kubernetes Engine (GKE) 叢集中預留額外的運算容量,讓工作負載在流量高峰期間快速擴充,不必等待新節點啟動。您可以按照這些操作說明,預留運算資源,確保隨時可用,或在特定事件發生前預留。
佈建備用容量的優點
如果現有節點沒有足夠容量執行新的 Pod,GKE Autopilot 叢集和啟用自動佈建節點功能的 Standard 叢集會建立新節點。每個新節點大約需要 80 到 120 秒才能啟動。GKE 會等到節點啟動後,才將待處理的 Pod 放到新節點上,然後 Pod 才能啟動。在 Standard 叢集中,您也可以手動建立新的節點集區,並提供執行新 Pod 所需的額外容量。本頁面適用於使用節點自動調度資源機制 (例如 Autopilot 或自動佈建節點) 的叢集。
在某些情況下,您可能希望 Pod 在擴充事件期間能更快啟動。舉例來說,如果您要為熱門的多人遊戲即時服務遊戲推出新的擴充功能,縮短遊戲伺服器 Pod 的快速啟動時間,或許能減少玩家在推出當天登入時的等待時間。再舉一個例子,如果您經營電子商務平台,並打算舉辦限時快閃促銷活動,預計在促銷期間會出現流量暴增的情況。
備用容量佈建功能與 Pod 爆發相容,可讓 Pod 暫時使用節點上其他 Pod 要求的資源,前提是該容量可用且未由其他 Pod 使用。如要使用爆量功能,請將資源限制設為高於資源要求,或不設定資源限制。詳情請參閱「在 GKE 中設定 Pod 爆發」。
GKE 如何佈建備用容量
如要佈建備用容量,您可以使用 Kubernetes PriorityClasses 和預留位置 Pod。PriorityClass 可讓您告知 GKE 某些工作負載的優先順序低於其他工作負載。您可以部署使用低優先順序 PriorityClass 的預留位置 Pod,並要求需要預留的運算容量。GKE 會建立新節點來容納預留位置 Pod,藉此增加叢集容量。
當正式環境工作負載擴充時,GKE 會剔除優先順序較低的預留位置 Pod,並在原位置排定正式環境 Pod 的新副本 (使用優先順序較高的 PriorityClass)。如果您有多個低優先順序的 Pod,且優先順序層級不同,GKE 會先淘汰優先順序最低的 Pod。
預留位置 Pod 遭到淘汰後,會回到「Pending」狀態。如果您使用 Deployment 進行一致的佈建,Deployment 控制器會立即嘗試重新建立 Pod。如果預留位置 Pod 的優先順序為 -10,就會觸發叢集自動調度資源,建立新節點 (如有必要),取代您剛使用的預留容量。這個循環可確保叢集始終維持指定的備用容量。
容量佈建方法
視用途而定,您可以透過下列任一方式,在 GKE 叢集中佈建額外容量:
- 一致的容量佈建:使用 Deployment 建立特定數量的低優先順序預留位置 Pod,在叢集中持續執行。當 GKE 為了執行正式環境工作負載而淘汰這些 Pod 時,Deployment 控制器會協助確保 GKE 提供更多容量,重新建立遭淘汰的低優先順序 Pod。在您刪除 Deployment 之前,這個方法可在多次擴充和縮減事件中,提供一致的容量負載。
- 單次使用容量佈建:使用工作,在特定時間內執行特定數量的低優先順序平行預留位置 Pod。超過該時間或 GKE 剔除所有工作副本時,預留容量就會停止提供。這種方法會在特定期間內提供特定數量的可用容量。
定價
在 GKE Autopilot 中,您必須為執行中 Pod 的資源要求付費,包括您部署的低優先順序工作負載。詳情請參閱「Autopilot 定價」。
在 GKE Standard 中,無論 Pod 是否使用該容量,您都必須支付 GKE 佈建的基礎 Compute Engine VM 費用。詳情請參閱標準定價
事前準備
開始之前,請確認您已執行下列工作:
- 啟用 Google Kubernetes Engine API。 啟用 Google Kubernetes Engine API
- 如要使用 Google Cloud CLI 執行這項工作,請安裝並初始化 gcloud CLI。如果您先前已安裝 gcloud CLI,請執行
gcloud components update指令,取得最新版本。較舊的 gcloud CLI 版本可能不支援執行本文中的指令。
- 確認您有 GKE Autopilot 叢集,或已啟用自動佈建節點功能的 GKE Standard 叢集。
- 請參閱容量佈建的注意事項,確保在容量要求中選擇適當的值。
建立 PriorityClass
如要使用「容量佈建方法」一節所述的任一方法,您必須先建立下列 PriorityClass:
- 預設 PriorityClass:全域預設 PriorityClass,會指派給未在 Pod 規格中明確設定其他 PriorityClass 的任何 Pod。具有這個預設 PriorityClass 的 Pod,可以淘汰使用較低 PriorityClass 的 Pod。
- 低 PriorityClass:非預設 PriorityClass,設為 GKE 中最低的優先順序。具有此 PriorityClass 的 Pod 可能會遭到淘汰,以便執行具有較高 PriorityClass 的 Pod。
將下列資訊清單儲存為
priorityclasses.yaml:apiVersion: scheduling.k8s.io/v1 kind: PriorityClass metadata: name: low-priority value: -10 preemptionPolicy: Never globalDefault: false description: "Low priority workloads" --- apiVersion: scheduling.k8s.io/v1 kind: PriorityClass metadata: name: default-priority value: 0 preemptionPolicy: PreemptLowerPriority globalDefault: true description: "The global default priority."這個資訊清單包含下列欄位:
preemptionPolicy:指定使用 PriorityClass 的 Pod 是否可以淘汰優先順序較低的 Pod。low-priorityPriorityClass 使用Never,defaultPriorityClass 則使用PreemptLowerPriority。value:使用 PriorityClass 的 Pod 優先順序。在 GKE 叢集中,叢集自動調度資源功能預設的可消耗優先順序截止值為 -10。如果優先順序為 -10 以上,且沒有可用容量,Pod 就能觸發建立新節點。如果優先順序低於 -10,Pod 就不會觸發叢集自動調度資源功能,因此不會佈建新節點。如果沒有可用容量,Pod 會維持在「Pending」狀態。如需決定適當優先順序值的協助,請參閱「選擇優先順序」。
globalDefault:指定 GKE 是否要將 PriorityClass 指派給未在 Pod 規格中明確設定 PriorityClass 的 Pod。low-priorityPriorityClass 使用false,defaultPriorityClass 則使用true。
套用資訊清單:
kubectl apply -f priorityclasses.yaml
佈建額外運算能力
以下各節將舉例說明如何為單一事件或長期持續佈建容量。
使用 Deployment 佈建一致的容量
將下列資訊清單儲存為
capacity-res-deployment.yaml:apiVersion: apps/v1 kind: Deployment metadata: name: capacity-res-deploy spec: replicas: 10 selector: matchLabels: app: reservation template: metadata: labels: app: reservation spec: priorityClassName: low-priority terminationGracePeriodSeconds: 0 containers: - name: ubuntu image: ubuntu command: ["sleep"] args: ["infinity"] resources: requests: cpu: 500m memory: 500Mi這個資訊清單包含下列欄位:
spec.replicas:請視需求變更這個值。spec.resources.requests:視需求變更 CPU 和記憶體要求。請參閱「選擇容量大小」中的指引,決定適當的要求值。spec.containers.command和spec.containers.args:指示 Pod 保持運作,直到 GKE 將其逐出。
套用資訊清單:
kubectl apply -f capacity-res-deployment.yaml取得 Pod 狀態:
kubectl get pods -l app=reservation等待所有副本的狀態都變成
Running。
使用工作佈建單一事件容量
將下列資訊清單儲存為
capacity-res-job.yaml:apiVersion: batch/v1 kind: Job metadata: name: capacity-res-job spec: parallelism: 4 backoffLimit: 0 template: spec: priorityClassName: low-priority terminationGracePeriodSeconds: 0 containers: - name: ubuntu-container image: ubuntu command: ["sleep"] args: ["36000"] resources: requests: cpu: "16" restartPolicy: Never這個資訊清單包含下列欄位:
spec.parallelism:變更為要平行執行的工作數量,以預留容量。spec.backoffLimit: 0:防止工作控制器重新建立遭淘汰的工作。template.spec.resources.requests:視需求變更 CPU 和記憶體要求。請參閱「注意事項」中的指引,決定適當的值。template.spec.containers.command和template.spec.containers.args: 指示工作在需要額外容量的時間內保持運作,以秒為單位。
套用資訊清單:
kubectl apply -f capacity-res-job.yaml取得工作狀態:
kubectl get jobs等待所有工作的狀態變成
Running。
測試容量佈建和淘汰
如要確認容量佈建是否正常運作,請按照下列步驟操作:
在終端機中,查看容量佈建工作負載的狀態:
如為 Deployment,請執行下列指令:
kubectl get pods --label=app=reservation -w如為 Jobs,請執行下列指令:
kubectl get Jobs -w
開啟新的終端機視窗,然後執行下列操作:
將下列資訊清單儲存為
test-deployment.yaml:apiVersion: apps/v1 kind: Deployment metadata: name: helloweb labels: app: hello spec: replicas: 5 selector: matchLabels: app: hello tier: web template: metadata: labels: app: hello tier: web spec: containers: - name: hello-app image: us-docker.pkg.dev/google-samples/containers/gke/hello-app:1.0 ports: - containerPort: 8080 resources: requests: cpu: 400m memory: 400Mi套用資訊清單:
kubectl apply -f test-deployment.yaml
在原始終端機視窗中,請注意 GKE 會終止部分容量佈建工作負載,以便排定新的副本,類似於以下範例:
NAME READY STATUS RESTARTS AGE capacity-res-deploy-6bd9b54ffc-5p6wc 1/1 Running 0 7m25s capacity-res-deploy-6bd9b54ffc-9tjbt 1/1 Running 0 7m26s capacity-res-deploy-6bd9b54ffc-kvqr8 1/1 Running 0 2m32s capacity-res-deploy-6bd9b54ffc-n7zn4 1/1 Running 0 2m33s capacity-res-deploy-6bd9b54ffc-pgw2n 1/1 Running 0 2m32s capacity-res-deploy-6bd9b54ffc-t5t57 1/1 Running 0 2m32s capacity-res-deploy-6bd9b54ffc-v4f5f 1/1 Running 0 7m24s helloweb-85df88c986-zmk4f 0/1 Pending 0 0s helloweb-85df88c986-lllbd 0/1 Pending 0 0s helloweb-85df88c986-bw7x4 0/1 Pending 0 0s helloweb-85df88c986-gh8q8 0/1 Pending 0 0s helloweb-85df88c986-74jrl 0/1 Pending 0 0s capacity-res-deploy-6bd9b54ffc-v6dtk 1/1 Terminating 0 2m47s capacity-res-deploy-6bd9b54ffc-kvqr8 1/1 Terminating 0 2m47s capacity-res-deploy-6bd9b54ffc-pgw2n 1/1 Terminating 0 2m47s capacity-res-deploy-6bd9b54ffc-n7zn4 1/1 Terminating 0 2m48s capacity-res-deploy-6bd9b54ffc-2f8kx 1/1 Terminating 0 2m48s ... helloweb-85df88c986-lllbd 0/1 Pending 0 1s helloweb-85df88c986-gh8q8 0/1 Pending 0 1s helloweb-85df88c986-74jrl 0/1 Pending 0 1s helloweb-85df88c986-zmk4f 0/1 Pending 0 1s helloweb-85df88c986-bw7x4 0/1 Pending 0 1s helloweb-85df88c986-gh8q8 0/1 ContainerCreating 0 1s helloweb-85df88c986-zmk4f 0/1 ContainerCreating 0 1s helloweb-85df88c986-bw7x4 0/1 ContainerCreating 0 1s helloweb-85df88c986-lllbd 0/1 ContainerCreating 0 1s helloweb-85df88c986-74jrl 0/1 ContainerCreating 0 1s helloweb-85df88c986-zmk4f 1/1 Running 0 4s helloweb-85df88c986-lllbd 1/1 Running 0 4s helloweb-85df88c986-74jrl 1/1 Running 0 5s helloweb-85df88c986-gh8q8 1/1 Running 0 5s helloweb-85df88c986-bw7x4 1/1 Running 0 5s這項輸出內容顯示,新的 Deployment 從「Pending」變更為「Running」需要五秒。
容量佈建注意事項
以下各節提供建議,協助您提高佈建容量的可靠性。
一致的容量佈建
- 評估所需的預留位置 Pod 副本數量,以及每個副本中的要求大小。低優先順序副本要求的容量,應「至少」與最大正式環境工作負載相同,這樣這些工作負載才能容納在低優先順序工作負載預留的容量中。
- 如果您大規模運作大量正式環境工作負載,請考慮將預留位置 Pod 的資源要求設為可佈建足夠容量的值,以便執行多個正式環境工作負載,而非僅執行一個。
單次使用容量佈建
- 將預留位置工作的持續時間,設為需要額外容量的時間長度。舉例來說,如果想在遊戲推出當天增加 24 小時的容量,請將時間長度設為 86400 秒。確保佈建的容量不會超過所需時間。
- 設定維護期間,時間與預留運算資源的時間相同。這樣一來,低優先順序的工作就不會在節點升級期間遭到淘汰。如果您預期工作負載需求量很大,建議您設定維護期間。
- 如果您大規模運作大量正式環境工作負載,建議將預留位置工作的資源要求設為可佈建足夠容量的值,以便執行多個正式環境工作負載,而非僅執行一個。
容量只會針對單一調度資源事件佈建。如果擴充並使用運算資源,然後縮減資源,該資源就無法再用於其他擴充事件。如果您預期會有多個擴充和縮減事件,請使用一致的容量預留方法,並視需要調整預留項目的大小。例如在活動前增加 Pod 要求,並在活動後減少或歸零。
選擇優先順序
您可以在叢集中定義多個 PriorityClass,用於具有不同需求的工作負載。舉例來說,您可以建立優先順序為 -10 的 PriorityClass,用於單次使用容量佈建;以及優先順序為 -9 的 PriorityClass,用於一致容量佈建。接著,您可以使用優先順序為 -9 的 PriorityClass 佈建一致的容量,並在需要更多容量來處理特殊事件時,部署使用優先順序為 -10 的 PriorityClass 的新工作。GKE 會先淘汰優先順序最低的工作負載。
您也可以使用其他 PriorityClass 執行低優先順序的非正式工作負載,這些工作負載會執行實際工作,例如容錯批次工作負載,其優先順序低於正式工作負載,但高於預留位置 Pod。例如 -5。
選擇容量大小
將預留位置工作負載的副本數量和資源要求,設為大於或等於正式版工作負載在擴充時可能需要的容量。
佈建的總容量取決於您部署的預留位置 Pod 數量,以及每個副本的資源要求。如果擴充所需的容量超過 GKE 為預留位置 Pod 佈建的容量,部分正式版工作負載會維持在 Pending 狀態,直到 GKE 佈建更多容量為止。