節點升級策略

本文說明可與 Google Kubernetes Engine (GKE) 叢集搭配使用的節點升級策略。

在 GKE Standard 叢集中,您可以為每個 Standard 節點集區設定下列其中一種節點升級策略:

  • 激增升級:在滾動週期內升級節點。您可以控管一次可升級的節點數量,以及升級作業對工作負載的干擾程度。您也可以使用固定容量,為資源受限的環境升級。
  • 藍綠升級:在新的節點設定上驗證工作負載時,現有節點會保持可用狀態,以便復原。
  • 自動調度資源藍綠升級 (預先發布版):工作負載可執行更長時間,同時盡可能降低閒置或未充分利用節點的成本。

GKE 會針對這些特定情境選擇下列策略:

  • 在 Autopilot 叢集中,GKE 會使用超量升級。詳情請參閱 Autopilot 叢集升級文件的「激增升級」一節。
  • 對於 Standard 叢集中的 Autopilot 代管節點集區,GKE 會使用激增升級。您無法選取其他策略或變更設定。
  • 對於使用彈性啟動型 VM 的節點,GKE 會採用短期升級。彈性啟動搭配佇列式佈建,支援彈性啟動預先發布版的新旗標。彈性啟動採用 Dynamic Workload Scheduler。

您可以選取 Standard 節點集區的升級策略,挑選合適的程序,在速度、工作負載中斷、風險控管和最佳成本效益之間達到平衡。如要進一步瞭解適合您環境的節點升級策略,請參閱下列內容:

您可以根據環境需求,為每種策略調整升級設定,將程序最佳化。詳情請參閱「設定所選升級策略」。請確認您有足夠的配額、資源可用性或預留容量,可使用所選策略升級節點。如要進一步瞭解資源注意事項,請參閱「確保節點升級作業有足夠資源」。在資源受限的環境中升級時,請參閱「在資源受限的環境中升級」。

針對使用加速器並執行 AI/機器學習工作負載的節點集區,進行中斷式升級

由於具備加速器 (GPU 或 TPU) 的 Compute Engine 執行個體不支援即時遷移,Compute Engine 必須在主機維護期間關閉並重新建立節點。這項程序可能會中斷 AI/機器學習訓練或推論工作等工作負載。為盡可能減少中斷情形,請同時執行 Compute Engine 主機維護和 GKE 節點升級作業。詳情請參閱「對執行訓練和推論工作負載的節點執行主機維護作業」。

節點數擴充升級

激增升級是預設的升級策略,最適合可處理漸進式變更的應用程式。激增升級會以滾動方式升級節點,順序不固定。您可以選擇要建立多少新的激增節點 (maxSurge),以及一次可以中斷多少現有節點 (maxUnavailable),在速度和中斷之間找到最佳平衡點。

激增升級功能也與叢集自動配置器搭配運作,可防止變更正在升級的節點。

何時應選擇激增升級環境

如果您重視成本最佳化,且工作負載可容許在 60 分鐘內關閉,建議您為節點集區選擇激增升級。

激增升級最適合下列情境:

  • 如果您想盡快完成升級。
  • 如果工作負載較能容忍中斷,且可接受長達 60 分鐘的正常終止時間。
  • 如果想盡量減少建立新節點,藉此控管成本。
  • 在資源受限的環境中執行升級。

GKE 使用節點數擴充升級的時機

如果啟用,GKE 會在發生下列類型的變更時,使用節點數擴充升級:

其他變更 (包括將更新套用至現有節點集區的節點標籤和污點) 則不會使用激增升級,因為這些變更不需要重新建立節點。

瞭解節點數擴充升級設定

使用激增升級設定,在叢集維護期間,為節點集區選擇速度和中斷之間的適當平衡。如要變更 GKE 嘗試一次升級的節點數量,請變更 Standard 節點集區的節點數擴充升級參數。

激增升級行為由 maxSurge 和 maxUnavailable 設定決定,這些設定會決定在滾動週期中,按照所述步驟同時升級的節點數量。可用選項如下:

maxSurge:GKE 會先建立新的激增節點,再移除現有節點

設定 maxSurge,選擇升級期間每個可用區可新增至節點集區的額外激增節點數量上限。使用激增節點,可提高現有節點上執行的工作負載立即遷移至新節點的可能性。maxSurge 欄位的預設值為 1。如要升級單一節點,GKE 會執行下列步驟:

  1. 佈建新節點。
  2. 等待新節點準備就緒。
  3. 隔離現有節點。
  4. 排除現有節點,並遵循 PodDisruptionBudget 和 GracefulTerminationPeriod 設定,最長可達一小時。一小時後,系統會強制剔除所有剩餘的 Pod,以便繼續升級。
  5. 刪除現有節點。

如要讓 GKE 建立激增節點,專案必須有足夠資源,可暫時建立額外節點。如果沒有額外容量,且 maxUnavailable 欄位設為零,則 GKE 會等到資源可用時,才會開始升級節點。詳情請參閱「激增升級資源」。

maxUnavailable:GKE 將現有節點設為無法使用,以便重新建立

將 maxUnavailable 設為大於零的值,即可使用固定容量進行升級。maxUnavailable 欄位會指定各可用區在升級期間,同時無法使用的節點數量上限。預設值為零。

如要升級單一節點,GKE 會執行下列步驟:

  1. 隔離現有節點。
    • 系統會套用 PodDisruptionBudget 和 GracefulTerminationPeriod 設定最多一小時。一小時後,系統會強制淘汰所有剩餘的 Pod,以便繼續升級。
    • 如果沒有其他節點有容量,則在現有節點上執行的工作負載可能需要等待現有節點升級。等待期間,Pod 會處於待處理狀態。
  2. 使用新設定重新建立現有節點。
  3. 等待現有節點準備就緒。
  4. 取消封鎖現有的升級節點。

在資源受限的環境中執行版本升級或節點集區更新時,如要保留現有容量,請將 maxUnavailable 欄位設為大於零的值。例如,您可以設定 maxSurge=0 和 maxUnavailable=1。如需 GPU 和 TPU 的其他指引,請參閱「在資源受限的環境中升級」。

在 CPU 節點集區中,如果 maxUnavailable 欄位設為大於零的值,GKE 會重複使用相同的 Compute Engine 執行個體,進行版本升級和大多數節點集區設定更新。重複使用執行個體會保留節點現有的容量,包括節點 OS 映像檔、開機磁碟大小或類型、kubelet 和 sysctl 更新。

如果是其他節點集區更新和升級作業,當 GKE 使用 maxUnavailable 重新建立現有節點時,如果容量並非來自預留項目,GKE 會暫時釋出節點容量。也就是說,如果容量有限,您可能會失去現有容量。

舉例來說,在下列情況下,GKE 不會重複使用現有的 Compute Engine 執行個體,而是會刪除並重新建立執行個體:

  • 變更下列 Compute Engine 執行個體設定的節點集區設定更新:

    • 硬體型態或本機 SSD 儲存空間,例如機型或本機 SSD。
    • 配置或租用,例如預留項目相依性或配置政策。
    • 網路或安全性,例如 gVNIC、GKE Sandbox 或 Shielded GKE 節點。
  • 升級或更新含有 GPU 或 TPU 的節點集區。

  • 升級或更新使用 Spot VM 或先占 VM 的節點集區。

  • 正在復原未完成的激增升級作業。

  • 節點自動修復。

maxSurge 和 maxUnavailable 設定的使用範例

舉例來說,GKE 叢集有一個單一可用區節點集區,其中包含 30 個節點,並採用下列激增升級設定:maxSurge=2;maxUnavailable=1。

使用這個節點集區進行激增升級時,GKE 會在滾動週期內建立兩個新的激增節點 (maxSurge=2),並立即關閉一個現有節點 (maxUnavailable=1)。兩個激增節點準備就緒後,GKE 會再關閉兩個現有節點,一次最多中斷三個現有節點,同時將節點集區維持在 29 到 32 個節點之間。

如果升級或更新支援重複使用節點的現有容量,GKE 會重複使用現有執行個體,更新 maxUnavailable=1 預算的節點。如果沒有額外容量可建立兩個激增節點,GKE 仍會繼續升級或更新現有節點,但一次只會處理一個。

節點數擴充升級設定的注意事項

設定激增升級前,請先考量下列資訊:

  • 透過激增升級建立的節點,會受到 Google Cloud資源配額、資源可用性和預留容量的限制,適用於具有特定預留相似性的節點集區。如果環境資源有限,請參閱「在資源有限的環境中升級」。
  • GKE 同時升級的節點數量為 maxSurge 和 maxUnavailable 的總和。Autopilot 模式下,同時升級的節點數量上限為 20 個,Standard 模式則為 100 個。激增升級功能也適用於叢集自動配置器,可防止變更正在升級的節點。
  • GKE 會一次升級一個可用區的多可用區節點集區。激增升級參數僅適用於可用區中的節點數量。可同時升級的節點數量上限不會高於 maxSurge 加上 maxUnavailable 的總和,也不會高於可用區中的節點數量。
  • 如果節點集區使用 Spot VM,GKE 會建立具有 Spot VM 的激增節點,但不會等待 Spot VM 準備就緒,而是直接封鎖並排空現有節點。詳情請參閱「使用 Spot VM 升級標準節點集區」。

調整激增升級設定,在速度和中斷之間取得平衡

下表說明四種不同的升級設定檔,協助您瞭解不同的設定:

說明 設定 典型應用情境
平衡 (預設),速度較慢,但最不具干擾性 maxSurge=1 maxUnavailable=0 大部分的工作負載
平衡、資源受限的環境,無激增資源 maxSurge=0 maxUnavailable=1 資源受限的節點集區
速度快、無額外資源、中斷程度最高 maxSurge=0 maxUnavailable=100 工作必須執行完畢後,才能建立大型節點集區
快速、突增資源最多,且干擾較少 maxSurge=100 maxUnavailable=0 大型節點集區

平衡 (預設)

如要使用激增升級功能,最簡單的方法是採用預設設定 maxSurge=1;maxUnavailable=0.。這項設定會讓升級作業緩慢進行,一次只新增一個激增節點,也就是一次只升級一個節點。Pod 可以在新的激增節點上立即重新啟動。這項設定只需要資源暫時建立一個新節點。

快速且無尖峰資源

如果節點集區較大,且工作負載不受中斷影響 (例如已執行至完成的批次工作),請使用下列設定,在不使用任何額外資源的情況下,盡可能提高速度:maxSurge=0;maxUnavailable=100。這項設定不會啟動額外的激增節點,並允許同時升級 100 個節點。

快速且干擾較少

如果工作負載容易受到中斷影響,且您已設定 PodDisruptionBudgets (PDB),且未使用與平行節點排空不相容的 externalTrafficPolicy: Local,則可使用 maxSurge=100;maxUnavailable=0 加快升級速度。這項設定會同時升級 100 個節點,而 PDB 會限制特定時間可排空的 Pod 數量。雖然 PDB 的設定可能不盡相同,但如果您為在節點集區中執行的一或多個工作負載建立 maxUnavailable=1 的 PDB,則一次只能撤除這些工作負載的一個 Pod,進而限制整個升級作業的平行處理。這項設定需要資源暫時建立 100 個新節點。

資源受限的平衡環境

如果無法使用任何額外資源,可以使用 maxSurge=0;maxUnavailable=1 一次重新建立一個節點。

控管進行中的激增升級

在激增升級期間,您可以使用指令控管升級作業。如要進一步控管升級程序,建議使用藍綠升級。

取消 (暫停) 激增升級

在升級過程中,您隨時可以取消進行中的激增升級。取消作業會暫停升級,GKE 將停止升級新節點,但不會自動復原已升級節點的升級作業。取消升級後,您可以繼續或復原。

取消升級時,GKE 會對每個節點執行下列操作:

  • 已開始升級的節點會完成升級。
  • 尚未開始升級的節點不會升級。
  • 已成功完成升級的節點不會受到影響,也不會復原。

這表示節點集區最終可能會處於節點執行兩個不同版本的狀態。如果節點集區已啟用自動升級功能,則可再次排定自動升級,升級節點集區中執行舊版本的其餘節點。

瞭解如何取消節點集區升級作業。

繼續節點數擴充升級

如果節點集區升級作業遭到取消,且部分節點集區尚未升級,您可以繼續升級,完成節點集區的升級程序。這項操作會升級原始作業中未升級的任何剩餘節點。瞭解如何繼續升級節點集區。

復原節點數擴充升級

如果節點集區僅部分升級,您可以復原節點集區,將其還原至先前的狀態。節點集區升級成功後,即無法復原。尚未開始升級的節點則不受影響。瞭解如何復原節點集區升級作業。

如要在升級完成後將節點集區降級回先前的版本,請參閱「降級節點集區」。

藍綠升級

藍綠升級是預設激增升級策略以外的替代升級策略。採用藍綠升級時,GKE 會先使用新的節點設定建立一組新的節點資源 (「綠色」節點),然後才從原始資源 (「藍色」節點) 移除任何工作負載。如有需要,GKE 會保留「藍色」資源,以便在浸泡時間結束前復原工作負載。您可以根據環境需求,調整升級速度和浸泡時間。

這項策略可讓您進一步控管升級程序。如有需要,您可以復原進行中的升級作業,因為升級期間會保留原始環境。不過,這項升級策略也需要更多資源。由於原始環境會複製,因此節點集區在升級期間會使用兩倍的資源。

何時應為環境選擇藍綠升級

如果您的正式環境工作負載具備高可用性,且必須在工作負載無法承受升級時快速復原,而且您能接受暫時增加費用,建議您為節點集區選擇藍綠升級。

藍綠升級最適合下列情境:

  • 如果您想漸進式推出,且最重視風險控管,則需要超過 60 分鐘的正常終止時間。
  • 如果工作負載較不容許中斷,請選擇這個選項。
  • 如果可以接受因資源用量增加而暫時提高費用,則可使用這項功能。

如果藍綠升級作業超過維護期間,則會繼續執行,直到完成為止。詳情請參閱「節點升級策略如何與維護期間搭配運作」。

GKE 採用藍綠升級時

對於 GKE 節點,有不同類型的設定變更需要重新建立節點。啟用後,發生下列類型的變更時,GKE 會使用藍綠升級:

如果其他更新需要重新建立節點,則會使用節點數擴充升級功能。詳情請參閱「何時使用激增升級」。

藍綠升級階段

您可以透過下列方式,自訂及控管藍綠升級程序:

本節說明升級程序的各個階段。您可以使用升級設定調整階段的運作方式,並使用指令控管升級程序。

階段 1:建立綠色集區

在這個階段,系統會為目標集區下的每個可用區,建立一組新的代管執行個體群組 (MIG),稱為「綠色」集區,並採用新的節點設定 (新版本或映像檔類型)。

在開始佈建新的綠色資源之前,系統會檢查Quota。

在這個階段,原始 MIG (稱為藍色集區) 叢集自動配置器會停止擴充或縮減。綠色集區在這個階段只能向上擴充。

在這個階段,您可以視需要取消升級。取消藍綠升級時,升級作業會在目前階段暫停。取消後,您可以繼續或復原。在這個階段,復原會刪除綠色集區。

第 2 階段:隔離藍色集區

在這個階段,藍色集區 (現有 MIG) 中的所有原始節點都會遭到隔離 (標示為無法指派)。現有工作負載會繼續執行,但不會在現有節點上排定新的工作負載。

如有需要,您可以在這個階段取消升級。取消藍綠升級時,升級作業會在目前階段暫停。取消後,您可以繼續或復原。在這個階段復原,會取消藍色集區的 cordon 狀態,並刪除綠色集區。

第 3 階段:清空藍色集區

在這個階段,藍色集區 (現有 MIG) 中的原始節點會分批耗盡。Kubernetes 清空節點時,會向在該節點上執行的所有 Pod 傳送淘汰要求。系統會重新排定 Pod。如果 Pod 違反 PodDisruptionBudget,或在排空期間有較長的 terminationGracePeriodSeconds,則會在節點刪除時,於「刪除藍色集區」階段刪除。您可以使用 BATCH_SOAK_DURATION 和 NODE_POOL_SOAK_DURATION (請參閱此處和下一節的說明),延長 Pod 刪除前的時間。

您可以使用下列任一設定控制批次大小:

  • BATCH_NODE_COUNT:批次作業中要排除的節點數量絕對值。
  • BATCH_PERCENT:批次作業中要排除的節點百分比,以 0 到 1 (含) 之間的小數表示。如果百分比不是整數,GKE 會無條件捨去至最接近的節點百分比,最小值為 1 個節點。

如果其中一項設定設為零,GKE 會略過這個階段,並繼續進行浸泡節點集區階段。

此外,您也可以使用 BATCH_SOAK_DURATION 控制每個批次耗盡浸泡的時間。這個時間長度以秒為單位,預設值為零秒。

在這個階段,您仍可視需要取消升級。取消藍綠升級時,升級作業會在目前階段暫停。取消後,您可以繼續或復原。如果前一批節點已排空,而您繼續升級,系統可能會立即處理下一批節點,而不遵循該批節點的 BATCH_SOAK_DURATION。在這個階段復原會停止排空藍色集區,並取消封鎖。接著,工作負載可以重新排定在藍色集區 (不保證),綠色集區則會清空並刪除。

階段 4:浸泡節點集區

在這個階段,您可以在藍色集區節點排空後,驗證工作負載的健康狀態。

浸泡時間是以 NODE_POOL_SOAK_DURATION 設定,單位為秒。預設值為一小時 (3600 秒)。如果總浸泡時間達到 7 天 (604,800 秒),系統會立即開始刪除藍色集區階段。

總浸泡時間長度為 NODE_POOL_SOAK_DURATION 加上 BATCH_SOAK_DURATION 乘以批次數,批次數由 BATCH_NODE_COUNT 或 BATCH_PERCENT 決定。

在這個階段,您可以完成升級,並略過剩餘的浸泡時間。系統會立即開始移除藍色集區節點。

如有需要,您仍可取消升級。取消藍綠升級時,升級作業會在目前階段暫停。取消後,您可以繼續或復原。

在這個階段,叢集自動配置器可以正常擴充或縮減綠色集區。

階段 5:刪除藍色集區

浸泡時間過後,藍色集區節點會從目標集區中移除。這個階段無法暫停。此外,這個階段不會使用淘汰機制,而是嘗試刪除 Pod。與剔除不同,刪除作業不會遵循 PDB,而是強制刪除 Pod。刪除作業會將 Pod 的 terminationGracePeriodSeconds 限制在 60 分鐘內。最後一次嘗試刪除剩餘的 Pod 後,系統會從節點集區中刪除藍色集區節點。

這個階段完成後,節點集區中只會有採用更新設定 (版本或映像檔類型) 的新節點。

叢集自動配置器如何與藍綠升級搭配運作

在藍綠升級階段,原始的「藍色」集區不會向上或向下擴充。建立新的「綠色」集區後,只能在浸潤節點集區階段之前擴充,在這個階段則可擴充或縮減。如果升級作業復原,且需要額外容量,原始的「藍色」集區可能會在這個程序中擴充。

控管進行中的藍綠升級

採用藍綠升級時,您可以在升級期間使用指令控管升級作業。這可讓您高度控管程序,例如在您判斷工作負載需要復原至舊節點設定時。

取消 (暫停) 藍綠升級

取消藍綠升級時,升級作業會在目前階段暫停。除了刪除藍色集區階段外,您可以在所有階段使用這個指令。取消後,節點集區會根據發出要求的階段,暫停在中間狀態。

瞭解如何取消節點集區升級。

取消升級後,您可以選擇繼續或復原。

繼續藍綠升級

如果確定可以繼續升級,請繼續執行。

如果繼續,升級程序會從暫停的中間階段繼續。如要瞭解如何繼續升級節點集區,請參閱「繼續升級節點集區」。

復原藍綠升級

如果您判定不應繼續升級,並想將節點集區恢復至原始狀態,可以復原。如要瞭解如何復原節點集區升級作業,請參閱「復原節點集區升級作業」。

復原工作流程會反向執行,將節點集區還原至原始狀態。藍色集區會取消封鎖,以便重新排定工作負載。在這個過程中,叢集自動配置器可能會視需要擴充藍色集區。綠色集區會清空並刪除。

如要在升級完成後將節點集區降級回先前的版本,請參閱「降級節點集區」。

完成藍綠升級

在浸泡階段,如果您確定工作負載不需要在新節點設定上進一步驗證,且可以移除舊節點,則可完成升級。完成升級後,系統會略過浸泡階段的其餘部分,並進入刪除藍色集區階段。

如要進一步瞭解如何使用 complete 指令,請參閱「完成藍綠節點集區升級」。

自動調度資源的藍綠升級

自動調度資源的藍綠升級是另一種升級策略,可盡量延長不容許中斷的工作負載遭到淘汰前的時間,同時盡可能降低成本。這項策略衍生自標準藍綠升級。不過,如果採用自動調度資源的藍綠升級,GKE 不會排空工作負載標示為不安全、無法在節點隔離後最多七天內淘汰的節點。

以下各節將說明何時應選擇這項策略、這項策略實作藍綠升級的方式與標準藍綠升級有何不同,以及使用這項策略時應遵循的最佳做法。

如要使用自動調度資源的藍綠升級,請參閱「設定自動調度資源的藍綠升級」。

何時應為環境選擇自動調度資源的藍綠升級

如果工作負載在遭到淘汰前需要最長的時間,但不需要盡快重新排程,建議您為節點集區選擇自動調度資源的藍綠升級。

如果符合下列情況,自動調度資源的藍綠升級功能就很適合您:

  • 您有必須完整執行的批次工作負載。
  • 您希望盡可能減少閒置或未充分利用的節點數量,相較於標準藍綠升級,盡可能降低成本。
  • 您不需要 Pod 立即重新排程,或立即復原至先前的節點設定。

如果需要盡可能縮短將工作負載重新排程至新節點的時間,並能復原至先前的節點設定,請選擇標準藍綠升級。

自動調度資源的藍綠升級作業與標準藍綠升級作業一樣,如果超過維護期間,會繼續執行直到完成。詳情請參閱「節點升級策略如何與維護期間搭配運作」。

自動調度資源藍綠升級的階段

GKE 使用自動調度資源的藍綠升級機制升級節點集區時,階段與標準藍綠升級不同。如要瞭解標準升級策略的階段,請參閱「藍綠升級階段」。

啟用自動調度資源的藍綠升級政策後,GKE 會在作業期間執行下列步驟:

  1. GKE 會建立綠色集區。不過,綠色集區一開始沒有節點。當 GKE 在後續階段從藍色集區中剔除 Pod 時,叢集自動配置器會擴充綠色集區,以執行這些 Pod。
  2. GKE 會封鎖藍色集區。
  3. GKE 會等待一段時間,您可以設定為零到七天 (預設為三天)。在這段期間,GKE 會執行下列動作:

    • 叢集自動配置器會縮減未充分運用的藍色集區節點,除非這些節點有執行 "cluster-autoscaler.kubernetes.io/safe-to-evict": "false" 註解的 Pod。這項註解可確保需要最長時間停用的工作負載能繼續執行。如果叢集自動配置器未主動縮減未充分運用的節點,請參閱「排解叢集自動配置器未縮減的問題」和「考量 Pod 排程和中斷情形」。
    • 縮減藍色集區時,GKE 會忽略 --min-nodes 和 --total-min-nodes 參數的自動調度資源限制。如果所有藍色集區節點都在這段時間結束前縮減,GKE 會立即進入刪除藍色集區的階段。
  4. GKE 會排空藍色集區,一次最多平行排空 20 個剩餘的藍色集區節點。GKE 會遵循 PodDisruptionBudget 設定最多 1 小時,並遵循 terminationGracePeriodSeconds 設定最多 24 小時。

  5. GKE 會略過浸潤節點集區階段。

  6. GKE 會刪除藍色集區。

自動調度資源藍綠升級的最佳做法

下列各節提供叢集、節點集區和 Pod 的最佳做法,可盡量減少自動調度資源藍綠升級期間的工作負載中斷情形。

叢集與節點集區設定

  • GKE 在擴充綠色集區時,會遵守自動調度資源限制。將 --max-nodes 或 --total-max-nodes 參數設得夠高,這樣當 GKE 將工作負載從藍色集區重新排程至綠色集區時,叢集自動配置器就能擴充綠色集區。縮減藍色集區時,GKE 不會遵循 --min-nodes 或 --total-min-nodes 參數。
  • 如果您希望 GKE 更積極縮減藍色集區中未充分利用的節點,請設定 optimize-utilization 自動調度資源設定檔。詳情請參閱「自動調度資源設定檔」。
  • 請勿更新以自動佈建節點建立的節點集區,改用自動調度資源的藍綠升級。此外,請勿將叢集設為針對新的自動佈建節點集區,使用自動調度資源的藍綠升級。

Pod 設定

  • 為確保 Pod 在排空藍色集區前的暫停期間不會遭到淘汰,請在這些 Pod 中加入 "cluster-autoscaler.kubernetes.io/safe-to-evict": "false" 註解。如果 Pod 的節點使用率偏低,這項註解可防止叢集自動配置器撤除 Pod。
  • 與標準藍綠升級一樣,為確保從藍色集區節點中剔除的 Pod 只會重新排定至綠色集區中的節點,請在工作負載中為 cloud.google.com/gke-nodepool:NODE_POOL_NAME 標籤新增 nodeSelector。如果您省略這個標籤,且叢集中有其他節點集區,則遭淘汰的 Pod 可能會排定至這些其他節點集區中的節點。

自動調度資源藍綠升級的限制

  • 您可以取消和繼續自動調度資源的藍綠升級作業,但無法復原已取消的升級作業。
  • 藍色集區遭到封鎖並排空後,如果叢集自動配置器因配額和限制或資源可用性而無法擴充綠色集區,Pod 可能會暫時無法排程,因為綠色集區建立時沒有節點。
  • 只有在叢集控制層執行 1.34.0-gke.2201000 以上版本,且已啟用叢集自動配置器時,才能使用自動調度資源的藍綠升級功能升級節點集區。

GKE 使用自動調度資源的藍綠升級時

GKE 會使用自動調度資源的藍綠升級,進行與標準藍綠升級相同的變更。如要進一步瞭解 GKE 採用標準藍綠升級策略的變更類型,請參閱「GKE 採用藍綠升級的時機」。

叢集自動配置器如何與自動調度資源的藍綠升級搭配運作

如要設定自動調度資源藍綠升級,您也必須設定叢集自動配置器。

如果您使用自動調度資源的藍綠升級,叢集自動配置器會執行下列操作:

  • 在 GKE 等待排空藍色集區的階段,藍色集區不會向上擴充,只有在節點未充分利用時,叢集自動配置器才會縮減節點。叢集自動配置器可以將藍色集區縮減為零,而不考慮 --min-nodes 或 --total-min-nodes 參數。在所有其他階段,叢集自動配置器不會擴充或縮減藍色集區。
  • 叢集自動配置器會依據升級策略各階段的需求,將綠色集區從零個節點向上擴充,或縮減至 --min-nodes 設定。

短期升級 (僅限彈性啟動和佇列式佈建)

短期升級是節點升級策略,僅適用於使用彈性啟動型 VM 的節點,以及使用佇列式佈建的節點 (1.32.2-gke.1652000 以上版本),兩者皆採用 Dynamic Workload Scheduler。如要進一步瞭解使用短期升級的節點,請參閱「關於彈性啟動佈建模式的 GPU、TPU 和 H4D 消耗量」。

GKE 會對 Standard 節點集區和 Autopilot 叢集中的節點群組,採用短期升級策略。

採用這項策略時,GKE 會升級這些執行階段有限的節點,且不會中斷現有工作負載。這項策略的運作方式如下:

  1. 現有節點會持續運作,直到發生先占情形。
  2. 新節點會使用新的節點設定。
  3. 在最多七天的時間內,節點會從執行現有設定轉換為執行新設定。

GKE 會自動為使用彈性啟動型 VM 的節點設定這項策略。這項策略沒有任何設定。

GKE 使用短期升級的時機

GKE 會自動設定使用彈性啟動型 VM 的節點,套用短期升級。如果節點僅使用佇列式佈建,但在 GKE 1.32.2-gke.1652000 以上版本的叢集上運作,也會使用短期升級。

對於使用短期升級的 Autopilot 叢集中的標準節點集區和節點群組,GKE 會在原本會使用激增升級的情況下使用這項策略。除了節點升級 (版本變更) 之外,GKE 也會使用短期升級來進行其他類型的節點更新,類似於節點數擴充升級。詳情請參閱「何時會使用激增升級」。

後續步驟