本文說明如何手動要求升級或降級 Google Kubernetes Engine (GKE) 叢集的控制層或節點。GKE 會自動升級控制層和節點的版本,確保叢集能取得新功能、修正錯誤和安全性修補程式。不過,如本文件所述,您也可以手動執行這些升級作業。
如要進一步瞭解自動和手動叢集升級的運作方式,請參閱「關於 GKE 叢集升級」。您也可以設定維護期間和排除項目,控管何時可以或不可以執行自動升級。
您可以按照下列步驟手動升級版本:
如要升級叢集,GKE 會分別更新控制層和節點執行的版本。叢集會升級至較新的子版本 (例如從 1.33 升級至 1.34) 或較新的修補程式版本 (例如從 1.33.4-gke.1350000 升級至 1.33.5-gke.1080000)。叢集的控制層和節點不一定隨時都要執行相同的版本。如要進一步瞭解版本,請參閱「GKE 版本管理和支援」。
如要進一步瞭解叢集升級作業的運作方式 (包括自動和手動升級),請參閱「關於 GKE 叢集升級」。
GKE 會定期發布新版本,您也可以透過叢集通知,接收各個特定叢集可用的新版本通知。如要查看叢集的特定自動升級目標,請取得叢集升級作業的相關資訊。
如要進一步瞭解可用版本,請參閱「版本管理」。如要進一步瞭解叢集,請參閱「叢集架構」。如需升級叢集的指南,請參閱「升級叢集的最佳做法」。
事前準備
開始之前,請確認您已執行下列工作:
- 啟用 Google Kubernetes Engine API。 啟用 Google Kubernetes Engine API
- 如要使用 Google Cloud CLI 執行這項工作,請安裝並初始化 gcloud CLI。如果您先前已安裝 gcloud CLI,請執行
gcloud components update指令,取得最新版本。較舊的 gcloud CLI 版本可能不支援執行本文件中的指令。
- 確認您已有 Autopilot 或 Standard 叢集。如要建立新叢集,請參閱「建立 Autopilot 叢集」。
關於升級
系統會分別將叢集的控制層和節點升級。叢集的控制層和節點不一定隨時都要執行相同的版本。
限制
Alpha 版叢集無法升級。
支援的版本
版本資訊會宣布新版本推出的時間,以及舊版本停用的時間。您隨時可以使用下列指令,列出所有支援的叢集和節點版本:
gcloud container get-server-config \
--location=CONTROL_PLANE_LOCATION
將 CONTROL_PLANE_LOCATION 替換為控制層的位置 (區域或可用區),例如 us-central1 或 us-central1-a。
如果叢集已註冊至發布管道,您可以升級至其他發布管道中的修補程式版本,但該版本的子版本必須與控制層相同。舉例來說,您可以將叢集從一般版的 1.33.4-gke.1350000 升級至搶鮮版的 1.33.5-gke.1162000。詳情請參閱「執行較新版本中的修補程式版本」。所有 Autopilot 叢集都會在發布管道註冊。
關於降級
在某些情況下,您可以將叢集降級至舊版本:
- 控制層修補程式降級:如果叢集控制層升級失敗,您可以將控制層降級至先前的修補程式版本,前提是該版本是同一子版本中的先前修補程式版本。舉例來說,如果叢集的控制層執行 GKE 1.33.5-gke.1080000,您可以將控制層降級至 1.33.4-gke.1350000 (如果該版本仍可用)。
- 在兩步驟控制層子版本升級期間復原:只有在兩步驟控制層子版本升級 (具備復原安全性) 的二進位檔升級完成後,才能將 Kubernetes 叢集控制層降級至先前的子版本。如果 GKE 已完成兩步驟升級的第二個步驟 (模擬版本升級),就無法復原至先前的子版本。
- 節點集區復原:您可以將部分完成的節點集區升級作業,復原至先前的修補程式版本或子版本。
- 節點集區降級:您可以將節點集區降級至先前的修補程式版本或子版本,例如撤銷已完成的節點集區升級,以免工作負載發生問題。請確認您不會將節點降級至比叢集控制層版本低超過兩個子版本的版本。
除了上述情況外,您無法降級叢集。您無法將叢集控制層降級至先前的子版本,包括一步控制層子版本升級之後。舉例來說,如果控制層執行 GKE 1.34 版,就無法降級至 1.33 版。如果嘗試這麼做,系統會顯示下列錯誤訊息:
ERROR: (gcloud.container.clusters.upgrade) ResponseError: code=400,
message=Master cannot be upgraded to "1.33.4-gke.1350000": specified version is
not newer than the current version.
當新的子版本推出,但尚未成為叢集的自動升級目標時,建議您在測試環境中,使用叢集測試及驗證子版本升級。如果叢集可能受到下一個子版本重大變更的影響,例如淘汰的 API 或功能遭到移除,則特別建議您這麼做。如要進一步瞭解版本可用性,請參閱「管道提供哪些版本」。
升級叢集的控制層
GKE 會自動升級叢集的控制層和節點。如要管理 GKE 升級叢集的方式,請參閱「控管叢集升級」。
如果是 Autopilot 叢集和區域性 Standard 叢集,控制層在升級期間仍可使用。不過,當您啟動可用區叢集的控制層升級作業時,在控制層重新可供存取前,您有幾分鐘的時間無法修改叢集設定。控制層升級期間,執行工作負載的 worker 節點仍可使用,因此控制層升級不會影響 worker 節點的可用性。
管理叢集版本時,您可以在新版本推出後,隨時使用下列任一方法手動升級:
- 一步升級:盡快將控制層直接升級至較新的子版本或修補程式版本。如果您已在新子版本上驗證叢集和工作負載效能,則可採用這種做法。
- 兩步驟控制層子版本升級,可安全復原:透過兩步驟程序,將控制層升級至較新的子版本,並在浸泡時間內驗證新的子版本,必要時可復原。這個升級方法僅適用於升級至 1.33 以上版本,以及控制層子版本升級。
手動升級控制層 (一步到位)
您可以使用 Google Cloud 控制台或 Google Cloud CLI,手動升級 Autopilot 或 Standard 控制層。
控制台
如要手動更新叢集控制層,請按照下列步驟操作:
前往 Google Cloud 控制台的「Google Kubernetes Engine」頁面。
按一下叢集名稱。
在「Cluster basics」(叢集基本資訊) 下方,按一下「Version」(版本) 旁邊的 edit「Upgrade Available」(可升級)。
選取新版本,然後按一下「Save Changes」(儲存變更)。
gcloud
如要查看叢集控制層的可用版本,請執行下列指令:
gcloud container get-server-config \
--location=CONTROL_PLANE_LOCATION
如要升級至預設叢集版本,請執行下列指令:
gcloud container clusters upgrade CLUSTER_NAME \
--master \
--location=CONTROL_PLANE_LOCATION
如要升級至非預設的特定版本,請指定 --cluster-version 旗標,如下列指令所示:
gcloud container clusters upgrade CLUSTER_NAME \
--master \
--location=CONTROL_PLANE_LOCATION \
--cluster-version=VERSION
將 VERSION 替換為要升級叢集的版本。您可以使用特定版本 (例如 1.32.9-gke.1072000),也可以使用版本別名 (例如 latest)。詳情請參閱「指定叢集版本」。
升級 Standard 控制層後,您可以升級節點。根據預設,使用 Google Cloud 控制台建立的標準節點會啟用自動升級功能,因此會自動執行這項操作。Autopilot 一律會自動升級節點。
控制層子版本升級作業分為兩步驟,可安全復原
您可以透過兩步驟升級,手動將 GKE Autopilot 或 Standard 叢集的控制層升級至下一個子版本。如果叢集未註冊推出作業序列,GKE 在自動將控制層次要版本升級至 1.33 以上版本時,也會執行這項兩步驟程序。
在這個兩步驟程序中,您可以測試叢集在新子版本 (稱為「二進位檔版本」) 的效能,同時使用前一個子版本 (稱為「模擬版本」) 的功能和 API。在這段觀察期內,控制層會以「模擬模式」運作,您可以視需要復原至先前的子版本。如要進一步瞭解 Kubernetes 如何允許這類升級,請參閱「Kubernetes 控制層元件的相容性版本」。
兩步驟升級的運作方式如下:
二進位檔升級:GKE 會將控制層二進位檔升級至新的子版本,但會模擬先前的子版本:
- 模擬舊版:叢集會執行新的二進位檔,但會繼續模擬舊版次要版本 API 的行為。舉例來說,您可以呼叫已在新子版本中移除,但仍可在前一個子版本中使用的 API。
- 測試新二進位檔:您可以測試新二進位檔是否有迴歸、修正和效能變更,然後再開放使用新子版本提供的 Kubernetes 功能。監控應用程式指標、記錄、Pod 狀態、錯誤率和延遲時間。
- 觀察變更:等待 6 小時至 7 天 (自動升級則為 24 小時),以便測試及監控。這段時間過後,GKE 會執行模擬版本升級。
- 復原或完成升級:如有需要,您可以復原升級。或者,如果您對新的子版本有信心,不想等待浸泡時間完成,並準備好開始使用新功能和 API 變更,則可以進入下一個階段。
模擬版本升級:GKE 會更新模擬版本,以符合新的二進位檔版本。
- 啟用新功能:啟用新子版本的所有新功能和 API 變更。
- 無法復原:執行這個步驟後,就無法復原至原始子版本。升級完成。
這項作業有下列限制:
- 您無法啟動一步到位的控制層子版本升級作業。
- 您無法建立或升級節點至高於模擬版本的版本。
- GKE 不會對控制層或節點執行任何類型的自動升級。
GKE 透過這個兩步驟程序自動執行控制層子版本升級時,只有在沒有維護期間或排除項目阻止升級時,才會啟動二進位檔升級和模擬版本升級。
開始兩步驟升級
執行下列指令,啟動兩步驟升級:
gcloud beta container clusters upgrade CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--cluster-version VERSION \
--control-plane-soak-duration SOAK_DURATION \
--master
更改下列內容:
CLUSTER_NAME:叢集名稱。CONTROL_PLANE_LOCATION:控制層的位置 (區域或可用區),例如us-central1或us-central1-a。VERSION:下一個子版本的特定修補程式。舉例來說,如果叢集執行 1.33,1.34.1-gke.1829001。SOAK_DURATION:在復原安全階段 的等待時間。您可以按照gcloud topic datetimes參考資料中說明的絕對時間長度格式,將這個值設為最短 6 小時,最長 7 天。舉例來說,如要將浸泡時間設為兩天一小時,請使用2d1h。
在兩步驟升級期間測試新的二進位檔
在浸泡時間內,請確認叢集 (控制層執行新的二進位檔) 和工作負載是否正常運作。視您能否驗證工作負載與新二進位檔相容,您可以採取下列其中一項步驟:
- 復原:如果發現工作負載在新二進位檔上執行時發生問題,可以復原至先前的子版本。
- 完成升級:確認工作負載在新二進位檔上順利執行後,如要開始使用新版本的功能和 API,即可完成升級。
- 等待:您也可以等待浸泡時間結束。接著,GKE 會執行模擬版本升級,改用新子版本的功能和 API。
觀察升級進度
如要取得升級作業進度的相關資訊,請使用下列其中一項資源:
- 如要查看升級作業的詳細資料,請按照操作說明取得叢集層級的升級資訊。
- 使用叢集通知。二進位檔升級開始時,GKE 會傳送
UpgradeEvent通知;二進位檔升級完成且浸泡時間開始時,GKE 則會傳送升級作業已完成類型的UpgradeInfoEvent。 - 如要查看叢集的詳細資料 (包括升級進度),請執行
gcloud container clusters describe指令。 - 在 Cloud Logging 查看相關記錄。
在二進位檔版本升級後,復原兩步驟升級
在兩步驟升級期間,二進位檔版本升級後會進入觀察期。如有需要,您可以在這段期間復原至先前的子版本。GKE 執行模擬版本升級後,您就無法復原。
復原作業完成後,控制層會執行先前的子版本,就像您啟動兩步驟升級前一樣。
如要復原,請按照下列步驟操作 (如果可以的話):
請執行 gcloud CLI 指令,確認您仍可將控制層復原至先前的子版本。根據指令輸出內容,判斷是否可以復原:
- 如果輸出內容中有
rollbackSafeUpgradeStatus區段,即可復原。在該部分中,儲存previousVersion,以便在下一個步驟中用於VERSION變數。請前往下一個步驟。 - 如果沒有
rollbackSafeUpgradeStatus區段,就無法復原。這表示 GKE 已執行模擬版本升級。無法執行下一個步驟。
- 如果輸出內容中有
如果上一步判定可以復原,請復原至先前版本:
gcloud container clusters upgrade CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --cluster-version VERSION --masterVERSION必須與先前使用的修補程式版本完全相同。您在上一個步驟中儲存了這個版本。
執行這項指令並降級至先前的版本後,您可以判斷工作負載無法在新二進位檔上正常執行的原因。如有需要,您可以與 Cloud Customer Care 聯絡,並提供相關記錄、錯誤訊息,以及您遇到的驗證失敗詳細資料。詳情請參閱「取得支援」。
解決問題後,您可以再次手動升級至新的子版本。
完成兩步驟升級
在浸泡期間,如果您已確認工作負載可使用新的二進位檔成功執行,則可略過剩餘的浸泡時間:
gcloud beta container clusters complete-control-plane-upgrade CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION
執行這個指令後,就無法再降級至先前的子版本。
將控制層降級至先前的修補程式版本
- 降級前,請設定維護作業排除項目,以免 GKE 在降級後自動升級控制層。
將叢集控制層降級至先前的修補程式版本:
gcloud container clusters upgrade CLUSTER_NAME \ --master \ --location=CONTROL_PLANE_LOCATION \ --cluster-version=VERSION
停用叢集自動升級功能
基礎架構安全是 GKE 的首要考量,因此控制層會定期升級,且無法停用。不過,您可以套用維護期間和排除項目,控管 GKE 升級控制層和節點的時間。
查看最近的控制層升級記錄
如要查看叢集最近自動升級記錄的快照,請取得叢集升級的相關資訊。
或者,您也可以列出最近的操作,查看控制層的升級時間:
gcloud container operations list --filter="TYPE:UPGRADE_MASTER AND TARGET:CLUSTER_NAME" \
--location=CONTROL_PLANE_LOCATION
升級節點集區
根據預設,Standard 節點集區會啟用自動升級功能,而 Standard 叢集中所有 Autopilot 代管的節點集區,一律會啟用自動升級功能。節點自動升級功能可確保叢集的控制層和節點版本保持同步,並符合 Kubernetes 版本偏差政策,確保控制層與最多比控制層早兩個子版本的節點相容。舉例來說,Kubernetes 1.34 控制層與 Kubernetes 1.32 節點相容。根據預設,GKE 一次只會自動升級一個節點集區。如要同時自動升級多個節點集區,可以設定並行節點集區升級 (預先發布版)。
請勿停用標準節點集區的節點自動升級功能,這樣叢集才能享有上一段列出的升級功能。
升級 GKE Standard 節點集區時,您可以選擇三種可設定的升級策略,包括節點數擴充升級、藍綠升級和自動調度資源藍綠升級 (預先發布版)。Standard 叢集中由 Autopilot 管理的節點集區一律會使用超量升級。
如果是 Standard 節點集區,請選擇策略,並使用參數調整策略,以最符合叢集環境的需求。
節點升級的運作方式
節點升級期間,GKE 會停止將新的 Pod 排程至該節點,並嘗試將其執行中的 Pod 排程至其他節點。這與重新建立節點的其他事件類似,例如啟用或停用節點集區的功能。
在自動或手動升級節點期間,系統會遵循 PodDisruptionBudgets (PDB) 和 Pod 終止寬限期,最長 1 小時。如果一小時後,在節點上執行的 Pod 無法排定至新節點,GKE 仍會啟動升級作業。即使您將 PDB 設為一律提供所有副本 (將 maxUnavailable 欄位設為 0 或 0%,或將 minAvailable 欄位設為 100% 或副本數量),也會發生這種情況。在上述所有情況下,GKE 都會在 1 小時後刪除 Pod,以便刪除節點。
如果 Standard 節點集區中執行的工作負載需要更靈活地進行安全終止,請使用藍綠升級,這項功能可設定額外的浸泡時間,將 PDB 檢查時間延長至超過預設的一小時。
如要進一步瞭解節點終止期間的一般情況,請參閱 Pod 相關主題。
只有在所有節點都重新建立,且叢集處於新狀態時,升級作業才算完成。新升級的節點向控制層註冊後,GKE 會將節點標示為可排程。
新的節點執行個體會執行新的 Kubernetes 版本,以及下列項目:
節點集區中的所有節點都必須重新建立,節點集區升級作業才算完成。如果升級作業已開始但未完成,且處於部分升級狀態,節點集區版本可能不會反映所有節點的版本。詳情請參閱「節點集區升級不完整後,部分節點版本與節點集區版本不符」。如要確認節點集區升級作業是否完成,請查看節點集區升級狀態。如果升級作業超過保留期限,請確認每個節點版本是否與節點集區版本相符。
升級前,請先將資料儲存至永久磁碟
升級節點集區前,請務必使用永久磁碟區 (採用永久磁碟),將需要保留的資料儲存在 Pod 中。升級期間,永久磁碟會取消掛接,而非清除,資料則會在 Pod 之間轉移。
永久磁碟的使用會受到以下限制:
- 執行 Pod 的節點必須是 Compute Engine VM。
- 這些 VM 必須與永久磁碟位於相同的 Compute Engine 專案和可用區。
如要瞭解如何將永久磁碟新增至現有節點執行個體,請參閱 Compute Engine 說明文件中的「新增或調整可用區永久磁碟大小」。
手動升級節點集區
您可以手動升級 Standard 節點集區或 Autopilot 代管節點集區 (位於 Standard 叢集) 的版本。您可以比照控制層的版本,或使用仍可用的舊版,只要與控制層相容即可。您可以手動同時升級多個節點集區,就像設定並行節點集區升級後,GKE 可以同時升級多個節點集區一樣。
當 GKE 手動或自動升級節點集區時,您使用 kubectl 新增至個別節點的標籤可能不會保留。因此,標籤應在節點集區層級新增。
任何其他會重新建立節點的 GKE 叢集變更類型也會移除標籤。為避免標籤遺失,請改為將標籤套用至節點集區。
手動升級節點集區前,請考量下列條件:
- 升級節點集區可能會中斷在該節點集區中執行的工作負載。如要避免這種情況,您可以建立具有所需版本的新節點集區,並遷移工作負載。遷移後,即可刪除舊的節點集區。
- 如果升級的節點集區含有錯誤狀態的 Ingress,執行個體群組就不會同步。如要解決這個問題,請先使用
kubectl get ing指令檢查狀態。如果執行個體群組未同步,您可以重新套用用來建立 ingress 的資訊清單,藉此解決問題。
您可以手動將節點集區升級至與控制層相容的版本:
- 如果是 Standard 節點集區,您可以使用 Google Cloud 控制台或 Google Cloud CLI。
如果是 Autopilot 代管的節點集區,則只能使用 Google Cloud CLI。
控制台
如要使用 Google Cloud 控制台升級 Standard 節點集區,請執行下列步驟:
前往 Google Cloud 控制台的「Google Kubernetes Engine」頁面。
按一下叢集名稱。
在「Cluster details」(叢集詳細資料) 頁面中,按一下「Nodes」(節點) 分頁標籤。
在「Node Pools」(節點集區) 區段中,按一下要升級的節點集區名稱。
按一下「Edit」(編輯)edit。
按一下「Node version」(節點版本) 下方的「Change」(變更)。
從「Node version」(節點版本) 下拉式選單中選取所需版本,然後按一下「Change」(變更)。
節點的版本可能需要幾分鐘的時間才能變更完畢。
gcloud
本節指令會使用下列變數:
CLUSTER_NAME:要升級的節點集區所在叢集的名稱。NODE_POOL_NAME:要升級的節點集區名稱。CONTROL_PLANE_LOCATION:控制層的位置 (區域或可用區),例如us-central1或us-central1-a。VERSION:節點升級後的 Kubernetes 版本。例如--cluster-version=1.34.1-gke.1293000或cluster-version=latest。
升級節點集區:
gcloud container clusters upgrade CLUSTER_NAME \
--node-pool=NODE_POOL_NAME \
--location=CONTROL_PLANE_LOCATION
如要在節點上指定不同版本的 GKE,請使用選用的 --cluster-version 標記:
gcloud container clusters upgrade CLUSTER_NAME \
--node-pool=NODE_POOL_NAME \
--location=CONTROL_PLANE_LOCATION \
--cluster-version VERSION
如要進一步瞭解如何指定版本,請參閱「版本管理」。
詳情請參閱 gcloud container clusters upgrade 說明文件。
降級節點集區
如果 GKE 已完成節點集區升級,您可以降級節點集區。GKE 無法降級部分升級的節點集區,只能復原。如果您嘗試觸發部分升級節點集區的降級作業,GKE 不會透過該作業更新節點集區中的任何節點。如要確認節點集區是否未完全升級,且只能復原,請先檢查節點集區升級狀態。如果升級作業已取消或失敗,您可以檢查節點集區中的節點,確認是否仍有節點執行舊版,藉此確認節點集區升級作業未完成。
如果節點集區升級作業未完成,而您想將升級後的節點復原至先前的版本,請按照操作說明復原節點集區升級作業。如果節點集區升級完成後,您發現工作負載發生問題,想要復原升級,可以按照本節的操作說明,將節點集區降級至先前的版本。降級節點集區前,請先詳閱限制。
如需針對節點集區升級對工作負載的影響進行風險控管,請使用藍綠節點升級策略。如果升級失敗,您可以復原進行中的升級作業,回到原始節點。
變更突增升級參數
如要進一步瞭解如何變更激增升級參數,請參閱「設定激增升級」。
設定並行節點集區升級
如果叢集有多個節點集區,您可以設定並行節點集區升級,減少升級叢集所需的總時間。如要設定這項功能,請指定 GKE 可同時自動升級的節點集區數量上限。在 Standard 叢集中,這項設定會決定 Standard 節點集區和 Autopilot 代管節點集區的節點升級並行數量。在 Autopilot 叢集中,這項設定會決定節點群組的節點升級並行數量。
您可以在建立新叢集或使用 gcloud CLI 更新現有叢集時,設定並行限制。請確認要同時自動升級的節點集區已啟用自動升級功能。
如果叢集已註冊具有自訂階段的推出作業序列,就無法啟用這項功能。
如要設定並行節點集區升級,請執行下列任一指令:
建立新叢集,並設定並行節點集區升級:
gcloud beta container clusters create CLUSTER_NAME \ --project=PROJECT_NAME --location CONTROL_PLANE_LOCATION \ --node-pool-upgrade-concurrency-config=max-count=MAX_COUNT更新現有叢集,同時升級節點集區:
gcloud beta container clusters update CLUSTER_NAME \ --project=PROJECT_NAME \ --location=CONTROL_PLANE_LOCATION \ --node-pool-upgrade-concurrency-config=max-count=MAX_COUNT
更改下列內容:
CLUSTER_NAME:叢集名稱。PROJECT_NAME:專案名稱。LOCATION:叢集的運算位置。MAX_COUNT:同時升級的節點集區數量上限。值必須是介於1和100之間的整數。如要還原為預設的依序行為,請將這個值設為1。
查看節點集區升級狀態
您可以使用 gcloud container operations 查看升級狀態。
查看叢集過去 12 天內所有執行中和已完成的作業 (如果作業數量少於 5,000 項),或最近 5,000 項作業:
gcloud container operations list \
--location=CONTROL_PLANE_LOCATION
每個作業都會獲派一個「作業 ID」和作業類型,還有開始和結束時間、目標叢集和狀態。清單看起來類似以下範例:
NAME TYPE ZONE TARGET STATUS_MESSAGE STATUS START_TIME END_TIME
operation-1505407677851-8039e369 CREATE_CLUSTER us-west1-a my-cluster DONE 20xx-xx-xxT16:47:57.851933021Z 20xx-xx-xxT16:50:52.898305883Z
operation-1505500805136-e7c64af4 UPGRADE_CLUSTER us-west1-a my-cluster DONE 20xx-xx-xxT18:40:05.136739989Z 20xx-xx-xxT18:41:09.321483832Z
operation-1505500913918-5802c989 DELETE_CLUSTER us-west1-a my-cluster DONE 20xx-xx-xxT18:41:53.918825764Z 20xx-xx-xxT18:43:48.639506814Z
如要進一步瞭解特定作業,請指定作業 ID,如以下指令所示:
gcloud container operations describe OPERATION_ID \
--location=CONTROL_PLANE_LOCATION
例如:
gcloud container operations describe operation-1507325726639-981f0ed6
endTime: '20xx-xx-xxT21:40:05.324124385Z'
name: operation-1507325726639-981f0ed6
operationType: UPGRADE_CLUSTER
selfLink: https://container.googleapis.com/v1/projects/.../kubernetes-engine/docs/zones/us-central1-a/operations/operation-1507325726639-981f0ed6
startTime: '20xx-xx-xxT21:35:26.639453776Z'
status: DONE
targetLink: https://container.googleapis.com/v1/projects/.../kubernetes-engine/docs/zones/us-central1-a/clusters/...
zone: us-central1-a
如果升級作業已取消或失敗,且部分完成,您可以繼續或復原升級作業。
檢查節點集區升級設定
您可以使用 gcloud container node-pools
describe 指令,查看節點集區使用的節點升級策略詳細資料。如果是藍綠升級,指令也會傳回升級的目前階段。
執行下列指令:
gcloud container node-pools describe NODE_POOL_NAME \
--cluster=CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION
更改下列內容:
NODE_POOL_NAME:要說明的節點集區名稱。CLUSTER_NAME:要描述的節點集區叢集名稱。CONTROL_PLANE_LOCATION:控制層的位置 (區域或可用區),例如us-central1或us-central1-a。
這個指令會輸出目前的升級設定。以下範例顯示使用藍綠升級策略時的輸出內容。
upgradeSettings:
blueGreenSettings:
nodePoolSoakDuration: 1800s
standardRolloutPolicy:
batchNodeCount: 1
batchSoakDuration: 10s
strategy: BLUE_GREEN
如果您採用藍綠升級策略,輸出內容也會包含藍綠升級設定和目前中繼階段的詳細資料。請參考下列範例:
updateInfo:
blueGreenInfo:
blueInstanceGroupUrls:
- https://www.googleapis.com/compute/v1/projects/{PROJECT_ID}/zones/{LOCATION}/instanceGroupManagers/{BLUE_INSTANCE_GROUP_NAME}
bluePoolDeletionStartTime: {BLUE_POOL_DELETION_TIME}
greenInstanceGroupUrls:
- https://www.googleapis.com/compute/v1/projects/{PROJECT_ID}/zones/{LOCATION}/instanceGroupManagers/{GREEN_INSTANCE_GROUP_NAME}
greenPoolVersion: {GREEN_POOL_VERSION}
phase: DRAINING_BLUE_POOL
取消節點集區升級
您可隨時取消升級。如要進一步瞭解取消節點數擴充升級的影響,請參閱「取消節點數擴充升級」。如要進一步瞭解取消藍綠升級的影響,請參閱「取消藍綠升級」。
取得升級作業 ID:
gcloud container operations list \ --location=CONTROL_PLANE_LOCATION取消升級:
gcloud container operations cancel OPERATION_ID \ --location=CONTROL_PLANE_LOCATION
請參閱 gcloud container operations cancel 說明文件。
繼續升級節點集區
如要繼續升級,請再次手動啟動升級,並指定原始升級的目標版本。
舉例來說,如果升級失敗,或您暫停了進行中的升級,可以再次在節點集區上啟動相同的升級,並指定初始升級作業的目標版本,藉此恢復已取消的升級。
如要進一步瞭解恢復升級作業時會發生的情況,請參閱「恢復節點數擴充升級」和「藍綠升級」。
如要繼續升級,請使用下列指令:
gcloud container clusters upgrade CLUSTER_NAME \
--node-pool=NODE_POOL_NAME \
--location=CONTROL_PLANE_LOCATION \
--cluster-version VERSION
更改下列內容:
NODE_POOL_NAME:要繼續升級的節點集區名稱。CLUSTER_NAME:要繼續升級的節點集區叢集名稱。CONTROL_PLANE_LOCATION:控制層的位置 (區域或可用區),例如us-central1或us-central1-a。VERSION:已取消節點集區升級作業的目標版本。
詳情請參閱 gcloud container clusters upgrade 說明文件。
復原節點集區升級
您可以復原節點集區,將升級後的節點降級至節點集區升級前的原始狀態。
如果進行中的升級作業「取消」、失敗,或因維護期間逾時而未完成,請使用 rollback 指令。或者,如要指定版本,請按照操作說明降級節點集區。
如要進一步瞭解復原節點集區升級作業的影響,請參閱「復原節點數擴充升級」或「復原藍綠升級」。
如要復原升級,請執行下列指令:
gcloud container node-pools rollback NODE_POOL_NAME \
--cluster CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION
更改下列內容:
NODE_POOL_NAME:要復原節點集區升級作業的節點集區名稱。CLUSTER_NAME:要復原升級作業的節點集區叢集名稱。CONTROL_PLANE_LOCATION:控制層的位置 (區域或可用區),例如us-central1或us-central1-a。
請參閱 gcloud container node-pools rollback 說明文件。
完成節點集區升級
如果您採用藍綠升級策略,可以在浸泡階段完成節點集區升級,略過剩餘的浸泡時間。
如要瞭解如何完成節點集區升級,請參閱「完成節點集區升級」。
如要在使用藍綠升級策略時完成升級,請執行下列指令:
gcloud container node-pools complete-upgrade NODE_POOL_NAME \
--cluster CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION
更改下列內容:
NODE_POOL_NAME:要完成升級的節點集區名稱。CLUSTER_NAME:要完成升級的節點集區所在叢集名稱。CONTROL_PLANE_LOCATION:控制層的位置 (區域或可用區),例如us-central1或us-central1-a。
請參閱 gcloud container node-pools complete-upgrade 說明文件。
節點集區升級作業中斷
如果節點集區升級作業中斷 (例如發生 ZONE_RESOURCE_POOL_EXHAUSTED 錯誤),節點集區的授權版本會維持不變,直到作業完成為止。如果您在升級作業恢復前,嘗試對節點集區執行後續作業 (例如更新標籤),GKE 會觸發協調迴圈,將升級後的節點還原至原始版本。
建議您繼續並重試升級作業,直到所有節點都反映新版本。
如要進一步瞭解如何在資源受限的環境中升級節點集區,請參閱「在資源受限的環境中升級節點集區」。
已知問題
如果您設定的 PodDisruptionBudget 物件無法允許任何額外中斷,節點升級作業可能會在多次嘗試後,仍無法升級至控制層版本。為避免發生這類失敗,建議您擴充 Deployment 或 HorizontalPodAutoscaler,讓節點在不違反 PodDisruptionBudget 設定的情況下,順利完成排空作業。
如要查看不允許任何中斷的所有 PodDisruptionBudget 物件,請按照下列步驟操作:
kubectl get poddisruptionbudget --all-namespaces -o jsonpath='{range .items[?(@.status.disruptionsAllowed==0)]}{.metadata.name}/{.metadata.namespace}{"\n"}{end}'
雖然自動升級可能會遇到問題,但自動升級程序會強制升級節點。不過,如果 istio-system 命名空間中的節點違反 PodDisruptionBudget,升級作業會多花一小時。
疑難排解
如需疑難排解資訊,請參閱「排解叢集升級問題」。