如果 Google Kubernetes Engine (GKE) 中的 Pod 卡在 Pending 狀態,且未新增節點,通常表示叢集自動配置器的擴充功能發生問題。這項問題可能會導致應用程式無法擴充以滿足需求、延遲部署作業,並影響服務可用性。
您可以使用這個頁面診斷及解決常見問題,避免叢集自動配置器無法新增節點。修正這些問題後,Kubernetes 排程器就能及時安排工作負載,並協助叢集因應增加的負載。
應用程式開發人員需要確保應用程式和服務能可靠地排程及執行,而平台管理員和操作人員則負責確保叢集能動態佈建資源,以滿足工作負載需求並維持服務水準,因此這些資訊對他們來說非常重要。如要進一步瞭解 Google Cloud 內容中提及的常見角色和工作範例,請參閱「常見的 GKE 使用者角色和工作」。
瞭解叢集自動配置器何時會向上擴充節點
在進行疑難排解步驟之前,建議您先瞭解叢集自動配置器何時會嘗試擴充節點。只有在現有資源不足時,叢集自動配置器才會新增節點。
叢集自動配置器每 10 秒會檢查是否有無法排定的 Pod。如果 Kubernetes 調度器因資源不足、節點限制或 Pod 需求未滿足,而無法將 Pod 放在任何現有節點上,Pod 就會變成無法指派。
當叢集自動配置器發現無法排定的 Pod 時,會評估新增節點是否能讓 Pod 排定。如果新增節點可讓 Pod 排定,叢集自動配置器會將新節點新增至代管執行個體群組 (MIG)。Kubernetes 排程器接著可以在新佈建的節點上排定 Pod。
檢查是否有無法排定的 Pod
如要判斷叢集是否需要擴充,請檢查是否有未排定的 Pod:
前往 Google Cloud 控制台的「Workloads」(工作負載) 頁面。
在 「Filter」(篩選器) 欄位中,輸入
unschedulable,然後按下 Enter 鍵。如果畫面上列出任何 Pod,表示有無法排定的 Pod。如要排解無法排程的 Pod 問題,請參閱「錯誤:Pod 無法排程」。解決 Pod 無法排程的根本原因,通常就能讓叢集自動配置器向上擴充。如要找出並解決叢集自動配置器特有的錯誤,請參閱下列各節。
如果沒有列出任何 Pod,表示叢集自動配置器不需要向上擴充,且運作正常。
檢查先前是否有無法排定的 Pod
如要調查叢集自動配置器過去失敗的原因,請檢查先前無法排定的 Pod:
前往 Google Cloud 控制台的「Logs Explorer」頁面。
指定要查看的記錄項目日期範圍。
在查詢窗格中輸入下列查詢:
logName="projects/PROJECT_ID/logs/events" jsonPayload.source.component="default-scheduler" jsonPayload.reason="FailedScheduling"將
PROJECT_ID替換為專案 ID。點選「執行查詢」。
如果畫面上列出任何結果,代表在您指定的日期範圍內,有無法指派的 Pod。
確認問題是否由限制引起
確認有未排定的 Pod 後,請確認叢集自動配置器的問題並非由叢集自動配置器的限制所造成。
分析 Cloud Monitoring 指標,找出擴充問題
GKE 叢集自動配置器會將指標提供給 Cloud Monitoring,讓您深入瞭解其決策,尤其是與 ComputeClasses 相關的決策。這些指標適用於 GKE 1.37 以上版本,包括下列項目。
- 待處理的 Pod:
kubernetes.io/autoscaler/cluster_pending_pods_per_ccc顯示自動配置器嘗試排程的 Pod。 - 佈建嘗試:
kubernetes.io/autoscaler/cluster_node_provisioning_attempts_count_per_ccc追蹤自動配置器嘗試新增節點的頻率。 - 佈建失敗:
kubernetes.io/autoscaler/cluster_node_provisioning_failed_attempts_count_per_ccc顯示節點建立失敗的嘗試和原因。
這些指標使用 k8s_entity 資源類型,其中 resource.labels.entity_type 欄位的值為 ComputeClass。resource.labels.entity_name 欄位的值代表 ComputeClass 名稱。如果 entity_name 欄位的值為空字串 (""),則指標適用於與 ComputeClass 無關的叢集自動配置器決策。
使用 Metrics Explorer,依 entity_name 欄位篩選及分組結果。例如,使用 resource.labels.entity_name = "" 字串查看與 ComputeClasses 無關的活動,並使用指標標籤 (例如 reason) 瞭解擴充問題是否與 ComputeClass 有關。
如需查詢範例,請參閱「監控節點佈建」和「監控待處理的 Pod 狀態」。
查看錯誤
您通常可以透過查看錯誤訊息,診斷擴充問題的原因:
如果已看到錯誤訊息,請參閱錯誤訊息表格,瞭解如何解決錯誤。
如果尚未看到訊息,請使用下列任一選項:
- 72 小時內發生的問題:在 Google Cloud 控制台中查看錯誤通知。
- 超過 72 小時的問題:在 Cloud Logging 中查看事件錯誤。
查看通知中的錯誤
如果問題發生在 72 小時內,請在 Google Cloud 控制台查看錯誤通知。這些通知提供寶貴的洞察資訊,說明叢集自動配置器無法向上擴充的原因,並提供解決錯誤的建議,以及查看相關記錄檔以進一步調查。
如要在 Google Cloud 控制台中查看通知,請完成下列步驟:
在 Google Cloud 控制台中,前往「Kubernetes clusters」(Kubernetes 叢集) 頁面。
查看「通知」欄。下列通知與擴充問題有關:
Can't scale upCan't scale up podsCan't scale up a node pool
按一下相關通知,即可查看窗格,瞭解問題原因和應變措施建議。
選用:如要查看這項事件的記錄,請按一下「記錄」。這項操作會將您導向 Logs Explorer,並預先填入查詢,協助您進一步調查資源調度事件。如要進一步瞭解擴充事件的運作方式,請參閱「查看叢集自動配置器事件」。
如果按照通知中的建議操作後仍有問題,請參閱錯誤訊息表格,取得進一步協助。
查看事件中的錯誤
如果觀察到的問題發生在 72 小時前,請在 Cloud Logging 中查看事件。發生錯誤時,系統通常會記錄在事件中。
如要在 Google Cloud 控制台中查看叢集自動配置器記錄,請完成下列步驟:
在 Google Cloud 控制台中,前往「Kubernetes clusters」(Kubernetes 叢集) 頁面。
選取要調查的叢集名稱,查看「Cluster details」(叢集詳細資料) 頁面。
在「Cluster details」(叢集詳細資料) 頁面中,按一下「Logs」(記錄) 分頁標籤。
在「記錄」分頁中,按一下「自動配置器記錄」分頁標籤,即可查看記錄。
選用:如要套用更進階的篩選器來縮小結果範圍,請按一下頁面右側有箭頭的按鈕,在記錄檔探索工具中查看記錄。
如要進一步瞭解向上擴充事件的運作方式,請參閱「查看叢集自動配置器事件」。如需 Cloud Logging 的使用範例,請參閱下列疑難排解範例。
範例:排解 72 小時前發生的問題
以下範例說明如何調查及解決叢集無法擴充的問題。
情境:過去一小時內,某個 Pod 一直標示為無法指派。叢集自動配置器未佈建任何新節點來排定 Pod。
解決方法:
- 由於問題發生在 72 小時前,您會使用 Cloud Logging 調查問題,而不是查看通知訊息。
- 在 Cloud Logging 中,您可以找到叢集自動配置器事件的記錄詳細資料,如「查看事件中的錯誤」一節所述。
您在
triggeringPods欄位中搜尋包含要調查的 Pod 的scaleUp事件。您可以篩選記錄項目,包括依特定 JSON 欄位值篩選。詳情請參閱「進階記錄查詢」。找不到任何擴充事件。不過,如果您這麼做,可以嘗試找出與
scaleUp事件包含相同eventId的EventResult。接著,您可以查看errorMsg欄位,並參閱可能的 scaleUp 錯誤訊息清單。由於您未找到任何
scaleUp事件,因此繼續搜尋noScaleUp事件,並查看下列欄位:unhandledPodGroups:包含 Pod (或 Pod 控制器) 的相關資訊。reason:提供全域原因,說明為什麼向上擴充可能遭到封鎖。skippedMigs:說明略過某些 MIG 的原因。
您找到 Pod 的
noScaleUp事件,且rejectedMigs欄位中的所有 MIG 都有相同的理由訊息 ID"no.scale.up.mig.failing.predicate",並包含兩個參數:"NodeAffinity"和"node(s) did not match node selector"。
解析度:
查看錯誤訊息清單後,您發現叢集自動配置器無法向上擴充節點集區,因為待處理 Pod 的排程述詞失敗。參數是失敗述詞的名稱和失敗原因。
為解決問題,您查看 Pod 的資訊清單,發現其節點選取器與叢集中的任何 MIG 都不相符。您從 Pod 的資訊清單中刪除選取器,並重新建立 Pod。叢集自動配置器會新增節點,並排定 Pod。
解決擴充錯誤
如果您使用自訂 ComputeClass,且擴大問題與 ComputeClass 中定義的特定節點設定有關,請參閱「排解自訂 ComputeClass 問題」。
找出錯誤後,請參閱下表,瞭解錯誤原因和解決方法。
ScaleUp 錯誤
您可以在對應的 eventResult 事件中,透過 resultInfo.results[].errorMsg 欄位找到 scaleUp 事件的事件錯誤訊息。
如果擴充作業因超出配額而失敗,則會發生節點建立錯誤,觸發系統退避期,最長可達 30 分鐘。詳情請參閱「輪詢延遲期」。
| 訊息 | 詳細資料 | 參數 | 緩解措施 |
|---|---|---|---|
"scale.up.error.out.of.resources" |
當您嘗試在某個可用區中要求新資源,但該可用區目前無法提供 Compute Engine 資源 (例如 GPU 或 CPU),因而無法滿足您的要求時,就會發生資源錯誤。 | 失敗的 MIG ID。 | 請按照 Compute Engine 說明文件中的資源可用性疑難排解步驟操作。 |
"scale.up.error.quota.exceeded" |
超過 Compute Engine 配額,因此無法增加部分代管執行個體群組,scaleUp 事件失敗。 | 失敗的 MIG ID。 | 在 Google Cloud 控制台中,查看 MIG 的「Errors」(錯誤) 分頁,瞭解超出哪項配額。確認超出哪項配額後,請按照操作說明要求提高配額。 |
"scale.up.error.waiting.for.instances.timeout" |
代管執行個體群組因逾時而無法向上擴充。 | 失敗的 MIG ID。 | 如果執行個體啟動,但未向控制層註冊,請按照「找出節點註冊失敗的執行個體」中的步驟操作。如需其他原因,請參閱「MIG 執行個體未及時顯示」。這通常是暫時性錯誤。 如果錯誤持續發生,請與 Cloud Customer Care 團隊聯絡,以便進一步調查。 |
"scale.up.error.ip.space.exhausted" |
部分代管執行個體群組中的執行個體用盡 IP,因此無法向上擴充。這表示叢集沒有足夠的未分配 IP 位址空間,無法用於新增節點或 Pod。 | 失敗的 MIG ID。 | 請按照「Pod 的可用 IP 位址空間不足」中的疑難排解步驟操作。 |
"scale.up.error.service.account.deleted" |
服務帳戶已刪除,因此無法向上擴充。 | 失敗的 MIG ID。 | 請嘗試取消刪除服務帳戶。 如果上述程序無法解決問題,請與 Cloud Customer Care 團隊聯絡,以便進一步調查。 |
noScaleUp 事件的原因
如果叢集內有無法指派的 Pod,且叢集自動配置器無法向上擴充叢集來調度 Pod,系統就會定期發出 noScaleUp 事件。noScaleUp 事件會盡可能完善地處理,但無法涵蓋所有可能情況。
NoScaleUp 頂層原因
noScaleUp 事件的頂層原因訊息會顯示在 noDecisionStatus.noScaleUp.reason 欄位中。訊息會包含叢集自動配置器無法向上擴充叢集的頂層原因。
| 訊息 | 詳細資料 | 緩解措施 |
|---|---|---|
"no.scale.up.in.backoff" |
擴充作業處於輪詢延遲期間 (暫時遭到封鎖),因此無法擴充。如果擴充事件涉及大量 Pod,就可能出現這則訊息。 | 這則訊息應該只是暫時出現。請過幾分鐘後再查看這項錯誤。 如果持續看到這則訊息,請聯絡 Cloud Customer Care,以便進一步調查。 |
NoScaleUp 頂層節點自動佈建原因
noScaleUp 事件的頂層節點自動佈建原因訊息會顯示在 noDecisionStatus.noScaleUp.napFailureReason 欄位中。訊息中會包含叢集自動配置器無法佈建新節點集區的頂層原因。
| 訊息 | 詳細資料 | 緩解措施 |
|---|---|---|
"no.scale.up.nap.disabled" |
節點自動佈建功能無法向上擴充,因為叢集層級未啟用節點自動佈建功能。 如果停用自動佈建節點功能,當待處理的 Pod 有任何現有節點集區無法滿足的需求時,系統就不會自動佈建新節點。 |
請檢查叢集設定,並考慮啟用自動佈建節點功能。 |
NoScaleUp MIG 層級原因
noScaleUp 事件的 MIG 層級原因訊息會顯示在 noDecisionStatus.noScaleUp.skippedMigs[].reason 和 noDecisionStatus.noScaleUp.unhandledPodGroups[].rejectedMigs[].reason 欄位中。訊息會說明叢集自動配置器無法增加特定 MIG 大小的原因。
| 訊息 | 詳細資料 | 參數 | 緩解措施 |
|---|---|---|---|
"no.scale.up.mig.skipped" |
模擬期間略過 MIG,因此無法向上擴充。 | 略過 MIG 的原因 (例如缺少 Pod 需求)。 | 查看錯誤訊息中的參數,並解決 MIG 遭略過的原因。 |
"no.scale.up.mig.failing.predicate" |
無法排定待處理 Pod 的述詞,因此無法擴充節點集區。 | 失敗述詞的名稱和失敗原因。 | 查看 Pod 規定,例如相依性規則、taint 或容許條件,以及資源需求。 |
NoScaleUp Pod 群組層級自動佈建節點原因
noScaleUp 事件的 Pod 群組層級自動佈建節點原因訊息會顯示在 noDecisionStatus.noScaleUp.unhandledPodGroups[].napFailureReasons[] 欄位中。訊息會說明叢集自動配置器無法佈建新節點集區,來排定特定 Pod 群組的原因。
| 訊息 | 詳細資料 | 參數 | 緩解措施 |
|---|---|---|---|
"no.scale.up.nap.pod.gpu.no.limit.defined" |
待處理的 Pod 有 GPU 要求,但未在叢集層級定義 GPU 資源限制,因此自動佈建節點功能無法佈建任何節點群組。 | 要求的 GPU 類型。 | 查看待處理 Pod 的 GPU 要求,並更新叢集層級自動佈建節點設定的 GPU 限制。 |
"no.scale.up.nap.pod.gpu.type.not.supported" |
Pod 要求未知的 GPU 類型,因此自動佈建節點功能並未佈建任何節點群組。 | 要求的 GPU 類型。 | 檢查待處理 Pod 的 GPU 類型設定,確保與支援的 GPU 類型相符。 |
"no.scale.up.nap.pod.zonal.resources.exceeded" |
自動佈建節點功能並未針對這個可用區中的 Pod 佈建任何節點群組,因為這麼做會違反整個叢集的資源上限、超出可用區中的可用資源,或沒有符合要求的機型。 | 考量區域的名稱。 | 查看及更新整個叢集的資源上限、Pod 資源要求,或自動佈建節點的可用可用區。 |
"no.scale.up.nap.pod.zonal.failing.predicates" |
由於述語不能正常運作,自動佈建節點功能並未針對這個可用區中的 Pod 佈建任何節點群組。 | 考量區域的名稱和述詞失敗的原因,例如:node(s) didn't match Pod's node affinity/selector 或 node(s) didn't match pod anti-affinity rules。 |
查看記錄項目中的失敗述詞原因。請更新待處理 Pod 的排程限制 (節點選取器、節點親和性規則、PersistentVolume 需求、容許條件或拓撲分散限制),或更新叢集的自動佈建節點設定。如需逐步疑難排解操作說明,請參閱「自動佈建節點無法排定述詞」。 |
進一步調查
下列各節將說明如何使用 Logs Explorer 和 gcpdiag,進一步瞭解錯誤。
在 Logs Explorer 中調查錯誤
如要進一步調查錯誤訊息,請查看該錯誤的專屬記錄:
前往 Google Cloud 控制台的「Logs Explorer」頁面。
在「query」(查詢) 窗格中,輸入與錯誤訊息前置字元相符的查詢:
scale.up.error.*則訊息:resource.type="k8s_cluster" log_id("container.googleapis.com/cluster-autoscaler-visibility") jsonPayload.resultInfo.results.errorMsg.messageId="ERROR_MESSAGE"將
ERROR_MESSAGE替換成要調查的訊息,例如scale.up.error.out.of.resources。no.scale.up.nap.pod.*則訊息:resource.type="k8s_cluster" log_id("container.googleapis.com/cluster-autoscaler-visibility") jsonPayload.noDecisionStatus.noScaleUp.unhandledPodGroups.napFailureReasons.messageId="ERROR_MESSAGE"將
ERROR_MESSAGE替換成要調查的訊息,例如no.scale.up.nap.pod.zonal.failing.predicates。如果是頂層no.scale.up.nap.disabled訊息,請改為查詢jsonPayload.noDecisionStatus.noScaleUp.napFailureReason.messageId欄位。no.scale.up.mig.*則訊息:resource.type="k8s_cluster" log_id("container.googleapis.com/cluster-autoscaler-visibility") jsonPayload.noDecisionStatus.noScaleUp.unhandledPodGroups.rejectedMigs.reason.messageId="ERROR_MESSAGE"將
ERROR_MESSAGE替換成要調查的訊息,例如no.scale.up.mig.failing.predicate。如果是no.scale.up.mig.skipped訊息,請改為查詢jsonPayload.noDecisionStatus.noScaleUp.skippedMigs.reason.messageId欄位。
點選「執行查詢」。
使用 gcpdiag 對部分錯誤進行偵錯
gcpdiag 是在 Google Cloud技術工程師支援下建立的開放原始碼工具。這項產品並未獲得官方支援。 Google Cloud
如果看到下列任一錯誤訊息,可以使用 gcpdiag 協助排解問題:
scale.up.error.out.of.resourcesscale.up.error.quota.exceededscale.up.error.waiting.for.instances.timeoutscale.up.error.ip.space.exhaustedscale.up.error.service.account.deleted
如需所有 gcpdiag 工具旗標的清單和說明,請參閱 gcpdiag 使用操作說明。
解決複雜的擴充錯誤
下列各節可協助您解決需要多個步驟,或沒有叢集自動配置器相關事件訊息的錯誤。
Pod 不適用於節點
問題:
Pod 仍處於 Pending 狀態,並顯示 PodUnschedulable 錯誤訊息,或叢集顯示 Pods unschedulable 錯誤訊息,且叢集自動配置器未向上擴充來新增節點。
原因:
只有在機器類型為待處理 Pod 提供足夠的資源 (例如 CPU、GPU、記憶體和儲存空間) 時,叢集自動配置器才會將節點新增至節點集區。如果 Pod 的資源要求超過單一節點的資源,叢集自動配置器就不會向上擴充,因為 Pod 仍無法容納在新節點中。
此外,由於系統元件會保留部分資源,因此節點的可分配資源會少於總資源。如要進一步瞭解 GKE 如何計算可分配的資源,請參閱「節點可分配資源」。
解析度:
如要檢查 Pod 的資源要求是否超出節點提供的資源,並解決問題,請完成下列步驟。這個範例會檢查 CPU 資源,但同樣的步驟也適用於 GPU、記憶體和儲存空間資源:
前往 Google Cloud 控制台的「Workloads」(工作負載) 頁面。
按一下「
PodUnschedulable」錯誤訊息。在「Details」(詳細資料) 窗格中,按一下 Pod 名稱。如果有多個 Pod,請從第一個 Pod 開始,並對每個 Pod 重複下列程序。
在「Pod details」(Pod 詳細資料) 頁面,按一下「YAML」分頁標籤。
請記下 Pod 中每個容器的資源要求,以找出資源要求總量。舉例來說,在下列 Pod 設定中,Pod 需要 2 個 vCPU:
resources: limits: cpu: "3" requests: cpu: "2"查看叢集中未排程 Pod 的節點集區詳細資料:
在 Google Cloud 控制台中,前往「Kubernetes clusters」(Kubernetes 叢集) 頁面。
按一下顯示
Pods unschedulable錯誤訊息的叢集名稱。在「Cluster details」(叢集詳細資料) 頁面中,按一下「Nodes」(節點) 分頁標籤。
在「Node pools」(節點集區) 區段中,記下「Machine type」(機器類型) 欄中的值,例如
n1-standard-1。
比較資源要求與機型提供的 vCPU。舉例來說,如果 Pod 要求 2 個 vCPU,但可用節點使用
n1-standard-1機型,則節點只有 1 個 vCPU。在這種設定下,叢集自動配置器不會觸發向上擴充,因為 Pod 仍無法容納在新節點中。如要進一步瞭解可用的機型,請參閱 Compute Engine 說明文件中的機器家族資源和比較指南。請根據工作負載需求解決不相符的問題:
- 如果 Pod 需要要求的資源:建立節點集區,並使用可支援 Pod 資源要求的機型。
- 如果 Pod 的資源要求不正確:請更新 Pod 的定義,讓 Pod 能容納在現有節點中。
MIG 執行個體未能及時顯示
問題:
您看到下列其中一則錯誤訊息:
在 Google Cloud 控制台中,叢集會顯示下列通知:
Can't scale up because instances in managed instance groups hosting node pools failed to appear in time在 Logging 中,向上擴充的
eventResult事件包含下列錯誤訊息:scale.up.error.waiting.for.instances.timeout
原因:
Compute Engine 無法在 MIG 中建立節點,或新節點無法在擴充作業逾時前向控制層註冊。這個問題可能的原因如下:
- 節點註冊失敗:Compute Engine 建立節點,但節點未向控制層註冊,原因可能是一或多項防火牆規則、最近變更了私人服務存取權或虛擬私有雲網路對接,或缺少 Identity and Access Management (IAM) 服務帳戶。
- 超出專案配額:專案超出 CPU、IP 位址或其他資源的配額,因此 MIG 中未顯示新執行個體。
- IP 位址不足:子網路沒有足夠的可用 IP 位址,無法建立新節點。
- 執行個體範本無效:MIG 使用無效的執行個體範本 (例如缺少映像檔的範本),導致無法擴充。
- 資源不足:可用區沒有足夠的 Compute Engine 資源 (例如 GPU 或 CPU),無法建立新節點。
- 無法存取的 API:由於防火牆規則或 VPC Service Controls perimeter,無法存取必要的 API,例如
compute.googleapis.com。 - 網路延遲:嚴重的網路延遲會延遲新節點的建立或可用性。
解析度:
如要找出逾時原因,請列出 MIG 中的執行個體錯誤,然後查看結果:
- MIG 未列出失敗時的錯誤:Compute Engine 建立了節點,但節點未在逾時前向控制層註冊。在下一個步驟中,請從「Failed node registration」開始。如果節點已註冊,但耗時過長,請參閱「網路延遲」。
MIG 會列出失敗時的錯誤:Compute Engine 無法建立節點。請使用錯誤代碼和錯誤訊息,在下一個步驟中找出原因。常見的錯誤代碼包括:
QUOTA_EXCEEDED:超出專案配額IP_SPACE_EXHAUSTED:無法使用的 IP 位址ZONE_RESOURCE_POOL_EXHAUSTED:資源不足
部分錯誤代碼有
_WITH_DETAILS後置字串,錯誤訊息中會包含更多資訊。如果錯誤訊息回報的資源不存在 (例如來源映像檔),請參閱「執行個體範本無效」項目。
請根據問題原因,採取相應的解決方法:
節點註冊失敗:請按照「找出節點註冊失敗的執行個體」中的步驟操作。您也可以查看最近的設定變更:
防火牆規則:如要檢查最近是否建立、更新或刪除防火牆規則,請在 Logs Explorer 中執行下列查詢:
resource.type="gce_firewall_rule" log_id("cloudaudit.googleapis.com/activity")如果變更會封鎖節點與控制層之間或傳送至 Google API 的流量,請更新或取代防火牆規則。如要進一步瞭解必要的連線能力,請參閱「成功註冊節點的必要條件」。
IAM 服務帳戶:如要瞭解缺少的服務帳戶,請參閱「ScaleUp 錯誤」表格中的
scale.up.error.service.account.deleted列。私人服務存取權:如要查看稽核記錄中的近期變更,請參閱「私人服務存取權稽核記錄」。
虛擬私有雲網路對接:如要檢查最近是否新增、更新或移除對接,請在 Logs Explorer 中為每個對接專案執行下列查詢:
log_id("cloudaudit.googleapis.com/activity") resource.type="gce_network" protoPayload.methodName:("compute.networks.addPeering" OR "compute.networks.updatePeering" OR "compute.networks.removePeering")如果對接變更導致與控制層的連線中斷,請更新對接連線。如果連線已刪除,請參閱「虛擬私有雲網路對等互連連線不小心遭到刪除」。
超過專案配額:請參閱「ScaleUp errors」(擴充錯誤) 表格中的
scale.up.error.quota.exceeded列。無法使用的 IP 位址:請參閱「ScaleUp 錯誤」表格中的
scale.up.error.ip.space.exhausted列。執行個體範本無效:請參閱 Compute Engine 說明文件中的「執行個體範本無效」一節。
資源不足:請參閱「ScaleUp 錯誤」表格中的
scale.up.error.out.of.resources列。無法存取的 API:在 Logs Explorer 執行查詢,檢查與防火牆規則或 VPC Service Controls perimeter 相關的活動:
如要確認防火牆規則最近是否有所變更,請在「節點註冊失敗」的「防火牆規則」項目中執行稽核記錄查詢。如果您為規則啟用了防火牆規則記錄功能,也可以執行下列查詢,查看規則拒絕的連線:
resource.type="gce_subnetwork" log_id("compute.googleapis.com/firewall") jsonPayload.disposition="DENIED"如果記錄顯示防火牆規則封鎖了傳送至必要 Google API 的流量,請更新或取代防火牆規則,允許流量通過。如要進一步瞭解網路需求,請參閱「連線至 Google API 和服務的網路必要條件」。
如果您使用 VPC Service Controls,請在 Google Cloud 控制台中選取組織,並在 Logs Explorer 中執行下列查詢,檢查最近是否新增或修改了 perimeter:
logName="organizations/ORGANIZATION_ID/logs/cloudaudit.googleapis.com%2Factivity" protoPayload.serviceName="accesscontextmanager.googleapis.com"請將
ORGANIZATION_ID替換成組織 ID。您也可以新增下列篩選器,尋找 VPC Service Controls perimeter 的更新或建立作業:
severity=NOTICE protoPayload.methodName=("google.identity.accesscontextmanager.v1.AccessContextManager.CreateServicePerimeter" OR "google.identity.accesscontextmanager.v1.AccessContextManager.UpdateServicePerimeter")如果新的或修改後的 perimeter 封鎖了必要 Google API 的存取權,請從稽核記錄擷取 VPC Service Controls 錯誤,找出遭封鎖的服務,並更新 service perimeter 以允許存取。如要進一步瞭解如何在 perimeter 中使用叢集自動配置器,請參閱「在啟用可存取服務和受限制服務的 perimeter 中,自動配置器無法運作」。
網路延遲:暫時性的網路延遲通常會在後續嘗試擴充時解決。如要解決持續延遲的問題,請參閱 Compute Engine 說明文件中的「排解常見網路問題」。
自動佈建節點功能無法排定述語
問題:
Pod 會維持在 Pending 狀態,且叢集自動配置器不會建立新的節點集區:
如果 Standard 叢集已啟用自動佈建節點功能, Google Cloud 控制台會顯示下列通知:
Can't scale up because node auto-provisioning can't provision a node pool for a Pod with failing predicates在 Logging 中,無論是 Autopilot 還是 Standard 叢集,
container.googleapis.com/cluster-autoscaler-visibility記錄中的noDecisionStatus事件都會在jsonPayload.noDecisionStatus.noScaleUp.unhandledPodGroups[].napFailureReasons[]欄位中包含no.scale.up.nap.pod.zonal.failing.predicates訊息 ID。
原因:
待處理的 Pod 有排程限制,該可用區中沒有任何候選節點設定符合條件,因此自動佈建節點功能無法建立節點集區。這些限制包括節點選取器、相似性規則、無法容忍的污點、拓撲分布限制或儲存空間需求。這個問題適用於 Autopilot 叢集、啟用自動佈建節點功能的 Standard 叢集,以及啟用自動建立節點集區功能的自訂 ComputeClass。
解析度:
如要找出失敗的述詞並解決問題,請完成下列步驟:
前往 Google Cloud 控制台的「Logs Explorer」頁面。
在查詢窗格中,輸入下列查詢,查看失敗的述詞詳細資料:
resource.type="k8s_cluster" resource.labels.cluster_name="CLUSTER_NAME" log_id("container.googleapis.com/cluster-autoscaler-visibility") jsonPayload.noDecisionStatus.noScaleUp.unhandledPodGroups.napFailureReasons.messageId="no.scale.up.nap.pod.zonal.failing.predicates"將
CLUSTER_NAME替換為叢集名稱。點選「執行查詢」。
展開最近的記錄項目,並檢查
jsonPayload.noDecisionStatus.noScaleUp.unhandledPodGroups[]陣列。針對受影響的podGroup.samplePod欄位,請檢查每個napFailureReasons項目中的parameters陣列:parameters陣列中的第一個元素是評估區域。parameters陣列中的每個剩餘元素都是述詞失敗原因。
下列記錄項目摘錄範例顯示,Pod 未通過
us-central1-a區域中的節點親和性或選取器述詞:{ "jsonPayload": { "noDecisionStatus": { "measureTime": "1706540000", "noScaleUp": { "unhandledPodGroups": [ { "napFailureReasons": [ { "messageId": "no.scale.up.nap.pod.zonal.failing.predicates", "parameters": [ "us-central1-a", "node(s) didn't match Pod's node affinity/selector" ] } ], "podGroup": { "samplePod": { "controller": { "apiVersion": "apps/v1", "kind": "ReplicaSet", "name": "web-app-6d4cf56db6" }, "name": "web-app-6d4cf56db6-x8k2p", "namespace": "default" }, "totalPodCount": 1 } } ], "unhandledPodGroupsTotalCount": 1 } } } }解決與
parameters陣列中預測失敗原因相對應的排程衝突,如下表所示:記錄中的述詞失敗原因 常見原因 解析度 node(s) didn't match Pod's node affinity/selector- Pod 會設定
cloud.google.com/gke-nodepool標籤,指定手動建立的節點集區。 - Pod 要求的可用區不在叢集設定的自動佈建位置內。
- Pod 在
cloud.google.com/gke-os-distribution標籤中要求的作業系統映像檔與叢集的預設節點映像檔不符。 - Pod 選取了未在自動佈建節點設定或自訂 ComputeClass 中定義的自訂節點標籤。
- 如果 Pod 設定了
cloud.google.com/gke-nodepool標籤,自動佈建節點功能就無法為該 Pod 建立節點集區。請檢查目標節點集區是否已達節點數量上限,或移除cloud.google.com/gke-nodepool選取器,讓節點自動佈建功能建立節點集區。 - 如果 Pod 要求特定可用區,請確認該可用區已包含在設定的自動佈建位置中。
- 如果 Pod 設定了
cloud.google.com/gke-os-distribution標籤,例如ubuntu或cos_containerd,請確認該值與叢集的預設節點映像檔相符。自動佈建節點功能只會使用預設節點映像檔建立節點集區。更新自動佈建節點的預設節點映像檔,或手動建立使用所需節點映像檔的自動調度資源節點集區。 - 如果 Pod 選取自訂節點標籤,請確認這些標籤已在自動佈建節點設定或自訂 ComputeClass 中定義。或者,您也可以設定相符的節點選取器和容忍度,遵循工作負載區隔規定。否則,請移除無法辨識的標籤選取器,或指定具有這些標籤的手動建立節點集區。
- 如果 Pod 要求的 GPU 類型或機器系列在可用區中無法使用,叢集自動配置器會改為回報
no.scale.up.nap.pod.zonal.illegal.config訊息 ID。如要確認可用區,請參閱「GPU 位置」和「區域和可用區」。
node(s) didn't match PersistentVolume's node affinitynode(s) had volume node affinity conflictpod has unbound immediate PersistentVolumeClaims
- Pod 參照的 PersistentVolumeClaim 繫結至不同可用區中的可用區 PersistentVolume,例如 StorageClass 使用
volumeBindingMode: Immediate設定時。 - 當 GKE 強制執行磁碟類型拓撲時 (例如在 Autopilot 叢集中,或 StorageClass 設定
use-allowed-disk-topology: "true"參數時),Pod 會要求pd-standard、pd-balanced或pd-ssd磁碟區,但機器系列不支援該磁碟類型。
- 將 Pod 的
nodeSelector或nodeAffinity區域與繫結 PersistentVolume 的區域配對。如要避免在衝突的可用區中佈建磁碟區,請使用volumeBindingMode: WaitForFirstConsumer設定來設定 StorageClass。 - 請使用所要求機器系列支援的磁碟類型。
舉例來說,C4 和 N4 機器系列僅支援 Google Cloud Hyperdisk 磁碟區,C3 和 M3 機器系列則不支援
pd-standard磁碟區。詳情請參閱「Hyperdisk 支援的機器系列」和「Persistent Disk 支援的機器系列」。
node(s) had untolerated taint(s),或以node(s) had untolerated taint開頭的訊息Pod 指定的自動佈建節點設定或 ComputeClass 會將污點套用至佈建的節點,例如 GPU 污點或工作負載分隔污點,但 spec.tolerations欄位中沒有相符的容許條件。如果是自動佈建節點設定或 ComputeClass 套用的 taint,請在 Pod 資訊清單的 spec.tolerations欄位中新增相符的容許條件。node(s) didn't match pod topology spread constraintsnode(s) didn't match pod affinity rulesnode(s) didn't match pod anti-affinity rulesnode(s) didn't satisfy existing pods anti-affinity rules
- Pod 使用
whenUnsatisfiable: DoNotSchedule設定定義topologySpreadConstraints規則,或使用requiredDuringSchedulingIgnoredDuringExecution設定定義podAffinity或podAntiAffinity規則,但無法透過在該可用區新增節點來滿足這些規則。 - 可用區 PersistentVolume 會將 Pod 限制在單一可用區,但拓撲分散限制或反相依性規則會禁止在該可用區排程,因為已有其他相符的 Pod 在該可用區執行。
- 查看 Pod 的
spec.topologySpreadConstraints和spec.affinity欄位,確認叢集的自動佈建位置有足夠的可用區或拓撲網域,可滿足限制條件。 - 如果可用區 PersistentVolume 與嚴格拓撲分散或反相似規則衝突,請將
whenUnsatisfiable欄位的值變更為ScheduleAnyway、提高maxSkew值,或更新工作負載的儲存空間或反相似設定。
- Pod 會設定
叢集健康狀態不良,無法向上擴充
問題:
叢集自動配置器會停止所有調度資源作業,且 cluster-autoscaler-status ConfigMap 包含類型為 Warning 的事件,並列出 ClusterUnhealthy 做為原因。
如要查看 cluster-autoscaler-status ConfigMap,請執行下列指令:
kubectl describe configmap cluster-autoscaler-status -n kube-system
原因:
如果叢集自動配置器認為叢集健康狀態不良,就不會向上擴充。叢集自動配置器會根據健康且就緒的節點比例,判斷叢集健康狀態,而非根據控制層健康狀態。如果叢集中有 45% 的節點健康狀態不佳或未就緒,叢集自動配置器會停止所有作業。
如果節點具有 ignore-taint.cluster-autoscaler.kubernetes.io/ 前置字元的污點,叢集自動配置器也會將就緒節點視為 NotReady。只要該污點存在,叢集自動配置器就會將節點視為 NotReady。
解析度:
如要解決這個問題,請採取下列其中一項或兩項做法,減少健康狀態不良的節點數量:
- 調查並修復健康狀態不良或
NotReady節點,讓叢集中健康狀態不良的節點少於 45%。 - 如果就緒節點含有前置字串為
ignore-taint.cluster-autoscaler.kubernetes.io/的污點,請移除該污點。
後續步驟
- 請參閱 Kubernetes 叢集自動配置器常見問題。
- 觀看 YouTube 影片,瞭解如何排解及解決資源調度問題。
如果您在說明文件中找不到問題的解決方案,請參閱「取得支援」一文,瞭解如何取得進一步協助,包括下列主題的建議:
- 與 Cloud Customer Care 聯絡,建立客服案件。
- 在 StackOverflow 提問,並使用
google-kubernetes-engine標記搜尋類似問題,向社群尋求支援。您也可以加入#kubernetes-engineSlack 頻道,取得更多社群支援。 - 使用公開 Issue Tracker 提出問題或功能要求。