排解 OOM 事件問題

如果 Google Kubernetes Engine (GKE) 應用程式發生非預期的容器終止、不穩定或 CrashLoopBackOff 錯誤,可能是記憶體不足 (OOM) 事件所致。當容器或節點用盡記憶體時,就會發生 OOM 事件,導致 Linux OOM Killer 終止程序以回收資源。

您可以透過這個頁面,判斷 OOM 事件是發生在容器層級還是節點層級,並採取有效的緩解策略,防止事件再次發生。

應用程式開發人員必須確保應用程式已設定適當的記憶體要求和限制,且沒有記憶體流失問題,因此這項資訊非常重要。平台管理員和操作員也需要這項資訊,才能監控節點資源使用率,並確保叢集有足夠的記憶體容量,可支援部署的工作負載。如要進一步瞭解 Google Cloud 內容中提及的常見角色和工作範例,請參閱「常見的 GKE 使用者角色和工作」。

OOM 事件的常見原因

OOM 事件通常發生在負載或流量高峰期間,此時應用程式記憶體用量會激增,並達到為容器設定的記憶體限制。

下列情況可能導致 OOM 事件:

  • 記憶體限制不足:Pod 資訊清單中的 resources.limits.memory 設定過低,無法滿足應用程式的一般或尖峰記憶體需求。
  • 未定義記憶體要求或限制:如果未定義 resources.limits.memory 和 resources.requests.memory,容器的記憶體用量就不受限制。
  • 負載過高或不穩定:負載突然大幅增加,可能會耗盡系統資源 (包括記憶體),即使限制通常足夠也一樣。
  • 記憶體流失:應用程式可能有程式碼缺陷,導致無法正確釋放記憶體。

OOM 事件可能會引發連鎖故障,因為可處理流量的容器減少,導致剩餘容器的負載增加。這些容器也可能終止。

Kubernetes 如何處理 OOM 事件

Linux OOM Killer 會處理每個 OOM 事件。OOM Killer 是核心程序,會在系統記憶體嚴重不足時啟動。其目的是透過策略性終止程序來釋出資源,防止系統全面當機。核心會使用評分系統來選取要停止的程序,目的是維持系統穩定性,並盡可能減少資料遺失。

在 Kubernetes 環境中,OOM Killer 會在兩個不同的範圍運作:控制群組 (cgroup) (會影響一個容器) 和系統 (會影響整個節點)。

容器層級 OOM 終止

當容器嘗試超過預先定義的記憶體限制時,就會發生容器層級 OOM 終止。Kubernetes 會將每個容器指派給特定 cgroup,並設定記憶體硬性限制。當容器的記憶體用量達到這個限制時,核心會先嘗試回收該 cgroup 內的記憶體。如果核心無法透過這項程序回收足夠的記憶體,就會叫用 cgroup OOM Killer。它會終止該特定 cgroup 內的程序,以強制執行資源邊界。

當容器中的主要程序以這種方式終止時,Kubernetes 會觀察事件,並將容器的狀態標示為 OOMKilled。Pod 設定的 restartPolicy 會決定結果:

  • Always 或 OnFailure:容器會重新啟動。
  • Never:容器不會重新啟動,並維持在終止狀態。

OOM Killer 會將故障隔離在有問題的容器中,避免單一故障 Pod 導致整個節點停止運作。

cgroup 版本對 OOM Killer 行為的影響

OOM 終止行為在不同 cgroup 版本之間可能會有顯著差異。如果不確定自己使用的 cgroup 版本,請查看叢集節點的 cgroup 模式。

  • 在 cgroup v1 中,容器記憶體 cgroup 內的 OOM 事件可能會導致無法預測的行為。OOM Killer 可能會終止該 cgroup 內的任何程序,包括非容器主要程序 (PID 1) 的子程序。

    這項行為對 Kubernetes 來說是一大挑戰。由於 Kubernetes 主要監控主要容器程序的健康狀態,因此不會察覺這些「部分」OOM 終止。即使重要的子程序已終止,主要容器程序仍可能繼續執行。這種行為可能會導致應用程式發生細微故障,Kubernetes 或操作人員無法立即察覺,但仍可在節點的系統日誌 (journalctl) 中看到。

  • cgroup v2 提供更可預測的 OOM Killer 行為。

    為確保 cgroup v2 環境中的工作負載完整性,OOM 終止器會防止部分終止,並確保兩種結果之一:屬於該 cgroup 及其子項的「所有工作」都會終止 (讓 Kubernetes 看到失敗),或者當工作負載沒有使用過多記憶體的工作時,工作負載會保持不變,並繼續執行,不會發生非預期的內部程序終止。

    如果您希望 cgroup v1 終止單一程序,kubelet 會為 cgroup v2 提供 singleProcessOOMKill 旗標。這個旗標可讓您更精細地控管,在 OOM 事件期間終止個別程序,而非整個 cgroup。

系統層級 OOM 終止

系統層級的 OOM 終止事件較為嚴重,會在整個節點 (而非單一容器) 用盡可用記憶體時發生。如果所有程序 (包括所有 Pod 和系統 Daemon) 的記憶體用量總和超過節點容量,就可能發生這個事件。

當這個節點的記憶體用盡時,全域 OOM 終止程序會評估節點上的所有程序,並終止程序以回收整個系統的記憶體。系統通常會選取短暫執行且使用大量記憶體的程序。

為避免發生嚴重的 OOM 情況,Kubernetes 會使用節點壓力驅逐機制管理節點資源。當記憶體或磁碟空間等資源嚴重不足時,系統會從節點中剔除較不重要的 Pod。系統層級的 OOM 終止作業表示,這個剔除程序無法快速釋出記憶體,因此無法避免問題。

如果 OOM Killer 終止容器的程序,效果通常與 cgroup 觸發的終止相同:容器會標示為 OOMKilled,並根據其政策重新啟動。不過,如果重要的系統程序遭到終止 (這種情況很少見),節點本身可能會不穩定。

調查 OOM 事件

下列各節將說明如何偵測及確認 OOM 事件,從最簡單的 Kubernetes 工具開始,逐步深入到更詳細的記錄分析。

檢查 Pod 狀態,查看是否有 OOM 事件

確認 OOM 事件的第一步,是檢查 Kubernetes 是否觀察到 OOM 事件。Kubernetes 會在容器的主要程序終止時觀察事件,這是 cgroup v2 環境中的標準行為。

  • 檢查 Pod 的狀態:

    kubectl describe pod POD_NAME
    

    將 POD_NAME 替換為要調查的 Pod 名稱。

    如果發生可見的 OOM 事件,輸出內容會與下列內容相似:

    ...
      Last State:     Terminated
        Reason:       OOMKilled
        Exit Code:    137
        Started:      Tue, 13 May 2025 19:05:28 +0000
        Finished:     Tue, 13 May 2025 19:05:30 +0000
    ...
    

如果 Reason 欄位顯示 OOMKilled,表示您已確認活動。137 的 Exit Code 也表示 OOM 終止。如果 Reason 欄位的值不同,或 Pod 在應用程式發生錯誤時仍持續執行,請前往下一節進一步調查。

搜尋記錄,找出隱形 OOM 事件

如果子程序遭到終止,但主要容器程序繼續執行 (cgroup v1 環境中的常見情況),Kubernetes 就會「看不到」OOM 終止。您必須搜尋節點的記錄,找出這些事件的證據。

如要找出隱藏的 OOM 終止事件,請使用 Logs Explorer:

  1. 前往 Google Cloud 控制台的「Logs Explorer」頁面。

    前往 Logs Explorer

  2. 在查詢窗格中,輸入下列其中一項查詢:

    • 如果您認為現有的 Pod 發生 OOM 事件,請查詢該 Pod:

      resource.type="k8s_node"
      jsonPayload.MESSAGE:(("POD_NAME" AND "ContainerDied") OR "TaskOOM event")
      resource.labels.cluster_name="CLUSTER_NAME"
      

      更改下列內容:

      • POD_NAME:要查詢的 Pod 名稱。
      • CLUSTER_NAME:Pod 所屬叢集的名稱。
    • 如要找出哪些 Pod 或節點發生 OOM 事件,請查詢所有 GKE 工作負載:

      resource.type="k8s_node"
      jsonPayload.MESSAGE:("ContainerDied" OR "TaskOOM event")
      resource.labels.cluster_name="CLUSTER_NAME"
      
  3. 點選「執行查詢」。

  4. 在輸出內容中,搜尋包含 TaskOOM 字串的記錄項目,找出 OOM 事件。

  5. 選用:如果您搜尋了所有 GKE 工作負載的 OOM 事件,並想找出發生 OOM 事件的特定 Pod,請完成下列步驟:

    1. 請記下每個事件相關聯的容器 ID。
    2. 如要找出容器停止運作的原因,請尋找含有 ContainerDied 字串,且在 OOM 事件發生後不久出現的記錄項目。將 OOM 事件中的容器 ID 與對應的 ContainerDied 行進行比對。

    3. 比對 container IDs 後,ContainerDied 行通常會包含與失敗容器相關聯的 Pod 名稱。這個 Pod 受到 OOM 事件影響。

找出 OOM 事件與容器重新啟動的關聯

當 OOM 終止容器的主要程序時,Kubernetes 會根據 Pod 的 restartPolicy 重新啟動容器,如「容器層級 OOM 終止」和「系統層級 OOM 終止」所述。如要依時間順序查看 OOMKilling 事件和後續容器啟動事件,請使用 Logs Explorer:

  1. 前往 Google Cloud 控制台的「Logs Explorer」頁面。

    前往 Logs Explorer

  2. 在查詢窗格中輸入下列查詢:

    log_id("events")
    resource.labels.cluster_name="CLUSTER_NAME"
    (
      (
        resource.type="k8s_pod"
        resource.labels.namespace_name="NAMESPACE_NAME"
        jsonPayload.message:"Started container"
      ) OR (
        resource.type="k8s_node"
        jsonPayload.reason="OOMKilling"
      )
    )
    

    更改下列內容:

    • CLUSTER_NAME:要查詢的叢集名稱。
    • NAMESPACE_NAME:要檢查的 Pod 命名空間。

    系統會回報節點 (k8s_node 資源類型) 的 OOMKilling 事件,因此這些事件沒有命名空間標籤。命名空間篩選器僅適用於 Started container 事件,這些事件會針對 Pod (k8s_pod 資源類型) 回報。

  3. 點選「執行查詢」。

  4. 在輸出內容中,尋找在同一節點上發生 OOMKilling 事件後不久發生的 Started container 事件。OOMKilling 事件訊息會識別終止的程序,Started container 事件則會識別啟動的 Pod 和容器。

    並非所有 Started container 事件都是由 OOM 終止造成。如要確認容器是否因 OOM 事件而重新啟動,請按照「檢查 Pod 狀態,找出可見的 OOM 事件」一節所述,檢查 Pod 的狀態。

使用 journalctl 取得即時資訊

如需即時分析系統,請使用 journalctl 指令。

  1. 使用 SSH 連線至節點:

    gcloud compute ssh NODE_NAME --location ZONE
    

    更改下列內容:

    • NODE_NAME:要檢查的節點名稱。
    • ZONE:節點所屬的 Compute Engine 可用區。
  2. 在殼層中,查看節點系統日誌的核心訊息:

    journalctl -k
    
  3. 分析輸出內容,區分事件類型:

    • 容器層級終止:記錄項目包含 memory cgroup、mem_cgroup 或 memcg 等字詞,表示已強制執行 cgroup 限制。
    • 系統層級終止:記錄項目是一般訊息,例如 Out of memory: Killed process...,未提及 cgroup。

解決 OOM 事件

如要解決 OOM 事件,請嘗試下列解決方案:

  • 提高記憶體限制:這是最直接了當的解決方案。編輯 Pod 資訊清單,提供較高的 resources.limits.memory 值,以因應應用程式的使用高峰。如要進一步瞭解如何設定限制,請參閱 Kubernetes 說明文件中的「Pod 和容器的資源管理」。
  • 新增或調整記憶體要求:在 Pod 的資訊清單中,確認 resources.requests.memory 欄位已設為一般用量的實際值。這項設定可協助 Kubernetes 將 Pod 排定至記憶體充足的節點。
  • 水平擴充工作負載:增加副本數量,分散流量負載並減輕任何單一 Pod 的記憶體壓力。如要讓 Kubernetes 主動調度工作負載資源,建議啟用水平自動調度 Pod 資源功能。
  • 垂直擴充節點:如果節點上的許多 Pod 接近上限,節點本身可能太小。如要增加節點大小,請將工作負載遷移至記憶體較多的節點集區。如要讓 Kubernetes 主動調度節點資源,建議啟用垂直自動調度 Pod 資源功能。
  • 最佳化應用程式:檢查應用程式,找出並解決記憶體流失問題,並最佳化在流量高峰期間耗用大量記憶體的程式碼。
  • 刪除有問題的工作負載:如果是非關鍵工作負載,最後手段是刪除 Pod,立即減輕叢集壓力。

後續步驟