為提高工作負載穩定性,Google Kubernetes Engine (GKE) Autopilot 模式會管理 Pod 資源要求的值,例如 CPU、記憶體或臨時儲存空間。本頁面包含下列資訊,可協助您規劃高效、穩定且符合成本效益的工作負載:
- Autopilot 套用至未指定值的 Pod 的預設值。
- Autopilot 對資源要求強制執行的最小值和最大值。
- 預設值、最小值和最大值會因 Pod 要求的硬體而異。
本頁面適用於佈建及設定雲端資源,以及部署工作負載的操作人員和開發人員。如要進一步瞭解 Google Cloud內容中提及的常見角色和工作範例,請參閱「常見的 GKE 使用者角色和工作」。
您應該已熟悉 Kubernetes 資源管理。
Autopilot 中的資源要求總覽
Autopilot 會使用您在工作負載設定中指定的資源要求,設定執行工作負載的節點。Autopilot 會根據工作負載使用的運算類別或硬體設定,強制執行資源要求上下限。如果您未指定某些容器的要求,Autopilot 會指派預設值,讓這些容器正確運作。
在 Autopilot 叢集部署工作負載時,GKE 會根據所選運算類別或硬體設定 (例如 GPU) 的允許最小值和最大值,驗證工作負載設定。如果要求低於下限,Autopilot 會自動修改工作負載設定,將要求調整至允許範圍內。如果要求超過上限,Autopilot 會拒絕工作負載並顯示錯誤訊息。
以下清單匯總了資源要求的類別:
- 預設資源要求:如果您未指定工作負載的要求,Autopilot 會新增這些要求
- 資源要求下限和上限:Autopilot 會驗證您指定的要求,確保要求在這些限制範圍內。如果要求超出限制,Autopilot 會修改工作負載要求。
- 工作負載區隔和延長時間要求:對於彼此區隔的工作負載,或受到 GKE 啟動驅逐作業延長保護的 Pod,Autopilot 有不同的預設值和最小值。
- DaemonSet 的資源要求:Autopilot 對 DaemonSet 中的容器有不同的預設值、最小值和最大值。
如何要求資源
在 Autopilot 中,您可以在 Pod 規格中要求資源。您可以要求的資源數量下限和上限,會根據 Pod 運作節點的硬體設定而有所不同。如要瞭解如何要求特定硬體設定,請參閱下列頁面:
預設資源要求
如果您未指定 Pod 中部分容器的資源要求,Autopilot 會套用預設值。這些預設值適用於許多較小的工作負載。
此外,無論選取的運算級別或硬體設定為何,Autopilot 都會套用下列預設資源要求:
DaemonSet 中的容器
- CPU:50 mCPU
- 記憶體:100 MiB
- 暫時儲存空間:100 MiB
所有其他容器
- 暫時儲存空間:1 GiB
如要進一步瞭解 Autopilot 叢集限制,請參閱「配額與限制」。
運算類別的預設要求
如果 Pod 規格未定義在運算類別上執行的 Pod 資源,Autopilot 會套用下列預設值。如果您只設定其中一項要求,另一項留空,GKE 會使用「Minimum and maximum requests」(要求下限和上限) 區段中定義的 CPU:記憶體比率,將缺少的要求設為符合該比率的值。
Autopilot 不會對 GPU Pod 和使用 Performance ComputeClass 的 Pod 強制執行預設要求。下表說明各 ComputeClass 的預設資源要求:
| ComputeClass | 預設 CPU 要求 | 預設記憶體要求 |
|---|---|---|
一般用途 (預設 autopilot 或 autopilot-arm) |
0.5 個 vCPU | 2 GiB |
| 平衡 | 0.5 個 vCPU | 2 GiB |
| 水平擴展 | 0.5 個 vCPU | 2 GiB |
資源要求下限和上限
部署設定要求的資源總量,應在 Autopilot 允許的最低和最高值範圍內。適用條件如下:
個別節點最低要求:如果您使用以 Pod 為基礎的計費模式,在 Standard 叢集中以 Autopilot 模式執行工作負載,且節點上可計費 Pod 的資源要求總和低於單一 Pod 適用的最低要求,GKE 會針對該最低要求收取費用。
由於 Autopilot 會修改 Pod 資源要求,因此節點上可計費 Pod 要求的總和,幾乎一律會達到或超過這個節點最低要求。
暫時儲存空間要求:
除非節點已連接本機 SSD,否則臨時儲存空間會使用 VM 開機磁碟。
如果運算硬體包含本機 SSD,例如 A100 (80 GB) GPU、H100 (80 GB) GPU、Z3 機器系列或 Z4D 機器系列,則支援的要求上限等於本機 SSD 大小減去任何系統負擔。如要瞭解這項系統負擔,請參閱「本機 SSD 支援的臨時儲存空間」。
在 GKE 1.29.3-gke.1038000 以上版本中,效能級 Pod 和硬體加速器 Pod 支援的臨時儲存空間要求上限為 56 TiB,除非硬體包含本機 SSD。
在所有其他 Autopilot Pod 中,無論 GKE 版本為何,除非另有指定,否則 Pod 中所有容器的臨時儲存空間要求總量必須介於 10 MiB 至 10 GiB 之間。
如需較大的磁碟區,請使用一般臨時磁碟區,其功能和效能與臨時儲存空間相當,但彈性更大,因為可與任何 GKE 儲存空間選項搭配使用。舉例來說,使用
pd-balanced的一般臨時磁碟區大小上限為 64 TiB。
DaemonSet Pod 的最低資源要求如下:
- 支援高載的叢集:每個 Pod 1 mCPU、每個 Pod 2 MiB 記憶體,以及 Pod 中每個容器 10 MiB 臨時儲存空間。
- 不支援高載的叢集:每個 Pod 10 mCPU、每個 Pod 10 MiB 記憶體,以及 Pod 中每個容器 10 MiB 臨時儲存空間。
如要確認叢集是否支援爆發功能,請參閱「GKE 的爆發功能可用性」。
如果叢集支援爆量,Autopilot 就不會強制要求 Pod CPU 要求以 0.25 個 vCPU 為單位遞增。如果叢集不支援爆發,Autopilot 會將 CPU 要求無條件進位至最接近的 0.25 vCPU。如要確認叢集是否支援高載,請參閱「GKE 中的高載可用性」。
CPU 與記憶體的比率必須在所選運算類別或硬體設定的允許範圍內。如果 CPU 與記憶體的比率超出允許範圍,Autopilot 會自動增加較小的資源。舉例來說,如果您為在
Scale-Out類別上執行的 Pod 要求 1 個 vCPU 和 16 GiB 記憶體 (1:16 比例),Autopilot 會將 CPU 要求增加至 4 個 vCPU,將比例變更為 1:4。
運算類別的下限和上限
下表說明 Autopilot 支援的各個運算類別,其 CPU 與記憶體比率的最小值、最大值和允許值:
| 運算級別 | CPU:記憶體比率 (vCPU:GiB) | 資源 | 下限 | 上限 |
|---|---|---|---|---|
一般用途 (預設 autopilot 或 autopilot-arm) |
介於 1:1 和 1:6.5 之間 | CPU | 這個值取決於叢集是否支援爆發,如下所示:
如要確認叢集是否支援爆發功能,請參閱「GKE 的爆發功能可用性」。 |
30 個 vCPU |
一般用途 (預設 autopilot 或 autopilot-arm) |
介於 1:1 和 1:6.5 之間 | 記憶體 | 這個值取決於叢集是否支援爆發,如下所示:
如要確認叢集是否支援爆發功能,請參閱「GKE 的爆發功能可用性」。 |
110 GiB |
| 平衡 | 介於 1:1 和 1:8 之間 | CPU | 0.25 個 vCPU | 222 個 vCPU 如果選取最低 CPU 平台:
|
| 平衡 | 介於 1:1 和 1:8 之間 | 記憶體 | 0.5 GiB | 851 GiB 如果選取最低 CPU 平台:
|
| 效能 | 不適用 | CPU | 沒有最低要求規定 |
|
| 效能 | 不適用 | 記憶體 | 沒有最低要求規定 |
|
| 效能 | 不適用 | 臨時儲存空間 | 沒有最低要求規定 |
|
| 水平擴展 | 1:4 | CPU | 0.25 個 vCPU |
|
| 水平擴展 | 1:4 | 記憶體 | 1 GiB |
|
如要瞭解如何在 Autopilot Pod 中要求運算類別,請參閱「選擇 Autopilot Pod 的運算類別」。
加速器數量下限和上限
對於使用加速器的 Pod,GKE 不會強制要求 CPU、記憶體或臨時儲存空間的最低用量。除非另有指定,否則支援的臨時儲存空間上限為 56 TiB。下表根據您使用的加速器數量和類型,說明各項資源的要求上限:
| 加速器類型 | 資源 | 上限 |
|---|---|---|
NVIDIA B200
|
CPU |
|
NVIDIA B200
|
記憶體 |
|
NVIDIA B200
|
臨時儲存空間 |
|
NVIDIA H200 (141GB)
|
CPU |
|
NVIDIA H200 (141GB)
|
記憶體 |
|
NVIDIA H200 (141GB)
|
臨時儲存空間 |
|
NVIDIA H100 Mega (80GB)
|
CPU |
|
NVIDIA H100 Mega (80GB)
|
記憶體 |
|
NVIDIA H100 Mega (80GB)
|
臨時儲存空間 |
|
NVIDIA H100 (80GB)
|
CPU |
|
NVIDIA H100 (80GB)
|
記憶體 |
|
NVIDIA H100 (80GB)
|
臨時儲存空間 |
|
NVIDIA A100 (40GB)
|
CPU |
在 A100 GPU 節點上執行的所有 DaemonSet,其 CPU 要求總和不得超過 2 個 vCPU。 |
NVIDIA A100 (40GB)
|
記憶體 |
在 A100 GPU 節點上執行的所有 DaemonSet,其記憶體要求總和不得超過 14 GiB。 |
NVIDIA A100 (80GB)
|
CPU |
在 A100 (80 GB) GPU 節點上執行的所有 DaemonSet,其 CPU 要求總和不得超過 2 個 vCPU。 |
NVIDIA A100 (80GB)
|
記憶體 |
在 A100 (80 GB) GPU 節點上執行的所有 DaemonSet,其記憶體要求總和不得超過 14 GiB。 |
NVIDIA A100 (80GB)
|
臨時儲存空間 |
|
NVIDIA RTX PRO 6000
|
CPU |
|
NVIDIA RTX PRO 6000
|
記憶體 |
|
NVIDIA RTX PRO 6000
|
臨時儲存空間 |
|
NVIDIA L4
|
CPU |
在 L4 GPU 節點上執行的所有 DaemonSet,其 CPU 要求總和不得超過 2 個 vCPU。 |
NVIDIA L4
|
記憶體 |
在 L4 GPU 節點上執行的所有 DaemonSet,其記憶體要求總和不得超過 14 GiB。 |
NVIDIA Tesla T4
|
CPU |
|
NVIDIA Tesla T4
|
記憶體 |
|
Ironwood (TPU7x)
|
CPU |
|
Ironwood (TPU7x)
|
記憶體 |
|
Ironwood (TPU7x)
|
臨時儲存空間 | 56 TiB |
TPU v6e (預先發布版)
|
CPU |
|
TPU v6e (預先發布版)
|
記憶體 |
|
TPU v6e (預先發布版)
|
臨時儲存空間 | 56 TiB |
TPU v5e
|
CPU |
|
TPU v5e
|
記憶體 |
|
TPU v5e
|
臨時儲存空間 | 56 TiB |
TPU v5p
|
CPU | 280 個 vCPU |
TPU v5p
|
記憶體 | 448 GiB |
TPU v5p
|
臨時儲存空間 | 56 TiB |
TPU v4
|
CPU | 240 個 vCPU |
TPU v4
|
記憶體 | 407 GiB |
TPU v4
|
臨時儲存空間 | 56 TiB |
如要瞭解如何在 Autopilot Pod 中要求 GPU,請參閱「在 Autopilot 中部署 GPU 工作負載」。
資源要求來區隔工作負載及延長時間
在下列情況下,Autopilot 會強制提高預設和最低資源要求的值:
- 在任何非叢集層級預設的自訂 Autopilot ComputeClass 中,使用
podFamily優先順序規則。 - 您部署的工作負載符合下列兩項條件:
- 請使用下列其中一種運算設定:
- Autopilot 叢集中的預設容器最佳化運算平台。
- 任何內建的 Autopilot ComputeClass。
- 自訂 Autopilot ComputeClass 中的
podFamily優先順序規則,這也是叢集層級的預設值。 - Autopilot 叢集中的
Balanced或Scale-OutComputeClass。
- 您可以透過下列任一方式,操控 Kubernetes 排程和淘汰行為:
- 您可以使用工作負載分隔,確保特定 Pod 只會放在特定節點上。
- 您可以使用 Pod 反相依性,防止 Pod 共置於同一個節點。
- 您可以使用註解延長 Autopilot Pod 的執行時間,防止節點自動升級和縮減事件導致 Pod 遭到淘汰,最長可達七天。
- 請使用下列其中一種運算設定:
根據預設,如果資源要求低於允許的最小值,Autopilot 會提高資源要求,以符合最小值。Pod 反親和性是這項行為的例外狀況,Autopilot 會拒絕 Pod 並顯示錯誤訊息。
下表說明在這些情境中,您可以指定的預設要求和最低資源要求:
| 設定 | 預設 | 下限 |
|---|---|---|
Pod 會修改排程或撤除行為,並使用下列其中一項設定:
|
|
|
在非預設自訂 ComputeClass 中使用 podFamily 規則的 Pod |
|
|
修改排程或淘汰行為,並在 Autopilot 叢集中使用 Balanced ComputeClass 的 Pod |
|
|
修改排程或淘汰行為,並在 Autopilot 叢集中使用 Scale-Out ComputeClass 的 Pod |
|
|
Init 容器
Init 容器會依序執行,且所有 init 容器都必須完成執行,應用程式容器才能啟動。在 Autopilot 叢集中,如果您未指定 init 容器的 CPU 或記憶體要求,或未明確將要求設為 0,Autopilot 會在建立期間修改 Pod,為每個 init 容器新增資源要求。指派給每個 init 容器的要求,等於 Pod 中所有應用程式容器的要求總和。這是預設行為。
這與 Standard 叢集的行為不同,Standard 叢集的 init 容器會使用 Pod 排定執行的節點上任何未分配的資源。
自動為 init 容器分配資源
系統會在建立 Pod 時,自動為 init 容器分配資源。建議您不要手動為 Autopilot 叢集中的 init 容器指定資源要求,這樣每個容器預設都能取得 Pod 可用的完整資源。
如果您在建立 Pod 後,變更 Pod 中非 init 容器的資源要求,Autopilot 不會自動調整 init 容器的資源要求。因此,您可能會發現費用與 Pod 的實際資源用量不一致。帳單金額取決於 Pod 的有效資源要求,也就是下列兩者中的較大值:
- Pod 中任何單一 init 容器的最大資源要求。
- Pod 中所有應用程式容器的要求總和。
詳情請參閱「Autopilot 中的自動資源管理」。
手動分配 init 容器資源
如需變更應用程式容器現有的資源要求,以便管理成本和資源,建議您採取下列任一做法,調整 init 容器要求:
- 手動更新 init 容器的資源要求,以符合 Pod 的新要求總量。手動指定資源要求時,請考量下列事項:
- 如果要求低於 Pod 的總資源,可能會限制 init 容器。
- 如果要求高於 Pod 的總資源,費用可能會增加。
- 移除資源要求,讓 Autopilot 重新計算。Autopilot 預設會根據 Pod 中所有應用程式容器目前要求的資源總量,重新分配資源給各個 init 容器。
在 Autopilot 中設定資源限制
Kubernetes 可讓您在 Pod 規格中,為資源設定 requests 和 limits。Pod 的行為會因 limits 是否與 requests 不同而有所變化,如下表所示:
| 值設定 | Autopilot 行為 |
|---|---|
requests等於limits |
Pod 使用 Guaranteed QoS 類別。 |
已設定 requests,未設定 limits |
行為取決於叢集是否支援爆發,如下所示:
如要確認叢集是否支援爆發功能,請參閱「GKE 的爆發功能可用性」。 |
未設定 requests,已設定 limits |
Autopilot 會將 requests 設為 limits 的值,這是預設的 Kubernetes 行為。更新前: resources:
limits:
cpu: "400m"更新後: resources:
requests:
cpu: "400m"
limits:
cpu: "400m" |
比「limits」便宜 requests |
行為取決於叢集是否支援爆發,如下所示:
如要確認叢集是否支援爆發功能,請參閱「GKE 的爆發功能可用性」。 |
requests大於limits |
Autopilot 會將 requests 設為 limits 的值。更新前: resources:
requests:
cpu: "450m"
limits:
cpu: "400m"更新後: resources:
requests:
cpu: "400m"
limits:
cpu: "400m" |
未設定 requests,未設定 limits |
Autopilot 會將
如要確認叢集是否支援爆發功能,請參閱「GKE 的爆發功能可用性」。 |
在多數情況下,請為工作負載設定適當的資源要求和相等的限制。
如果工作負載暫時需要比穩定狀態更多的資源 (例如啟動期間或流量較高時),請將限制設為高於要求,讓 Pod 爆發。詳情請參閱「在 GKE 中設定 Pod 爆發」。
Autopilot 中的自動資源管理
如果您為工作負載指定的資源要求超出允許範圍,或未要求某些容器的資源,Autopilot 會修改工作負載設定,以符合允許的限制。Autopilot 會先為未指定要求的容器套用預設值,再計算資源比率和資源擴充需求。
- 缺少要求:如果您未在某些容器中要求資源,Autopilot 會套用運算類別或硬體設定的預設要求。
- CPU 與記憶體比率:Autopilot 會調高較小的資源,使比率落在允許範圍內。
- 暫時儲存空間:Autopilot 會修改暫時儲存空間要求,以符合每個容器所需的最低用量。所有容器的儲存空間要求累計值不得超過允許的最大值。在 1.28.6-gke.1317000 之前的版本中,如果要求的臨時儲存空間超過上限,Autopilot 會縮減儲存空間。在 1.28.6-gke.1317000 以上版本中,Autopilot 會拒絕您的工作負載。
- 要求低於下限:如果您要求的資源少於所選硬體設定允許的下限,Autopilot 會自動修改 Pod,要求至少達到資源值下限。
根據預設,當 Autopilot 自動調度資源以達到最低或預設資源值時,GKE 會將額外容量分配給 Pod 資訊清單中的「第一個容器」。在 GKE 1.27.2-gke.2200 以上版本中,您可以在 Pod 資訊清單的 annotations 欄位中加入下列內容,指示 GKE 將額外資源分配給特定容器:
autopilot.gke.io/primary-container: "CONTAINER_NAME"
將 CONTAINER_NAME 替換為容器名稱。
資源修改範例
以下情境範例說明 Autopilot 如何修改工作負載設定,以符合執行中 Pod 和容器的需求。
單一容器,vCPU < 0.05
下表顯示 Autopilot 如何修改單一容器要求低於 0.05 個 vCPU 的資源要求:
| 容器編號 | 原始要求 | 修改過的要求 |
|---|---|---|
| 1 |
|
|
多個容器的 CPU 總量 < 0.05 個 vCPU
下表說明當 CPU 要求總量低於 0.05 個 vCPU 時,Autopilot 如何修改多個容器的資源要求:
| 容器編號 | 原始要求 | 修改過的要求 |
|---|---|---|
| 1 |
|
|
| 2 |
|
|
| 3 |
|
|
| Pod 資源總數 | 不適用 |
|
單一容器的記憶體過低,無法滿足要求的 CPU
在本例中,記憶體容量過低,無法支援 CPU 數量 (至少 1 個 vCPU:1 GiB)。CPU 與記憶體的比例下限為 1:1。如果比率低於該值,記憶體要求就會增加,如下表所示:
| 容器編號 | 原始要求 | 修改過的要求 |
|---|---|---|
| 1 |
|
|
| Pod 資源總數 | 不適用 |
|
後續步驟
- 瞭解如何在 GKE 中設定 Pod 爆量。
- 瞭解如何為 Autopilot Pod 選擇運算級別。
- 瞭解如何使用 CPU 啟動提升功能加快應用程式啟動速度。