本頁面概略說明套用 Kubernetes LoadBalancer 服務資訊清單時,Google Kubernetes Engine (GKE) 如何建立及管理 Google Cloud 負載平衡器。說明 LoadBalancer 類型、設定參數,並提供最佳做法建議。
閱讀本頁面前,請先熟悉 GKE 網路概念。
總覽
建立 LoadBalancer Service 時,GKE 會設定 Google Cloud 直通式負載平衡器,其特性取決於 Service 資訊清單的參數。
自訂 LoadBalancer 服務
選擇要使用的 LoadBalancer Service 設定時,請考量下列事項:
負載平衡器類型:內部或外部
在 GKE 中建立 LoadBalancer Service 時,您需要指定負載平衡器要使用內部或外部位址:
外部 LoadBalancer Service 是使用區域性外部直通式網路負載平衡器實作。位於虛擬私有雲網路外部的用戶端和 Google Cloud 具備網路連線能力的 VM,都能存取外部 LoadBalancer Service。
如要建立外部 LoadBalancer Service,請使用下列其中一種方法:
在執行 GKE 1.37 以上版本的叢集中,GKE 會自動建立以後端服務為基礎的區域性外部直通式網路負載平衡器,並搭配
GCE_VM_IPNEG 後端。您不需要在 Service 資訊清單中新增任何註解或欄位。如要明確建立以舊版目標集區為基礎的負載平衡器,請新增spec.loadBalancerClass: "networking.gke.io/l4-regional-external-legacy"欄位值組合。在執行 GKE 1.33.1-gke.1779000 至 1.36 的叢集中,請先將
spec.loadBalancerClass: "networking.gke.io/l4-regional-external"新增至 Service 資訊清單,再將資訊清單提交至叢集。建議您使用這個欄位,因為這個欄位一律會建立以後端服務為基礎的區域性外部直通式網路負載平衡器,並搭配GCE_VM_IPNEG 後端。spec.loadBalancerClass欄位不可變動,建立 Service 後即無法變更。在執行任何支援 GKE 版本的叢集中,您可以先將
cloud.google.com/l4-rbs: "enabled"註解新增至 Service 資訊清單,再將資訊清單提交至叢集。這個註解也會建立後端服務型區域性外部直通式網路負載平衡器。如果資訊清單提交至執行 GKE 1.32.2-gke.1652000 以上版本的叢集,負載平衡器會使用GCE_VM_IPNEG 後端。否則,負載平衡器會使用執行個體群組後端。GKE 只會在 Service 資訊清單首次套用至叢集時,評估這個註解。
內部 LoadBalancer Service 是透過內部直通式網路負載平衡器實作。如果用戶端位於同一個虛擬私有雲網路,或與叢集虛擬私有雲網路連線的網路,則可存取內部 LoadBalancer Service。
最佳做法是在建立內部 LoadBalancer Service 前,先確認已啟用 GKE 子集。如果叢集執行 GKE 1.36 以上版本,系統會自動啟用 GKE 子集。如果是較早的 GKE 版本,則應明確啟用 GKE 子集。
如要建立內部 LoadBalancer Service,請使用下列其中一種方法:
如果叢集執行 GKE 1.33.1-gke.1779000 以上版本,且已啟用 GKE 子集,請先將
spec.loadBalancerClass: "networking.gke.io/l4-regional-internal"新增至 Service 資訊清單,再將資訊清單提交至叢集。建議您使用這個欄位,因為它一律會建立具有GCE_VM_IPNEG 後端的內部直通式網路負載平衡器。spec.loadBalancerClass欄位不可變動,建立 Service 後即無法變更。在執行任何支援 GKE 版本的叢集中,您可以先將
networking.gke.io/load-balancer-type: "Internal"註解新增至 Service 資訊清單,再將資訊清單提交至叢集。這也會建立內部直通式網路負載平衡器。如果資訊清單提交至已啟用 GKE 子集的叢集,負載平衡器會使用GCE_VM_IPNEG 後端。否則,負載平衡器會使用執行個體群組後端。
如果叢集執行的 GKE 版本早於 1.37,且 LoadBalancer Service 資訊清單沒有 spec.loadBalancerClass,也沒有 cloud.google.com/l4-rbs: "enabled" 或 networking.gke.io/load-balancer-type: "Internal" 註解,則會建立以目標集區為基礎的區域性外部直通式網路負載平衡器。不建議使用以目標集區為基礎的區域性外部直通式網路負載平衡器。
HttpLoadBalancing 必要條件
如要建立由後端服務型區域性外部直通式網路負載平衡器或內部直通式網路負載平衡器支援的 LoadBalancer Service,請確認叢集執行的 GKE 版本早於 1.36,並啟用 HttpLoadBalancing 外掛程式。HttpLoadBalancing 外掛程式預設為啟用。
GKE 1.36 以上版本的 LoadBalancer 服務不依賴 HttpLoadBalancing 外掛程式。
externalTrafficPolicy的效果
externalTrafficPolicy 參數可控制下列項目:
- 哪些節點會接收來自負載平衡器的封包
- 負載平衡器將封包傳送至節點後,是否可以在叢集中的節點之間轉送封包
- 是否保留原始用戶端 IP 位址
externalTrafficPolicy 可以是 Local 或 Cluster:
- 使用
externalTrafficPolicy: Local可確保封包「只」傳送至至少有一個提供服務、就緒、非終止 Pod 的節點,並保留原始用戶端來源 IP 位址。如果工作負載中,提供服務的 Pod 節點數量相對穩定,即使叢集中的節點總數有所變化,這個選項仍是最佳選擇。如要支援加權負載平衡,則必須啟用這個選項。
- 如果叢集中的節點總數相對穩定,但具有服務 Pod 的節點數量不固定,請使用
externalTrafficPolicy: Cluster。這個選項不會保留原始用戶端來源 IP 位址,而且可能會增加延遲時間,因為封包從負載平衡器傳送到節點後,可能會轉送至另一個節點上的服務 Pod。這個選項與加權負載平衡不相容。
如要進一步瞭解 externalTrafficPolicy 如何影響節點內的封包轉送,請參閱封包處理。
加權負載平衡
外部 LoadBalancer Service 支援加權負載平衡,可讓處理流量、就緒、非終止 Pod 數量較多的節點,接收比 Pod 數量較少的節點更大比例的新連線。如要進一步瞭解負載平衡器設定如何隨著加權負載平衡而變更,請參閱「加權負載平衡的效果」。
如圖所示,啟用加權負載平衡的 Service 會根據每個節點上就緒 Pod 的數量,按比例分配新連線。
如要使用加權負載平衡,您必須符合下列所有條件:
GKE 叢集必須使用 1.31.0-gke.1506000 以上版本。
您必須建立外部 LoadBalancer Service,產生以區域性後端服務為基礎的外部直通式網路負載平衡器。
在執行 GKE 1.37 以上版本的叢集中,GKE 預設會建立這類負載平衡器。不需要其他欄位或註解。
在執行 GKE 1.33.1-gke.1779000 至 1.36 的叢集中,請先將
spec.loadBalancerClass: "networking.gke.io/l4-regional-external"新增至 Service 資訊清單,再將資訊清單提交至叢集。建議優先使用這個方法。在執行任何支援 GKE 版本的叢集中,請先將
cloud.google.com/l4-rbs: "enabled"註解新增至 Service 資訊清單,再將資訊清單提交至叢集。
您必須在 Service 資訊清單中加入
networking.gke.io/weighted-load-balancing: pods-per-node註解,才能啟用加權負載平衡功能。LoadBalancer Service 資訊清單必須使用
externalTrafficPolicy: Local。GKE 不會阻止您使用externalTrafficPolicy: Cluster,但externalTrafficPolicy: Cluster會有效停用加權負載平衡,因為封包可能會在負載平衡器之後轉送至其他節點。
如要使用加權負載平衡,請參閱「啟用加權負載平衡」。
可用區相依性
內部 LoadBalancer Service 支援可用區相依性,可將新連線轉送至與用戶端位於相同可用區、且有提供服務 Pod 的節點。如果該可用區中沒有健康狀態良好的 Pod,GKE 會將流量轉送至其他可用區。將流量保留在可用區內,可盡量減少跨可用區流量,進而降低費用和延遲時間。如要在 GKE 叢集中啟用可用區親和性,必須啟用 GKE 子集。
為內部 LoadBalancer Service 設定可用區親和性時,GKE 會使用 ZONAL_AFFINITY_SPILL_CROSS_ZONE 選項和零溢出比率 (0.0) 設定對應的內部直通式網路負載平衡器。這項設定有助於確保流量在可用區內捨棄,而非溢出至其他可用區。如果符合下列所有條件,負載平衡器會縮小原始合格節點後端組合的範圍,只保留與用戶端位於相同可用區的合格節點後端:
用戶端與可用區相依性相容。
用戶端可用區中至少有一個健康狀態良好且符合資格的節點後端。
在所有其他情況下,負載平衡器會繼續使用原始的合格節點後端組合,不會套用任何可用區親和性最佳化。
如要進一步瞭解可用區相依性設定對負載平衡器行為的影響,請參閱可用區相依性說明文件。如要進一步瞭解可用區相似度和 externalTrafficPolicy 如何影響節點 VM 上的封包轉送,請參閱「來源網路位址轉譯和節點上的轉送」。
可用區相依性的資源調度考量
由於可用區親和性並未與 HorizontalPodAutoscaler (HPA) 原生整合,因此當可用區內的流量超過該可用區中 Pod 的容量時,可能會發生資源調度問題。HPA 會根據匯總的叢集指標調度 Pod 資源,而非依據各可用區的負載。因此,即使叢集整體使用率偏低,流量偏高的可用區 (可用區超載) 可能不會收到額外的 Pod,導致該可用區的用戶端效能降低或連線中斷。
IP 位址系列
LoadBalancer Service 可以是單一堆疊 (僅限 IPv4 或僅限 IPv6) 或雙重堆疊。您可以使用 spec.ipFamilyPolicy 和 spec.ipFamilies 欄位控制這項設定。單一堆疊 Service 有一項轉送規則,雙重堆疊 Service 則有兩項:一項用於 IPv4,另一項用於 IPv6。
IPv6 LoadBalancer 服務具有下列其他特性:
- 一律使用
GCE_VM_IPNEG 後端。 - IPv6 位址來自虛擬私有雲網路中的子網路範圍 (IPv6 存取權類型必須與負載平衡器類型相符),或自備 IPv6 位址 (BYOIPv6):
- 內部 IPv6 LoadBalancer 服務可以使用從 BYOIPv6 公開委派前置碼佈建的內部子網路。
- 在 GKE 1.37.1-gke.2097000 以上版本中,單一堆疊外部 IPv6 LoadBalancer Service 支援直接從公開委派前置碼的區域 IPv6 子前置碼,分配外部 BYOIPv6 位址範圍。如要設定這項分配,可以使用
networking.gke.io/ip-collection-v6註解,或指定靜態外部 BYOIPv6 位址範圍。
- 外部 IPv6 LoadBalancer 服務需要以區域性後端服務為基礎的外部直通式網路負載平衡器。
詳情請參閱「IPv6 LoadBalancer 服務」和「自備 IPv6 位址 (BYOIPv6)」。
內部 LoadBalancer 服務的特別注意事項
本節說明 GKE 子集功能 (內部 LoadBalancer 服務專屬),以及 GKE 子集如何與 externalTrafficPolicy 互動,進而影響負載平衡節點的數量上限。
GKE 子設定
如果是執行 1.36 以上版本的 GKE 叢集,預設會啟用內部 LoadBalancer 服務的 GKE 子設定。在這些版本中,即使叢集設定或基礎架構即程式碼 (IaC) 工具 (例如 Terraform) 中的叢集層級 --enable-l4-ilb-subsetting 旗標設為 false,GKE 子集仍會保持啟用狀態。
這個叢集層級設定選項可更有效率地將節點端點分組至 GCE_VM_IP 網路端點群組 (NEG),提高內部直通式網路負載平衡器的擴充性。NEG 會做為負載平衡器的後端。
下圖顯示可用區叢集中的兩項 Service,該叢集有三個節點。叢集已啟用 GKE 子集。每項 Service 都有兩個 Pod。GKE 會為每項 Service 建立一個 GCE_VM_IP NEG。每個 NEG 中的端點都是節點,具有各項服務的服務 Pod。
如果叢集執行的版本低於 1.36,您可以在建立叢集或更新現有叢集時,手動啟用 GKE 子設定。啟用 GKE 子集設定後,即無法停用。
GKE 子設定需要:
- GKE 1.18.19-gke.1400 以上版本
- 如果叢集版本低於 1.36,則必須啟用
HttpLoadBalancing外掛程式。這項外掛程式預設為啟用。 叢集可透過這個角色,管理使用後端服務的負載平衡器。如果叢集版本為 1.36 以上,則不需安裝HttpLoadBalancing外掛程式,即可使用 GKE 子集。
節點數
如果叢集停用 GKE 子設定,且所有節點集區中的節點總數超過 250 個,內部 LoadBalancer 服務可能會發生問題。這是因為 GKE 建立的內部直通式網路負載平衡器,只能將封包分配給最多 250 個後端節點 VM。這項限制的原因有兩個:
- GKE 不會使用負載平衡器後端子集。
- 如果停用負載平衡器後端子設定,內部直通式網路負載平衡器最多只能將封包分配給 250 個後端。
如果叢集採用 GKE 子集,則在節點總數超過 250 個的叢集中,支援內部 LoadBalancer Service。
GKE 子集支援的節點數量,取決於內部 LoadBalancer 服務的 externalTrafficPolicy 欄位值:
externalTrafficPolicy: Local:最多支援 250 個節點,且這些節點具有特定 Service 的服務 Pod。externalTrafficPolicy: Cluster:不會限制含有服務 Pod 的節點數量。這是因為 GKE 為每項 Service 設定的GCE_VM_IPNEG 節點端點數量上限為 25 個。詳情請參閱「GCE_VM_IPNEG 後端的節點成員資格」。
流量分配
根據預設,內部和外部 LoadBalancer 服務會建立直通式網路負載平衡器,並將工作階段相依性設為 NONE。直通式網路負載平衡器會使用工作階段相依性、健康狀態資訊,以及在特定情況下使用權重等詳細資料,來識別及選取符合資格的節點後端,以便建立新連線。
新連線會建立連線追蹤表格項目,用於快速將連線的後續封包轉送至先前選取的合格節點後端。如要進一步瞭解直通式網路負載平衡器如何識別及選取合適的後端,以及如何使用連線追蹤功能,請參閱下列內容:
加權負載平衡的效果
為外部負載平衡器 Service 設定加權負載平衡時,GKE 會在對應的區域性外部直通式網路負載平衡器上啟用加權負載平衡。GKE 會設定 kube-proxy 或 cilium-agent 軟體,在負載平衡器健康狀態檢查的回應中加入回應標頭。這個回應標頭定義的權重,與每個節點上正在提供服務、準備就緒和未終止的 Pod 數量成正比。
負載平衡器會以下列方式使用權重資訊:
負載平衡器的一組合格節點後端,是由所有健康狀態良好、權重不為零的節點組成。
負載平衡器選取符合資格的節點後端時,會將權重納入考量。當 Service 使用
externalTrafficPolicy: Local(加權負載平衡生效的必要條件) 時,相較於 Pod 數量較少的合格節點後端,Pod 數量較多、可提供服務、已就緒且未終止的合格節點後端,更有可能獲選。
節點分組
GKE 版本、Service 資訊清單註解,以及內部 LoadBalancer Service 的 GKE 子設定選項,會決定產生的 Google Cloud 負載平衡器和後端類型。
下表列出不同 LoadBalancer 服務設定的節點分組方法:
| 服務和叢集詳細資料 | 產生的 Google Cloud 負載平衡器 | 節點分組方法 |
|---|---|---|
| 內部 LoadBalancer 服務 | ||
叢集搭載 GKE 1.33.1-gke.1779000 以上版本,且已啟用 GKE 子設定1。使用 spec.loadBalancerClass: "networking.gke.io/l4-regional-internal" 提交至叢集的服務資訊清單。 |
內部直通式網路負載平衡器,其後端服務使用GCE_VM_IP網路端點群組 (NEG) 後端 |
節點 VM 會根據 Service 的 Service 的 |
叢集中所有支援的 GKE 版本,且已啟用 GKE 子集1。使用 networking.gke.io/load-balancer-type: "Internal" 註解提交至叢集的 Service 資訊清單。 |
||
叢集中的 GKE 版本低於 1.36,且已停用 GKE 子集1。使用 networking.gke.io/load-balancer-type: "Internal" 註解提交至叢集的 Service 資訊清單。 |
後端服務使用可用區非代管執行個體群組後端的內部直通式網路負載平衡器 | 所有節點 VM 都會放入可用區非代管執行個體群組,GKE 會將這些群組做為內部直通式網路負載平衡器後端服務的後端。 Service 的 由於單一負載平衡執行個體群組限制,叢集中建立的其他負載平衡器後端服務會使用相同的非代管執行個體群組。 |
| 外部 LoadBalancer 服務 | ||
GKE 1.37 以上版本。服務資訊清單已提交至叢集,但未包含 spec.loadBalancerClass: "networking.gke.io/l4-regional-external-legacy" 欄位值組合。 |
後端服務型區域性外部直通式網路負載平衡器,具有GCE_VM_IP網路端點群組 (NEG) 後端 |
節點 VM 會根據 Service 的 Service 的 |
GKE 1.33.1-gke.1779000 至 1.36 版。使用 spec.loadBalancerClass: "networking.gke.io/l4-regional-external" 欄位值組合提交至叢集的服務資訊清單。 |
||
GKE 1.32.2-gke.1652000 至 1.36 版。使用 cloud.google.com/l4-rbs: "enabled" 註解2提交至叢集的服務資訊清單。 |
||
GKE 1.32.2-gke.1652000 之前的版本3。使用 cloud.google.com/l4-rbs: "enabled" 註解2提交至叢集的服務資訊清單。 |
後端服務型區域性外部直通式網路負載平衡器,具有可用區非代管執行個體群組後端 | 所有節點 VM 都會放入可用區非代管執行個體群組,GKE 會將這些群組做為區域性外部直通式網路負載平衡器後端服務的後端。 Service 的 由於單一負載平衡執行個體群組限制,叢集中建立的其他負載平衡器後端服務會使用相同的非代管執行個體群組。 |
1.37 之前的 GKE 版本。提交至叢集的 Service 資訊清單不含下列所有項目:
GKE 1.37 以上版本。使用 |
目標集區型區域性外部直通式網路負載平衡器,其目標集區包含叢集的所有節點 | 目標集區是舊版 API,不依賴 NEG 或執行個體群組。所有節點都是目標集區的直接成員。 Service 的 |
1GKE 1.36 以上版本會自動啟用 GKE 子設定。GKE 子集設定啟用後即無法停用。
2只有在將 Service 資訊清單提交至叢集時,系統才會接受 cloud.google.com/l4-rbs: "enabled" 註解。將這個註解
新增至現有的 Service 資訊清單,並不會將以目標
集區為基礎的區域性外部直通式網路負載平衡器,轉換為以後端服務為基礎的區域性外部直通式網路負載平衡器。
3GKE 不會自動將採用執行個體群組後端的後端服務型區域性外部直通式網路負載平衡器,更新為採用 GCE_VM_IP NEG 後端的後端服務型區域性外部直通式網路負載平衡器。如需手動遷移操作說明,請參閱「遷移至 GCE_VM_IP NEG 後端」。
GCE_VM_IP 個 NEG 後端中的節點成員
GKE 建立內部直通式網路負載平衡器,或以 GCE_VM_IP NEG 後端為基礎的區域性外部直通式網路負載平衡器時,會建立及管理 NEG,如下所示:
GKE 會在每個可用區為各項 LoadBalancer Service 建立專屬的
GCE_VM_IPNEG。與執行個體群組不同,節點可以屬於多個負載平衡GCE_VM_IPNEG。Service 的
externalTrafficPolicy和叢集中的節點數量,決定了哪些節點會新增為 ServiceGCE_VM_IPNEG 的端點。如果是 IPv6 LoadBalancer Service,GKE 會在
GCE_VM_IPNEG 中填入節點網路介面的 IPv6 位址。
叢集的控制層會根據 Service 的 externalTrafficPolicy 值和叢集中的節點數量,管理 GCE_VM_IP NEG 中的節點端點,如下表所示。
內部直通式網路負載平衡器中的節點
externalTrafficPolicy |
叢集中的節點數量 | 端點成員資格 |
|---|---|---|
Cluster |
1 到 25 個節點 | GKE 會將叢集中的所有節點做為 Service 的 NEG 端點,即使節點不含 Service 的服務 Pod 也一樣。 |
Cluster |
超過 25 個節點 | GKE 會隨機使用最多 25 個節點做為 Service NEG 的端點,即使節點不含 Service 的服務 Pod 也一樣。 |
Local |
任意數量的節點1 | GKE 只會使用至少有一個 Service 服務 Pod 做為 Service NEG 端點的節點。 |
1 提供服務的 Pod 節點數量上限為 250 個。叢集可以有超過 250 個節點,但如果停用內部直通式網路負載平衡器後端子設定,內部直通式網路負載平衡器只能分配到 250 個後端 VM。即使啟用 GKE 子設定,GKE 也不會使用內部直通式網路負載平衡器後端子設定,設定內部直通式網路負載平衡器。如要進一步瞭解這項限制,請參閱「每個內部後端服務的 VM 執行個體數量上限」。
區域性外部直通式網路負載平衡器中的節點
externalTrafficPolicy |
叢集中的節點數量 | 端點成員資格 |
|---|---|---|
Cluster |
1 到 250 個節點 | GKE 會將叢集中的所有節點做為 Service 的 NEG 端點,即使節點不含 Service 的服務 Pod 也一樣。 |
Cluster |
超過 250 個節點 | GKE 會隨機使用最多 250 個節點做為 Service NEG 的端點,即使節點不含 Service 的服務 Pod 也一樣。 |
Local |
任意數量的節點1 | GKE 只會使用至少有一個 Service 服務 Pod 做為 Service NEG 端點的節點。 |
1 具有服務 Pod 的節點數量上限為 3,000 個。叢集可以有超過 3,000 個節點,但 GKE 建立以後端服務為基礎的區域性外部直通式網路負載平衡器 (使用 GCE_VM_IP NEG 後端) 時,最多只能建立 3,000 個端點。
單一負載平衡執行個體群組限制
Compute Engine API 禁止 VM 成為多個負載平衡執行個體群組的成員。GKE 節點受這項限制。
使用非代管執行個體群組後端時,GKE 會建立或更新非代管執行個體群組,其中包含叢集使用的每個可用區中,所有節點集區的所有節點。這些非代管執行個體群組是下列 GKE 建立的負載平衡器的後端:
- 為內部 LoadBalancer 服務建立的內部直通式網路負載平衡器,其資訊清單具有
networking.gke.io/load-balancer-type: "Internal"註解,提交至執行 1.36 之前 GKE 版本的叢集,且已停用 GKE 子設定。 - 為外部 LoadBalancer Service 建立的後端服務型區域性外部直通式網路負載平衡器,其資訊清單具有
cloud.google.com/l4-rbs: "enabled"註解,並提交至執行 1.32.2-gke.1652000 之前 GKE 版本的叢集。 - 為外部 GKE Ingress 建立的外部應用程式負載平衡器,使用 GKE Ingress 控制器,但不使用容器原生負載平衡。
節點 VM 不能是多個負載平衡執行個體群組的成員,因此如果下列任一情況為「true」,GKE 就無法建立及管理內部直通式網路負載平衡器、後端服務型區域性外部直通式網路負載平衡器,以及為 GKE Ingress 資源建立的外部應用程式負載平衡器:
- 在 GKE 外部,您至少建立了一個以後端服務為基礎的負載平衡器,並使用叢集的代管執行個體群組,做為負載平衡器後端服務的後端。
- 在 GKE 外部,您會建立自訂非代管執行個體群組,其中包含部分或所有叢集節點,然後將該自訂非代管執行個體群組附加至負載平衡器的後端服務。
如要避開這項限制,可以指示 GKE 使用 NEG 後端:
- 建立使用
GCE_VM_IPNEG 的 LoadBalancer Service。詳情請參閱「節點分組」。 - 設定外部 GKE Ingress 資源,以使用容器原生負載平衡。詳情請參閱「GKE 容器原生負載平衡」。
負載平衡器健康狀態檢查
所有 GKE LoadBalancer 服務都會實作負載平衡器健康狀態檢查。負載平衡器健康狀態檢查系統在叢集外運作,與 Pod readiness、liveness 或啟動探測不同。
負載平衡器健康狀態檢查封包會由各節點上執行的 kube-proxy 軟體 (在不使用 GKE Dataplane V2 的叢集上) 或 cilium-agent 軟體 (在具有 GKE Dataplane V2 的叢集上) 回答。Pod 無法回覆 LoadBalancer 服務的負載平衡器健康狀態檢查。
Service 的 externalTrafficPolicy 會決定哪些節點能通過負載平衡器健康狀態檢查。如要進一步瞭解負載平衡器如何使用健康狀態檢查資訊,請參閱「流量分配」。
externalTrafficPolicy |
哪些節點通過健康狀態檢查 | 使用的通訊埠 |
|---|---|---|
Cluster |
叢集的所有節點都通過健康狀態檢查,包括沒有服務 Pod 的節點。如果節點上至少有一個提供服務的 Pod,無論 Pod 的狀態為何,該節點都會通過負載平衡器健康狀態檢查。 | 負載平衡器健康狀態檢查通訊埠必須是 TCP 通訊埠 10256。無法自訂。 |
Local |
如果節點上至少有一個已就緒、未終止的服務 Pod,無論其他 Pod 的狀態為何,負載平衡器健康狀態檢查都會將該節點視為健康狀態良好。如果節點沒有服務 Pod、服務 Pod 全都未通過 readiness 探測,或服務 Pod 全都終止,則無法通過負載平衡器健康狀態檢查。 在狀態轉換期間,節點仍會通過負載平衡器健康狀態檢查,直到達到負載平衡器健康狀態檢查不良門檻為止。當節點上的所有服務 Pod 開始無法通過就緒探測,或節點上的所有服務 Pod 終止時,就會進入轉換狀態。在這種情況下,封包的處理方式取決於 GKE 版本。詳情請參閱下一節「封包處理」。 |
除非您指定自訂健康狀態檢查通訊埠,否則 Kubernetes 控制層會從節點通訊埠範圍指派健康狀態檢查通訊埠。 |
啟用加權負載平衡後,負載平衡器會同時使用健康狀態和權重資訊,找出符合條件的節點後端。詳情請參閱「加權負載平衡的影響」。
啟用可用區親和性後,負載平衡器可能會精簡符合資格的節點後端組合。詳情請參閱「可用區相似度」。
NEG 與 MIG 健康狀態檢查
LoadBalancer 服務使用的後端類型,會決定 Google Cloud 如何設定及執行負載平衡器健康狀態檢查:
- GKE 子集 (NEG 後端):如果 Service 使用
GCE_VM_IP網路端點群組 (NEG),例如啟用 GKE 子集時,GKE 會設定可用區健康狀態檢查。如果是可用區 NEG,健康狀態檢查探測會直接指定 Service 的通訊埠。 - 執行個體群組設定 (MIG 後端):如果 Service 使用非代管執行個體群組 (MIG) 做為後端,GKE 會設定全域健康狀態檢查。如果是執行個體群組,健康狀態檢查探測會指定服務分配的
nodePort。
排解健康狀態檢查失敗問題
如果負載平衡器後端回報為健康狀態不良 (例如在 Google Cloud 控制台中顯示 0/X healthy),請調查下列常見原因:
- 缺少防火牆規則: Google Cloud 負載平衡器需要允許輸入的防火牆規則,才能允許來自 Google 健康狀態檢查 IP 位址範圍 (例如
130.211.0.0/22和35.191.0.0/16) 的健康狀態檢查探測,連線至叢集節點。如果刪除或修改這些防火牆規則,健康狀態檢查就會失敗。 - 探測目標通訊埠不符:任何自訂網路安全規則或節點層級防火牆設定,都必須考量正確的健康狀態檢查目的地通訊埠。探測會直接指定 NEG 後端的 Service 通訊埠,但會指定執行個體群組 (MIG) 後端的
nodePort。預期通訊埠設定不符,導致探測失敗。 externalTrafficPolicy: Local行為:如果 Service 設有externalTrafficPolicy: Local設定,則未託管該 Service 準備就緒、可提供服務的 Pod 的節點,會刻意無法通過負載平衡器健康狀態檢查。如果 Service 的所有 Pod 都未準備就緒,或在整個叢集中終止,所有後端節點都會回報為健康狀態不良 (0/X healthy)。
IPv6 LoadBalancer 服務的健康狀態檢查探測範圍
IPv6 LoadBalancer 服務的健康狀態檢查探測來源範圍與 IPv4 探測不同。GKE 會為下列 IPv6 來源範圍建立允許輸入防火牆規則:
- 內部直通式網路負載平衡器的
2600:2d00:1:b029::/64。 - 區域性外部直通式網路負載平衡器的
2600:1901:8001::/48。
如果您自行管理防火牆規則,則必須允許從這些範圍輸入至叢集節點,否則 IPv6 LoadBalancer 服務的健康狀態檢查會失敗。
封包處理
以下各節將詳細說明負載平衡器和叢集節點如何搭配運作,轉送 LoadBalancer 服務收到的封包。
直通式負載平衡
直通式網路負載平衡器會將封包轉送至 GKE 叢集節點的 nic0 介面。節點收到的每個負載平衡封包都具有下列特性:
- 封包的目的地 IP 位址與負載平衡器的轉送規則 IP 位址相符。
- 封包的通訊協定和目的地通訊埠符合下列兩項條件:
- Service 資訊清單
spec.ports[]中指定的通訊協定和通訊埠 - 負載平衡器轉送規則中設定的通訊協定和通訊埠
- Service 資訊清單
節點上的目的地網路位址轉譯
節點收到封包後,會執行額外的封包處理。在未使用 GKE Dataplane V2 的 GKE 叢集中,節點會使用 iptables 處理負載平衡封包。在啟用 GKE Dataplane V2 的 GKE 叢集中,節點會改用 eBPF。節點層級封包處理一律包含下列動作:
- 節點會對封包執行目的地網路位址轉譯 (DNAT),將目的地 IP 位址設為提供服務的 Pod IP 位址。
- 節點會將封包的目的地通訊埠變更為對應 Service 的
spec.ports[]的targetPort。
節點上的來源網路位址轉譯和轉送
下表顯示 externalTrafficPolicy 與接收負載平衡封包的節點,是否會在將負載平衡封包傳送至 Pod 之前執行來源網路位址轉譯 (SNAT) 之間的關係:
externalTrafficPolicy |
SNAT 行為 |
|---|---|
Cluster |
在未使用 GKE Dataplane V2 的 GKE 叢集中,無論節點是將封包轉送至本機 Pod,還是其他節點上的 Pod,每個收到負載平衡封包的節點一律會變更這些封包的來源 IP 位址,使其與節點的 IP 位址相符。 在採用 GKE Dataplane V2 的 GKE 叢集中,只有在接收節點將封包轉送至「其他」節點上的 Pod 時,每個接收到負載平衡封包的節點才會將這些封包的來源 IP 位址變更為與節點的 IP 位址相符。如果接收到負載平衡封包的節點將封包轉送至本機 Pod,則節點不會變更這些封包的來源 IP 位址。 |
Local |
每個接收到負載平衡封包的節點,都只會將封包轉送至本機 Pod,且節點「不會」變更這些封包的來源 IP 位址。 |
下表說明 externalTrafficPolicy 如何控制節點轉送負載平衡封包和回應封包的方式:
externalTrafficPolicy |
封包轉送負載平衡 | 回應封包轉送 |
|---|---|---|
Cluster |
以下是轉送負載平衡封包的基準行為:
在區域叢集中,如果接收負載平衡封包的節點將封包轉送至其他節點,可用區相依性會產生下列影響:
最後,如果叢集中所有節點上都沒有可提供服務、就緒且未終止的 Service Pod,則會發生下列情況:
|
回應封包一律會透過直接伺服器回傳從節點傳送:
|
Local |
以下是轉送負載平衡封包的基準行為:接收負載平衡封包的節點通常具有提供服務、就緒且未終止的 Pod (因為必須有這類 Pod 才能通過負載平衡器健康狀態檢查)。節點會將負載平衡的封包轉送至本機 Pod。 在區域叢集中,可用區相似度不會變更轉送負載平衡封包的基準行為。 最後,如果接收負載平衡封包的節點上,沒有任何提供服務、準備就緒且未終止的 Service Pod,則會發生下列情況:
|
具有服務 Pod 的節點一律是接收負載平衡封包的節點,且該節點會使用直接伺服器回傳傳送回應封包。 |
1 Proxy 終止端點在下列設定中啟用:
- 未使用 GKE Dataplane V2 的 GKE 叢集:GKE 1.26 以上版本
- 使用 GKE Dataplane V2 的 GKE 叢集:GKE 1.26.4-gke.500 以上版本
定價與配額
網路定價適用於負載平衡器處理的封包。詳情請參閱「Cloud Load Balancing 和轉送規則定價」。您也可以使用 Google Cloud Pricing Calculator 估算帳單費用。
可建立的轉送規則數量由負載平衡器配額控管:
- 內部直通式網路負載平衡器會使用每項專案的後端服務配額、每項專案的健康狀態檢查配額,以及每個虛擬私有雲網路的內部直通式網路負載平衡器轉送規則配額。
- 以後端服務為基礎的區域性外部直通式網路負載平衡器,會使用每項專案的後端服務配額、每項專案的健康狀態檢查配額,以及每項專案的區域性外部直通式網路負載平衡器轉送規則配額。
- 以目標集區為基礎的區域性外部直通式網路負載平衡器,會使用每項專案的目標集區配額、每項專案的健康狀態檢查配額,以及每項專案的區域性外部直通式網路負載平衡器轉送規則配額。
後續步驟
- 瞭解 LoadBalancer Service 參數。
- 瞭解如何設定內部負載平衡器。
- 閱讀應用程式負載平衡器的 Ingress 總覽。
- 瞭解如何使用獨立 NEG。
- 瞭解 Gateway API。