這項參考架構提供客戶管理的第 7 層負載平衡解決方案,適用於 Google Distributed Cloud (GDC) 實體隔離環境。在 GDC 標準叢集上部署 HAProxy Kubernetes Ingress 或 NGINX Gateway Fabric 等熱門開放原始碼控制器,客戶就能順暢地將 L7 流量轉送至混合式環境。這個架構使用 TLS 終止 (Ingress / HTTPRoute),根據伺服器名稱指示 (SNI) 將流量轉送至內建的容器化 Pod,以及外部虛擬機器上代管的應用程式。
特點與功能
- 進階第 7 層轉送:支援以主機為準的轉送、以路徑為準的轉送,以及進階流量管理,例如以標頭為準的相符項目和流量權重。
- 集中式 TLS 管理:提供集中式 TLS 管理和終止功能。
- 混合環境支援:將第 7 層流量順暢地路由至內建的容器化 Pod,以及外部虛擬機器上代管的應用程式。
- 彈性控制器選項:提供現代 NGINX Gateway Fabric (使用 Gateway API) 或成熟的 HAProxy Ingress Controller 供您選擇。
- 無網路連線環境適用性:與 Harbor Registry 整合,可在私密且無網路連線的環境中儲存及提供 Proxy 和應用程式映像檔。
- 複雜的流量拆分:為現代應用程式傳送作業啟用進階流量分配策略。
架構原則
- 兩層負載平衡模式:這個架構結合了 GDC 內建的 L4 負載平衡器 (做為進入點),以及部署在 Kubernetes 中的客戶管理 L7 閘道。
- 以角色為導向的分離:此設計會透過特定資源 (例如
GatewayClass、Gateway和HTTPRoute,或Ingress),將基礎架構供應商、叢集運算子和開發人員的責任分開。 - 改用現代標準:這項架構優先採用 Gateway API,提供現代化路由功能,同時維持對舊版 Ingress API 的支援,以確保特定控制器穩定運作。
- 客戶管理的彈性:部署自行管理的控制器後,客戶就能控管 GDC 管理的 L4 平衡器原生未提供的 L7 功能和設定。
- 工作負載位置的抽象化:架構會透過 Kubernetes 服務抽象化 (標準或無標頭),一致地處理容器化和 VM 型工作負載。
概念架構

邏輯架構
邏輯架構包含多個功能元件,這些元件會協調運作,將外部流量路由至內部或外部後端:
- Ingress/Gateway 進入點:用戶端會啟動 HTTPS 要求,這些要求首先會傳送至 GDC L4 負載平衡器。這個內建負載平衡器會做為進入點,並將 TCP/443 流量分配給 L7 負載平衡器。
- 控制層:Ingress 或 Gateway 控制器 (HAProxy 或 NGINX 運算子) 會監控 Kubernetes 資源,例如
Ingress、Gateway和HTTPRoute - 資料平面:根據觀察到的資源,控制器會動態更新基礎 Proxy,這些 Proxy 會根據 SNI 型主機路由規則和 TLS 終止作業,執行實際的流量路由作業。
- 後端服務:
- 容器化 Pod:以標準部署方式管理,並透過一般 Kubernetes 服務公開。
- 外部 VM:透過無標頭 Kubernetes 服務和包含 VM 直接 IP 的自訂端點 (或
EndpointSlice) 整合至叢集
- 構件管理:所有 Proxy 和應用程式的映像檔都來自本機 Harbor 登錄檔,確保在與外界隔絕的環境中正常運作
核心概念和技術
此架構採用雙層負載平衡模式,結合 GDC 內建的 L4 負載平衡器,以及部署在 Kubernetes 中的客戶管理 L7 閘道。主要元件包括:
- 用戶端:啟動 HTTPS 要求以與應用程式互動的實體。
- GDC 標準叢集: GDC 提供內建方式,可建立 Kubernetes Vanilla 叢集。在本解決方案中,叢集將代管 L7 LB 和其控制器,以及外部 VM 的工作負載和無標頭服務。
- GDC L4 負載平衡器:內建 L4 負載平衡器做為進入點,直接將 TCP/443 流量分配給執行 Ingress 或 Gateway 控制器的 Kubernetes Pod。
- Ingress 和 Gateway 控制器:在標準叢集中執行的 HAProxy 或 NGINX 運算子。如果是 Nginx,則會監控 Gateway API 資源 (例如
Gateway和HTTPRoute),並動態更新基礎 Proxy。對於 HAProxy,他們會監控Ingress資源,並動態更新基礎 Proxy。- HAProxy Ingress Controller:Kubernetes 的 Ingress 控制器,使用 HAProxy 做為反向 Proxy 和第 7 層負載平衡器,同時處理 TLS 終止。
- Nginx Gateway Fabric: 使用 NGINX 做為資料層的 Gateway API 實作項目。
- Ingress 和 Gateway (搭配 HTTPRoute):標準化 Kubernetes 資源,定義實體接聽埠 (443) 和以 SNI 為基礎的主機轉送規則,並終止 TLS。
- 容器化工作負載 (Pod):使用一般 Kubernetes
Service在內部公開的標準 Kubernetes Deployment。 - 以 VM 為基礎的工作負載 (外部):工作負載託管於專案網路的外部 VM,透過無標題 Kubernetes
Service和包含 VM 直接 IP 的自訂端點,向 Proxy 公開。 - Harbor Registry:用於儲存及提供無網路環境中 Proxy 和應用程式映像檔的私人容器登錄檔。
Ingress 與 Gateway API
Kubernetes 網路環境正從舊版 Ingress API 轉移至新版 Gateway API。瞭解這兩者之間的差異,是為工作負載選擇合適架構的關鍵。
Ingress API:從歷史來看,Ingress 一直是管理 HTTP 服務外部存取的標準。可提供主機型和路徑型路由,但設計相對基本,且缺乏進階流量管理 (例如根據標頭比對或流量權重) 的內建支援,因此必須仰賴廠商專屬的註解。重要事項:Kubernetes 社群現在已將 Ingress API 視為功能凍結 (Ingress 限制和 Kubernetes 網路演進)。
Gateway API:通常稱為 Ingress 的 V2,Gateway API 是一組自訂資源定義 (CRD),可為服務網路提供更強大且可擴充的模型。這項 API 的設計宗旨是以角色為導向,將基礎架構供應商 (
GatewayClass)、叢集運算子 (Gateway) 和開發人員 (HTTPRoute/TLSRoute) 的責任分開 (GKE 中的 Gateway API)。這種劃分方式可提供更精細的控制選項,並支援多用戶群架構。
在這個 GDC 氣隙解決方案中,我們特意為兩個精選控制器選擇不同的 API:
- NGINX (Gateway API):對於 NGINX 實作,我們使用 NGINX Gateway Fabric,這是 Gateway API 的成熟內建實作。透過 NGINX 專用的 Gateway API,客戶可以運用 API 內建的現代標準和進階轉送功能 (例如
HTTPRoute)。 - HAProxy (Ingress API):雖然 Gateway API 是策略方向,但我們在本指南中為 HAProxy 選取了 Ingress API。這是因為 HAProxy 的 Gateway API 整合功能尚未成熟。我們使用成熟的 HAProxy Ingress Controller,為偏好 HAProxy 的客戶提供穩定可靠的 L7 解決方案,同時也提供現代化 L7 功能的途徑。
假設和限制
假設
- 基礎架構準備就緒:部署作業會假設 GDC 實體隔離方案 1.15.x Standard 叢集可用。
- 本機登錄檔:我們假設本機 Harbor 登錄檔已正確設定,可在無網路連線的環境中儲存及提供 Proxy 和應用程式映像檔。
- 原生進入點:假設流量會先抵達內建的 GDC L4 負載平衡器,然後由該平衡器將流量分配至 L7 代理伺服器。
限制
- 客戶管理的解決方案:GDC 沒有受管理且有 SLA 保證的第 7 層服務;這項實作作業完全由客戶自行管理。
- 僅限標準叢集:由於 Ingress 和 Gateway 控制器部署作業需要高權限,因此共用使用者叢集不在適用範圍內。
- API 成熟度:NGINX 使用新式 Gateway API,但 HAProxy 僅限於 Ingress API,因為其 Gateway API 整合功能尚未成熟。
- 無網路連線維護:所有容器映像檔都必須在本地 Harbor 登錄檔中手動升級及管理。
- 社群版本:此架構專為 Nginx 和 HAProxy 的開放原始碼社群版本設計。Enterprise 版本可能適用,但未經過明確測試。
- 作業擁有權:客戶必須自行管理第三方控制器的擴充、高可用性和修補作業。
- 支援範圍:Google 支援僅涵蓋基礎 GDC 基礎架構;HAProxy 或 NGINX 軟體本身的問題由客戶或供應商負責。
- API 淘汰:Kubernetes 社群已凍結 Ingress API (用於 HAProxy) 的功能,這可能會限制未來的路由功能。
授權
- 社群版本:架構是為開放原始碼社群版本 (通常為 Apache 2.0 或類似版本) 設計,可免費使用,但由客戶管理。
- 企業採購:客戶須自行採購及管理商業授權,例如 NGINX Plus 或 HAProxy Enterprise。