內部應用程式負載平衡器的流量管理總覽

區域性內部應用程式負載平衡器和跨區域內部應用程式負載平衡器支援下列進階流量管理功能:
  • 流量導向。根據 HTTP(S) 參數 (例如主機、路徑、標頭和其他要求參數) 智慧轉送流量。
  • 流量動作。執行以要求和回應為基礎的動作 (例如重新導向和標頭轉換)。
  • 流量政策。微調負載平衡行為 (例如進階負載平衡演算法)。

您可以使用網址對應和後端服務設定這些功能。如需詳細資訊,請參閱下列主題:

應用實例範例

流量管理可因應多種用途。本節提供幾個高階範例。

流量導引:標頭型轉送

流量導引功能可讓您根據 HTTP 參數 (例如要求標頭),將流量導向服務執行個體。舉例來說,如果使用者的裝置是行動裝置,且要求標頭中含有 user-agent:Mobile,流量導向功能就會將該流量傳送至指定處理行動裝置流量的服務執行個體,並將不含 user-agent:Mobile 的流量傳送至指定處理其他裝置流量的執行個體。

Cloud Load Balancing 流量引導。
圖 1. Cloud Load Balancing 流量導向 (按一下即可放大)。

流量操作:依權重拆分流量

部署現有正式版服務的新版本通常會帶來一些風險。即使測試在測試環境中通過,您可能也不想立即讓 100% 的使用者使用新版本。透過流量管理,您可以定義多項後端服務的流量分配百分比。

舉例來說,您可以將 95% 的流量傳送至舊版服務,並將 5% 的流量傳送至新版服務。確認新的正式版運作正常後,即可逐步調整百分比,直到所有流量都導向新版服務。流量拆分通常用於部署新版本、A/B 測試、服務遷移和類似程序。

Cloud Load Balancing 流量拆分。
圖 2. Cloud Load Balancing 流量拆分 (按一下即可放大)。

流量政策:要求鏡像

貴組織可能會有特定的法規遵循要求,規定所有流量都必須鏡像至額外服務,例如將要求詳細資料記錄在資料庫中,以便日後重播。

使用 Service Extensions 進行擴充

與 Service Extensions 整合後,您可以使用呼叫和外掛程式,將自訂邏輯插入支援的應用程式負載平衡器負載平衡資料路徑。

您可以在處理路徑中的多個點設定這些擴充功能:授權、邊緣、路徑和流量。

您也可以使用 Service Extensions 設定進階功能,例如動態轉送。

詳情請參閱「Service Extensions 總覽」。

流量管理元件

概括來說,負載平衡器會運用區域網址對應和區域後端服務資源,提供流量管理功能。

如果是跨區域內部應用程式負載平衡器,流量管理會使用全域網址對應和全域後端服務資源。

您可以使用網址對應設定流量導向和流量動作。與網址對應相關聯的Google Cloud 資源包括:

  • 路由規則
  • 規則比對
  • 規則動作

您可以使用後端服務設定流量政策。與後端服務相關聯的Google Cloud 資源包括:

  • 斷路器
  • 位置負載平衡器政策
  • 一致性雜湊負載平衡器設定
  • 離群值偵測

下圖顯示用於實作各項功能的資源。

Cloud Load Balancing 資料模型。
圖 3. Cloud Load Balancing 資料模型 (按一下即可放大)。

將要求轉送至後端

在區域性內部應用程式負載平衡器中,流量的後端是透過兩階段方法決定:

  • 負載平衡器會選取具有後端的後端服務。後端可以是:非代管執行個體群組中的 Compute Engine 虛擬機器 (VM) 執行個體、代管執行個體群組 (MIG) 中的 Compute Engine VM,或透過網路端點群組 (NEG) 中的 Google Kubernetes Engine (GKE) 節點建立的容器。負載平衡器會根據區域網址對應中定義的規則,選擇後端服務。
  • 後端服務會根據區域後端服務中定義的政策,選取後端執行個體。

設定轉送時,您可以選擇下列其中一種模式:

  • 簡易型主機與路徑規則
  • 進階型主機、路徑與轉送規則

這兩種模式互斥,每個網址對應關係只能包含其中一種模式。

簡易型主機與路徑規則

在簡易型主機和路徑規則中,網址對應的運作方式如網址對應總覽所述。

下圖顯示簡易主機和路徑規則的邏輯流程。

網址對應流程,包含簡易型主機與路徑規則。
圖 4. 網址對應流程,包含簡易型主機與路徑規則 (按一下即可放大)。

系統一開始會使用主機規則評估要求。主機是要求指定的網域。如果要求 host 與 hosts 欄位中的其中一個項目相符,系統就會使用相關聯的路徑比對器。

接著,系統會評估路徑比對器。路徑規則會依據最長路徑優先比對的原則進行評估,您可以按照任何順序指定路徑規則。找到最明確的比對結果後,要求就會轉送至對應的後端服務。如果要求不相符,系統會使用預設後端服務。

典型簡易型主機和路徑規則可能如下所示,其中影片流量會傳送至 video-backend-service,所有其他流量則傳送至 web-backend-service。

gcloud compute url-maps describe lb-map
defaultService: regions/us-west1/backendServices/web-backend-service
hostRules:
- hosts:
  - '*'
  pathMatcher: pathmap
name: lb-map
pathMatchers:
- defaultService: regions/us-west1/backendServices/web-backend-service
  name: pathmap
  pathRules:
  - paths:
    - /video
    - /video/*
    service: regions/us-west1/backendServices/video-backend-service
region: regions/us-west1

進階型主機、路徑與轉送規則

與簡易型主機和路徑規則相比,進階型主機、路徑和轉送規則提供更多設定選項。這些選項可啟用更進階的流量管理模式,並修改部分語意。舉例來說,路由規則有關聯的優先順序值,並會依優先順序解讀 (而非使用最長路徑優先比對語意)。

如先前的簡易主機和路徑規則範例所示,您可以使用網址對應設定進階流量管理。舉例來說,下列網址對應會設定轉送,將 95% 的流量轉送至一個後端服務,並將 5% 的流量轉送至另一個後端服務。

gcloud compute url-maps describe lb-map
defaultService: regions/us-west1/backendServices/service-a
hostRules:
- hosts:
  - '*'
  pathMatcher: matcher1
name: lb-map
pathMatchers:
- defaultService: regions/us-west1/backendServices/service-a
  name: matcher1
  routeRules:
  - matchRules:
    - prefixMatch: ''
    routeAction:
      weightedBackendServices:
      - backendService: regions/us-west1/backendServices/service-a
        weight: 95
      - backendService: regions/us-west1/backendServices/service-b
        weight: 5
region: regions/us-west1

主機規則

當要求傳送至負載平衡器時,系統會根據網址對應中定義的 hostRules 評估要求的 host 欄位。每項主機規則都包含一或多部主機的清單,以及單一路徑比對器 (pathMatcher)。如果未定義 hostRules,要求就會轉送至 defaultService。

詳情請參閱區域網址對應 Maps API 說明文件中的 hostRules[] 和 defaultService。

路徑比對器

要求與主機規則相符後,負載平衡器會評估與主機對應的路徑比對器。

路徑比對器由下列部分組成:

  • 一或多個路徑規則 (pathRules) 或路由規則 (routeRules)。
  • 預設服務 (defaultService):如果沒有其他相符的後端服務,系統就會使用這個預設後端服務。
詳情請參閱區域網址對應 API 說明文件中的 pathMatchers[]、pathMatchers[].pathRules[] 和 pathMatchers[].routeRules[]。

路徑規則

路徑規則 (pathRules) 會指定一或多個網址路徑,例如 / 或 /video。路徑規則通常適用於前述的簡易主機和路徑式轉送。

詳情請參閱區域網址對應 Maps API 說明文件中的 pathRules[]。

路由規則

路由規則 (routeRules) 會比對傳入要求中的資訊,並根據比對結果做出路由決策。

路由規則可以包含多種不同的比對規則 (matchRules) 和多種不同的路由動作 (routeAction)。

比對規則會根據 HTTP(S) 要求的路徑、標頭和查詢參數,評估傳入的要求。比對規則支援各種比對類型 (例如前置字元比對) 和修飾符 (例如不區分大小寫)。舉例來說,您可以根據自訂 HTTP 標頭是否存在,將 HTTP(S) 要求傳送至一組後端。

注意:比對選項和語意會因比對的要求部分而異。詳情請參閱區域網址對應 Maps API 說明文件中的 matchRules[]。

如果您有多項路由規則,負載平衡器會依優先順序 (根據 priority 欄位) 執行,讓您指定比對、路由和其他動作的自訂邏輯。

在特定路由規則中,一旦找到第一個相符項目,負載平衡器就會停止評估比對規則,並忽略其餘所有比對規則。

Google Cloud 會執行下列動作:

  1. 尋找與要求相符的第一個比對規則。
  2. 停止查看其他比對規則。
  3. 套用對應路徑動作中的動作。

路由規則包含多個元件,如下表所示。

路由規則元件 (API field name) 說明
優先順序 (priority) 介於 0 到 2,147,483,647 (即 (2^31)-1) 之間的數字,指派給指定路徑比對器中的路由規則。

優先順序會決定轉送規則的評估順序。規則的優先順序會隨著編號增加而降低,因此優先順序為 4 的規則會先於優先順序為 25 的規則進行評估。系統會套用第一項符合要求的規則。

優先順序編號可以有間隔。您無法建立多個優先順序相同的規則。
說明 (description) 選填說明,最多 1,024 個半形字元。
服務 (service) 如果符合這項規則,流量會導向的後端服務資源完整或部分網址。
比對規則 (matchRules) 一或多項規則,用於評估請求。這些matchRules可以比對要求的全部或部分 HTTP 屬性,例如路徑、HTTP 標頭和查詢 (GET) 參數。

在 matchRule 中,必須符合所有比對條件,routeRule 的 routeActions 才會生效。如果 routeRule 有多個 matchRules,當要求符合任何 routeRule 的 matchRules 時,routeRule 的 routeActions 就會生效。
路徑動作 (routeAction) 可指定符合比對規則條件時要採取的動作。這些動作包括流量拆分、網址重寫、重試和鏡像、錯誤注入和 CORS 政策。
重新導向動作 (urlRedirect) 您可以設定動作,在符合比對規則條件時,以 HTTP 重新導向回應。這個欄位無法與路徑動作搭配使用。
標頭動作 (headerAction) 您可以設定要求和回應標頭轉換規則,在符合 matchRules 中的條件時套用。
詳情請參閱區域網址對應 API 說明文件中的下列欄位:
  • routeRules[]
  • routeRules[].priority
  • routeRules[].description
  • routeRules[].service
  • routeRules[].matchRules[]
  • routeRules[].routeAction
  • routeRules[].urlRedirect
  • routeRules[].headerAction

比對規則

比對規則 (matchRules) 會比對要求的一或多個屬性,並採取路由規則中指定的動作。以下列舉一些可使用比對規則比對的要求屬性:

  • 主機:主機名稱是網址的網域名稱部分,例如網址 http://example.net/video/hd 的主機名稱部分是 example.net。在要求中,主機名稱來自 Host 標頭,如以下 curl 指令範例所示,其中 10.1.2.9 是負載平衡 IP 位址:

    curl -v http://10.1.2.9/video/hd --header 'Host: example.com'
    
  • 路徑位於主機名稱後面,例如 /images。此規則可以指定要比對整個路徑,還是僅比對路徑的前置部分。

  • 其他 HTTP 要求參數,例如 HTTP 標頭,可進行 Cookie 比對,以及根據查詢參數 (GET 變數) 進行比對。

如需支援的比對規則完整清單,請參閱區域性網址對應 API 說明文件中的 pathMatchers[].routeRules[].matchRules[]。

轉送動作

路由動作是指路由規則與要求屬性相符時,要採取的特定動作。

路徑動作 (API field name) 說明
重新導向 (urlRedirect) 傳回可設定的 3xx 回應代碼。此外,這項動作也會使用適當的 URI 設定 Location 回應標頭,並按照重新導向動作中的指定內容,取代主機和路徑。
網址重寫 (urlRewrite) 在將要求傳送至所選後端服務之前,重寫網址的主機名稱部分、路徑部分或兩者。
標頭轉換 (headerAction) 在將要求傳送至後端服務之前,新增或移除要求標頭。您也可以在收到後端服務的回應後,新增或移除回應標頭。如果嘗試新增及移除同一個標頭,系統會移除該標頭,除非 replace: True 旗標與 requestHeadersToAdd 作業搭配使用。
流量鏡像 (requestMirrorPolicy)

除了將要求轉送至所選後端服務,也會以傳送後不理的方式,將相同要求傳送至設定的鏡像後端服務。負載平衡器不會等待傳送鏡像要求的後端回應。

鏡像功能適合用於測試新版後端服務。您也可以使用這項功能,在後端服務的偵錯版本 (而非正式版本) 上偵錯正式環境錯誤。

使用流量鏡像時,請注意下列限制:

  • 如果兩個後端服務都有代管執行個體群組、區域 NEG 或混合式 NEG 後端,則支援流量鏡像。不支援網際網路 NEG、無伺服器 NEG 和 Private Service Connect 後端。
  • 傳送至鏡像後端服務的要求不會產生任何 Cloud Logging 和 Cloud Monitoring 的記錄或指標。
加權流量拆分 (weightedBackendServices)

允許將符合規則的流量分配給多項後端服務,分配比例取決於使用者為個別後端服務指派的權重。

這項功能在設定階段式部署或 A/B 測試時非常實用。舉例來說,您可以設定路由動作,將 99% 的流量傳送至執行穩定版應用程式的服務,並將 1% 的流量傳送至執行新版應用程式的獨立服務。

重試 (retryPolicy)

設定負載平衡器重試失敗要求的條件、重試前的等待時間,以及允許的重試次數上限。

如要進一步瞭解重試,請參閱「要求分配總覽」頁面的「重試」一節。

逾時 (timeout) 指定所選路徑的逾時時間。逾時時間的計算方式是從要求完全處理完畢的時間,到回應完全處理完畢的時間。逾時時間包含所有重試。
錯誤注入 (faultInjectionPolicy) 在處理服務要求時引入錯誤,模擬故障情況,包括高延遲、服務超載、服務故障和網路分區。這項功能可用於測試服務對模擬錯誤的復原能力。
延遲注入 (faultInjectionPolicy) 將要求傳送至所選後端服務之前,針對使用者定義的部分要求導入延遲。
中止插入 (faultInjectionPolicy) 直接以使用者定義的 HTTP 狀態碼回應部分要求,而非將這些要求轉送至後端服務。
安全性政策 (corsPolicy) 跨源資源共享 (CORS) 政策會處理強制執行 CORS 要求的設定。

您可以指定下列其中一項路徑動作:

  • 將流量轉送至單一服務 (service)。
  • 將流量分配給多項服務 (weightedBackendServices weight:x,其中 x 必須介於 0 到 1000 之間)。
  • 重新導向網址 (urlRedirect)。

此外,您可以將上述任一路由動作與下列一或多個路由動作結合:

  • 鏡像流量 (requestMirrorPolicy)。
  • 重寫網址主機和路徑 (urlRewrite)。
  • 重試失敗的要求 (retryPolicy)。
  • 設定逾時時間 (timeout)。
  • 對一定比例的流量導入錯誤 (faultInjectionPolicy)。
  • 新增 CORS 政策 (corsPolicy)。
  • 操控要求或回應標頭 (headerAction)。
如要進一步瞭解路由動作的設定和語意,請參閱區域性網址對應 API 說明文件中的下列內容:
  • urlRedirect
  • urlRewrite
  • headerAction
  • requestMirrorPolicy
  • weightedBackendServices
  • retryPolicy
  • timeout
  • faultInjectionPolicy
  • corsPolicy

從 HTTP 重新導向至 HTTPS

如要將 HTTP 流量重新導向至 HTTPS,可以建立兩個共用 IP 位址的轉送規則。

如要讓兩項轉送規則共用同一個內部 IP 位址,您必須預留 IP 位址,並加入 --purpose=SHARED_LOADBALANCER_VIP 旗標:

gcloud compute addresses create NAME \
    --region=us-west1 \
    --subnet=backend-subnet \
    --purpose=SHARED_LOADBALANCER_VIP

如需完整範例,請參閱「為內部應用程式負載平衡器設定從 HTTP 重新導向至 HTTPS」。

流量政策

您可以使用後端服務資源設定流量政策,微調執行個體群組或網路端點群組 (NEG) 內的負載平衡。這些政策只有在您使用網址對應選取後端服務後才會生效 (如前所述)。

流量政策可讓您:

  • 控管後端服務中執行個體之間的負載平衡演算法。
  • 控制上游服務的連線量。
  • 控管是否將健康狀態不良的主機從後端服務中移除。
下列流量政策功能是在區域後端服務中設定。
流量政策 (API field name) 說明
負載平衡位置政策 (LocalityLbPolicy)

後端服務的流量分配取決於負載平衡模式和負載平衡位置政策。

平衡模式會決定必須傳送至各個後端 (執行個體群組或GCE_VM_IP_PORT NEG) 的流量權重或比例。負載平衡政策 (LocalityLbPolicy) 會決定可用區內或群組中的後端如何進行負載平衡。後端服務收到流量時,會先根據後端的平衡模式,將流量導向後端 (執行個體群組或 GCE_VM_IP_PORT NEG)。選取後端後,系統會根據位置政策,在各個可用區的執行個體或端點之間分配流量。如果是區域性代管執行個體群組,位置政策會套用至每個組成可用區。

如要瞭解支援的平衡模式,請參閱「平衡模式」。

如要瞭解支援的負載平衡政策演算法,請參閱區域後端服務 API 說明文件中的 localityLbPolicy。

工作階段相依性 (consistentHash)

包括 HTTP Cookie 相依性、HTTP 標頭相依性、用戶端 IP 位址相依性、有狀態 Cookie 工作階段相依性,以及已產生 Cookie 的相依性。工作階段相依性會盡可能將特定用戶端的要求傳送至同一個後端,前提是後端健康狀態良好且有容量。

如要進一步瞭解工作階段相依性,請參閱區域後端服務 API 說明文件中的 consistentHash。

離群值偵測 (outlierDetection)

一組政策,指定從 NEG 剔除健康狀態不良的後端 VM 或端點的條件,以及定義後端或端點何時可視為健康狀態良好,能再次接收流量的條件。

如要進一步瞭解離群值偵測,請參閱區域後端服務 API 說明文件中的 outlierDetection。

斷路 (circuitBreakers)

設定後端服務的連線量和每個連線的要求數量上限。

如要進一步瞭解斷路,請參閱區域後端服務 API 說明文件中的 circuitBreakers。

後續步驟