在多個區域部署服務,並將使用者導向最近的區域,即可更快回覆全球各地的使用者。部署到多個區域可降低延遲時間,並在區域服務中斷時提供更高的可用性。
由於 Cloud Run 服務會部署到個別區域,因此您必須將服務部署到多個區域,然後為服務設定全域負載平衡。
您可以使用 Cloud Run 服務健康狀態,自動執行跨區域容錯移轉。
事前準備
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
- 在 Google Cloud 專案中設定 Cloud Run 開發環境。
- 安裝並初始化 gcloud CLI。
- 確認您的帳戶具備下列 IAM 角色:
- Cloud Run 管理員 (
roles/run.admin) - 專案 IAM 管理員 (
roles/resourcemanager.projectIamAdmin) - 服務使用情形消費者 (
roles/serviceusage.serviceUsageConsumer)
- Cloud Run 管理員 (
-
前往 Google Cloud 控制台的「IAM」頁面。
前往 IAM - 選取專案。
- 點按「 Grant access」(授予存取權)。
-
在「New principals」(新增主體) 欄位中,輸入您的使用者 ID。這通常是部署 Cloud Run 服務時使用的 Google 帳戶電子郵件地址。
- 在「Select a role」(選取角色) 清單中,選取角色。
- 如要授予其他角色,請按一下「 Add another role」(新增其他角色),然後選取其他角色。
- 按一下「Save」(儲存)。
- 將 PROJECT_NUMBER 改成您的 Google Cloud 專案編號。
- 將 PROJECT_ID 改成您的 Google Cloud 專案 ID。
- PRINCIPAL,您要為該帳戶新增繫結。這通常是指用於部署 Cloud Run 服務的 Google 帳戶電子郵件地址。
- ROLE,並將角色新增至部署者帳戶。
- 請參閱 Cloud Run 定價頁面。您可以使用 Pricing Calculator 根據預測用量估算費用。
- 執行下列指令,啟用 Artifact Registry、Cloud Build、Cloud Run Admin API、Compute Engine 和 Network Services API API:
如要建立及部署多區域服務,請使用
--regions旗標執行gcloud run deploy指令:gcloud run deploy
SERVICE_NAME\ --image=IMAGE_URL\ --regions=REGIONS更改下列內容:
SERVICE_NAME:要部署的多區域服務名稱。IMAGE_URL:容器映像檔的參照,例如us-docker.pkg.dev/cloudrun/container/hello:latest。REGIONS:要部署的多個區域清單。例如:europe-west1,asia-east1。
使用
run.googleapis.com/regions屬性設定要部署服務的多個區域,然後建立服務的 YAML 檔案:apiVersion: serving.knative.dev/v1 kind: Service metadata: name:
SERVICE_NAMEannotations: run.googleapis.com/regions:REGIONSspec: template: spec: containers: - image:IMAGE_URL更改下列內容:
SERVICE_NAME:要部署至的多區域服務名稱。REGIONS:要更新的多個區域清單。例如:europe-west1,asia-east1。IMAGE_URL:容器映像檔的參照,例如us-docker.pkg.dev/cloudrun/container/hello:latest。
使用下列指令建立服務:
gcloud run multi-region-services replace service.yaml
如要將多地區服務新增至其他地區,請使用
--add-regions旗標:gcloud run multi-region-services update
SERVICE_NAME\ --add-regions=REGIONS如要從一或多個區域移除多區域服務,請使用
--remove-regions旗標:gcloud run multi-region-services update
SERVICE_NAME\ --remove-regions=REGIONS更改下列內容:
SERVICE_NAME:要更新的多區域服務名稱。REGIONS:要新增或移除服務的區域。例如:us-central1,asia-east1。
如要更新現有的多區域服務,請下載其 YAML 設定:
gcloud run multi-region-services describe SERVICE_NAME --format export > service.yaml
更新
run.googleapis.com/regions屬性,新增或移除要部署服務的區域清單:apiVersion: serving.knative.dev/v1 kind: Service metadata: name:
SERVICE_NAMEannotations: run.googleapis.com/regions:REGIONS更改下列內容:
SERVICE_NAME:要部署至的多區域服務名稱。REGIONS:您希望服務修訂版本部署到的新區域清單。
使用下列指令更新服務:
gcloud run multi-region-services replace service.yaml
如要刪除多區域服務,請執行
gcloud run multi-region-services delete指令:gcloud run multi-region-services delete
SERVICE_NAME將
SERVICE_NAME替換為要刪除的多區域服務名稱。- 使用 Cloud Run 服務健康狀態自動執行跨區域容錯移轉
- 設定離群值偵測,根據 HTTP 錯誤率找出不正常的 Cloud Run 服務,並將部分要求轉送到其他區域。
- 預留靜態 IP 位址,這樣在重新建立負載平衡器時,就不必更新 DNS 記錄。
在上述指令中,請將 SERVICE_IP 替換為 IP 位址資源的名稱 (例如gcloud compute addresses create --global SERVICE_IP
myservice-ip)。這個 IP 位址是全域任播 IPv4 位址,會將流量轉送至最靠近訪客的 Google 資料中心或服務點。
-
建立後端服務。
gcloud compute backend-services create \ --global BACKEND_NAME \ --load-balancing-scheme=EXTERNAL_MANAGED
將 BACKEND_NAME 替換為您要授予後端服務的名稱。例如:
myservice-backend。 - 建立網址對應。
gcloud compute url-maps create URLMAP_NAME --default-service=BACKEND_NAME
將 URLMAP_NAME 替換為您要為網址對應指定的名稱 (例如
myservice-urlmap)。 - 為網域建立代管的傳輸層安全標準 (TLS) 憑證,以提供 HTTPS 流量。(將 example.com 替換成您的網域名稱)。
gcloud compute ssl-certificates create CERT_NAME \ --domains=example.com
將 CERT_NAME 替換為您要為代管 SSL 憑證指定的名稱 (例如
myservice-cert)。 - 建立目標 HTTPS Proxy。
gcloud compute target-https-proxies create HTTPS_PROXY_NAME \ --ssl-certificates=CERT_NAME \ --url-map=URLMAP_NAME
將 HTTPS_PROXY_NAME 替換為您要授予目標 HTTPS Proxy 的名稱 (例如
myservice-https)。 - 建立轉送規則,將您建立的網路資源連結至 IP 位址。
gcloud compute forwarding-rules create --global FORWARDING_RULE_NAME \ --target-https-proxy=HTTPS_PROXY_NAME \ --address=SERVICE_IP \ --ports=443 \ --load-balancing-scheme=EXTERNAL_MANAGED
將 FORWARDING_RULE_NAME 替換為要建立的轉送規則資源名稱。例如:
myservice-lb。 -
設定 IP 位址:
將 IP 位址資源名稱設為
myservice-service-ip。你可以將這個值變更為自己的值。 這個 IP 位址是全域任播 IPv4 位址,會將流量轉送至最靠近訪客的 Google 資料中心或服務點。 -
建立及設定後端服務:
這項資源會將後端服務命名為
myservice-backend。你可以將這個值變更為自己的值。 -
設定網址對應:
將後端服務資源 (
myservice-backend) 連線至新的網址對應資源 (myservice-lb-urlmap)。您可以將這些值變更為自己的值。 -
為網域建立代管的 TLS 憑證,以提供 HTTPS 流量。在
google_compute_managed_ssl_certificate資源中,將example.com替換成您的網域名稱: -
設定 HTTPS Proxy:
建立目標名稱為
myservice-https-proxy的google_compute_target_https_proxy資源,並連結先前建立的 TLS 憑證 (myservice-ssl-cert) 和網址對應資源 (myservice-lb-urlmap)。您可以將這些值變更為自己的值。 -
設定轉送規則:
建立目標名稱為
myservice-https-proxy的google_compute_global_forwarding_rule資源,並連結先前建立的 HTTPS Proxy 目標 (myservice-https-proxy) 和 IP 位址資源 (myservice-service-ip)。您可以將這些值變更為自己的值。 -
套用這項設定:
如要在 Google Cloud 專案中套用 Terraform 設定,請完成下列各節的步驟。
準備 Cloud Shell
- 啟動 Cloud Shell。
-
設定要套用 Terraform 設定的預設 Google Cloud 專案。
每個專案只需要執行一次這個指令,而且可以在任何目錄中執行。
export GOOGLE_CLOUD_PROJECT=PROJECT_ID
如果您在 Terraform 設定檔中設定明確值,環境變數就會遭到覆寫。
準備目錄
每個 Terraform 設定檔都必須有自己的目錄 (也稱為根模組)。
-
在 Cloud Shell 中建立目錄,並在該目錄中建立新檔案。檔案名稱的副檔名必須是
.tf,例如main.tf。在本教學課程中,這個檔案稱為main.tf。mkdir DIRECTORY && cd DIRECTORY && touch main.tf
-
如果您正在學習教學課程,可以複製每個章節或步驟中的範例程式碼。
將範例程式碼複製到新建立的
main.tf中。視需要從 GitHub 複製程式碼。如果 Terraform 代码片段是端對端解決方案的一部分,建議您使用這個方法。
- 查看並修改範例參數,套用至您的環境。
- 儲存變更。
-
初始化 Terraform。每個目錄只需執行一次這項操作。
terraform init
如要使用最新版 Google 供應商,請加入
-upgrade選項:terraform init -upgrade
套用變更
-
檢查設定,確認 Terraform 即將建立或更新的資源符合您的預期:
terraform plan
視需要修正設定。
-
執行下列指令,然後在提示中輸入
yes,套用 Terraform 設定:terraform apply
等待 Terraform 顯示「Apply complete!」訊息。
- 開啟 Google Cloud 專案即可查看結果。在 Google Cloud 控制台中,前往 UI 中的資源,確認 Terraform 已建立或更新這些資源。
-
在
REGION中為 Cloud Run 服務建立網路端點群組:gcloud compute network-endpoint-groups create NEG_NAME \ --region=REGION \ --network-endpoint-type=serverless \ --cloud-run-service=SERVICE_NAME
更改下列內容:
-
NEG_NAME 替換為網路端點群組資源的名稱。
(例如
myservice-neg-uscentral1) - REGION 改為服務部署的區域。
- SERVICE_NAME 改為您的服務名稱。
-
NEG_NAME 替換為網路端點群組資源的名稱。
(例如
-
將網路端點群組新增至後端服務:
gcloud compute backend-services add-backend --global BACKEND_NAME \ --network-endpoint-group-region=REGION \ --network-endpoint-group=NEG_NAME
為區域指定您在上一步中建立的 NEG_NAME。
-
針對每個區域重複上述步驟。
-
為
run_regions變數中指定的每個區域,設定 Cloud Run 服務的網路端點群組,並命名為myservice-neg: -
設定後端服務,附加網路端點群組 (
myservice-neg): 執行下列指令,找出負載平衡器的預留 IP 位址:
gcloud compute addresses describe SERVICE_IP \ --global \ --format='value(address)'
將 SERVICE_IP 替換為您先前建立的 IP 位址名稱。這個指令會將 IP 位址輸出至畫面。
更新網域的 DNS 記錄,新增含有這個 IP 位址的
A記錄。如要檢查 DNS 記錄的傳播狀態,請使用
dig指令列公用程式:dig A +short example.com
輸出內容會顯示您在 DNS 記錄中設定的 IP 位址。
執行下列指令,檢查受管理憑證的核發狀態:
gcloud compute ssl-certificates describe CERT_NAME
將 CERT_NAME 替換成您先前為 SSL 憑證資源選擇的名稱。
輸出結果會顯示包含
status: ACTIVE的一行。-
建立含有重新導向規則的網址對應。
gcloud compute url-maps import HTTP_URLMAP_NAME \ --global \ --source /dev/stdin <<EOF name: HTTP_URLMAP_NAME defaultUrlRedirect: redirectResponseCode: MOVED_PERMANENTLY_DEFAULT httpsRedirect: True EOF
將 HTTP_URLMAP_NAME 替換成您要建立的網址對應資源名稱 (例如
myservice-httpredirect)。 -
使用網址對應建立目標 HTTP Proxy。
gcloud compute target-http-proxies create HTTP_PROXY_NAME \ --url-map=HTTP_URLMAP_NAME
將 HTTP_PROXY_NAME 替換為您要建立的目標 HTTP Proxy 名稱 (例如
myservice-http)。 -
在通訊埠
80上建立轉送規則,並使用相同的保留 IP 位址。gcloud compute forwarding-rules create --global HTTP_FORWARDING_RULE_NAME \ --target-http-proxy=HTTP_PROXY_NAME \ --address=SERVICE_IP \ --ports=80
將 HTTP_FORWARDING_RULE_NAME 替換為您要建立的新轉送規則名稱 (例如
myservice-httplb)。 -
使用重新導向規則建立網址對應資源:
-
使用新建立的網址對應資源 (
myservice-https-urlmap) 建立目標 HTTP Proxy: -
在通訊埠
80上建立轉送規則,並使用相同的保留 IP 位址資源 (myservice-http-proxy): - 您必須為每個區域設定至少一個服務層級或修訂版本層級的最低執行個體,才能計算健康狀態。您也可以使用 Cloud Monitoring 中的「容器執行個體計數」指標,估算各區域所需的最低執行個體數。
- 如要進行容錯移轉,至少需要來自不同區域的兩項服務。否則,如果其中一項服務失敗,系統會顯示
no healthy upstream錯誤訊息。 - 如果跨區域內部應用程式負載平衡器有超過 5 個無伺服器 NEG 後端,則 Cloud Run 服務健康狀態不支援這類負載平衡器。
- 您無法在無伺服器 NEG 中設定網址遮罩或標記。
- 您無法從後端服務或負載平衡器啟用 IAP。直接從 Cloud Run 啟用 IAP。
- 如果刪除 Cloud Run 服務,Cloud Run 不會向負載平衡器回報健康狀態不良。
- 啟動新執行個體時,系統不會計入第一次完備性探查,因此要求可能會先短暫轉送至新啟動的服務,然後才變成不健全。
- 系統會計算所有執行個體的 Cloud Run 服務健康狀態。沒有探針的修訂版本會視為不明。負載平衡器會將不明執行個體視為健康狀態良好。
在多個區域中部署 Cloud Run 服務修訂版本,並設定一或多個執行個體數量下限。執行下列指令,使用您在上一個步驟中設定的就緒探測:
gcloud beta run deploy
SERVICE_NAME\ --regions=REGION_A,REGION_B\ --min=MIN_INSTANCES更改下列內容:
- SERVICE_NAME:服務名稱。
- REGION_A、REGION_B:服務修訂版本的不同區域。舉例來說,請將 REGION_A 設為
us-central1,並將 REGION_B 設為europe-west1。 - MIN_INSTANCES:要保持暖機狀態的容器執行個體數量,隨時準備好接收要求。最低值必須設為 1 以上。
在每個容器執行個體上設定 gRPC 或 HTTP 就緒探測器。
設定跨區域內部應用程式負載平衡器,將流量從不健康的區域轉移。
為每個區域中的每項 Cloud Run 服務設定無伺服器 NEG。
設定後端服務,以便與無伺服器 NEG 連線。
在單一「測試」區域中部署新修訂版本,並設定就緒探測。
將少量流量 (例如 1%) 傳送至新修訂版本。
請在服務層級使用非零的執行個體數量下限,而非在修訂版本層級。
檢查就緒探查指標 (
run.googleapis.com/container/instance_count_with_readiness),確保新執行個體健康無虞。逐步提高新修訂版本的流量百分比。隨著負載增加,請監控負載平衡器使用的區域 Cloud Run 服務健康狀態指標 (
run.googleapis.com/service_health_count)。Cloud Run 服務健康狀態報告UNKNOWN,直到有足夠的流量導向新修訂版本為止。修訂版本收到 100% 的流量,且區域 Cloud Run 服務健康狀態穩定良好後,請對所有其他區域重複此程序。
如要更新全域外部應用程式負載平衡器網址對應,請使用
--global旗標從後端服務移除 NEG:gcloud compute backend-services remove-backend
BACKEND_NAME\ --network-endpoint-group=NEG_NAME\ --network-endpoint-group-region=REGION\ --global更改下列內容:
BACKEND_NAME:後端服務的名稱。NEG_NAME:網路端點群組資源的名稱,例如myservice-neg-uscentral1。REGION:建立 NEG 的區域,也是您要從中移除服務的區域。例如:us-central1,asia-east1。
如要確認健康狀態良好的地區現在正在處理流量,請前往 https://
<domain-name>。- 瞭解如何為 Cloud Run 服務設定健康狀態檢查,包括就緒探查。
- 查看以 Go 撰寫的 Cloud Run 準備狀態探查和服務健康狀態程式碼範例。
授予角色
控制台
gcloud
如要在專案中授予帳戶所需的 IAM 角色,請按照下列步驟操作:
gcloud projects add-iam-policy-binding PROJECT_ID \ --member=PRINCIPAL \ --role=ROLE
取代:
gcloud services enable artifactregistry.googleapis.com \ cloudbuild.googleapis.com \ run.googleapis.com \ compute.googleapis.com \ networkservices.googleapis.com
將服務部署至多個區域
您設定的資源調度參數會套用至多個區域。舉例來說,在多區域部署作業中,每個區域的執行個體數量下限都適用。
您可以透過下列其中一種方法,將相同服務部署至多個區域:
部署多區域服務
本節說明如何透過單一 gcloud CLI 指令,或使用 YAML 或 Terraform 檔案,部署及設定多區域服務。
gcloud
YAML
Terraform
如要瞭解如何套用或移除 Terraform 設定,請參閱「基本 Terraform 指令」。
在 Terraform 設定的 google_cloud_run_v2_service 資源中新增下列項目。
resource "google_cloud_run_v2_service" "default" {
name = "cloudrun-service-multi-region"
regions = [
"REGION_1",
"REGION_2",
]
template {
containers {
image = "us-docker.pkg.dev/cloudrun/container/hello"
}
}
}
將 "REGION_1" 和 "REGION_2" 替換為每個需要的Google Cloud 區域。例如 europe-west1 和 us-central1。
更新多區域服務
本節說明如何透過單一 gcloud CLI 指令或 YAML 檔案,在多區域服務中新增或移除區域。
gcloud
如要從多區域服務新增或移除區域,請執行 gcloud run multi-region-services update 指令。
YAML
刪除多區域服務
設定全域外部應用程式負載平衡器
本節說明如何設定全域外部應用程式負載平衡器,並使用代管 TLS 憑證保護網域,指向全域任播 IP 位址,將使用者導向部署服務的最近 Google 資料中心。
如果區域性 Cloud Run 服務沒有回應或傳回錯誤,下列各節所述的架構不會自動將要求轉送至其他區域。
如要提高多區域服務的可用性,請按照下列步驟操作:
建立全域外部應用程式負載平衡器
建立全域外部應用程式負載平衡器時,需要建立各種網路資源,並將這些資源連結在一起:
gcloud
Terraform
除了本節所述步驟,您也可以使用全域 HTTP 負載平衡器 Terraform 模組。
如要瞭解如何套用或移除 Terraform 設定,請參閱「基本 Terraform 指令」。
設定區域網路端點群組
針對上一個步驟中部署的每個區域,您必須建立無伺服器網路端點群組 (NEG),並按照下列操作說明將其新增至後端服務:
gcloud CLI
Terraform
如要瞭解如何套用或移除 Terraform 設定,請參閱「基本 Terraform 指令」。
設定網域的 DNS 記錄
如要將網域名稱指向您建立的轉送規則,請使用您建立的 IP 位址更新網域名稱的 DNS 記錄。
如果使用已驗證的服務,請設定自訂目標對象
已驗證的服務受到 IAM 保護。 這類 Cloud Run 服務需要用戶端驗證,在產生憑證時聲明要求的預期收件者 (即「對象」)。
目標對象通常是目標服務的完整網址,Cloud Run 服務預設會產生以 run.app 結尾的網址。不過,在多區域部署中,用戶端無法預先得知要求會路由至哪個區域服務。因此,如果是多區域部署,請將服務設定為使用自訂目標對象。
等待負載平衡器完成佈建
使用負載平衡器 IP 位址設定網域後,請等待 DNS 記錄傳播。同樣地,請等待系統為網域核發受管理的 TLS 憑證,並準備好在全球開始提供 HTTPS 流量。
負載平衡器最多可能需要 30 分鐘才會開始放送流量。
準備就緒後,請前往網站網址並加上 https:// 前置字元,即可試用。
核對狀態
設定 HTTP 至 HTTPS 的重新導向
根據預設,轉送規則只會處理單一通訊協定,因此對 http:// 端點的要求會收到「404 Not Found」回應。如需將對 http:// 網址的要求重新導向至 https:// 協定,請按照下列操作說明建立額外的網址對應和轉送規則:
gcloud CLI
Terraform
如要瞭解如何套用或移除 Terraform 設定,請參閱「基本 Terraform 指令」。
如需其他設定選項,請參閱「設定具備 Cloud Run 的全域外部應用程式負載平衡器」。
透過 Cloud Run 服務健康狀態自動執行跨區域容錯移轉
Cloud Run 服務健康狀態可將服務中斷情形降到最低,並自動執行跨區域容錯移轉和容錯回復。設定多區域高可用性 Cloud Run 服務,為內部流量提供自動容錯移轉和容錯回復功能。
限制
Cloud Run 服務健康狀態有以下限制:
回報區域健康狀態
如要匯總區域 Cloud Run 服務健康狀態,並向負載平衡器回報健康或不健康的狀態,請執行下列步驟:
最佳做法
您可以結合使用就緒探查、流量分配和最低執行個體數,逐步安全地推出新版本。這樣一來,您就能在單一「 Canary」區域中驗證新修訂版本的健康狀態,再進行升級,確保負載平衡器只會將流量傳送至健康狀態良好的區域後端。
建議的推出程序
您可以在現有的 Cloud Run 服務上推出服務修訂版本,但該服務不得使用就緒探查或 Cloud Run 服務健康狀態。請一次處理一個區域,安全地部署新修訂版本:
監控健康狀態檢查
設定 Cloud Run 服務健康狀態後,無伺服器 NEG 會收集 Cloud Monitoring 服務健康狀態指標。您可以查看現有區域服務的健康狀態。下圖顯示這些 Cloud Run 服務健康狀態元件如何回應服務要求:
如果某個區域的服務健康狀態不佳,負載平衡器會將流量從該區域轉移至健康狀態良好的區域。地區恢復正常後,流量就會恢復。
在多區域部署中,使用經過驗證的 Pub/Sub 推送訂閱項目
根據預設,Pub/Sub 服務會將訊息傳送至與 Pub/Sub 服務儲存訊息的 Google Cloud 區域相同的推送端點。如要解決這個問題,請參閱「搭配多區域 Cloud Run 部署作業使用已驗證的 Pub/Sub 推送訂閱項目」。
設定手動容錯移轉
如要手動設定流量,以便容錯移轉至運作正常的區域,請修改全域外部應用程式負載平衡器網址對應。