本主題說明如何在 Microsoft® Azure Kubernetes Service (AKS) 上,為 Apigee Hybrid 設定多區域部署。
多區域部署的拓撲包括:
- Active-Active:當您在多個地理位置部署應用程式,且需要低延遲的 API 回應來部署應用程式時,您可以選擇在最靠近客戶的多個地理位置部署混合式雲端,例如:美國西岸、美國東岸、歐洲、亞太地區。
- 主動-被動:當您有主要區域和容錯移轉或災難復原區域時。
如下圖所示,多區域混合式部署中的區域會透過 Cassandra 通訊:

必要條件
為多個區域設定混合式連線前,請先完成下列先決條件:
- 請先按照混合式安裝指南完成所有先決條件,例如 GCP 和機構設定,再進行叢集設定步驟。
詳情請參閱 Kubernetes 說明文件。
在每個區域中建立虛擬網路
為多區域部署建立虛擬網路。舉例來說,下列範例指令會在美國中部和美國東部地區建立網路。
執行下列指令,在美國東部區域中建立名為 my-hybrid-rg-vnet 的虛擬網路:
az network vnet create \ --name my-hybrid-rg-vnet \ --location eastus \ --resource-group my-hybrid-rg \ --address-prefixes 120.38.1.0/24 \ --subnet-name my-hybrid-rg-vnet-subnet \ --subnet-prefix 120.38.1.0/26
執行下列指令,在美國中部地區建立名為 my-hybrid-rg-vnet-ext01 的虛擬網路:
az network vnet create \ --name my-hybrid-rg-vnet-ext01 \ --location centralus \ --resource-group my-hybrid-rg \ --address-prefixes 192.138.0.0/24 \ --subnet-name my-hybrid-rg-vnet-ext01-subnet \ --subnet-prefix 192.138.0.0/26
建立網路對等互連
在虛擬網路之間建立網路對等互連。
取得虛擬網路 ID
對等互連是在虛擬網路 ID 之間建立。使用 az network vnet show 指令取得每個虛擬網路的 ID,並將 ID 儲存在變數中。
取得第一個虛擬網路 (名為 my-hybrid-rg-vnet 的網路) 的 ID:
vNet1Id=$(az network vnet show \ --resource-group my-hybrid-rg \ --name my-hybrid-rg-vnet \ --query id --out tsv)
取得第二個虛擬網路 (名為 my-hybrid-rg-vnet-ext01 的網路) 的 ID:
vNet2Id=$(az network vnet show \ --resource-group my-hybrid-rg \ --name my-hybrid-rg-vnet-ext01 \ --query id \ --out tsv)
從第一個虛擬網路建立對等互連至第二個虛擬網路
有了虛擬網路 ID,您就可以從第一個虛擬網路 (my-hybrid-rg-vnet) 建立對等互連到第二個虛擬網路 (my-hybrid-rg-vnet-ext01),如下列範例所示:
az network vnet peering create \ --name my-hybrid-rg-vnet1-peering \ # The name of the virtual network peering. --resource-group my-hybrid-rg \ --vnet-name my-hybrid-rg-vnet \ # The virtual network name. --remote-vnet $vNet2Id \ # Resource ID of the remote virtual network. --allow-vnet-access
在指令的輸出內容中,請注意 peeringState 為「已啟動」。
在您從第二個虛擬網路建立對等互連連線返回第一個虛擬網路之前,對等互連連線會維持在「已啟動」狀態。
{
...
"peeringState": "Initiated",
...
}
從第二個虛擬網路建立與第一個虛擬網路的對等互連
範例指令:
az network vnet peering create \ --name my-hybrid-rg-vnet2-peering \ # The name of the virtual network peering. --resource-group my-hybrid-rg \ --vnet-name my-hybrid-rg-vnet-ext01 \ # The virtual network name. --remote-vnet $vNet1Id \ # Resource ID of the remote virtual network. --allow-vnet-access
在指令的輸出內容中,請注意 peeringState 為「已連線」。Azure 也會將第一個虛擬網路對等互連的對等互連狀態變更為「已連線」。
{
...
"peeringState": "Connected",
...
}
您也可以使用下列指令,確認 my-hybrid-rg-vnet1-peering 至 my-hybrid-rg-vnet2-peering 的對等互連狀態是否已變更為「已連線」:
az network vnet peering show \ --name my-hybrid-rg-vnet1-peering \ --resource-group my-hybrid-rg \ --vnet-name my-hybrid-rg-vnet \ --query peeringState
預期輸出內容:
Connected
建立多區域叢集
在多個區域設定 Kubernetes 叢集,並使用不同的 CIDR 區塊。另請參閱「步驟 1:建立叢集」。使用您先前建立的位置和虛擬網路名稱。
在所有區域的 Kubernetes 叢集之間開啟 Cassandra 通訊埠 7000 和 7001 (7000 可在疑難排解期間做為備份選項)
設定多區域種子主機
本節說明如何將現有 Cassandra 叢集擴展至新區域。完成這項設定後,新區域就能啟動叢集並加入現有資料中心。如果沒有這項設定,多區域 Kubernetes 叢集就無法互相瞭解。
- 先將 kubectl 環境設為原始叢集,再擷取種子名稱:
kubectl config use-context original-cluster-name
執行下列
kubectl指令,找出目前區域中 Cassandra 的種子主機位址。種子主機位址可讓新的區域執行個體在首次啟動時找到原始叢集,瞭解叢集的拓撲。種子主機位址會指定為叢集中的聯絡點。
kubectl get pods -o wide -n apigee | grep apigee-cassandra apigee-cassandra-default-0 1/1 Running 0 4d17h 120.38.1.9 aks-agentpool-21207753-vmss000000
- 決定要將先前指令傳回的哪個 IP 做為多區域種子主機。在本例中,只有單一節點 Cassandra 叢集正在執行,因此種子主機為
120.38.1.9。 - 在資料中心 2 中,將覆寫檔案複製到新檔案,檔名須包含叢集名稱。例如
overrides_your_cluster_name.yaml。 - 在資料中心 2 中,於
overrides_your_cluster_name.yaml內設定cassandra.multiRegionSeedHost和cassandra.datacenter,其中multiRegionSeedHost是先前指令傳回的其中一個 IP:cassandra: multiRegionSeedHost: seed_host_IP datacenter: data_center_name rack: rack_name
例如:
cassandra: multiRegionSeedHost: 120.38.1.9 datacenter: "centralus" rack: "ra-1"
- 在新的資料中心/區域中,安裝混合式服務前,請在
overrides_your_cluster_name.yaml中設定與第一個區域相同的 TLS 憑證和憑證。
設定新區域
設定種子主機後,即可設定新區域。
如要設定新區域,請按照下列步驟操作:
- 將現有叢集的憑證複製到新叢集。Cassandra 和其他混合式元件會使用新的 CA 根憑證進行 mTLS。因此,叢集中的憑證必須一致。
- 將環境定義設為原始命名空間:
kubectl config use-context original-cluster-name
- 將目前的命名空間設定匯出至檔案:
$ kubectl get namespace namespace -o yaml > apigee-namespace.yaml
- 將
apigee-ca密鑰匯出至檔案:kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
- 將環境設為新區域的叢集名稱:
kubectl config use-context new-cluster-name
- 將命名空間設定匯入新叢集。
如果您在新區域中使用其他命名空間,請務必更新檔案中的「命名空間」:
kubectl apply -f apigee-namespace.yaml
將密鑰匯入新叢集:
kubectl -n cert-manager apply -f apigee-ca.yaml
- 將環境定義設為原始命名空間:
- 在新區域中安裝混合式服務。請確認
overrides_your_cluster_name.yaml檔案包含在第一個區域中設定的相同 TLS 憑證,如上一節所述。執行下列兩項指令,在新區域中安裝混合式服務:
apigeectl init -f overrides_your_cluster_name.yaml
apigeectl apply -f overrides_your_cluster_name.yaml
- 在新資料中心的所有節點上依序執行
nodetool rebuild。視資料大小而定,這項作業可能需要幾分鐘到幾小時的時間。kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u JMX_user -pw JMX_password rebuild -- dc-1
其中 JMX_user 和 JMX_password 是 Cassandra JMX 使用者的使用者名稱和密碼。
- 從記錄檔驗證重建程序。此外,請使用
nodetool status指令驗證資料大小:kubectl logs apigee-cassandra-default-0 -f -n apigee
kubectl exec apigee-cassandra-default-0 -n apigee -- nodetool -u JMX_user -pw JMX_password status
以下範例顯示記錄項目:
INFO 01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens) INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB) INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed
- 更新種子主機。從
overrides-DC_name.yaml移除multiRegionSeedHost: 10.0.0.11,然後重新套用。apigeectl apply -f overrides-DC_name.yaml