在代管 Cloud Service Mesh 設定多叢集網格

本指南說明如何使用網格 CA 或憑證授權單位服務,將兩個叢集加入單一 Cloud Service Mesh,並啟用跨叢集負載平衡。您可以輕鬆擴充這項程序,將任意數量的叢集納入網格。

多叢集 Cloud Service Mesh 設定可解決多項重要的企業情境,例如規模、位置和隔離。詳情請參閱「多叢集用途」。

必要條件

本指南假設您有兩個以上符合下列條件的 Google CloudGKE 叢集:

  • 叢集上已安裝 Cloud Service Mesh。您需要 asmcli、istioctl 工具,以及 asmcli 下載至 --output_dir 中指定目錄的範例。
  • 設定 Cloud Service Mesh 之前,網格中的叢集必須在所有 Pod 之間建立連線。此外,如果加入的叢集不在同一個專案中,則必須註冊到同一個機群主專案,且叢集必須位於同一個網路上的Shared VPC設定中。此外,建議您建立一個專案來託管 Shared VPC,並建立兩個服務專案來建立叢集。詳情請參閱「使用 Shared VPC 設定叢集」。
  • 如果您使用憑證授權單位服務,所有叢集都必須將各自的從屬 CA 集區鏈結至同一個根 CA 集區。否則,所有憑證都必須使用相同的 CA 集區。

設定專案和叢集變數

  1. 為專案 ID、叢集可用區或區域、叢集名稱和環境建立下列環境變數。

    export PROJECT_1=PROJECT_ID_1
    export LOCATION_1=CLUSTER_LOCATION_1
    export CLUSTER_1=CLUSTER_NAME_1
    export CTX_1="gke_${PROJECT_1}_${LOCATION_1}_${CLUSTER_1}"
    
    export PROJECT_2=PROJECT_ID_2
    export LOCATION_2=CLUSTER_LOCATION_2
    export CLUSTER_2=CLUSTER_NAME_2
    export CTX_2="gke_${PROJECT_2}_${LOCATION_2}_${CLUSTER_2}"
    
  2. 如果是新建立的叢集,請務必使用下列 gcloud 指令擷取各叢集的憑證,否則相關聯的 context 將無法用於本指南的後續步驟。

    指令會因叢集類型 (區域或可用區) 而異:

    區域

    gcloud container clusters get-credentials ${CLUSTER_1} --region ${LOCATION_1}
    gcloud container clusters get-credentials ${CLUSTER_2} --region ${LOCATION_2}
    

    可用區

    gcloud container clusters get-credentials ${CLUSTER_1} --zone ${LOCATION_1}
    gcloud container clusters get-credentials ${CLUSTER_2} --zone ${LOCATION_2}
    

建立防火牆規則

在某些情況下,您需要建立防火牆規則,允許跨叢集流量。舉例來說,您在下列情況下需要建立防火牆規則:

  • 您在網格中為叢集使用不同的子網路。
  • Pod 開啟了 443 和 15002 以外的通訊埠。

GKE 會自動為每個節點新增防火牆規則,允許相同子網路內的流量。如果網格包含多個子網路,您必須明確設定防火牆規則,允許跨子網路流量。您必須為每個子網路新增防火牆規則,允許所有傳入流量的來源 IP CIDR 區塊和目標通訊埠。

下列操作說明可讓專案中的所有叢集,或僅限 $CLUSTER_1 和 $CLUSTER_2 之間進行通訊。

  1. 收集叢集網路的相關資訊。

    所有專案叢集

    如果叢集位於同一個專案,您可以使用下列指令,允許專案中所有叢集之間的通訊。如果專案中有不想公開的叢集,請使用「Specific clusters」(特定叢集) 分頁中的指令。

    function join_by { local IFS="$1"; shift; echo "$*"; }
    ALL_CLUSTER_CIDRS=$(gcloud container clusters list --project $PROJECT_1 --format='value(clusterIpv4Cidr)' | sort | uniq)
    ALL_CLUSTER_CIDRS=$(join_by , $(echo "${ALL_CLUSTER_CIDRS}"))
    ALL_CLUSTER_NETTAGS=$(gcloud compute instances list --project $PROJECT_1 --format='value(tags.items.[0])' | sort | uniq)
    ALL_CLUSTER_NETTAGS=$(join_by , $(echo "${ALL_CLUSTER_NETTAGS}"))
    

    特定叢集

    下列指令可允許 $CLUSTER_1 和 $CLUSTER_2 之間通訊,且不會公開專案中的其他叢集。

    function join_by { local IFS="$1"; shift; echo "$*"; }
    ALL_CLUSTER_CIDRS=$(for P in $PROJECT_1 $PROJECT_2; do gcloud --project $P container clusters list --filter="name:($CLUSTER_1,$CLUSTER_2)" --format='value(clusterIpv4Cidr)'; done | sort | uniq)
    ALL_CLUSTER_CIDRS=$(join_by , $(echo "${ALL_CLUSTER_CIDRS}"))
    ALL_CLUSTER_NETTAGS=$(for P in $PROJECT_1 $PROJECT_2; do gcloud --project $P compute instances list  --filter="name:($CLUSTER_1,$CLUSTER_2)" --format='value(tags.items.[0])' ; done | sort | uniq)
    ALL_CLUSTER_NETTAGS=$(join_by , $(echo "${ALL_CLUSTER_NETTAGS}"))
    
  2. 建立防火牆規則。

    GKE

    gcloud compute firewall-rules create istio-multicluster-pods \
        --allow=tcp,udp,icmp,esp,ah,sctp \
        --direction=INGRESS \
        --priority=900 \
        --source-ranges="${ALL_CLUSTER_CIDRS}" \
        --target-tags="${ALL_CLUSTER_NETTAGS}" --quiet \
        --network=YOUR_NETWORK
    

    Autopilot

    TAGS=""
    for CLUSTER in ${CLUSTER_1} ${CLUSTER_2}
    do
        TAGS+=$(gcloud compute firewall-rules list --filter="Name:$CLUSTER*" --format="value(targetTags)" | uniq) && TAGS+=","
    done
    TAGS=${TAGS::-1}
    echo "Network tags for pod ranges are $TAGS"
    
    gcloud compute firewall-rules create asm-multicluster-pods \
        --allow=tcp,udp,icmp,esp,ah,sctp \
        --network=gke-cluster-vpc \
        --direction=INGRESS \
        --priority=900 --network=VPC_NAME \
        --source-ranges="${ALL_CLUSTER_CIDRS}" \
        --target-tags=$TAGS
    

設定端點探索

使用宣告式 API,在公開或私人叢集之間啟用端點探索功能

透過 Fleet API 啟用代管 Cloud Service Mesh 後,系統會為這個叢集啟用端點探索功能。如果您使用其他工具佈建代管 Cloud Service Mesh,可以套用 asm-options configmap 中的 "multicluster_mode":"connected" 設定,手動啟用機群中公開或私人叢集的端點探索功能。在同一個機群中,啟用這項設定的叢集會自動啟用彼此之間的跨叢集服務探索功能。

如果您採用代管 (TD) 控制層實作,這是設定多叢集端點探索的唯一方法;如果您採用代管 (Istiod) 實作,則建議使用這個方法。

繼續操作前,您必須先建立防火牆規則。如果沒有這項防火牆規則,負載平衡至機群中其他 connected 叢集的流量可能會失敗 (請參閱「解決多叢集問題」)。

啟用

如果叢集中已有 asm-options configmap,請為叢集啟用端點探索功能:

      kubectl patch configmap/asm-options -n istio-system --type merge -p '{"data":{"multicluster_mode":"connected"}}'

如果叢集中尚未存在 asm-options configmap,請使用相關聯的資料建立,並為叢集啟用端點探索功能:

      kubectl --context ${CTX_1} create configmap asm-options -n istio-system --from-file <(echo '{"data":{"multicluster_mode":"connected"}}')

停用

停用叢集的端點探索功能:

      kubectl patch configmap/asm-options -n istio-system --type merge -p '{"data":{"multicluster_mode":"manual"}}'

自動管理功能會保留 "multicluster_mode":"manual",包括在新的叢集上啟用自動管理功能之前,使用 "multicluster_mode":"manual" 建立 asm-options ConfigMap。

如果您從機群取消註冊叢集,但未停用端點探索功能,Secret 可能會留在叢集中。您必須手動清除所有剩餘的密鑰。

  1. 執行下列指令,找出需要清除的 Secret:

    kubectl get secrets -n istio-system -l istio.io/owned-by=mesh.googleapis.com,istio/multiCluster=true
    
  2. 刪除各個 Secret:

    kubectl delete secret SECRET_NAME
    

    對其餘密鑰重複執行這個步驟。

驗證多叢集連線能力

本節說明如何將範例 HelloWorld 和 Sleep 服務部署至多叢集環境,以驗證跨叢集負載平衡功能是否正常運作。

設定範例目錄的變數

  1. 前往 asmcli 的下載位置,然後執行下列指令來設定 ASM_VERSION

    export ASM_VERSION="$(./asmcli --version)"
    
  2. 將工作資料夾設為範例,用於驗證跨叢集負載平衡是否正常運作。範例位於您在 asmcli install 指令中指定的 --output_dir 目錄子目錄中。在下列指令中,將 OUTPUT_DIR 變更為您在 --output_dir 指定的目錄。

    export SAMPLES_DIR=OUTPUT_DIR/istio-${ASM_VERSION%+*}
    

啟用加入邊車容器功能

  1. 在每個叢集中建立範例命名空間。

    for CTX in ${CTX_1} ${CTX_2}
    do
        kubectl create --context=${CTX} namespace sample
    done
    
  2. 啟用命名空間,以便插入。步驟取決於控制層實作。

    代管 (TD)

    1. 將預設插入標籤套用至命名空間:
    for CTX in ${CTX_1} ${CTX_2}
    do
       kubectl label --context=${CTX} namespace sample \
          istio.io/rev- istio-injection=enabled --overwrite
    done
    

    代管 (Istiod)

    建議做法:執行下列指令,將預設插入標籤套用至命名空間:

     for CTX in ${CTX_1} ${CTX_2}
     do
        kubectl label --context=${CTX} namespace sample \
           istio.io/rev- istio-injection=enabled --overwrite
     done
    

    如果您是使用代管 Istiod 控制層的現有使用者:建議您使用預設插入,但系統也支援修訂版本插入。請按照下列操作說明進行:

    1. 執行下列指令,找出可用的發布管道:

      kubectl -n istio-system get controlplanerevision
      

      輸出結果會與下列內容相似:

      NAME                AGE
      asm-managed-rapid   6d7h
      

      在輸出內容中,NAME 欄下方的值是修訂版本標籤,對應至 Cloud Service Mesh 版本的可用發布管道。

    2. 將修訂版本標籤套用至命名空間:

      for CTX in ${CTX_1} ${CTX_2}
      do
        kubectl label --context=${CTX} namespace sample \
           istio-injection- istio.io/rev=REVISION_LABEL --overwrite
      done
      

安裝 HelloWorld 服務

  • 在兩個叢集中建立 HelloWorld 服務:

    kubectl create --context=${CTX_1} \
        -f ${SAMPLES_DIR}/samples/helloworld/helloworld.yaml \
        -l service=helloworld -n sample
    
    kubectl create --context=${CTX_2} \
        -f ${SAMPLES_DIR}/samples/helloworld/helloworld.yaml \
        -l service=helloworld -n sample
    

將 HelloWorld v1 和 v2 部署至各個叢集

  1. 將 HelloWorld v1 部署至 CLUSTER_1,並將 v2 部署至 CLUSTER_2,以便稍後驗證跨叢集負載平衡:

    kubectl create --context=${CTX_1} \
      -f ${SAMPLES_DIR}/samples/helloworld/helloworld.yaml \
      -l version=v1 -n sample
    kubectl create --context=${CTX_2} \
      -f ${SAMPLES_DIR}/samples/helloworld/helloworld.yaml \
      -l version=v2 -n sample
  2. 使用下列指令,確認 HelloWorld v1 和 v2 正在執行。確認輸出內容與下方所示類似:

    kubectl get pod --context=${CTX_1} -n sample
    NAME                            READY     STATUS    RESTARTS   AGE
    helloworld-v1-86f77cd7bd-cpxhv  2/2       Running   0          40s
    kubectl get pod --context=${CTX_2} -n sample
    NAME                            READY     STATUS    RESTARTS   AGE
    helloworld-v2-758dd55874-6x4t8  2/2       Running   0          40s

部署 Sleep 服務

  1. 將 Sleep 服務部署至兩個叢集。這個 Pod 會產生人工網路流量,用於示範:

    for CTX in ${CTX_1} ${CTX_2}
    do
        kubectl apply --context=${CTX} \
            -f ${SAMPLES_DIR}/samples/sleep/sleep.yaml -n sample
    done
    
  2. 等待各叢集的 Sleep 服務啟動。確認輸出內容與下方類似:

    kubectl get pod --context=${CTX_1} -n sample -l app=sleep
    NAME                             READY   STATUS    RESTARTS   AGE
    sleep-754684654f-n6bzf           2/2     Running   0          5s
    kubectl get pod --context=${CTX_2} -n sample -l app=sleep
    NAME                             READY   STATUS    RESTARTS   AGE
    sleep-754684654f-dzl9j           2/2     Running   0          5s

驗證跨叢集負載平衡

多次呼叫 HelloWorld 服務並檢查輸出內容,確認 v1 和 v2 交替回覆:

  1. 呼叫 HelloWorld 服務:

    kubectl exec --context="${CTX_1}" -n sample -c sleep \
        "$(kubectl get pod --context="${CTX_1}" -n sample -l \
        app=sleep -o jsonpath='{.items[0].metadata.name}')" \
        -- /bin/sh -c 'for i in $(seq 1 20); do curl -sS helloworld.sample:5000/hello; done'
    

    輸出內容大致如下:

    Hello version: v2, instance: helloworld-v2-758dd55874-6x4t8
    Hello version: v1, instance: helloworld-v1-86f77cd7bd-cpxhv
    ...
  2. 再次呼叫 HelloWorld 服務:

    kubectl exec --context="${CTX_2}" -n sample -c sleep \
        "$(kubectl get pod --context="${CTX_2}" -n sample -l \
        app=sleep -o jsonpath='{.items[0].metadata.name}')" \
        -- /bin/sh -c 'for i in $(seq 1 20); do curl -sS helloworld.sample:5000/hello; done'
    

    輸出內容大致如下:

    Hello version: v2, instance: helloworld-v2-758dd55874-6x4t8
    Hello version: v1, instance: helloworld-v1-86f77cd7bd-cpxhv
    ...

恭喜!您已驗證 Cloud Service Mesh 的多叢集負載平衡功能!

將流量保留在叢集內

在某些情況下,預設的跨叢集負載平衡行為可能不符合需求。如要將流量保留在「叢集本機」(即從 cluster-a 傳送的流量只會到達 cluster-a 中的目的地),請使用 MeshConfig.serviceSettings 將主機名稱或萬用字元標示為 clusterLocal。

舉例來說,您可以為個別服務、特定命名空間中的所有服務,或網格中的所有服務,強制執行叢集本機流量,如下所示:

每項服務

serviceSettings:
- settings:
    clusterLocal: true
  hosts:
  - "mysvc.myns.svc.cluster.local"

每個命名空間

serviceSettings:
- settings:
    clusterLocal: true
  hosts:
  - "*.myns.svc.cluster.local"

全球

serviceSettings:
- settings:
    clusterLocal: true
  hosts:
  - "*"

您也可以設定全域叢集本機規則,並新增明確的例外狀況 (可為特定或萬用字元),進一步調整服務存取權。在以下範例中,叢集中的所有服務都會保留在叢集本機,但 myns 命名空間中的任何服務除外:

serviceSettings:
- settings:
    clusterLocal: true
  hosts:
  - "*"
- settings:
    clusterLocal: false
  hosts:
  - "*.myns.svc.cluster.local"

啟用本機叢集服務

  1. 查看叢集中的 MeshConfig 設定圖

    kubectl get configmap -n istio-system
    

    您應該會看到名稱為 istio-asm-managed、istio-asm-managed-rapid 或 istio-asm-managed-stable 的設定圖。

    如果您已從 ISTIOD 實作遷移至 TRAFFIC_DIRECTOR 實作,可能會看到多個設定圖。在這種情況下,您可以執行下列指令來判斷管道:

    kubectl get controlplanerevision -n istio-system
    

    請選擇已協調控制層修訂版本的管道。

  2. 更新 ConfigMap

    cat <<EOF > config.yaml
    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: CONFIGMAP_NAME
      namespace: istio-system
    data:
      mesh: |-
        serviceSettings:
        - settings:
            clusterLocal: true
          hosts:
          - "*"
    EOF
    

    將 CONFIGMAP_NAME 替換為您在步驟 1 找到的 ConfigMap 名稱,然後更新 ConfigMap。

    kubectl apply --context=${CTX_1} -f config.yaml
    
  3. 使用下列指令,確認本機叢集功能是否正常運作。使用 CTX_1 呼叫 HelloWorld 的輸出內容大致如下:

    kubectl exec --context="${CTX_1}" -n sample -c sleep \
        "$(kubectl get pod --context="${CTX_1}" -n sample -l \
        app=sleep -o jsonpath='{.items[0].metadata.name}')" \
        -- /bin/sh -c 'for i in $(seq 1 20); do curl -sS helloworld.sample:5000/hello; done'
    

    輸出內容應會顯示「Only v1 is response」:

    Hello version: v1, instance: helloworld-v2-758dd55874-6x4t8
    Hello version: v1, instance: helloworld-v1-86f77cd7bd-cpxhv
    ...
    

    如果使用 CTX_2 呼叫 HelloWorld:

    kubectl exec --context="${CTX_2}" -n sample -c sleep \
        "$(kubectl get pod --context="${CTX_2}" -n sample -l \
        app=sleep -o jsonpath='{.items[0].metadata.name}')" \
        -- /bin/sh -c 'for i in $(seq 1 20); do curl -sS helloworld.sample:5000/hello; done'
    

    輸出內容應會顯示 v1 和 v2 交替回覆。

    Hello version: v2, instance: helloworld-v2-758dd55874-6x4t8
    Hello version: v1, instance: helloworld-v1-86f77cd7bd-cpxhv
    ...
    

清理 HelloWorld 服務

完成負載平衡驗證後,請從叢集移除 HelloWorld 和 Sleep 服務。

kubectl delete ns sample --context ${CTX_1}
kubectl delete ns sample --context ${CTX_2}

設定地區負載平衡

Cloud Service Mesh 可讓您使用主要轉送行為,控管流量在不同區域和可用區之間的分配方式:

  • SPRAY_TO_WORLD (預設):無論用戶端位於何處,流量都會透過輪詢方式,分配到全球所有健康狀態良好的端點。
  • WATERFALL_BY_ZONE:流量會轉送至最近的健康可用區。如果本機可用區不健康,流量會轉送至下一個最近的健康可用區。

本指南說明如何使用 Istio DestinationRule 和 MeshConfig 資源設定這些行為。

啟用刊登序列轉送

如要觸發 WATERFALL_BY_ZONE,使用者必須在 DestinationRule (或全域 MeshConfig) 中設定 DestinationRule.TrafficPolicy.outlierDetection「和」下列其中一項:

  • localityLbSetting.enabled為true
  • localityLbSetting.failover.from
  • localityLbSetting.failover.to

使用 DestinationRule 啟用刊登序列

以下設定可成功使用 DestinationRule 為特定服務啟用瀑布式轉送:

apiVersion: networking.istio.io/v1beta1
kind: DestinationRule
metadata:
  name: backend-waterfall-rule
spec:
  host: my-backend.default.svc.cluster.local
  trafficPolicy:
    outlierDetection: {}
    loadBalancer:
      localityLbSetting:
        enabled: true # or failover: []

使用 MeshConfig + DestinationRule 啟用刊登序列

或者,您也可以使用 MeshConfig (例如在 istio-asm-managed ConfigMap 中),為叢集中的整個網格全域啟用位置負載平衡。將 localityLbSetting 套用至整個網格時,個別 DestinationRule 只需要空白的 outlierDetection 區塊,即可觸發 Waterfall 轉送。

下列 YAML 檔案提供這項設定的 MeshConfig 和 DestinationRule 範例:

MeshConfig (全球):

apiVersion: v1
kind: ConfigMap
metadata:
  name: istio-asm-managed
  namespace: istio-system
data:
  mesh: |-
    localityLbSetting:
      enabled: true # or failover: []

DestinationRule (服務專屬):

apiVersion: networking.istio.io/v1beta1
kind: DestinationRule
metadata:
  name: backend-waterfall-rule
spec:
  host: my-backend.default.svc.cluster.local
  trafficPolicy:
    outlierDetection: {}

依工作負載版本套用位置設定

由於 DestinationRule 不支援子集專屬和通訊埠專屬的位置設定,您可以使用多個 Kubernetes Service 定義,提供各項服務的轉送設定,以達成混合位置行為。