備份及還原管理員叢集

本文說明如何備份及還原管理員叢集的 etcd 儲存庫,該叢集是使用 Google Distributed Cloud (僅限軟體) for VMware 建立。本文也提供指令碼,可用於自動備份叢集的 etcd 儲存庫。您也可以使用 gkectl 指令列工具備份及還原管理員叢集。

您可以建立備份檔案,以便在發生非預期災害,導致叢集的 etcd 資料受損時進行復原。將備份檔案儲存在叢集外部,且不依賴叢集運作的位置。

限制

本文所述的備份和還原程序有下列限制:

  • 這項程序不會備份應用程式專屬資料。

  • 這項程序不會備份 PersistentVolume。

  • 建立備份後排定的工作負載不會隨該備份還原。

  • 升級失敗後,您無法還原叢集。

  • 這項程序不適用於還原已刪除的叢集。

  • 如果叢集已啟用進階叢集,請勿使用這項程序。請改為參閱「使用 gkectl 備份及還原進階叢集」。

如要進一步瞭解限制,請參閱「基礎架構不相容」。

備份管理員叢集

管理員叢集備份包含下列項目:

  • 管理員叢集 etcd 的快照。
  • 管理員控制層的 Secret,用於向管理員和使用者叢集進行驗證。

建立管理員叢集備份前,請先完成下列步驟:

  1. 找出管理員叢集的外部 IP 位址,用於透過 SSH 連線至管理員叢集控制層:

    kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] get nodes -n kube-system -o wide | grep master

    其中 [ADMIN_CLUSTER_KUBECONFIG] 是管理員叢集的 kubeconfig 檔案。

  2. 使用管理員叢集的私密金鑰,建立名為 vsphere_tmp 的安全殼層金鑰。

    您可以在管理員叢集 Secret 中找到私密金鑰:

    kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] get secrets sshkeys -n kube-system -o yaml

    在指令輸出內容中,您可以在 vsphere_tmp 欄位找到私密金鑰。

    將私密金鑰複製到 vsphere_tmp:

    echo "[PRIVATE_KEY]" | base64 -d > vsphere_tmp; chmod 600 vsphere_tmp
  3. 確認您可以使用這個私密金鑰,透過殼層進入管理員控制層:

    ssh -i vsphere_tmp ubuntu@[EXTERNAL_IP]
    
  4. 退出容器:

    exit

備份管理員叢集的 etcd 儲存庫

如要備份管理員叢集的 etcd 儲存庫,請按照下列指示操作:

  1. 取得 etcd Pod 的名稱:

    kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] get pods \
        -n kube-system -l component=etcd,tier=control-plane -ojsonpath='{$.items[*].metadata.name}{"\n"}'
  2. 透過殼層進入 Pod 的 kube-etcd 容器:

    kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG]  exec -it \
        -n kube-system [ADMIN_ETCD_POD] -- bin/sh

    其中 [ADMIN_ETCD_POD] 是 etcd Pod 的名稱。

  3. 在殼層中,使用 etcdctl 在本機目錄中建立名為 snapshot.db 的備份:

    ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt \
        --cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt \
        --key=/etc/kubernetes/pki/etcd/healthcheck-client.key snapshot save /tmp/snapshot.db
    
  4. 退出容器:

    exit
  5. 使用 kubectl cp 將備份從 kube-etcd 容器複製出來:

    kubectl --kubeconfig [ADMIN_CLUSTER_KUBECONFIG] cp \
    kube-system/[ADMIN_ETCD_POD]:tmp/snapshot.db [RELATIVE_DIRECTORY]
    

    其中 [RELATIVE_DIRECTORY] 是您要儲存備份的路徑。

備份管理員叢集的 Secret

如要備份管理員控制層的 Secret,請按照下列指示操作:

  1. 使用 SSH 連線至管理員控制層節點:

    ssh -i vsphere_tmp ubuntu@EXTERNAL_IP
    

    將 EXTERNAL_IP 替換成您先前記下的管理員控制層外部 IP 位址。

  2. 選用,但極力建議:建立本機備份目錄。

    您必須變更備份 Secret 的權限,才能將其複製到節點外。

    mkdir backup
  3. 將 Secret 複製到本機備份目錄:

    sudo cp -r /etc/kubernetes/pki/* backup/
  4. 變更備份 Secret 的權限:

    sudo chmod -R a+rX backup/
  5. 退出管理員控制層節點:

    exit
  6. 執行 scp,將備份資料夾從管理控制層節點複製出來:

    sudo scp -r -i vsphere_tmp  ubuntu@EXTERNAL_IP:backup/ RELATIVE_DIRECTORY
    

    將 RELATIVE_DIRECTORY 替換為要儲存備份的路徑。

還原管理員叢集

下列程序會重新建立備份的管理員叢集,以及建立 etcd 快照時,該叢集管理的所有使用者控制層。

  1. 執行 scp,將 snapshot.db 複製到管理員控制層:

    sudo scp -i vsphere_tmp snapshot.db ubuntu@[EXTERNAL_IP]:

    其中 [EXTERNAL_IP] 是您先前收集的管理員控制層外部 IP 位址。

  2. 透過殼層進入管理控制層:

    sudo ssh -i vsphere_tmp ubuntu@[EXTERNAL_IP]
    
  3. 將 snapshot.db/ 複製到 /mnt

    sudo cp snapshot.db /mnt/
  4. 建立暫存目錄,例如 backup:

    mkdir backup
  5. 退出管理員控制層:

    exit
  6. 將憑證複製到 backup/:

    sudo scp -r -i vsphere_tmp [BACKUP_CERT_FILE] ubuntu@[EXTERNAL_IP]:backup/
  7. 透過殼層進入管理控制層節點:

    ssh -i vsphere_tmp ubuntu@[EXTERNAL_IP]
    

    其中 [EXTERNAL_IP] 是您先前收集的管理員控制層外部 IP 位址。

  8. 停止kube-etcd和kube-apiserver。

    sudo mv /etc/kubernetes/manifests/etcd.yaml /tmp/etcd.yaml
    sudo mv /etc/kubernetes/manifests/kube-apiserver.yaml /tmp/kube-apiserver.yaml
  9. 將備份 Secret 複製到 /etc/kubernetes/pki/:

    sudo cp -r backup/* /etc/kubernetes/pki/
  10. 執行 etcdctl restore:

    ETCDCTL_API=3 sudo etcdctl snapshot restore /backup/snapshot.db
    sudo rm -r /var/lib/etcd/*
    sudo mv /default.etcd/member/ /var/lib/etcd/
    
  11. 重新啟動 kube-etcd 和 kube-apiserver。

    sudo mv /tmp/etcd.yaml /etc/kubernetes/manifests/etcd.yaml
    sudo mv /tmp/kube-apiserver.yaml /etc/kubernetes/manifests/kube-apiserver.yaml
  12. 確認 kube-etcd 和 kube-apiserver 已啟動。

    sudo crictl ps -a
  13. 將 /etc/kubernetes/admin.conf 複製到 .kube 資料夾,以便從管理員工作站存取:

    mkdir -p [HOME]/.kube
    sudo cp -i /etc/kubernetes/admin.conf [HOME]/.kube/config
    sudo chown $(id -u):$(id -g) $HOME/.kube/config
  14. 退出管理員控制層:

    exit
  15. 將新產生的 kubeconfig 檔案從管理員節點複製出來:

    sudo scp -i vsphere_tmp ubuntu@[EXTERNAL_IP]:[HOME]/.kube/config kubeconfig
    sudo chown $(id -u):$(id -g) kubeconfig

    其中:

    • [EXTERNAL_IP] 是管理員控制層的外部 IP 位址。
    • [HOME] 是管理員節點上的主目錄。

    現在,您可以使用這個新的 kubeconfig 檔案存取還原的叢集。

排解管理員叢集還原問題

如果在還原管理員叢集時遇到問題,請與 Google 支援團隊聯絡,解決管理員叢集的問題。

在此期間,你可以檢查下列項目,進一步排解問題。

  1. 找出 etcd 容器 ID

    sudo crictl ps -a | grep [ADMIN_ETCD_POD]

    其中 [ADMIN_ETCD_POD] 是 etcd Pod 的名稱。

  2. 檢查 etc 容器的記錄

    sudo crictl logs [ETCD_CONTAINER_ID]

    其中 [ETCD_CONTAINER_ID] 是 etcd 容器的 ID。

  3. 尋找下列權限遭拒的記錄訊息,例如

    etcdserver: create snapshot directory error:mkdir /var/lib/etcd/member/snap: permission denied

  4. 如果看到權限遭拒訊息,請更新 /opt/data/var/lib/etcd/ 的擁有權

    sudo chown -R 2001:2001 /opt/data/var/lib/etcd/

  5. 確認 kube-etcd 和 kube-apiserver 已啟動。

    sudo crictl ps

自動備份叢集

您可以參考這裡提供的指令碼,瞭解如何自動備份叢集。請注意,我們不支援下列指令碼,僅供參考,以便您編寫更完善、更穩健且完整的指令碼。執行指令碼前,請先在指令碼開頭填入五個變數的值:

  • 將 BACKUP_DIR 設為要儲存管理員和使用者叢集備份的路徑。這個路徑不應存在。
  • 將 ADMIN_CLUSTER_KUBECONFIG 設為管理員叢集 kubeconfig 檔案的路徑
  • 將 USER_CLUSTER_NAMESPACE 設為使用者叢集的名稱。使用者叢集的名稱是管理員叢集中的命名空間。
  • 將 EXTERNAL_IP 設為您為管理員控制層服務保留的 VIP。
  • 將 SSH_PRIVATE_KEY 設為安全殼層金鑰的路徑。
  • 如果您使用的是私人網路,請將 JUMP_IP 設為網路跳躍伺服器的 IP 位址。
#!/usr/bin/env bash

# Automates manual steps for taking backups of user and admin clusters.
# Fill in the variables below before running the script.

BACKUP_DIR=""                       # path to store user and admin cluster backups
ADMIN_CLUSTER_KUBECONFIG=""         # path to admin cluster kubeconfig
USER_CLUSTER_NAMESPACE=""           # user cluster namespace
EXTERNAL_IP=""                      # admin control plane node external ip - follow steps in documentation
SSH_PRIVATE_KEY=""                  # path to vsphere_tmp ssh private key - follow steps in documentation
JUMP_IP=""                          # network jump server IP - leave empty string if not using private network.

mkdir -p $BACKUP_DIR
mkdir $BACKUP_DIR/pki

# USER CLUSTER BACKUP

# Snapshot user cluster etcd
kubectl --kubeconfig=${ADMIN_CLUSTER_KUBECONFIG} exec -it -n ${USER_CLUSTER_NAMESPACE} kube-etcd-0 -c kube-etcd -- /bin/sh -ec "export ETCDCTL_API=3; etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etcd.local.config/certificates/etcdCA.crt --cert=/etcd.local.config/certificates/etcd.crt --key=/etcd.local.config/certificates/etcd.key snapshot save /tmp/${USER_CLUSTER_NAMESPACE}_snapshot.db"
kubectl --kubeconfig=${ADMIN_CLUSTER_KUBECONFIG} cp ${USER_CLUSTER_NAMESPACE}/kube-etcd-0:tmp/${USER_CLUSTER_NAMESPACE}_snapshot.db $BACKUP_DIR/user-cluster_${USER_CLUSTER_NAMESPACE}_snapshot.db 

# ADMIN CLUSTER BACKUP

# Set up ssh options
SSH_OPTS=(-oStrictHostKeyChecking=no -i ${SSH_PRIVATE_KEY})
if [ "${JUMP_IP}" != "" ]; then
    SSH_OPTS+=(-oProxyCommand="ssh -oStrictHostKeyChecking=no -i ${SSH_PRIVATE_KEY} -W %h:%p ubuntu@${JUMP_IP}")
fi

# Copy admin certs
ssh "${SSH_OPTS[@]}" ubuntu@${EXTERNAL_IP} 'sudo chmod -R a+rX /etc/kubernetes/pki/*'
scp -r "${SSH_OPTS[@]}" ubuntu@${EXTERNAL_IP}:/etc/kubernetes/pki/* ${BACKUP_DIR}/pki/

# Snapshot admin cluster etcd
admin_etcd=$(kubectl --kubeconfig=${ADMIN_CLUSTER_KUBECONFIG} get pods -n kube-system -l component=etcd,tier=control-plane -ojsonpath='{$.items[*].metadata.name}{"\n"}')
kubectl --kubeconfig=${ADMIN_CLUSTER_KUBECONFIG} exec -it -n kube-system ${admin_etcd} -- /bin/sh -ec "export ETCDCTL_API=3; etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt --key=/etc/kubernetes/pki/etcd/healthcheck-client.key snapshot save /tmp/admin_snapshot.db"
kubectl --kubeconfig=${ADMIN_CLUSTER_KUBECONFIG} cp -n kube-system ${admin_etcd}:tmp/admin_snapshot.db $BACKUP_DIR/admin-cluster_snapshot.db

後續步驟