您可以輪替 Google Distributed Cloud 使用者叢集中的核心系統憑證授權單位 (CA),在到期前更新。在輪替期間,管理員叢集會將使用者叢集的 CA 替換為新產生的 CA,然後將新 CA 核發的憑證和金鑰組發布至系統元件。輪替作業會逐步進行,因此系統元件可以持續通訊,但工作負載和節點會重新啟動。如要輪替管理員叢集中的 CA,請參閱「輪替管理員叢集 CA 憑證」。
關於使用者叢集 CA
管理員叢集會為每個使用者叢集管理三個自行簽署的系統 CA。每個 CA 都會向個別系統元件核發憑證,稱為「分葉憑證」,系統元件會使用這些憑證來驗證及加密連線:
- etcd CA 可保護 API 伺服器與 etcd 副本之間的通訊,以及 etcd 副本之間的流量。
- 叢集 CA 會保護 API 伺服器與所有內部 Kubernetes API 用戶端 (kubelet、控制器、排程器) 之間的通訊。
- 前端 Proxy CA 可保護與匯總 API 的通訊。
您也可以使用組織 CA 簽署由 authentication.sni 選項設定的憑證,該選項會將 Kubernetes API 提供給叢集外的用戶端。您必須管理這個 CA,並手動產生 SNI 憑證。使用者叢集 CA 輪替不會影響組織 CA 或 SNI 憑證。
限制
請注意進階叢集的下列限制:
- 1.31 版:進階叢集不支援 CA 輪替。
- 1.32 以上版本:進階叢集支援 CA 輪替,但有部分細微差異,請參閱本文相關說明。
CA 憑證輪替僅限於前述的 etcd、叢集和前端 Proxy CA。
CA 憑證輪替僅限於 Google Distributed Cloud 自動核發的憑證。即使憑證是由系統 CA 簽署,系統也不會更新管理員手動核發的憑證。
CA 輪替會多次重新啟動 API 伺服器、其他控制層程序,以及叢集中的每個節點。CA 輪替的每個階段都與叢集升級類似。雖然使用者叢集在 CA 輪替期間仍可運作,但工作負載會重新啟動及重新排程。如果使用者叢集沒有高可用性控制層,控制層也會短暫停機。
CA 輪替後,您必須更新使用者叢集 kubeconfig 檔案和驗證設定檔。這是因為舊的叢集憑證已撤銷,kubeconfig 檔案中的憑證不再有效。
CA 輪替作業一旦開始,就無法暫停或復原。
視使用者叢集的大小而定,CA 輪替可能需要相當長的時間才能完成。
執行 CA 輪替
開始輪替:
gkectl update credentials certificate-authorities rotate \ --config USER_CLUSTER_CONFIG \ --kubeconfig ADMIN_CLUSTER_KUBECONFIG更改下列內容:
USER_CLUSTER_CONFIG:使用者叢集設定檔的路徑
ADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑
指令的行為會因是否啟用進階叢集而有所不同:
未啟用
如果叢集未啟用進階叢集,指令會以非同步方式啟動 CA 輪替,然後結束。您不必在 CA 輪替期間全程監控指令輸出內容。您可以改為執行 gkectl update credentials certificate-authorities status 指令,定期檢查進度。
如果 CA 輪替成功啟動,您會看到類似下列的訊息:
successfully started the CA rotation with CAVersion 2, use gkectl update credentials certificate-authorities status command to view the current state of CA rotation
如果 CA 輪替作業已在進行中,您會看到類似下列內容的錯誤訊息:
Exit with error: admission webhook "vonpremusercluster.onprem.cluster.gke.io" denied the request: requests must not modify CAVersion when cluster is not ready: ready condition is not true: ClusterCreateOrUpdate: Creating or updating user cluster control plane workloads
如要查看輪換狀態,請按照下列步驟操作:
gkectl update credentials certificate-authorities status \
--config USER_CLUSTER_CONFIG \
--kubeconfig ADMIN_CLUSTER_KUBECONFIG
上述指令會回報 CAVersion,這是系統自動遞增的整數,用於區分輪替前後使用的 CA。這個指令也會回報狀態 (True 或 False),指出 CA 輪替是否完成,並顯示訊息說明系統各元件目前使用的 CAVersion。
如果 CA 輪替作業已完成,您會看到類似下列內容的訊息:
State of CARotation with CAVersion 2 is - status: True, reason: CARotationCompleted, message: Control plane has CA bundle [2], certs from CA 2, CA 2 is CSR signer. Data plane has CA bundle [2], CA 2 was CSR signer at last restart.
如果 CA 輪替作業仍在進行中,您會看到類似以下的訊息:
State of CARotation with CAVersion 2 is - status: False, reason: CARotationProgressed, message: Control plane has CA bundle [1 2], certs from CA 2, CA 1 is CSR signer. Data plane has CA bundle [1 2], CA 1 was CSR signer at last restart.
更新使用者叢集憑證
如果叢集未啟用進階叢集,您必須從管理員叢集取得新的使用者叢集 kubeconfig 檔案。這是因為 CA 輪替會撤銷舊 kubeconfig 檔案所依據的 CA。
取得新的 kubeconfig 檔案:
kubectl --kubeconfig ADMIN_CLUSTER_KUBECONFIG get secret admin \
-n USER_CLUSTER_NAME -o jsonpath='{.data.admin\.conf}' \
| base64 --decode > USER_CLUSTER_NAME-kubeconfig
已啟用
如果啟用進階叢集,gkectl update credentials
certificate-authorities rotate 指令會同步執行。隨著 CA 輪替作業進行,指令會將狀態訊息輸出至管理員工作站。
CA 輪替成功後,指令會結束,並自動產生新的 kubeconfig 檔案。指令輸出內容會提供新 kubeconfig 檔案的名稱,大致如下:
Beginning CA rotation with generated CA ... Successfully rotated CA for user cluster "USER_CLUSTER_NAME". The kubeconfig file "/home/ubuntu"/USER_CLUSTER_NAME-kubeconfig" has been updated.
新的 kubeconfig 位於您在指令中指定的管理員叢集 kubeconfig 所在目錄。新 kubeconfig 的名稱為 USER_CLUSTER_NAME-kubeconfig。
發布新的 kubeconfig 檔案
將新的 kubeconfig 檔案發布給所有使用 kubeconfig 檔案與叢集互動的使用者。
更新驗證設定檔
CA 輪替完成後,必須更新並重新發布驗證設定檔。詳情請參閱「管理使用者身分」。
控制層憑證輪替
如果不進行輪替,使用者叢集 CA 和控制層憑證都會在叢集建立日期起十年後到期 (1.36.100 之前的版本,這些憑證會在五年後到期)。每次升級使用者叢集後,系統會在十小時內自動輪替使用者叢集的控制層憑證,但不會自動輪替 CA。也就是說,除了定期升級版本外,每十年至少須輪替一次 CA (1.36.100 之前的版本為五年)。
為避免使用者叢集無法使用,控制層憑證會在使用者叢集升級後的十小時內輪替。發生這種情況時,使用者叢集的 CA 輪替狀態會顯示訊息。
如要查看控制層憑證輪替時,使用者叢集升級至哪個版本,請按照下列步驟操作:
gkectl update credentials certificate-authorities status \ --config USER_CLUSTER_CONFIG \ --kubeconfig ADMIN_CLUSTER_KUBECONFIG
升級後十小時內,這項資訊會顯示在 message 欄位的結尾。例如:
Last Leaf Certificates Rotation Version: 1.16.0-gke.0.
排解 CA 輪替問題
gkectl diagnose 指令支援檢查使用者叢集完成 CA 輪替後的預期狀態。如需在使用者叢集上執行 gkectl diagnose 的操作說明,請參閱「診斷叢集問題」。如果 CA 輪替發生問題,請與 Google 支援團隊聯絡,並提供 gkectl diagnose 輸出內容。