如要將 1.32 版叢集轉換為進階叢集,可以就地更新 1.32 版,或升級至 1.33 版。轉換為進階叢集後,環境就能支援 1.33 以上版本,其中進階叢集是預設或必要的架構。
改用進階叢集後的主要差異
將叢集升級或更新為進階叢集後,會與標準叢集有幾項主要差異。以下是進階叢集的主要異動:
資源位置:叢集和機器資源不再位於使用者叢集中。這些資源僅位於管理員叢集內。
NodeExternalIP:節點未設定NodeExternalIP。cert-manager安裝:系統會自動在進階叢集上安裝cert-manager。如果您在叢集中安裝cert-manager,更新或升級至進階叢集時,系統會以進階叢集版本覆寫該版本。
進階和非進階叢集的功能差異
啟用進階叢集後,部分功能或能力在進階叢集中的運作方式,會與非進階叢集不同。其中部分變更僅適用於 1.31 版進階叢集的預先發布版。本文件會註明這些差異。
下表列出僅適用於 VMware 的 Google Distributed Cloud 軟體支援的功能、啟用進階叢集時的可用性狀態,以及行為或用途上的差異:
| 功能/特性 | 1.31 Adv. 叢集 (預先發布版) | 1.32 未啟用 | 1.32 進階叢集 (正式發布版) | 1.33 Advanced 叢集 (正式發布版) | 相異處 |
|---|---|---|---|---|---|
| 進階叢集 | 預覽 | 正式發布 | 正式發布 | 正式發布 | 不支援 |
| 拓撲網域 | 預覽 | 預覽 | 預覽 | 變更會立即生效。詳情請參閱「設定拓撲網域」和相關叢集設定參考資料。 | |
| 區域機群成員資格 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 版本偏差 n+2 管理員叢集 - 使用者叢集 | 正式發布 | 正式發布 | 正式發布 | 不建議:不支援管理較低版本的預先發布版使用者叢集,因此請勿使用這項功能。 | |
| 版本偏差 n+2 節點集區 - 使用者叢集 | 正式發布 | 正式發布 | 正式發布 | 不建議:不支援管理較低版本的預先發布版使用者叢集,因此請勿使用這項功能。 | |
| 節點集區更新作業的最大激增設定 | 預覽 | 預覽 | 預覽 | 預覽 | 沒有差異。 |
| 節點的 cgroup v2 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| Dataplane V2 的 DSR 模式 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| Controlplane V2 使用者叢集的二進位授權 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 使用者自行管理的管理員工作站 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| StatefulSet CSI 遷移工具 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 從 Seesaw 遷移至 MetalLB | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 停用隨附 Ingress | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 管理員叢集預先準備的憑證 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 | |
| 使用者叢集的儲存空間政策 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 管理員叢集的儲存空間政策 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 節點自動修復 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 變更生效:啟用進階叢集後,自動修復功能不會定期執行健康狀態檢查。如需相關資訊和其他差異,請參閱「自動節點修復和健康狀態檢查」。 |
| 高可用性管理員叢集 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| VM 主機親和性 | 正式發布 | 正式發布 | 正式發布 | 適用於 1.32.200、1.33 和更新版本的進階叢集。使用拓撲網域時,請在 vSphere 基礎架構設定檔的 topologyDomains[i].compute.hostGroups 中設定主機群組,而非使用者叢集設定檔的 nodePools[i].vsphere.hostgroups。 |
|
| 從現有叢集產生設定檔 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 變更會立即生效。不支援使用拓撲網域的叢集。 |
| Google Cloud Managed Service for Prometheus 系統指標收集 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 升級及復原節點集區 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 | |
| 更新私人登錄檔憑證 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 使用 gkectl 備份及還原管理員叢集 | 預覽 | 預覽 | 正式發布 | 變更會立即生效。更新 gkectl 指令,改善管理員叢集的還原作業,並支援備份及還原使用者叢集。詳情請參閱「使用 gkectl 備份及還原進階叢集」。 |
|
| 使用者叢集節點集區自動調度資源 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 叢集自動調整節點大小 | 正式發布 | 正式發布 | 沒有差異。 | ||
| 支援多個 vSphere 叢集 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 支援多個 vSphere 資料中心 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 支援 OpenID Connect (OIDC) 驗證叢集 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| CA 憑證輪替 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 | |
| Workload Identity Federation 支援 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 支援 LDAP 驗證的 GKE 身分認證服務 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 不需硬體安全模組 (HSM),即可持續加密 Secret | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 | |
| 使用 gkectl 更新 vCenter CA 憑證 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 輸出 NAT 閘道 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 管理員叢集機群註冊 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| Windows 節點集區支援 | 正式發布 | 不支援。 | |||
Windows 節點集區的 containerd 執行階段 |
正式發布 | 不支援。 | |||
| Container-Optimized OS 節點集區支援 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 | |
| CoreDNS 做為叢集 DNS 供應商 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| Google Cloud 控制台中的使用者叢集生命週期 | 正式發布 | 部分支援 | 正式發布 | 變更會立即生效。詳情請參閱「進階叢集限制」。 | |
| 使用 Container-Optimized OS 建立管理員叢集節點 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 | |
| Pod 的多 NIC 功能 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| MetalLB 負載平衡器選項 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 變更會立即生效。詳情請參閱「使用 MetalLB 隨附的負載平衡功能」。 |
gkectl update admin 支援啟用及停用 Cloud Logging 和 Cloud Monitoring |
正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| Windows Dataplane V2 支援 | 正式發布 | 不支援。 | |||
| Summary API 指標 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
gkectl update credentials 支援更新元件存取服務帳戶金鑰 |
部分支援 | 正式發布 | 部分支援 | 部分支援 | 變更會立即生效。如要進一步瞭解進階叢集憑證更新作業支援和不支援的項目,請參閱「輪替服務帳戶金鑰的進階叢集差異」。 |
| 使用者叢集的預備憑證 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 | |
| 模擬測試使用者叢集升級作業 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 非同步升級使用者叢集 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 模擬測試管理員叢集升級 | 正式發布 | 正式發布 | 沒有差異。 | ||
| 非同步升級管理員叢集 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 依序更新節點集區 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 | |
| 使用 vSphere CSI 驅動程式建立磁碟區快照 | 預覽 | 預覽 | 預覽 | 預覽 | 沒有差異。 |
| 建立已啟用 Controlplane V2 的使用者叢集 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 使用 SPBM 遷移儲存空間 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 將資料儲存庫遷移至 SPBM | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 將使用者叢集遷移至 Controlplane V2 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 遷移至高可用性管理員叢集 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 遷移 F5 BIG-IP 的配置設定 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 負載平衡器 | 部分支援 | 正式發布 | 正式發布 | 正式發布 | 變更會立即生效。詳情請參閱相關負載平衡器和叢集設定參考文件。 |
| 預檢 | 部分支援 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 硬體需求 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 變更會立即生效。詳情請參閱「CPU、RAM 和儲存空間需求」。 |
| 快照 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 私人登錄檔 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 變更會立即生效。如要進一步瞭解如何在進階叢集上使用私人登錄檔,請參閱「進階叢集和完整套件的限制」。 |
| IPAM、DNS、NTP 和多 NIC | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 叢集建立/升級/刪除 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 變更會立即生效。詳情請參閱相關叢集作業說明文件和進階叢集限制。 |
| Proxy | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| NodePool 更新政策 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 | |
| 診斷 | 正式發布 | 正式發布 | 正式發布 | 變更已套用。進階叢集不支援 vCenter 相關檢查。由於不再有 onprem-user-cluster-controller 控制器,診斷叢集問題指南已不適用於進階叢集。如果是 1.32 版進階叢集,gkectl diagnose cluster 指令會對指定叢集執行健康狀態檢查。 |
|
| vSphere 標記和 VM 追蹤 | 正式發布 | 正式發布 | 沒有差異。 | ||
| vSphere 主機群組 | 正式發布 | 正式發布 | 沒有差異。 | ||
| 記錄和監控 | 正式發布 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 |
| 反相依性群組 | 正式發布 | 正式發布 | 正式發布 | 沒有差異。 | |
| 非高可用性使用者叢集控制層 | 正式發布 | 不支援。 | |||
gkectl check-config |
正式發布 | 正式發布 | 正式發布 | 變更會立即生效。下列版本新增了進階使用者叢集指令支援:1.32.700+、1.33.300+ 和 1.34.0 以上版本。 |
必要條件
gkectl版本必須與目標叢集版本相同。- 如有需要,請參閱「下載
gkectl」,取得支援的gkectl版本。
- 如有需要,請參閱「下載
更新或升級至進階叢集前,請務必診斷叢集:
- 在管理員和使用者叢集上執行
gkectl diagnose cluster,確保叢集健康狀態良好。 - 如果指令回報任何錯誤或警告,請先解決這些問題,再開始更新或升級至進階叢集。
- 在管理員和使用者叢集上執行
確認叢集僅使用建議功能。
開始更新或升級前,請確認叢集未使用任何進階叢集不支援的功能。如有任何不支援的功能處於啟用狀態,請先使用 update 停用。
- 雖然進階叢集需要高可用性 (HA) 使用者叢集,但您仍可按照本指南,將非 HA 使用者叢集更新或升級為 HA 進階叢集。
您必須先將管理員叢集更新或升級為進階叢集,才能更新或升級任何使用者叢集。
關於
cert-manager安裝:cert-manager會自動安裝在進階叢集上。從非進階叢集遷移至進階叢集時,整合式cert-manager會自動覆寫任何客戶安裝的cert-manager版本。在更新或升級至進階叢集之前,請確認現有的cert-manager未套用重要的自訂設定或功能。
更新管理員叢集或升級為進階叢集
更新
診斷叢集,確保其健康狀態良好:
gkectl diagnose cluster \ --kubeconfig ADMIN_CLUSTER_KUBECONFIG- 如果指令回報任何錯誤或警告,請參閱「診斷叢集問題」並解決問題,再繼續操作。
準備進階叢集:
gkectl prepare \ --bundle-path BUNDLE_PATH \ --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ --advanced-cluster更改下列內容:
BUNDLE_PATH:套件檔案的路徑。這個檔案位於管理員工作站的/var/lib/gke/bundles/中。例如:/var/lib/gke/bundles/gke-onprem-vsphere-1.32.0-gke.1085-full.tgzADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑。
在管理員叢集設定檔中,將
enableAdvancedCluster設為true。將管理員叢集更新為進階叢集:
gkectl update admin \ --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ --config ADMIN_CLUSTER_CONFIG更改下列內容:
ADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑。ADMIN_CLUSTER_CONFIG:管理員叢集設定檔的路徑。
這個指令會重新建立管理員叢集中的所有節點。
升級
視需要升級管理員工作站。
診斷叢集,確保其健康狀態良好:
gkectl diagnose cluster \ --kubeconfig ADMIN_CLUSTER_KUBECONFIG- 如果指令回報任何錯誤或警告,請參閱「診斷叢集問題」並解決問題,再繼續操作。
準備進階叢集:
gkectl prepare \ --bundle-path BUNDLE_PATH \ --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ --advanced-cluster更改下列內容:
BUNDLE_PATH:套件檔案的路徑。這個檔案位於管理員工作站的/var/lib/gke/bundles/中。例如:/var/lib/gke/bundles/gke-onprem-vsphere-1.32.0-gke.1085-full.tgzADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑。
將管理員叢集設定檔中的
enableAdvancedCluster設為true。請確認管理員叢集設定檔中的
bundlepath欄位與要升級的套件路徑相符。將管理員叢集升級為進階叢集:
gkectl upgrade admin \ --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ --config ADMIN_CLUSTER_CONFIG更改下列內容:
ADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑。ADMIN_CLUSTER_CONFIG:管理員叢集設定檔的路徑。
這個指令會推出並重新建立管理員叢集中的所有節點。如果採用推出重新建立部署策略,系統會逐一升級節點。在節點升級期間,系統會刪除 VM,然後以新版本重新建立。
管理員叢集更新或升級為進階叢集後:
現有的非進階使用者叢集仍會正常運作。
您只能建立由進階管理員叢集管理的使用者叢集。
請在升級後盡快將所有使用者叢集升級為進階叢集,以維持一致且功能完整的環境。
將使用者叢集更新或升級為進階叢集
更新
診斷叢集,確保其健康狀態良好:
gkectl diagnose cluster \ --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ --cluster-name USER_CLUSTER_NAME- 如果指令回報任何錯誤或警告,請參閱「診斷叢集問題」並解決問題,再繼續操作。
如果使用者叢集控制層並非高可用性 (HA):
將
masterNode.replicas從 1 變更為 3。將使用者叢集控制層節點的靜態 IP 位址新增至
network.controlPlaneIPBlock.ips區段。
準備進階叢集:
gkectl prepare \ --bundle-path BUNDLE_PATH \ --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ --advanced-cluster更改下列內容:
BUNDLE_PATH:套件檔案的路徑。這個檔案位於管理員工作站的/var/lib/gke/bundles/中。例如:/var/lib/gke/bundles/gke-onprem-vsphere-1.32.0-gke.1085-full.tgzADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑。
將使用者叢集設定檔中的
enableAdvancedCluster設為true。將使用者叢集更新為進階叢集:
gkectl update cluster \ --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ --config USER_CLUSTER_CONFIG更改下列內容:
ADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑。USER_CLUSTER_CONFIG:使用者叢集設定檔的路徑。
這項指令會推出並重新建立使用者叢集中的所有節點。採用推出重新建立部署策略時,節點會逐一更新。在節點更新期間,系統會刪除 VM,然後使用新設定重新建立。
升級
診斷叢集,確保其健康狀態良好:
gkectl diagnose cluster \ --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ --cluster-name USER_CLUSTER_NAME- 如果指令回報任何錯誤或警告,請參閱「診斷叢集問題」並解決問題,再繼續操作。
如果使用者叢集控制層並非高可用性 (HA):
將
masterNode.replicas從 1 變更為 3。將使用者叢集控制層節點的靜態 IP 位址新增至
network.controlPlaneIPBlock.ips區段。
準備進階叢集:
gkectl prepare \ --bundle-path BUNDLE_PATH \ --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ --advanced-cluster更改下列內容:
BUNDLE_PATH:套件檔案的路徑。這個檔案位於管理員工作站的/var/lib/gke/bundles/中。例如:/var/lib/gke/bundles/gke-onprem-vsphere-1.32.0-gke.1085-full.tgzADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑。
將使用者叢集設定檔中的
enableAdvancedCluster設為true。請確認使用者叢集設定檔中的
gkeOnPremVersion欄位與升級目標版本相符。將使用者叢集升級為進階叢集:
gkectl upgrade cluster \ --kubeconfig ADMIN_CLUSTER_KUBECONFIG \ --config USER_CLUSTER_CONFIG更改下列內容:
ADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑。USER_CLUSTER_CONFIG:使用者叢集設定檔的路徑。
這個指令會重新建立使用者叢集中的所有節點。
cert-manager 隨附於進階叢集
cert-manager 是進階叢集中由系統管理的必要元件。
如果您使用 cert-manager,但未使用進階叢集,請先確認下列事項,再升級至進階叢集:
cert-manager中沒有自訂設定或功能旗標。- 您的
cert-manager版本與套裝組合版本相同,或比套裝組合版本低一個版本。
Apigee Hybrid 相容性
隨附的 cert-manager 與 Apigee Hybrid 工作負載完全相容。升級至進階叢集時,安裝程式可能會警告您,現有的 cert-manager 安裝項目將遭到取代。這是正常現象,系統會自動處理。
為確保 Apigee 工作負載順利轉換,請採取下列行動:
- 升級前,請勿手動解除安裝現有的
cert-manager。 - 還原自訂設定:如果您使用 GitOps 管理
cert-manager,或已將自訂設定套用至cert-manager部署作業,則必須在升級前還原這些自訂設定或暫停同步,以免設定偏離,並避免升級作業暫停。
功能與限制
您可以使用隨附的 cert-manager 執行下列操作:
- 建立及編輯
Issuer和ClusterIssuer資源。 - 建立及編輯參照核發者和標準核發者類型的憑證資源。
- 建立及編輯
cert-manager使用的標準 Kubernetes 資源。 - 建立含有 API 金鑰的 Kubernetes Secret,並在核發者中參照這些 Secret。
- 將核發者設為使用特定的 HTTP-01 或 DNS-01 解決器。
您無法在套裝 cert-manager 中自訂下列項目:
- 設定
deployment或helm值。 - 在
cert-manager二進位檔中新增指令列引數或旗標。 - 變更
cert-managerPod 的資源限制或節點選取器。 - 修改
cert-manager軟體的安裝邏輯。 - 開啟實驗功能。
- 強制
cert-manager控制層 Pod 在特定基礎架構節點上執行。
如果您因特定限制而無法使用隨附的 cert-manager,請與Google Cloud 支援團隊聯絡,尋求進階設定選項的協助。
隨附版本
下表列出各個 Google Distributed Cloud (僅限軟體) for VMware 版本隨附的 cert-manager 版本。
| VMware 適用的 Google Distributed Cloud (僅限軟體) | 隨附 cert-manager 版本 |
|---|---|
| 1.32 | 1.17 |
| 1.33 | 1.18 |
| 1.34 | 1.19 |