將叢集更新或升級為進階叢集

如要將 1.32 版叢集轉換為進階叢集,可以就地更新 1.32 版,或升級至 1.33 版。轉換為進階叢集後,環境就能支援 1.33 以上版本,其中進階叢集是預設或必要的架構。

改用進階叢集後的主要差異

將叢集升級或更新為進階叢集後,會與標準叢集有幾項主要差異。以下是進階叢集的主要異動:

  • 資源位置:叢集和機器資源不再位於使用者叢集中。這些資源僅位於管理員叢集內。

  • NodeExternalIP:節點未設定 NodeExternalIP。

  • cert-manager 安裝:系統會自動在進階叢集上安裝 cert-manager。如果您在叢集中安裝 cert-manager,更新或升級至進階叢集時,系統會以進階叢集版本覆寫該版本。

進階和非進階叢集的功能差異

啟用進階叢集後,部分功能或能力在進階叢集中的運作方式,會與非進階叢集不同。其中部分變更僅適用於 1.31 版進階叢集的預先發布版。本文件會註明這些差異。

下表列出僅適用於 VMware 的 Google Distributed Cloud 軟體支援的功能、啟用進階叢集時的可用性狀態,以及行為或用途上的差異:

功能/特性 1.31 Adv. 叢集 (預先發布版) 1.32 未啟用 1.32 進階叢集 (正式發布版) 1.33 Advanced 叢集 (正式發布版) 相異處
進階叢集 預覽 正式發布 正式發布 正式發布 不支援
拓撲網域 預覽 預覽 預覽 變更會立即生效。詳情請參閱「設定拓撲網域」和相關叢集設定參考資料。
區域機群成員資格 正式發布 正式發布 正式發布 正式發布 沒有差異。
版本偏差 n+2 管理員叢集 - 使用者叢集 正式發布 正式發布 正式發布 不建議:不支援管理較低版本的預先發布版使用者叢集,因此請勿使用這項功能。
版本偏差 n+2 節點集區 - 使用者叢集 正式發布 正式發布 正式發布 不建議:不支援管理較低版本的預先發布版使用者叢集,因此請勿使用這項功能。
節點集區更新作業的最大激增設定 預覽 預覽 預覽 預覽 沒有差異。
節點的 cgroup v2 正式發布 正式發布 正式發布 正式發布 沒有差異。
Dataplane V2 的 DSR 模式 正式發布 正式發布 正式發布 正式發布 沒有差異。
Controlplane V2 使用者叢集的二進位授權 正式發布 正式發布 正式發布 正式發布 沒有差異。
使用者自行管理的管理員工作站 正式發布 正式發布 正式發布 正式發布 沒有差異。
StatefulSet CSI 遷移工具 正式發布 正式發布 正式發布 正式發布 沒有差異。
從 Seesaw 遷移至 MetalLB 正式發布 正式發布 正式發布 正式發布 沒有差異。
停用隨附 Ingress 正式發布 正式發布 正式發布 正式發布 沒有差異。
管理員叢集預先準備的憑證 正式發布 正式發布 正式發布 沒有差異。
使用者叢集的儲存空間政策 正式發布 正式發布 正式發布 正式發布 沒有差異。
管理員叢集的儲存空間政策 正式發布 正式發布 正式發布 正式發布 沒有差異。
節點自動修復 正式發布 正式發布 正式發布 正式發布 變更生效:啟用進階叢集後,自動修復功能不會定期執行健康狀態檢查。如需相關資訊和其他差異,請參閱「自動節點修復和健康狀態檢查」。
高可用性管理員叢集 正式發布 正式發布 正式發布 正式發布 沒有差異。
VM 主機親和性 正式發布 正式發布 正式發布 適用於 1.32.200、1.33 和更新版本的進階叢集。使用拓撲網域時,請在 vSphere 基礎架構設定檔的 topologyDomains[i].compute.hostGroups 中設定主機群組,而非使用者叢集設定檔的 nodePools[i].vsphere.hostgroups。
從現有叢集產生設定檔 正式發布 正式發布 正式發布 正式發布 變更會立即生效。不支援使用拓撲網域的叢集。
Google Cloud Managed Service for Prometheus 系統指標收集 正式發布 正式發布 正式發布 正式發布 沒有差異。
升級及復原節點集區 正式發布 正式發布 正式發布 沒有差異。
更新私人登錄檔憑證 正式發布 正式發布 正式發布 正式發布 沒有差異。
使用 gkectl 備份及還原管理員叢集 預覽 預覽 正式發布 變更會立即生效。更新 gkectl 指令,改善管理員叢集的還原作業,並支援備份及還原使用者叢集。詳情請參閱「使用 gkectl 備份及還原進階叢集」。
使用者叢集節點集區自動調度資源 正式發布 正式發布 正式發布 正式發布 沒有差異。
叢集自動調整節點大小 正式發布 正式發布 沒有差異。
支援多個 vSphere 叢集 正式發布 正式發布 正式發布 正式發布 沒有差異。
支援多個 vSphere 資料中心 正式發布 正式發布 正式發布 正式發布 沒有差異。
支援 OpenID Connect (OIDC) 驗證叢集 正式發布 正式發布 正式發布 正式發布 沒有差異。
CA 憑證輪替 正式發布 正式發布 正式發布 沒有差異。
Workload Identity Federation 支援 正式發布 正式發布 正式發布 正式發布 沒有差異。
支援 LDAP 驗證的 GKE 身分認證服務 正式發布 正式發布 正式發布 正式發布 沒有差異。
不需硬體安全模組 (HSM),即可持續加密 Secret 正式發布 正式發布 正式發布 沒有差異。
使用 gkectl 更新 vCenter CA 憑證 正式發布 正式發布 正式發布 正式發布 沒有差異。
輸出 NAT 閘道 正式發布 正式發布 正式發布 正式發布 沒有差異。
管理員叢集機群註冊 正式發布 正式發布 正式發布 正式發布 沒有差異。
Windows 節點集區支援 正式發布 不支援。
Windows 節點集區的 containerd 執行階段 正式發布 不支援。
Container-Optimized OS 節點集區支援 正式發布 正式發布 正式發布 沒有差異。
CoreDNS 做為叢集 DNS 供應商 正式發布 正式發布 正式發布 正式發布 沒有差異。
Google Cloud 控制台中的使用者叢集生命週期 正式發布 部分支援 正式發布 變更會立即生效。詳情請參閱「進階叢集限制」。
使用 Container-Optimized OS 建立管理員叢集節點 正式發布 正式發布 正式發布 沒有差異。
Pod 的多 NIC 功能 正式發布 正式發布 正式發布 正式發布 沒有差異。
MetalLB 負載平衡器選項 正式發布 正式發布 正式發布 正式發布 變更會立即生效。詳情請參閱「使用 MetalLB 隨附的負載平衡功能」。
gkectl update admin 支援啟用及停用 Cloud Logging 和 Cloud Monitoring 正式發布 正式發布 正式發布 正式發布 沒有差異。
Windows Dataplane V2 支援 正式發布 不支援。
Summary API 指標 正式發布 正式發布 正式發布 正式發布 沒有差異。
gkectl update credentials 支援更新元件存取服務帳戶金鑰 部分支援 正式發布 部分支援 部分支援 變更會立即生效。如要進一步瞭解進階叢集憑證更新作業支援和不支援的項目,請參閱「輪替服務帳戶金鑰的進階叢集差異」。
使用者叢集的預備憑證 正式發布 正式發布 正式發布 沒有差異。
模擬測試使用者叢集升級作業 正式發布 正式發布 正式發布 正式發布 沒有差異。
非同步升級使用者叢集 正式發布 正式發布 正式發布 正式發布 沒有差異。
模擬測試管理員叢集升級 正式發布 正式發布 沒有差異。
非同步升級管理員叢集 正式發布 正式發布 正式發布 正式發布 沒有差異。
依序更新節點集區 正式發布 正式發布 正式發布 沒有差異。
使用 vSphere CSI 驅動程式建立磁碟區快照 預覽 預覽 預覽 預覽 沒有差異。
建立已啟用 Controlplane V2 的使用者叢集 正式發布 正式發布 正式發布 正式發布 沒有差異。
使用 SPBM 遷移儲存空間 正式發布 正式發布 正式發布 正式發布 沒有差異。
將資料儲存庫遷移至 SPBM 正式發布 正式發布 正式發布 正式發布 沒有差異。
將使用者叢集遷移至 Controlplane V2 正式發布 正式發布 正式發布 正式發布 沒有差異。
遷移至高可用性管理員叢集 正式發布 正式發布 正式發布 正式發布 沒有差異。
遷移 F5 BIG-IP 的配置設定 正式發布 正式發布 正式發布 正式發布 沒有差異。
負載平衡器 部分支援 正式發布 正式發布 正式發布 變更會立即生效。詳情請參閱相關負載平衡器和叢集設定參考文件。
預檢 部分支援 正式發布 正式發布 正式發布 沒有差異。
硬體需求 正式發布 正式發布 正式發布 正式發布 變更會立即生效。詳情請參閱「CPU、RAM 和儲存空間需求」。
快照 正式發布 正式發布 正式發布 正式發布 沒有差異。
私人登錄檔 正式發布 正式發布 正式發布 正式發布 變更會立即生效。如要進一步瞭解如何在進階叢集上使用私人登錄檔,請參閱「進階叢集和完整套件的限制」。
IPAM、DNS、NTP 和多 NIC 正式發布 正式發布 正式發布 正式發布 沒有差異。
叢集建立/升級/刪除 正式發布 正式發布 正式發布 正式發布 變更會立即生效。詳情請參閱相關叢集作業說明文件和進階叢集限制。
Proxy 正式發布 正式發布 正式發布 正式發布 沒有差異。
NodePool 更新政策 正式發布 正式發布 正式發布 沒有差異。
診斷 正式發布 正式發布 正式發布 變更已套用。進階叢集不支援 vCenter 相關檢查。由於不再有 onprem-user-cluster-controller 控制器,診斷叢集問題指南已不適用於進階叢集。如果是 1.32 版進階叢集,gkectl diagnose cluster 指令會對指定叢集執行健康狀態檢查。
vSphere 標記和 VM 追蹤 正式發布 正式發布 沒有差異。
vSphere 主機群組 正式發布 正式發布 沒有差異。
記錄和監控 正式發布 正式發布 正式發布 正式發布 沒有差異。
反相依性群組 正式發布 正式發布 正式發布 沒有差異。
非高可用性使用者叢集控制層 正式發布 不支援。
gkectl check-config 正式發布 正式發布 正式發布 變更會立即生效。下列版本新增了進階使用者叢集指令支援:1.32.700+、1.33.300+ 和 1.34.0 以上版本。

必要條件

  • gkectl 版本必須與目標叢集版本相同。

    • 如有需要,請參閱「下載 gkectl」,取得支援的 gkectl 版本。
  • 更新或升級至進階叢集前,請務必診斷叢集:

    • 在管理員和使用者叢集上執行 gkectl diagnose cluster,確保叢集健康狀態良好。
    • 如果指令回報任何錯誤或警告,請先解決這些問題,再開始更新或升級至進階叢集。
  • 確認叢集僅使用建議功能。

  • 開始更新或升級前,請確認叢集未使用任何進階叢集不支援的功能。如有任何不支援的功能處於啟用狀態,請先使用 update 停用。

    • 雖然進階叢集需要高可用性 (HA) 使用者叢集,但您仍可按照本指南,將非 HA 使用者叢集更新或升級為 HA 進階叢集。
  • 您必須先將管理員叢集更新或升級為進階叢集,才能更新或升級任何使用者叢集。

  • 關於 cert-manager 安裝:cert-manager 會自動安裝在進階叢集上。從非進階叢集遷移至進階叢集時,整合式 cert-manager 會自動覆寫任何客戶安裝的 cert-manager 版本。在更新或升級至進階叢集之前,請確認現有的 cert-manager 未套用重要的自訂設定或功能。

更新管理員叢集或升級為進階叢集

更新

  1. 診斷叢集,確保其健康狀態良好:

    gkectl diagnose cluster \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG
    
    • 如果指令回報任何錯誤或警告,請參閱「診斷叢集問題」並解決問題,再繼續操作。
  2. 準備進階叢集:

    gkectl prepare \
        --bundle-path BUNDLE_PATH \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --advanced-cluster
    

    更改下列內容:

    • BUNDLE_PATH:套件檔案的路徑。這個檔案位於管理員工作站的 /var/lib/gke/bundles/ 中。例如:

      /var/lib/gke/bundles/gke-onprem-vsphere-1.32.0-gke.1085-full.tgz
      
    • ADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑。

  3. 在管理員叢集設定檔中,將 enableAdvancedCluster 設為 true。

  4. 將管理員叢集更新為進階叢集:

    gkectl update admin \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --config ADMIN_CLUSTER_CONFIG
    

    更改下列內容:

    • ADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑。
    • ADMIN_CLUSTER_CONFIG:管理員叢集設定檔的路徑。

    這個指令會重新建立管理員叢集中的所有節點。

升級

  1. 視需要升級管理員工作站。

  2. 診斷叢集,確保其健康狀態良好:

    gkectl diagnose cluster \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG
    
    • 如果指令回報任何錯誤或警告,請參閱「診斷叢集問題」並解決問題,再繼續操作。
  3. 準備進階叢集:

    gkectl prepare \
        --bundle-path BUNDLE_PATH \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --advanced-cluster
    

    更改下列內容:

    • BUNDLE_PATH:套件檔案的路徑。這個檔案位於管理員工作站的 /var/lib/gke/bundles/ 中。例如:

      /var/lib/gke/bundles/gke-onprem-vsphere-1.32.0-gke.1085-full.tgz
      
    • ADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑。

  4. 將管理員叢集設定檔中的 enableAdvancedCluster 設為 true。

  5. 請確認管理員叢集設定檔中的 bundlepath 欄位與要升級的套件路徑相符。

  6. 將管理員叢集升級為進階叢集:

    gkectl upgrade admin \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --config ADMIN_CLUSTER_CONFIG
    

    更改下列內容:

    • ADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑。
    • ADMIN_CLUSTER_CONFIG:管理員叢集設定檔的路徑。

    這個指令會推出並重新建立管理員叢集中的所有節點。如果採用推出重新建立部署策略,系統會逐一升級節點。在節點升級期間,系統會刪除 VM,然後以新版本重新建立。

管理員叢集更新或升級為進階叢集後:

  • 現有的非進階使用者叢集仍會正常運作。

  • 您只能建立由進階管理員叢集管理的使用者叢集。

請在升級後盡快將所有使用者叢集升級為進階叢集,以維持一致且功能完整的環境。

將使用者叢集更新或升級為進階叢集

更新

  1. 診斷叢集,確保其健康狀態良好:

    gkectl diagnose cluster \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --cluster-name USER_CLUSTER_NAME
    
    • 如果指令回報任何錯誤或警告,請參閱「診斷叢集問題」並解決問題,再繼續操作。
  2. 如果使用者叢集控制層並非高可用性 (HA):

    1. 將 masterNode.replicas 從 1 變更為 3。

    2. 將使用者叢集控制層節點的靜態 IP 位址新增至 network.controlPlaneIPBlock.ips 區段。

  3. 準備進階叢集:

    gkectl prepare \
        --bundle-path BUNDLE_PATH \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --advanced-cluster
    

    更改下列內容:

    • BUNDLE_PATH:套件檔案的路徑。這個檔案位於管理員工作站的 /var/lib/gke/bundles/ 中。例如:

      /var/lib/gke/bundles/gke-onprem-vsphere-1.32.0-gke.1085-full.tgz
      
    • ADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑。

  4. 將使用者叢集設定檔中的 enableAdvancedCluster 設為 true。

  5. 將使用者叢集更新為進階叢集:

    gkectl update cluster \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --config USER_CLUSTER_CONFIG
    

    更改下列內容:

    • ADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑。
    • USER_CLUSTER_CONFIG:使用者叢集設定檔的路徑。

    這項指令會推出並重新建立使用者叢集中的所有節點。採用推出重新建立部署策略時,節點會逐一更新。在節點更新期間,系統會刪除 VM,然後使用新設定重新建立。

升級

  1. 診斷叢集,確保其健康狀態良好:

    gkectl diagnose cluster \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --cluster-name USER_CLUSTER_NAME
    
    • 如果指令回報任何錯誤或警告,請參閱「診斷叢集問題」並解決問題,再繼續操作。
  2. 如果使用者叢集控制層並非高可用性 (HA):

    1. 將 masterNode.replicas 從 1 變更為 3。

    2. 將使用者叢集控制層節點的靜態 IP 位址新增至 network.controlPlaneIPBlock.ips 區段。

  3. 準備進階叢集:

    gkectl prepare \
        --bundle-path BUNDLE_PATH \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --advanced-cluster
    

    更改下列內容:

    • BUNDLE_PATH:套件檔案的路徑。這個檔案位於管理員工作站的 /var/lib/gke/bundles/ 中。例如:

      /var/lib/gke/bundles/gke-onprem-vsphere-1.32.0-gke.1085-full.tgz
      
    • ADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑。

  4. 將使用者叢集設定檔中的 enableAdvancedCluster 設為 true。

  5. 請確認使用者叢集設定檔中的 gkeOnPremVersion 欄位與升級目標版本相符。

  6. 將使用者叢集升級為進階叢集:

    gkectl upgrade cluster \
        --kubeconfig ADMIN_CLUSTER_KUBECONFIG \
        --config USER_CLUSTER_CONFIG
    

    更改下列內容:

    • ADMIN_CLUSTER_KUBECONFIG:管理員叢集 kubeconfig 檔案的路徑。
    • USER_CLUSTER_CONFIG:使用者叢集設定檔的路徑。

    這個指令會重新建立使用者叢集中的所有節點。

cert-manager 隨附於進階叢集

cert-manager 是進階叢集中由系統管理的必要元件。

如果您使用 cert-manager,但未使用進階叢集,請先確認下列事項,再升級至進階叢集:

  • cert-manager中沒有自訂設定或功能旗標。
  • 您的 cert-manager 版本與套裝組合版本相同,或比套裝組合版本低一個版本。

Apigee Hybrid 相容性

隨附的 cert-manager 與 Apigee Hybrid 工作負載完全相容。升級至進階叢集時,安裝程式可能會警告您,現有的 cert-manager 安裝項目將遭到取代。這是正常現象,系統會自動處理。

為確保 Apigee 工作負載順利轉換,請採取下列行動:

  • 升級前,請勿手動解除安裝現有的 cert-manager。
  • 還原自訂設定:如果您使用 GitOps 管理 cert-manager,或已將自訂設定套用至 cert-manager 部署作業,則必須在升級前還原這些自訂設定或暫停同步,以免設定偏離,並避免升級作業暫停。

功能與限制

您可以使用隨附的 cert-manager 執行下列操作:

  • 建立及編輯 Issuer 和 ClusterIssuer 資源。
  • 建立及編輯參照核發者和標準核發者類型的憑證資源。
  • 建立及編輯 cert-manager 使用的標準 Kubernetes 資源。
  • 建立含有 API 金鑰的 Kubernetes Secret,並在核發者中參照這些 Secret。
  • 將核發者設為使用特定的 HTTP-01 或 DNS-01 解決器。

您無法在套裝 cert-manager 中自訂下列項目:

  • 設定 deployment 或 helm 值。
  • 在 cert-manager 二進位檔中新增指令列引數或旗標。
  • 變更 cert-manager Pod 的資源限制或節點選取器。
  • 修改 cert-manager 軟體的安裝邏輯。
  • 開啟實驗功能。
  • 強制 cert-manager 控制層 Pod 在特定基礎架構節點上執行。

如果您因特定限制而無法使用隨附的 cert-manager,請與Google Cloud 支援團隊聯絡,尋求進階設定選項的協助。

隨附版本

下表列出各個 Google Distributed Cloud (僅限軟體) for VMware 版本隨附的 cert-manager 版本。

VMware 適用的 Google Distributed Cloud (僅限軟體) 隨附 cert-manager 版本
1.32 1.17
1.33 1.18
1.34 1.19