如要提高 Google Distributed Cloud 叢集的容量,可以調整多項相關叢集限制,例如節點、Pod 和 Service 的數量。本文說明這些維度如何互動,並說明相關需求和最佳做法,協助您在不中斷工作負載的情況下擴充。
瞭解限制
Google Distributed Cloud 是複雜的系統,整合範圍廣泛。影響叢集擴充性的因素有很多,舉例來說,節點數量只是 Google Distributed Cloud 可擴充的眾多維度之一。其他維度包括 Pod 和 Service 的總數。其中許多維度 (例如每個節點的 Pod 數量和每個叢集的節點數量) 彼此相關。如要進一步瞭解會影響擴充性的維度,請參閱 GitHub 上 Kubernetes 社群存放區中「Scalability Special Interest Group (SIG)」(擴充性特殊興趣群組 (SIG)) 部分的「Kubernetes Scalability thresholds」(Kubernetes 擴充性門檻)。
擴充性限制也取決於叢集執行的硬體和節點設定。本文所述的限制是在可能與您不同的環境中驗證。因此,如果基礎環境是限制因素,您可能無法重現相同的數字。
如要進一步瞭解 Google Distributed Cloud 叢集適用的限制,請參閱「配額與限制」。
準備擴充
準備擴充 Google Distributed Cloud 叢集時,請考量下列各節所述的需求和限制。
控制層節點 CPU 和記憶體需求
下表列出執行正式版工作負載的叢集,其控制層節點的建議 CPU 和記憶體設定:
| 叢集節點數量 | 建議的控制層 CPU 數量 | 建議的控制層記憶體 |
|---|---|---|
| 1-50 | 8 核心 | 32 GiB |
| 51 到 100 人 | 16 核心 | 64 GiB |
Pod 和 Service 數量
叢集中的 Pod 和 Service 數量由下列設定控制:
clusterNetwork.pods.cidrBlocks指定叢集中允許的 Pod 數量。nodeConfig.podDensity.maxPodsPerNode指定可在單一節點上執行的 Pod 數量上限。clusterNetwork.services.cidrBlocks指定叢集允許的 Service 數量。
Pod CIDR 和節點數量上限
叢集中為 Pod 保留的 IP 位址總數,是限制叢集擴充的因素之一。這項設定與每個節點的 Pod 數量上限設定搭配使用,可決定叢集中的節點數量上限,避免 Pod 的 IP 位址用盡。
請考量下列事項:
叢集中為 Pod 保留的 IP 位址總數由
clusterNetwork.pods.cidrBlocks指定,該參數會採用以 CIDR 標記法指定的 IP 位址範圍。舉例來說,預先填入的值192.168.0.0/16指定了從192.168.0.0到192.168.255.255的 65,536 個 IP 位址範圍。單一節點可執行的 Pod 數量上限,是透過
nodeConfig.podDensity.maxPodsPerNode指定。根據每個節點的 Pod 數量上限設定,Google Distributed Cloud 會為節點佈建約兩倍的 IP 位址。額外的 IP 位址有助於避免在短時間內不慎重複使用 Pod IP。
將 Pod IP 位址總數除以每個節點佈建的 Pod IP 位址數量,即可得出叢集可擁有的節點總數。
舉例來說,如果 Pod CIDR 為 192.168.0.0/17,則共有 32,768 個 IP 位址 (2(32-17) = 215 = 32,768)。如果您將每個節點的 Pod 數量上限設為 250,Google Distributed Cloud 會佈建約 500 個 IP 位址的範圍,大致相當於 /23 CIDR 區塊 (2(32-23) = 29 = 512)。因此,在這種情況下,節點數量上限為 64 (215 個位址/叢集除以 29 個位址/節點 = 2(15-9) 個節點/叢集 = 26 = 64 個節點/叢集)。
clusterNetwork.pods.cidrBlocks 和 nodeConfig.podDensity.maxPodsPerNode 都是不可變更,因此請仔細規劃叢集的未來成長,以免節點容量用盡。如要瞭解根據測試結果,每個叢集的 Pod 數量、每個節點的 Pod 數量,以及每個叢集的節點數量建議上限,請參閱「限制」。
Service CIDR
您可以更新 Service CIDR,以便在擴充叢集時新增更多 Service。不過,您無法縮減 Service CIDR 範圍。詳情請參閱「增加服務網路範圍」。
為系統 Daemon 預留的資源
根據預設,Google Distributed Cloud 會自動為系統 Daemon (例如 sshd 或 udev) 保留節點上的資源。系統會在節點上為系統 Daemon 預留 CPU 和記憶體資源,確保這些 Daemon 擁有必要的資源。如果沒有這項功能,Pod 可能會耗用節點上的大部分資源,導致系統 Daemon 無法完成工作。
具體來說,Google Distributed Cloud 會在每個節點上,為系統 Daemon 預留 80 毫核心的 CPU (80 mCPU) 和 280 Mebibyte (280 MiB) 的記憶體。請注意,CPU 單位 mCPU 代表千分之一核心,因此每個節點上 80/1000 或 8% 的核心會保留給系統 Daemon。保留的資源量很小,不會對 Pod 效能造成重大影響。不過,如果 Pod 使用的 CPU 或記憶體超過分配量,節點上的 kubelet 可能會剔除 Pod。
使用 MetalLB 建立網路
您可能需要增加 MetalLB 揚聲器數量,以解決下列問題:
頻寬:負載平衡服務的整個叢集頻寬取決於揚聲器數量和每個揚聲器節點的頻寬。網路流量增加時,需要更多揚聲器。
容錯能力:揚聲器數量越多,單一揚聲器故障對整體的影響就越小。
MetalLB 需要負載平衡節點之間的第 2 層連線。在這種情況下,您可能會受限於具備第 2 層連線能力的節點數量,而無法在這些節點上放置 MetalLB 揚聲器。
請仔細規劃叢集中要有多少 MetalLB Speaker,並決定需要多少第 2 層節點。詳情請參閱「MetalLB 擴充性問題」。
另外,使用套裝組合負載平衡模式時,控制層節點也必須位於同一個第 2 層網路。手動負載平衡則沒有這項限制。詳情請參閱「手動負載平衡器模式」。
執行多個節點、Pod 和 Service
新增節點、Pod 和 Service,即可擴充叢集。下列各節將介紹一些額外的設定和配置,當您增加叢集中的節點、Pod 和 Service 數量時,應考慮這些設定和配置。如要瞭解這些維度的限制,以及彼此之間的關係,請參閱「限制」。
建立不含 kube-proxy 的叢集
如要建立高效能叢集,並擴充至使用大量 Service 和端點,建議您在建立叢集時不使用 kube-proxy。如果沒有 kube-proxy,叢集會以 kube-proxy-replacement 模式使用 GKE Dataplane V2。這個模式可避免維護大量 iptables 規則所需的資源消耗。
您無法停用現有叢集的 kube-proxy。建立叢集時,必須設定這項設定。如需操作說明和詳細資訊,請參閱「建立不含 kube-proxy 的叢集」。
CoreDNS 設定
本節說明 CoreDNS 會影響叢集擴充性的部分。
Pod DNS
根據預設,Google Distributed Cloud 叢集會將 Pod 插入 resolv.conf,如下所示:
nameserver KUBEDNS_CLUSTER_IP
search <NAMESPACE>.svc.cluster.local svc.cluster.local cluster.local c.PROJECT_ID.internal google.internal
options ndots:5
ndots:5 選項表示點數少於 5 個的主機名稱,不視為完整網域名稱 (FQDN)。DNS 伺服器會先附加所有指定的搜尋網域,再查詢原本要求的 hostname,因此在解析 google.com 時,查詢順序如下:
google.com.NAMESPACE.svc.cluster.localgoogle.com.svc.cluster.localgoogle.com.cluster.localgoogle.com.c.PROJECT_ID.internalgoogle.com.google.internalgoogle.com
系統會針對 IPv4 (A 記錄) 和 IPv6 (AAAA 記錄) 執行每項查詢,因此每個非 FQDN 查詢會產生 12 個 DNS 要求,大幅增加 DNS 流量。為緩解這個問題,建議您在應用程式工作負載層級,宣告要查詢的主機名稱為 FQDN,方法是在結尾加上點號 (google.com.)。詳情請參閱 resolv.conf 手冊頁面。
IPv6
如果叢集未使用 IPv6,則可消除對上游 DNS 伺服器的 AAAA 記錄查詢,將 DNS 要求減少一半。如需停用 AAAA 查詢的協助,請與 Cloud Customer Care 聯絡。
專屬節點集區
由於 DNS 查詢在應用程式生命週期中扮演重要角色,建議您為 coredns 部署作業使用專屬節點。這個 Deployment 屬於與一般應用程式不同的故障域。如需協助設定 coredns 部署作業的專用節點,請與 Cloud Customer Care 聯絡。
MetalLB 擴充性問題
MetalLB 會以主動-被動模式運作,也就是說,在任何時間點,都只有一個 MetalLB 揚聲器為特定 LoadBalancer VIP 提供服務。
容錯移轉
在 Google Distributed Cloud 1.28.0 版推出前,如果規模較大,MetalLB 的容錯移轉作業可能需要較長時間,且可能對叢集造成可靠性風險。
連線限制
如果某個 LoadBalancer VIP (例如 Ingress 服務) 預期會有接近或超過 3 萬個並行連線,則處理該 VIP 的揚聲器節點可能會用盡可用通訊埠。由於架構限制,MetalLB 無法緩解這個問題。建議您在建立叢集前,改用搭配 BGP 的套裝負載平衡,或使用其他 Ingress 類別。詳情請參閱「Ingress 設定」。
負載平衡器揚聲器
根據預設,Google Distributed Cloud 會針對控制層和資料層使用相同的負載平衡器節點集區。如未指定負載平衡器節點集區 (loadBalancer.nodePoolSpec),系統會使用控制層節點集區 (controlPlane.nodePoolSpec)。
如要增加使用控制層節點集區進行負載平衡的揚聲器數量,您必須增加控制層機器數量。如要部署至正式環境,建議使用三個控制層節點,以確保高可用性。如果為了容納更多揚聲器,而將控制層節點數量增加到三個以上,可能無法有效運用資源。
Ingress 設定
如果您預期單一 LoadBalancer 服務 VIP 會有接近 3 萬個並行連線,MetalLB 可能無法支援。
您可以考慮透過其他機制 (例如 F5 BIG-IP) 公開 VIP。或者,您也可以使用搭配 BGP 的套裝組合負載平衡建立新叢集,這樣就不會有相同的限制。
微調 Cloud Logging 和 Cloud Monitoring 元件
在大型叢集中,視應用程式設定檔和流量模式而定,Cloud Logging 和 Cloud Monitoring 元件的預設資源設定可能不足。如需調整可觀測性元件資源要求和限制的操作說明,請參閱「設定 Stackdriver 元件資源」。
特別是,在具有大量服務和端點的叢集中,kube-state-metrics 可能會導致 kube-state-metrics 本身和同一節點上的 gke-metrics-agent 記憶體用量過高。metrics-server 的資源用量也可以根據節點、Pod 和 Service 進行調整。如果這些元件發生資源問題,請與 Cloud Customer Care 聯絡。
使用 sysctl 設定作業系統
建議您微調節點的作業系統設定,以最符合工作負載用途。控制 inotify 資源數量的 fs.inotify.max_user_watches 和 fs.inotify.max_user_instances 參數通常需要調整。舉例來說,如果看到類似下方的錯誤訊息,建議您嘗試確認是否需要調整這些參數:
The configured user limit (128) on the number of inotify instances has been reached
ENOSPC: System limit for number of file watchers reached...
調整方式通常會因工作負載類型和硬體設定而異。您可以向 OS 供應商諮詢特定 OS 的最佳做法。
最佳做法
本節說明擴充叢集的最佳做法。
一次只調整一個維度
為盡量減少問題並方便復原變更,請勿一次調整多個維度。即使是小型叢集,同時擴充多個維度也可能造成問題。舉例來說,如果嘗試將每個節點排定的 Pod 數量增加到 110 個,同時將叢集中的節點數量增加到 250 個,則可能不會成功,因為 Pod 數量、每個節點的 Pod 數量和節點數量都過多。
分階段調度叢集資源
擴充叢集可能會耗用大量資源。為降低叢集作業失敗或叢集工作負載中斷的風險,建議您不要嘗試在單一作業中建立含有多個節點的大型叢集。
建立不含 worker 節點的混合式或獨立叢集
如要建立大型混合式或獨立叢集,且 worker 節點超過 50 個,建議先建立具備控制層節點的高可用性 (HA) 叢集,再逐步擴充。叢集建立作業會使用 bootstrap 叢集,這類叢集不具備高可用性,因此可靠性較低。建立高可用性混合或獨立叢集後,您可以使用該叢集擴充至更多節點。
批次增加 worker 節點數量
如要將叢集擴充至更多 worker 節點,建議分階段擴充。建議您一次新增不超過 20 個節點。對於執行重要工作負載的叢集,更是如此。
啟用平行映像檔提取
根據預設,kubelet 會依序提取映像檔。如果與映像檔登錄伺服器的上游連線不佳,映像檔提取失敗可能會導致特定節點集區的整個佇列停滯。
為降低這類風險,建議您在自訂 kubelet 設定中將 serializeImagePulls 設為 false。如需操作說明和詳細資訊,請參閱「設定 kubelet 映像檔提取設定」。啟用平行映像檔提取功能,可能會導致網路頻寬或磁碟 I/O 的用量激增。
微調應用程式資源要求和限制
在密集封裝的環境中,應用程式工作負載可能會遭到淘汰。Kubernetes 會使用上述機制,在需要淘汰 Pod 時決定淘汰順序。
設定容器資源時,建議您為要求和限制使用相同的記憶體量,並設定較大或無限制的 CPU 限制。詳情請參閱 Cloud Architecture Center 的「準備雲端式 Kubernetes 應用程式」。
使用儲存空間合作夥伴
如要大規模部署,建議使用 GDC Ready 儲存空間合作夥伴。請務必向特定儲存空間合作夥伴確認下列資訊:
- 儲存空間部署作業遵循儲存空間方面的最佳做法,例如高可用性、優先順序設定、節點親和性,以及資源要求和限制。
- 儲存空間版本符合特定 Google Distributed Cloud 版本的資格。
- 儲存空間供應商可支援您要部署的大規模儲存空間。
設定叢集以提高可用性
請務必稽核大規模部署作業,並盡可能確保重要元件已設定為高可用性。Google Distributed Cloud 支援所有叢集類型的高可用性部署選項。詳情請參閱「選擇部署模式」。如需高可用性部署作業的叢集設定檔範例,請參閱「叢集設定範例」。
此外,請務必稽核其他元件,包括:
- 儲存空間供應商
- 叢集 Webhook
監控資源使用情形
本節提供一些適用於大規模叢集的基本監控建議。
密切監控使用率指標
請務必監控節點和個別系統元件的使用率,並確保這些元件有足夠的安全邊際。如要瞭解預設提供哪些標準監控功能,請參閱「使用預先定義的資訊主頁」。
監控頻寬用量
密切監控頻寬消耗量,確保網路不會飽和,導致叢集效能降低。
提升 etcd 效能
磁碟速度對 etcd 效能和穩定性至關重要。磁碟速度緩慢會增加 etcd 要求延遲時間,可能導致叢集穩定性問題。為提升叢集效能,Google Distributed Cloud 會將事件物件儲存在獨立的專屬 etcd 執行個體中。標準 etcd 執行個體會使用 /var/lib/etcd 做為資料目錄,並使用通訊埠 2379 處理用戶端要求。etcd-events 執行個體會使用 /var/lib/etcd-events 做為資料目錄,並使用通訊埠 2382 處理用戶端要求。
建議您使用固態硬碟 (SSD) 做為 etcd 儲存庫。為獲得最佳效能,請將不同的磁碟掛接至 /var/lib/etcd 和 /var/lib/etcd-events。使用專用磁碟可確保兩個 etcd 執行個體不會共用磁碟 I/O。
etcd 說明文件提供額外的硬體建議,確保在正式環境中執行叢集時,etcd 能發揮最佳效能。
如要檢查 etcd 和磁碟效能,請在 Metrics Explorer 中使用下列 etcd I/O 延遲指標:
etcd_disk_backend_commit_duration_seconds:第 99 個百分位數 (p99) 的時間長度應小於 25 毫秒。etcd_disk_wal_fsync_duration_seconds:第 99 個百分位數 (p99) 的時間長度應小於 10 毫秒。
如要進一步瞭解 etcd 效能,請參閱「etcd 警告『apply entries took too long』(套用項目耗時過長) 是什麼意思?」和「etcd 警告『failed to send out heartbeat on time』(無法準時傳送心跳訊號) 是什麼意思?」。
如需其他協助,請與 Cloud Customer Care 團隊聯絡。您也可以參閱「取得支援」,進一步瞭解支援資源,包括: