本頁面說明在 Google Kubernetes Engine (GKE) 中建立叢集時,無論使用Google Cloud 控制台、Google Cloud CLI 或 Terraform,可以選擇的主要叢集設定。您可以透過這些選項,根據需求自訂各種叢集屬性和行為,例如是否可從公開網路存取叢集,以及叢集接收版本升級的方式。
本指南討論的許多選項在叢集建立後即無法變更。包括會影響叢集可用性和網路的選項。如果確實需要變更這些選項,則必須建立新的叢集,然後將流量遷移至該叢集,這可能會造成干擾。
叢集建立後,許多叢集設定選項就無法變更,因此請與貴組織的管理員和架構師、Cloud 架構師、網路管理員,或任何其他負責定義、實作及維護 GKE 和Google Cloud 架構的團隊,共同規劃及設計叢集設定。
本頁面適用於根據公司策略定義 IT 解決方案和系統架構的管理員和架構師。如要進一步瞭解 Google Cloud 內容中提及的常見角色和工作範例,請參閱「常見的 GKE 使用者角色和工作」。
閱讀本頁面前,請先熟悉下列內容和基本 Kubernetes 概念:
叢集管理層級
討論叢集選項前,請務必瞭解您對叢集所需的彈性、責任和控制程度。您需要的控制層級會決定 GKE 的作業模式,以及您需要做出的叢集設定選擇。
在 GKE 中建立叢集時,您可以使用下列其中一種作業模式:
Autopilot (建議):提供完整佈建及管理的叢集設定。Autopilot 叢集已預先設定最佳叢集設定,可用於正式環境工作負載。
Standard:提供進階設定彈性,可調整叢集的基礎架構。如果是使用 Standard 模式建立的叢集,您必須決定正式版工作負載所需的設定。
如要進一步瞭解這些模式和 Autopilot,請參閱「GKE 作業模式」和「Autopilot 總覽」。
如要詳細瞭解這兩種模式的差異,請參閱「比較 GKE Standard 和 Autopilot」。
叢集設定選項
選擇作業模式後,請選取叢集所需的設定。相較於 Standard 叢集,Autopilot 叢集由 Google Cloud 更全面地管理及設定,因此可用的設定選項較少。
所有叢集的設定選項可分為下列類別:
- 名稱和其他中繼資料:每個叢集都必須有專屬的識別名稱,不得與專案內其他叢集重複。您也可以視需要新增叢集說明和標籤。
- 可用性和擴充性:指定叢集控制層和節點的執行位置,以及是否要建立多個控制層副本。所有 Autopilot 叢集都是區域性叢集,也就是說,叢集在 Google Cloud區域內的多個運算可用區中有多個控制層。
- 機群成員資格:選擇是否要讓叢集加入機群。
- 網路:網路選項,包括叢集所在的虛擬私有雲 (VPC) 網路和子網路,以及是否要允許從公開網路存取叢集。
- 版本和升級管理:使用發布管道,在升級這個叢集的軟體時,選擇您偏好的新功能和穩定性平衡,並設定維護期間和排除時段,選擇可以和不可以升級的時間。
- 安全性:包括叢集是否使用 Workload Identity Federation for GKE,以及叢集節點用於向Google Cloud驗證的服務帳戶。
- 叢集功能:啟用及設定這個叢集的其他 GKE 和Google Cloud 功能,包括備份和觀測能力。Standard 模式也允許建立短期 Alpha 版叢集,以便試用 Alpha 版 Kubernetes 功能。
除了上述選項,標準叢集也提供下列類別的選項:
- 節點集區:指定叢集節點的詳細資料,包括節點集區、節點作業系統和節點大小。
以下各節將詳細介紹其中一些類別,特別是叢集建立後無法變更設定的選項。如需完整的設定選項清單,請參閱「設定參考資料」。
下表比較 Autopilot 和 Standard 叢集在部分重要領域的可用選項:
| 叢集選項 | 模式 | |
|---|---|---|
| Autopilot | 標準 | |
| 供應情形類型 | 區域性 | 區域或Zonal |
| 發布管道 | 快速、一般或穩定 | 任何管道 |
| 叢集版本 | 預設或其他可用版本 | 預設或其他可用版本 |
| 網路轉送 | 虛擬私有雲原生 | 虛擬私有雲原生或使用路由 |
| 網路隔離 | 可自訂 | 可自訂 |
| Kubernetes 功能與特色 | 正式版 | 正式版或 Alpha 版 |
叢集可用性
您可以透過 GKE,依據工作負載的可用性需求和預算,建立合適的叢集。您可以選擇區域叢集,在 Google Cloud 區域的多個運算可用區中,擁有多個控制層副本;也可以選擇可用區叢集,在單一可用區中擁有單一控制層。Autopilot 叢集一律為區域性。
如要瞭解如何在 Standard 模式中選擇要建立的叢集類型,請參閱「選擇區域或可用區控制層」。
叢集建立後,就無法更新這些設定:可用區叢集無法變成區域叢集,區域叢集也無法變成可用區叢集。
如果是正式環境工作負載,請使用區域叢集,因為這類叢集的可用性通常高於可用區叢集。如果是開發環境,請使用區域叢集搭配可用區節點集區。具有區域控制層和可用區節點集區的叢集,費用與可用區叢集相同。如要進一步瞭解特定區域的注意事項,請參閱「地理位置與區域」一文。
地區性叢集
區域叢集有多個控制層副本,分別在指定 Google Cloud 區域的多個可用區中執行。建立 Autopilot 或其他區域叢集時,一律須指定區域。
只有區域標準叢集可以選擇叢集節點要在哪些可用區中運作。區域叢集中的節點可以在多個可用區或單一可用區中執行,具體取決於設定的節點位置。根據預設,GKE 會在控制層區域的三個可用區中複製每個節點集區。建立區域性 Standard 叢集或新增節點集區時,您可以指定叢集節點的執行可用區,藉此變更預設設定。所有可用區都必須與控制層位於同一個區域。
請使用區域叢集執行正式環境工作負載,因為這類叢集的可用性高於可用區叢集。
- 如要建立區域性 Standard 叢集,請參閱「建立區域性叢集」。
- 如要建立區域性 Autopilot 叢集,請參閱「建立 Autopilot 叢集」。
區域叢集建立後,即無法變更區域。
區域叢集
可用區叢集在單一可用區中只有一個控制層。在叢集升級期間,或控制層運作的可用區服務中斷時,工作負載仍會執行。不過,在控制層恢復可用之前,您無法設定叢集、節點和工作負載。視工作負載可用性需求而定,您可以選擇將可用區叢集的節點分散在單一可用區或多個可用區。
如要建立可用區叢集,請參閱「建立可用區叢集」。
節點的位置和分布
無論使用區域叢集或可用區叢集,您都可以精確判斷節點在各可用區的位置和分布情形。您可以為日後的所有節點集區設定預設可用區,也可以為現有節點集區中的節點指派或變更特定可用區。
單一可用區叢集
單一可用區叢集 (可以是區域或可用區叢集) 會在僅位於一個可用區的節點上執行工作負載。如果該可用區發生服務中斷,所有工作負載都會無法使用。
可用區叢集預設為單一可用區叢集,但您可以將這項設定更新為多可用區叢集。
多可用區叢集
多可用區叢集 (可以是區域或可用區叢集) 會將節點分散到單一區域內的多個可用區,藉此提高工作負載可用性。這樣一來,您就能在區域內的多個可用區執行工作負載。如果您在多個可用區執行工作負載,當某個可用區服務中斷時,該可用區的工作負載會中斷,但其他可用區的工作負載仍可使用。
如果節點需要與區域內不同可用區的對等互連節點通訊,將 GKE 節點分配到多個可用區可能會產生跨可用區網路輸出費用。
區域叢集預設為多可用區叢集,但您可以將這項設定更新為單一可用區叢集。
AI 可用區
AI 可用區是專門用於 AI/機器學習訓練和推論工作負載的可用區。這些可用區提供大量機器學習加速器容量。詳情請參閱「AI 可用區」說明文件。
在本文件和 GKE 說明文件中,「標準可用區」或「可用區」是指 Google Cloud 區域內的非 AI 可用區。
在 GKE 中使用 AI 可用區前,請先考量下列特性:
- 如要搭配現有 GKE 叢集使用 AI 專區,控制層必須執行 1.36.4-gke.1495002 以上版本,或 1.37.1-gke.1552000 以上版本。控制層會根據這些版本辨識可用區並註冊節點。如果控制層執行 1.35 以下版本,或低於上述最低版本,請先升級控制層,再於 AI 區域建立節點集區。如果無法升級,請與 Cloud Customer Care 聯絡。
- AI 可用區與標準可用區實體隔離,可提供額外的儲存空間和電力。這種區隔可能會導致延遲時間較長,但 AI/機器學習工作負載通常可以容忍這種情況。
- AI 可用區的後置字串會加上
ai標記。舉例來說,us-central1區域中的 AI 可用區名為us-central1-ai1a。 - 目前僅支援 TPU VM。
- 叢集的控制層會在與 AI 可用區相同區域的一或多個標準可用區中執行。
如要執行未附加 TPU 的 VM,必須符合下列條件:
- 您已在同一可用區執行其他使用 TPU VM 的工作負載。
- 非 TPU VM 可能是 Spot VM、與預留項目繫結,或屬於節點集區,且加速器與一般用途 VM 的比例特定。
AI 可用區與相同區域內具有相同後置字串的標準可用區共用元件,例如網路連線和軟體推出。如果是高可用性工作負載,建議您使用不同的可用區。舉例來說,請避免同時使用
us-central1-ai1a和us-central1-a來確保高可用性。
根據預設,GKE 不會在 AI 可用區部署工作負載。如要使用 AI 區域,請務必設定下列其中一個選項:
- (建議) ComputeClass:將最高優先順序設為在 AI 可用區中要求隨選 TPU。ComputeClass 可協助您定義工作負載的硬體設定優先順序清單。如需範例,請參閱「關於 ComputeClass」。
- 自動佈建節點:在 Pod 規格中使用
nodeSelector或nodeAffinity,指示自動佈建節點功能在 AI 可用區中建立節點集區。如果工作負載未明確指定 AI 可用區,節點自動佈建功能在建立新的節點集區時,只會考慮標準可用區或--autoprovisioning-locations中的可用區。這項設定可確保未執行 AI/機器學習模型的工作負載,會保留在標準可用區中,除非您明確設定其他選項。如需使用nodeSelector的資訊清單範例,請參閱「設定自動建立節點的預設可用區」。 - GKE Standard:如果您直接管理節點集區,請在建立節點集區時,於
--node-locations旗標中使用 AI 可用區。如需範例,請參閱「在 GKE Standard 部署 TPU 工作負載」。
機群成員資格
如果貴組織使用多個叢集,可以將叢集新增至機群 (Kubernetes 叢集的邏輯群組),簡化多叢集管理作業。建立機群後,貴組織就能將管理層級從個別叢集提升至整個叢集群組,並使用支援機群的功能,例如多叢集 Ingress、Config Sync 和 Policy Controller。
雖然您隨時可以將叢集新增至機群,但強烈建議您在建立叢集時,就將新叢集註冊至機群。這是因為這些「在機群中建立」的叢集,是使用您選擇的機群層級預設設定建立,適用於多項企業功能,且已啟用建議的記錄和指標。如要進一步瞭解這些功能,請參閱下列指南:
叢集建立後,您可以更新這項設定,註冊或取消註冊叢集,但我們不建議將含有實際工作負載的叢集從一個機群移至另一個機群。
如要進一步瞭解如何將叢集新增至機群,請參閱「建立機群以簡化多叢集管理」。
聯播網設定
建立 GKE 叢集時,您可以指定多項網路設定,包括叢集所在的網路、網路轉送模式,以及是否要允許從公開網路存取叢集節點。
如果您不是網路管理員,請先諮詢貴機構的網路專家,再建立可用於正式環境的叢集,因為叢集建立後,許多選項都無法變更。如果您是網路管理員,可以參閱「關於 GKE 網路」,進一步瞭解 GKE 網路,並參閱「GKE 網路的最佳做法」,瞭解網路選項的最佳做法。本節僅說明部分可能的網路選項。
網路和子網路
叢集所在的虛擬私有雲 (VPC) 網路會決定該叢集可以與哪些 Compute Engine 資源通訊。根據預設,GKE 叢集會在專案的預設網路中建立,但如果您或管理員已建立其他網路,則可選擇其他網路。如果可以,您可以指定叢集要屬於特定虛擬私有雲子網路,否則系統會使用預設子網路。您也可以選擇指定要將該子網路中的特定 IP 位址範圍用於 Pod 和 Service。
叢集建立後,即無法更新這些設定。
網路區隔選項
您可以考量下列兩個面向,自訂叢集中的網路隔離:
存取控制層:根據預設,控制層的內部端點和外部端點都會啟用,而 DNS 端點則會停用。您可以選擇:
- 停用外部和內部端點,僅使用 DNS 端點。
- 請停用外部端點,防止外部用戶端存取。
- 啟用授權網路,控管哪些 IP 位址可連至控制層端點。
叢集網路設定:您可以選擇在叢集中啟用私人節點,將工作負載與公用網路完全隔離。您可以為整個叢集啟用私人節點,也可以在節點集區 (Standard) 或工作負載 (Autopilot) 層級啟用。在節點集區或工作負載層級啟用私人節點,會覆寫叢集層級的所有節點設定。
叢集建立後,您可以變更這些設定。
如要進一步瞭解網路隔離,請參閱「關於自訂網路隔離」和「自訂網路隔離」。
使用 Cloud NAT,讓 GKE Pod 存取具有公開 IP 位址的資源。Cloud NAT 可提升叢集的整體資安態勢,因為 Pod 不會直接公開至網際網路,但仍可存取網際網路資源。
VPC 原生叢集和使用路由的叢集
在 GKE 中,叢集可根據將流量從一個 Pod 轉送至另一個 Pod 的方式來區分。如果叢集的 Pod IP 位址可在虛擬私有雲網路中原生轉送,不需使用自訂靜態路由,則稱為「虛擬私有雲原生叢集」。在 IPv4 和雙堆疊叢集中,GKE 會使用別名 IP 位址;在單堆疊 IPv6 叢集中,GKE 會直接從子網路分配位址,不使用別名 IP 位址範圍。相較之下,使用Google Cloud 路由的叢集稱為「使用路由的叢集」。
根據預設,所有新的 GKE 叢集都會使用 VPC 原生轉送,這也是我們建議的選項。您可以在建立叢集時變更這項設定,僅在 Standard 模式下建立使用路由的叢集。叢集建立後,即無法更新這項設定。
如要進一步瞭解 VPC 原生叢集及其優點,包括任何特殊需求,請參閱「VPC 原生叢集」。
為叢集使用虛擬私有雲原生網路模式。這是 Autopilot 叢集的預設值。
版本和升級
有了發布管道,您便能在可用功能與穩定性之間權衡,GKE 會根據您的選擇挑選合適的叢集軟體版本。建立叢集時,您可以選擇要使用的發布管道。根據預設,新叢集 (Autopilot 和 Standard) 會註冊至 Regular 發布管道,但您也可以在建立叢集時視需要選擇特定版本。
Autopilot 叢集「一律」使用發布管道。Standard 叢集預設會使用發布管道,但您也可以選擇不將叢集註冊至發布管道 (不過我們不建議這麼做,因為這項設定會限制您存取叢集功能)。
無論是否註冊發布管道,GKE 都會陸續自動升級所有叢集。當發布管道推出新版本時,GKE 會自動升級叢集的控制層和節點。您可以透過維護期間和排除時段,控管升級的時間和範圍。
您隨時可以變更叢集的發布管道。
如要瞭解即將推出的自動升級功能,請參閱 GKE 版本資訊。
選擇 GKE 發布管道,在可用功能與穩定性之間權衡,為叢集選用合適的版本。使用維護期間和排除時段,控管自動升級的時間和範圍。
Alpha 版功能 (僅限標準叢集)
Kubernetes 的新功能會根據開發狀態,列為 Alpha、Beta 或穩定版。在多數情況下,GKE 叢集會包含列為 Beta 版或穩定版的 Kubernetes 功能。
如果您想試用尚未準備好用於正式環境的最新功能,可以在特殊的 GKE Alpha 版叢集中使用 Alpha 版功能。Alpha 版叢集已啟用所有 Kubernetes Alpha 版 API (有時稱為 feature gate)。您可以使用 Alpha 版叢集,提早測試及驗證 Kubernetes 功能。Alpha 叢集不支援正式版工作負載,無法升級或新增至發布管道,且會在 30 天內到期。
Autopilot 叢集不支援 Alpha 版功能。
如要建立 Alpha 版叢集,請參閱「建立 Alpha 版叢集」。
安全性設定
GKE 有多項安全性設定,可在建立叢集時指定。包括加密設定、二進位授權等安全防護功能、要用於叢集節點的服務帳戶 (下一節會詳細討論),以及叢集是否使用 Workload Identity Federation for GKE。
與其他設定一樣,在建立可用於正式環境的叢集之前,您應諮詢專家同事,也就是貴組織的資安專家。如要進一步瞭解 GKE 安全性,請參閱「安全性總覽」和「強化叢集安全性」。
節點的服務帳戶
GKE 會使用附加至節點的 IAM 服務帳戶,執行記錄和監控等系統工作。這些節點服務帳戶至少必須具備專案的 Kubernetes Engine 預設節點服務帳戶 (roles/container.defaultNodeServiceAccount) 角色。根據預設,GKE 會使用 Compute Engine 預設服務帳戶做為節點服務帳戶,該帳戶會在專案中自動建立。
如果貴組織強制執行 iam.automaticIamGrantsForDefaultServiceAccounts 組織政策限制,專案中的預設 Compute Engine 服務帳戶可能不會自動取得 GKE 所需的權限。
如果您將 Compute Engine 預設服務帳戶用於專案或組織中的其他函式,該服務帳戶可能具備超出 GKE 所需的權限,這可能會導致您面臨安全性風險。
Autopilot 模式叢集或 Standard 模式節點集區建立後,即無法變更服務帳戶。
節點集區設定 (僅限 Standard 叢集)
如「叢集管理總覽」和「GKE 作業模式」所述,如果您使用 Autopilot 模式,GKE 會為您設定節點,因此您不必擔心節點設定。Autopilot 叢集節點全由 GKE 全代管,且都使用相同的節點作業系統 (OS)。
如果選擇建立 Standard 叢集,您可以在建立叢集時指定多個節點選項,包括:
- 要使用的節點集區名稱、數量、大小和位置;節點集區是叢集內共用相同設定的一組節點。
- 要用於新節點的節點 OS。
- 是否要將臨時Spot VM 用於節點。
- 要用於節點的 Compute Engine 機型。
- 要用於節點的服務帳戶,如「安全性設定」一節所述。
叢集建立後,您可以變更部分叢集節點集區設定。建立 Standard 叢集時,如果未指定節點數量和機型,預設節點集區會包含叢集各可用區中的三個節點,並採用預設節點映像檔 cos_containerd和一般用途機型。在 GKE 1.37.1-gke.1153000 以上版本中,您也可以建立沒有節點集區或節點集區空白的 Standard 叢集。詳情請參閱「建立區域叢集」和「建立可用區叢集」。
如要進一步瞭解節點集區設定,請參閱「關於節點集區」和「新增及管理節點集區」。
設定參考資料
如要查看可能設定選項的完整清單,請參閱下列參考指南:
gcloud container clusters create-auto:Autopilot 叢集的 Google Cloud CLI 參考資料gcloud container clusters create:Standard 叢集的 Google Cloud CLI 參考資料google_container_cluster:Terraform 參考資料
後續步驟
- 如要進一步瞭解叢集架構,請參閱「GKE 叢集架構」
- 如要並排比較 Standard 和 Autopilot 叢集,請參閱「比較 GKE Standard 和 Autopilot」
- 開始建立叢集: