本節說明開發人員平台使用的控制項。
平台身分、角色和群組
必須具備 Google Cloud 身分,才能存取 Google Cloud 服務。藍圖會使用 Workload Identity Federation for GKE,將做為 Pod 身分的 Kubernetes 服務帳戶,對應至控管 Google Cloud服務存取權的Google Cloud 服務帳戶。為防止跨環境提權,每個環境都有獨立的身分集區 (即一組受信任的身分提供者),用於 GKE 的 Workload Identity Federation 帳戶。
平台角色
部署藍圖時,您會建立三種使用者群組:開發人員平台團隊、應用程式團隊 (每個應用程式一個團隊) 和資安營運團隊。
開發人員平台團隊負責開發及管理開發人員平台。這個團隊的成員如下:
- 開發人員平台開發人員:這些團隊成員會擴充藍圖,並將其整合至現有系統。這個團隊也會建立新的應用程式範本。
- 開發人員平台管理員:這個團隊負責下列事項:
- 核准建立新的租戶團隊。
- 執行會影響多個租戶的排定和未排定工作,包括:
- 核准將應用程式推送至非正式環境和正式環境。
- 協調基礎架構更新。
- 制定平台層級的容量計畫。
開發人員平台的租戶是單一軟體開發團隊,以及負責該軟體營運的人員。租戶團隊由兩個群組組成:應用程式開發人員和應用程式操作人員。租戶團隊的兩個群組職責如下:
- 應用程式開發人員:這個團隊負責編寫應用程式程式碼並偵錯。有時也稱為「軟體工程師」或「全端開發人員」。他們的職責包括:
- 在應用程式元件部署至開發環境時,對元件執行測試和品質查驗。
- 在開發環境中管理應用程式擁有的雲端資源 (例如資料庫和儲存空間 bucket)。
- 設計應用程式使用的資料庫或儲存空間結構定義。
- 應用程式營運人員或網站可靠性工程師 (SRE):這個團隊負責管理在正式環境中執行的應用程式可靠性,以及安全地將應用程式開發人員所做的變更推進至正式環境。有時稱為「服務營運商」、「系統工程師」或「系統管理員」。其職責包括:
- 規劃應用程式層級的容量需求。
- 建立警告政策,並設定服務的服務水準目標 (SLO)。
- 使用該應用程式專屬的記錄和指標,診斷服務問題。
- 回應快訊和呼叫,例如服務未達服務等級目標 (SLO) 時。
- 與一或多組應用程式開發人員合作。
- 核准將新版本部署至正式環境。
- 在非正式環境和正式環境中,管理應用程式擁有的雲端資源 (例如備份和結構定義更新)。
平台組織架構
企業應用程式藍圖會使用企業基礎藍圖提供的組織結構。下圖顯示企業應用程式藍圖專案如何融入基礎藍圖的結構。
平台專案
下表說明應用程式藍圖需要哪些額外專案 (不含基礎藍圖提供的專案),才能部署資源、設定和應用程式。
| 資料夾 | 專案 | 說明 |
|---|---|---|
|
|
包含多租戶基礎架構管道,用於部署租戶基礎架構。 |
|
包含應用程式工廠,用於建立單一租戶應用程式架構,以及持續整合和持續部署 (CI/CD) 管道。這項專案也包含用於 GKE 叢集設定的 Config Sync。 |
|
|
包含應用程式 CI/CD 管道,這些管道位於獨立專案中,可區隔開發團隊。每個應用程式都有一個管道。 |
|
|
|
包含開發人員平台的 GKE 叢集,以及用於註冊叢集以進行機群管理的邏輯。 |
( |
包含任何單一租戶應用程式服務,例如應用程式團隊使用的資料庫或其他代管服務。 |
平台叢集架構
這個藍圖會在開發、非實際工作和實際工作環境中部署應用程式。每個環境都與一個機群相關聯。在這個藍圖中,機群是指包含一或多個叢集的專案。不過,機群也可以將多個專案分組。機群提供邏輯安全邊界,可用於管理控制。機群能有條理地將 Kubernetes 叢集分類並正規化,讓基礎架構管理作業更輕鬆。
下圖顯示兩個 GKE 叢集,分別在各環境中建立,用於部署應用程式。這兩個叢集在兩個不同區域中做為相同的 GKE 叢集,提供多區域彈性。為充分運用機群功能,藍圖採用命名空間物件、服務和身分的相同性概念。
企業應用程式藍圖使用 GKE 叢集,並透過存取控制層的 Private Service Connect 和私人節點集區啟用私人空間,從網際網路移除潛在攻擊面。叢集節點和控制層都沒有公開端點。叢集節點會執行 Container-Optimized OS,以限制攻擊面,並使用Shielded GKE 節點,限制攻擊者模擬節點的能力。
GKE 叢集的管理員權限是透過 Connect 閘道啟用。在藍圖部署作業中,每個環境都會使用一個 Cloud NAT 執行個體,為 Pod 和 Config Sync 提供機制,以便存取網際網路上的資源,例如 GitHub。GKE 叢集的存取權是由 Google Groups for GKE 提供的 Kubernetes RBAC 授權控管。群組可讓您使用由身分管理員控管的中央身分管理系統來控管身分。
平台 GKE 元件
開發人員平台使用 GKE 和相關元件,可讓您建構、推送及管理應用程式的生命週期。
藍圖部署作業中使用的 GKE 元件如下:
- 使用 GKE 管理容器
- Policy Controller:用於管理及強制執行政策
藍圖部署作業中使用的相關元件如下:
- Cloud Service Mesh:用於服務管理
- 二進位授權:用於容器映像檔認證
- GKE Gateway 控制器:GKE 叢集的多叢集閘道控制器
平台機群管理
機群可讓您以單一整合方式管理多個 GKE 叢集。機群團隊管理可讓平台管理員更輕鬆地為開發人員平台租戶佈建及管理基礎架構資源。租戶可控管自身命名空間內的資源,包括應用程式、記錄和指標。
如要為各團隊佈建部分機群資源,管理員可以使用團隊範圍。團隊範圍可讓您為各團隊定義一組機群資源,並將各個團隊範圍連結至一或多個機群成員叢集。
機群命名空間可控管哪些使用者能存取機群中的特定命名空間。該應用程式使用兩個 GKE 叢集,部署在一個機群上,具有三個團隊範圍,每個範圍有一個機群命名空間。
下圖顯示藍圖實作的環境中,與範例叢集對應的機群和範圍資源。
平台網路
在網路方面,GKE 叢集會部署在 Shared VPC 中,而該 Shared VPC 是在企業基礎藍圖中建立。GKE 叢集需要在開發、非正式和正式環境中指派多個 IP 位址範圍。藍圖使用的每個 GKE 叢集,都需要為節點、Pod、服務和控制層分配不同的 IP 位址範圍。AlloyDB for PostgreSQL 執行個體也需要獨立的 IP 位址範圍。
下表說明在不同環境中,用於部署藍圖叢集的虛擬私有雲子網路和 IP 位址範圍。在應用程式 GKE 叢集區域 2 的開發環境中,雖然有為兩個開發 GKE 叢集分配 IP 位址空間,但藍圖只會部署一個 IP 位址空間。
| 資源 | IP 位址範圍類型 | 開發 | 非正式環境 | 正式環境 |
|---|---|---|---|---|
應用程式 GKE 叢集區域 1 |
主要 IP 位址範圍 |
10.0.64.0/24 |
10.0.128.0/24 |
10.0.192.0/24 |
Pod IP 位址範圍 |
100.64.64.0/24 |
100.64.128.0/24 |
100.64.192.0/24 |
|
服務 IP 位址範圍 |
100.0.80.0/24 |
100.0.144.0/24 |
100.0.208.0/24 |
|
GKE 控制層 IP 位址範圍 |
10.16.0.0/21 |
10.16.8.0/21 |
10.16.16.0/21 |
|
應用程式 GKE 叢集區域 2 |
主要 IP 位址範圍 |
10.1.64.0/24 |
10.1.128.0/24 |
10.1.192.0/24 |
Pod IP 位址範圍 |
100.64.64.0/24 |
100.64.128.0/24 |
100.64.192.0/24 |
|
服務 IP 位址範圍 |
100.1.80.0/24 |
100.1.144.0/24 |
100.1.208.0/24 |
|
GKE 控制層 IP 位址範圍 |
10.16.0.0/21 |
10.16.8.0/21 |
10.16.16.0/21 |
|
AlloyDB for PostgreSQL |
資料庫 IP 位址範圍 |
10.9.64.0/18 |
10.9.128.0/18 |
10.9.192.0/18 |
如需自行設計 IP 位址分配配置,請參閱「GKE 中的 IP 位址管理」和「GKE IPv4 位址規劃」。
平台 DNS
這個藍圖使用 Cloud DNS for GKE,為 Pod 和 Kubernetes 服務提供 DNS 解析。Cloud DNS for GKE 是代管 DNS,不需要叢集託管的 DNS 供應商。
在藍圖中,Cloud DNS 設定為虛擬私有雲範圍。虛擬私有雲範圍可讓專案中所有 GKE 叢集的服務共用單一 DNS 區域。單一 DNS 區域可讓服務在叢集之間解析,叢集外的 VM 或 Pod 則可解析叢集內的服務。
平台防火牆
建立 GKE 叢集、GKE 服務、GKE Gateway 防火牆和 GKE Ingress 防火牆時,GKE 會自動建立防火牆規則,讓叢集在您的環境中運作。所有自動建立的防火牆規則,優先順序都是 1000。企業基礎藍圖有預設規則,會封鎖 Shared VPC 中的流量,因此需要這些規則。
Google Cloud 項服務的平台存取權
由於藍圖應用程式使用私人叢集,因此Private Google Access可提供 Google Cloud 服務的存取權。
平台高可用性
這個藍圖經過設計,可因應可用區和區域中斷。維持應用程式運作所需的資源會分散在兩個區域。您選取要部署藍圖的區域。不在提供服務和回應負載的重要路徑中的資源,則僅限於一個區域或全域。下表說明資源及其部署位置。
位置 |
區域 1 |
區域 2 |
全球 |
|---|---|---|---|
資源位於這個位置的環境 |
|
|
|
資源位於這個位置的專案 |
|
|
|
這個位置的資源類型 |
|
|
|
下表摘要說明不同元件對區域或可用區中斷的反應,以及如何減輕這些影響。
失敗範圍 |
外部服務效果 |
資料庫效果 | 建立及部署特效 | Terraform 管道效果 |
|---|---|---|---|---|
區域 1 的可用區 |
有。 |
有。 待命執行個體會啟用,RPO 為零。 |
可用,可能需要手動變更。 您可能需要重新啟動任何在服務中斷期間完成的 |
可用,可能需要手動變更。 您可能需要重新啟動任何在服務中斷期間完成的 |
區域 2 的可用區 |
有。 |
有。 |
有。 |
可用,可能需要手動變更。 您可能需要重新啟動任何在服務中斷期間完成的 |
區域 1 |
有。 |
需要手動變更。 操作員必須手動升級次要叢集。 |
無法使用。 |
無法使用。 |
區域 2 |
有。 |
有。 |
可用,可能需要手動變更 版本仍可使用。您可能需要手動部署新的建構作業。現有建構作業可能無法順利完成。 |
有。 |
雲端服務供應商服務中斷只是停機時間的其中一個來源。高可用性也取決於流程和作業,有助於降低出錯機率。下表說明藍圖中與高可用性相關的所有決策,以及這些決策的原因。
| 藍圖決策 | 對於可用性的影響 |
|---|---|
變更管理 |
|
使用 GitOps 和 IaC。 |
支援變更的同儕審查,並支援快速還原至先前的設定。 |
逐步將變更推送至各個環境。 |
降低軟體和設定錯誤的影響。 |
讓非正式環境和正式環境相似。 |
確保差異不會延遲錯誤偵測。兩個環境都是雙區域。 |
在環境中一次變更一個區域的複製資源。 |
確保未經逐步推送偵測到的問題,只會影響一半的執行階段基礎架構。 |
在環境中,一次變更一個區域的服務。 |
確保未經逐步推送偵測到的問題,只會影響一半的服務副本。 |
複製的運算基礎架構 |
|
使用區域叢集控制層。 |
升級和調整大小期間,區域控制層仍可使用。 |
建立多可用區節點集區。 |
叢集節點集區至少有三個節點,分散在三個可用區。 |
設定 Shared VPC 網路。 |
Shared VPC 虛擬私有雲網路涵蓋兩個區域。區域性故障只會影響往返故障區域資源的網路流量。 |
複製映像檔登錄檔。 |
映像檔儲存在 Artifact Registry 中,並設定為複製到多個區域,因此雲端區域中斷不會影響存續區域中的應用程式擴充。 |
複製的服務 |
|
將服務副本部署至兩個區域。 |
如果發生區域性中斷,Kubernetes 服務在正式環境和非正式環境中仍可使用。 |
使用滾動式更新,在區域內進行服務變更。 |
您可以使用滾動式更新部署模式更新 Kubernetes 服務,降低風險和停機時間。 |
在一個區域中為每項服務設定三個副本。 |
Kubernetes 服務至少有三個副本 (Pod),可支援正式環境和非正式環境中的滾動式更新。 |
將 Deployment 的 Pod 分散到多個可用區。 |
Kubernetes 服務會使用反親和性段落,分散到不同可用區的 VM。可容忍單一節點中斷或整個可用區服務中斷,不會在依附服務之間產生額外的跨區域流量。 |
複製的儲存空間 |
|
部署多可用區資料庫執行個體。 |
AlloyDB for PostgreSQL 在區域內提供高可用性。其主要執行個體的備援節點位於該區域的兩個不同可用區。如果使用中的可用區發生問題,主要執行個體會觸發自動容錯移轉至待命可用區,維持區域可用性。區域性儲存空間有助於在單一可用區遺失時提供資料耐用性。 |
跨區域複製資料庫。 |
AlloyDB for PostgreSQL 使用跨區域複製功能提供災難復原功能。資料庫會以非同步方式,將主要叢集的資料複製到位於不同Google Cloud 區域的次要叢集。 |
作業 |
|
為應用程式佈建兩倍的預期負載。 |
如果某個叢集故障 (例如區域性服務中斷),在剩餘叢集中執行的服務部分可以完全吸收負載。 |
自動修復節點。 |
叢集已設定節點自動修復功能。如果節點長時間持續未通過健康狀態檢查,GKE 就會針對該節點啟動修復程序。 |
確保節點集區升級作業具備應用程式感知功能。 |
Deployment 會使用 |
自動重新啟動死結服務。 |
支援服務的 Deployment 會定義有效性探測,用於識別及重新啟動死結程序。 |
自動檢查副本是否已準備就緒。 |
支援服務的 Deployment 會定義readiness probe,用於識別應用程式在啟動後何時準備好提供服務。在滾動式更新和節點集區升級期間,readiness 探測可免除手動檢查或計時等待的需求。 |
這項參考架構適用於有可用區和區域高可用性需求的應用程式。確保高可用性確實會產生一些費用 (例如待命備用費用或跨區域複製費用)。「替代方案」一節說明瞭降低這些成本的方法。
平台配額、效能限制和擴充限制
您可以在開發人員平台中控管資源的配額、效能和資源調度。以下列出一些需要注意的事項:
- 基礎架構需要多個專案,每增加一個租戶就需要四個專案。部署及新增更多租戶前,您可能需要申請更多專案配額。
- 每項專案最多只能有 100 個 MultiClusterGateway 資源。開發人員平台上的每個網際網路對向 Kubernetes 服務都需要一個 MultiClusterGateway。
- Cloud Logging 專案中的 bucket 數量上限為 100 個。藍圖中的個別租戶記錄存取權,取決於每個租戶的 bucket。
- 如要建立超過 20 個租戶,可以申請提高專案的範圍和範圍命名空間資源配額。如需查看配額的操作說明,請參閱「查看及管理配額」。使用篩選器找出
gkehub.googleapis.com/global-per-project-scopes和gkehub.googleapis.com/global-per-project-scope-namespaces配額類型。
後續步驟
- 閱讀服務架構 (本系列的下一份文件)。