本文說明持續整合和持續推送軟體更新 (CI/CD) 方面的災難復原 (DR) 和營運持續計畫。此外,本指南也說明如何在制定全面的營運持續計畫 (BCP) 時,找出並減少依附元件。無論您使用哪些工具和程序,都可以將這份文件中的最佳做法套用至 BCP。本文件假設您熟悉軟體推送和作業週期、CI/CD 和災難復原的基本概念。
CI/CD 管道負責建構及部署重要業務應用程式。因此,就像應用程式基礎架構一樣,CI/CD 程序也需要規劃災難復原和業務持續性。考量 CI/CD 的 DR 和營運持續性時,請務必瞭解軟體推送和作業週期的各個階段,以及這些階段如何共同運作,形成一個整體流程。
下圖是軟體開發和作業週期的簡化檢視畫面,包含下列三個階段:
- 開發內部迴圈:編寫、測試及提交程式碼
- 持續整合:建構、測試和安全性
- 持續推送軟體更新:升級、推出、復原和指標
這張圖表也顯示 Google Kubernetes Engine (GKE)、Cloud Run 和 Google Distributed Cloud 是軟體開發和作業週期的可能部署目標。
在整個軟體開發和營運週期中,您必須考量災難對團隊營運和維護業務關鍵應用程式能力的影響。這有助於您判斷 CI/CD 工具鍊中工具的復原時間目標 (RTO) 和復原點目標 (RPO)。
此外,大多數組織都有許多不同的 CI/CD 管道,用於不同的應用程式和基礎架構,且每個管道對 DR 和業務持續性規劃都有獨特的需求。您為管道選擇的復原策略,會因工具的 RTO 和 RPO 而異。舉例來說,某些管道比其他管道更重要,因此 RTO 和 RPO 需求較低。請務必在 BCP 中找出業務關鍵管道,並在實施測試和執行復原程序的最佳做法時,給予這些管道更多關注。
由於每個 CI/CD 程序和工具鍊都不同,本指南旨在協助您找出 CI/CD 程序中的單點故障,並制定全面的 BCP。下列各節將協助您執行以下操作:
- 瞭解如何從影響 CI/CD 程序的 DR 事件中復原。
- 判斷 CI/CD 程序中工具的 RTO 和 RPO。
- 瞭解 CI/CD 程序的故障模式和依附元件。
- 為工具鍊中的工具選擇合適的復原策略。
- 瞭解為 CI/CD 程序實作災難復原計畫的一般最佳做法。
瞭解業務持續性程序
制定 BCP 至關重要,可確保貴組織在發生中斷和緊急事件時,仍能持續營運。這有助於貴組織快速恢復 CI/CD 程序的正常運作狀態。
以下各節將概略說明建立有效 BCP 的主要階段,包括相關步驟。雖然其中許多步驟廣泛適用於計畫管理和災難復原,但某些步驟與規劃 CI/CD 程序的業務持續性更相關。以下各節會重點說明與規劃 CI/CD 業務持續性特別相關的步驟,這些步驟也是本文件其餘部分指引的基礎。
啟動和規劃
在這個初始階段,技術和業務團隊會共同合作,為營運持續計畫流程和後續維護作業奠定基礎。這個階段的主要步驟包括:
- 主管階層支持:確保高階主管支持並推動 BCP 的制定。指派專責團隊或個人負責監督計畫。
- 資源分配:分配必要的預算、人員和資源,用於制定及實施 BCP。
- 範圍和目標:定義 BCP 的範圍和目標。判斷哪些業務流程至關重要,必須在計畫中處理。
- 風險評估:找出可能中斷業務的潛在風險和威脅,例如天災、網路安全漏洞或供應鏈中斷。
- 影響分析:評估這些風險評估結果對業務營運、財務、信譽和顧客滿意度的潛在影響。
業務影響分析
在這個階段,業務和技術團隊會分析服務中斷對客戶和組織造成的業務影響,並優先復原關鍵業務功能。在建構和部署程序的各個階段,這些業務功能會由不同的工具執行。
業務影響分析是 CI/CD 營運持續計畫流程中的重要階段,尤其是找出重要業務功能和工具依附元件的步驟。此外,瞭解 CI/CD 工具鍊 (包括其依附元件以及在 DevOps 生命週期中的運作方式),是為 CI/CD 程序制定 BCP 的基礎。
業務影響分析階段的主要步驟包括:
- 重要功能:判斷哪些重要業務功能和程序必須優先復原。舉例來說,如果您認為部署應用程式比執行單元測試更重要,則應優先復原應用程式部署程序和工具。
- 依附元件:找出可能影響重要功能復原的內部和外部依附元件。依附元件對於確保 CI/CD 程序透過其工具鍊持續運作尤為重要。
- RTO 和 RPO:定義每項重要功能的停機時間和資料遺失限制。這些 RTO 和 RPO 目標與業務功能對持續營運的重要性有關,且涉及業務功能順利運作所需的特定工具。
策略制定
在這個階段,技術團隊會制定重要業務功能的復原策略,例如還原作業和資料,以及與供應商和利害關係人溝通。制定策略也是規劃 CI/CD 程序業務持續性的重要一環,尤其是為重要功能選取高階復原策略的步驟。
策略制定階段的主要步驟包括:
- 復原策略:制定還原重要功能的策略。這些策略可能包括替代地點、遠端工作或備份系統。這些策略與每項重要功能的 RTO 和 RPO 目標息息相關。
- 廠商和供應商關係:與主要廠商和供應商建立溝通和協調計畫,確保供應鏈在中斷期間仍能運作。
- 資料和 IT 復原:制定資料備份、IT 系統復原和網路安全措施計畫。
- 溝通計畫:制定明確的溝通計畫,在服務中斷期間和之後,與內外部利害關係人溝通。
規劃開發
這個階段的主要步驟是記錄 BCP。技術團隊會記錄每項重要功能的工具、程序、復原策略、理由和程序。規劃作業也包括撰寫逐步操作說明,供員工在服務中斷期間遵循。在實施和持續維護期間,可能需要對計畫進行變更,因此應將計畫視為動態文件。
實作
在這個階段,您會使用技術團隊建立的 BCP,為組織實施計畫。實施包括員工訓練和 BCP 的初步測試。導入也包括在發生中斷時使用計畫,以恢復正常營運。重要導入步驟包括:
- 初步測試和訓練:記錄 BPC 後,透過模擬和演練進行測試,找出落差並提高成效。訓練員工瞭解自己在服務中斷期間的角色和職責。
- 啟動:發生中斷時,根據預先定義的觸發條件和程序啟動 BCP。
- 溝通:讓利害關係人掌握情況和復原進度。
維護與審查
這個階段並非只發生一次的既定程序,而是持續進行的工作,應成為 CI/CD 作業的常態。請務必定期審查、測試及更新組織內的 BCP,確保在發生中斷時仍能發揮作用並可付諸實行。維護和審查的主要步驟包括:
- 定期更新:定期審查及更新 BCP,確保內容與時俱進且有效。每當人員、技術或業務流程有異動時,請務必更新。
- 經驗教訓:每次中斷或測試後,進行事後檢討,找出經驗教訓和可改進之處。
- 法規遵循:確保 BCP 符合業界法規和標準。
- 員工意識:持續向員工宣導 BCP,以及他們在執行 BCP 時扮演的角色。
為 CI/CD 建立營運持續程序
本節提供具體指南,協助您制定專注於還原 CI/CD 作業的 BCP。規劃 CI/CD 的營運持續性時,首先要徹底瞭解 CI/CD 工具鍊,以及該工具鍊與軟體推送和作業生命週期的關聯。有了這項基礎,您就可以規劃組織如何從中斷中復原 CI/CD 作業。
如要為 CI/CD 程序建立完善的業務持續運作程序,您需要採取下列主要步驟:
以下各節將詳細說明每個步驟。
瞭解工具鍊
CI/CD 工具鍊由許多不同的個別工具組成,工具的可能組合似乎無窮無盡。不過,瞭解 CI/CD 工具鍊及其依附元件,是 CI/CD 業務持續性規劃的關鍵。CI/CD 流程的核心任務,是將程式碼推送至正式環境系統,供使用者使用。在整個過程中,會使用許多不同的系統和資料來源;瞭解這些資料來源和依附元件,對於制定 BCP 至關重要。如要開始建立災難復原策略,您必須先瞭解 CI/CD 程序中涉及的不同工具。
為協助您瞭解如何評估自己的工具鍊並制定 BCP,本文以在 GKE 上執行的企業 Java 應用程式為例。下圖顯示工具鍊中的第一層資料和系統。第一層由您直接控管,包含以下項目:
- 應用程式來源
- CI/CD 平台中的工具,例如 Cloud Build 或 Cloud Deploy
- 不同工具的基本互連
如圖所示,範例應用程式的主要流程如下:
- 開發內部迴圈中的程式碼開發事件會觸發 Cloud Build。
- Cloud Build 從原始碼控管存放區提取應用程式原始碼。
- Cloud Build 會找出建構設定檔中指定的任何必要依附元件,例如 Artifact Registry 中 Java 存放區的第三方 JAR 檔案。Cloud Build 接著會從來源位置提取這些依附元件。
- Cloud Build 會執行建構作業,並執行必要的驗證,例如靜態分析和單元測試。
- 如果建構成功,Cloud Build 會建立容器映像檔,並推送至 Artifact Registry 中的容器存放區。
- Cloud Deploy 管道會觸發,並從存放區提取容器映像檔,然後部署至 GKE 環境。
如要瞭解 CI/CD 程序中使用的工具,建議您建立圖表,顯示 CI/CD 程序和其中使用的工具,類似於本文件中的範例。接著,您可以使用圖表建立表格,擷取 CI/CD 工具鍊的重要資訊,例如程序階段、工具用途、工具本身,以及工具故障時會受到影響的團隊。下表提供工具鍊中工具的對應關係,並指出 CI/CD 程序特定階段的工具。因此,您可以透過表格全面瞭解工具鍊及其運作方式。
下表將上述企業應用程式範例對應至圖表中的各項工具。為了提供更完整的工具鍊對應範例,這些表格也包含圖表中未提及的其他工具,例如安全性工具或測試工具。
第一個表格對應至 CI/CD 程序中 CI 階段使用的工具:
| 持續整合 | 來源 | 所用工具 | 主要使用者 | 使用方式 |
|---|---|---|---|---|
| 階段:原始碼控管 |
|
|
|
|
| 階段:建構 |
|
開發人員 |
|
|
| 階段:測試 |
|
開發人員 |
在一致的隨選平台上執行單元和整合測試。 |
|
| 階段:安全性 |
|
|
掃描程式碼,找出安全性問題。 |
第二個表格著重於 CI/CD 程序中 CD 階段使用的工具:
| 持續部署 | 來源 | 所用工具 | 主要使用者 | 使用方式 |
|---|---|---|---|---|
| 階段:部署 | 部署設定檔 |
|
自動部署,在安全一致的平台中推送、核准及管理流量。 |
|
| 階段:測試 |
|
|
開發人員 |
測試整合和效能,確保品質和可用性。 |
| 階段:記錄 |
|
|
保留記錄,以便觀測能力及疑難排解。 |
|
| 階段:監控 | 監控設定檔,包括:
|
|
|
隨著您持續制定 BCP,並對 CI/CD 工具鍊有更深入的瞭解,您可以更新圖表和對應表。
找出資料和依附元件
完成基本盤點作業和 CI/CD 工具鍊對應後,下一步是擷取中繼資料或設定的所有依附元件。實施 BCP 時,請務必清楚瞭解 CI/CD 工具鍊中的依附元件。依附元件通常分為兩類:內部 (第一階) 依附元件和外部 (第二階或第三階) 依附元件。
內部依附元件
內部依附元件是工具鍊使用的系統,由您直接控管。內部依附元件也由團隊選取。這些系統包括 CI 工具、金鑰管理儲存庫和原始碼控管系統。您可以將這些系統視為工具鍊本身的下一層。
舉例來說,下圖說明內部依附元件如何融入工具鍊。這張圖表擴充了先前範例 Java 應用程式的第一層工具鍊圖表,也納入工具鍊的內部依附元件:應用程式憑證、deploy.yaml 檔案和 cloudbuild.yaml 檔案。
圖表顯示,為了在 Java 範例應用程式中順利運作,Cloud Build、Cloud Deploy 和 GKE 等工具需要存取非工具鍊依附元件,例如 cloudbuild.yaml、deploy.yaml 和應用程式憑證。分析自己的 CI/CD 工具鍊時,請評估工具是否能獨立運作,或是否需要呼叫其他資源。
請參考 Java 範例應用程式的內部依附元件說明文件。憑證會儲存在 Secret Manager 中,這不是工具鍊的一部分,但應用程式必須有憑證才能在部署時啟動。因此,應用程式憑證會做為 GKE 的依附元件。此外,請務必將 deploy.yaml 和 cloudbuild.yaml 檔案納入為依附元件,即使這些檔案與應用程式程式碼一起儲存在原始碼控制中,因為這些檔案定義了該應用程式的 CI/CD 管道。
Java 範例應用程式的 BCP 應考量對 deploy.yaml 和 cloudbuild.yaml 檔案的依附元件,因為在復原程序中,工具就定位後,這些檔案會重新建立 CI/CD 管道。此外,如果這些依附元件遭到入侵,即使工具本身仍可運作,管道的整體功能也會受到影響。
外部依附元件
外部依附元件是指工具鍊運作時依賴的外部系統,不受您直接控管。外部依附元件來自您選取的工具和程式設計框架。您可以將外部依附元件視為內部依附元件的下一層。外部依附元件的例子包括 npm 或 Maven 存放區,以及監控服務。
雖然外部依附元件不受您控制,但您可以將其納入 BCP。下圖更新了 Java 應用程式範例,除了內部依附元件外,還納入外部依附元件:Maven Central 中的 Java 程式庫和 Docker Hub 中的 Docker 映像檔。Artifact Registry 會使用 Java 程式庫,Cloud Build 則會使用 Docker 映像檔。
圖表顯示,外部依附元件對 CI/CD 程序可能很重要:Cloud Build 和 GKE 都需要依賴兩個外部服務 (Maven 和 Docker) 才能成功運作。評估自己的工具鍊時,請記錄工具需要存取的外部依附元件,以及處理依附元件中斷的程序。
在 Java 應用程式範例中,Java 程式庫和 Docker 映像檔無法直接控制,但您仍可將這些項目及其復原程序納入 BCP。舉例來說,Maven 中的 Java 程式庫。雖然程式庫儲存在外部來源,但您可以建立程序,定期下載 Java 程式庫並重新整理至本機 Maven 存放區或 Artifact Registry。這樣一來,復原程序就不必仰賴第三方來源的可用性。
此外,請務必瞭解外部依附元件可能不只一層。舉例來說,您可以將內部依附元件使用的系統視為「第二階依附元件」。這些第二層依附元件可能會有自己的依附元件,您可以將其視為第三層依附元件。請注意,您可能需要在 BCP 中記錄並考量第二和第三階外部依附元件,以便在服務中斷期間復原作業。
決定 RTO 和 RPO 目標
瞭解工具鍊和依附元件後,請定義工具的 RTO 和 RPO 目標。CI/CD 程序中的工具各自執行不同的動作,可能對業務產生不同的影響。因此,請務必根據業務功能對業務的影響,調整 RTO 和 RPO 目標的優先順序。舉例來說,透過 CI 階段建構新版應用程式,可能比透過 CD 階段部署應用程式的影響更小。因此,部署工具的 RTO 和 RPO 目標可能比其他功能更長。
下方的四象限圖表是一般範例,說明如何判斷 CI/CD 工具鍊中各元件的 RTO 和 RPO 目標。這張圖表對應的工具鍊包含 IaC 管道和測試資料來源等工具。先前的 Java 應用程式圖表中並未提及這些工具,但此處包含這些工具,以提供更完整的範例。
圖表顯示的象限是根據對開發人員和作業的影響程度而定。在圖表中,元件的位置如下:
- 對開發人員的影響中等,對作業的影響低:測試資料來源
- 對開發人員和作業的影響中等:Cloud Key Management Service、Cloud KMS
- 對開發人員影響中等,對作業影響重大:部署管道
- 對開發人員影響大,對作業影響小:開發人員內部迴圈
- 對開發人員影響大,對作業影響中等:CI 管道、基礎架構即程式碼 (IaC) 管道
- 對開發人員和作業影響重大:原始碼控管管理 (SCM)、Artifact Registry
原始碼控管管理和 Artifact Registry 等元件對開發人員和作業的影響較大,對業務的影響也最大。這些元件應具備最低的 RTO 和 RPO 目標。其他象限中的元件優先順序較低,這表示 RTO 和 RPO 目標會較高。一般來說,工具鍊元件的 RTO 和 RPO 目標應根據可容忍的資料或設定遺失量,以及還原該元件服務所需的時間來設定。
舉例來說,請考量圖中 Artifact Registry 和 IaC 管道的不同位置。比較這兩項工具後,可以發現 Artifact Registry 服務中斷對業務營運的影響,大於 IaC 管道服務中斷。由於 Artifact Registry 服務中斷會嚴重影響您部署或自動調度資源應用程式的能力,因此與其他工具相比,其 RTO 和 RPO 目標會較低。相較之下,圖表顯示 IaC 管道中斷對業務營運的影響小於其他工具。IaC 管道的 RTO 和 RPO 目標會較高,因為您可以在服務中斷期間使用其他方法部署或更新基礎架構。
選擇高階策略,確保業務持續運作
正式版應用程式的業務持續性程序通常仰賴三種常見的災難復原策略之一。不過,針對 CI/CD,您可以選擇兩種高階策略來確保業務連續性:主動/被動或備份/還原。您選擇的策略取決於需求和預算。每種策略在複雜度和成本方面都有所取捨,您需要考量 CI/CD 程序的各種因素。以下各節將詳細說明各項策略及其優缺點。
此外,發生服務中斷事件時,影響範圍可能不限於 CI/CD 實作。此外,您也應考量所需的所有基礎架構,包括網路、運算和儲存空間。您應為這些建構區塊制定災難復原計畫,並定期測試,確保計畫有效。
主動/被動
採用主動/被動 (或暖待命) 策略時,應用程式和被動 CI/CD 管道會互為鏡像。不過,被動管道實際上並未處理客戶工作負載和任何建構或部署作業,因此處於縮減狀態。如果業務關鍵應用程式可容許短暫停機,則最適合採用這項策略。
下圖顯示本文使用的 Java 應用程式範例的主動/被動設定。被動管道會在不同區域完整複製應用程式工具鍊。
在本範例中,region1 託管主動式 CI/CD 管道,region2 則託管被動式 CI/CD 管道。程式碼託管於外部 Git 服務供應商,例如 GitHub 或 GitLab。存放區事件 (例如提取要求的合併) 可觸發 region1 的 CI/CD 管道,建構、測試及部署至多區域正式環境。
如果 region1 管道發生重大問題,例如產品區域性服務中斷,可能會導致部署失敗或建構失敗。如要快速從問題中復原,您可以更新 Git 存放區的觸發條件,並切換至 region2 管道,該管道隨即會變成使用中的管道。region1 的問題解決後,您可以將 region1 的管道保持在被動狀態。
主動/被動策略的優點包括:
- 停機時間短:由於被動管道已部署但已縮減,因此停機時間僅限於擴充管道所需的時間。
- 可設定的資料遺失容忍度:採用這項策略時,必須定期同步處理設定和構件。不過,您可以根據需求設定數量,降低複雜度。
這項策略的缺點包括:
- 成本:由於基礎架構重複,這項策略會增加 CI/CD 基礎架構的整體成本。
備份/還原
採用備份/還原策略時,您只會在事件復原期間視需要建立容錯移轉管道。這項策略最適合優先順序較低的用途。下圖顯示 Java 應用程式範例的備份/還原設定。備份設定只會在其他區域複製應用程式的部分 CI/CD 管道。
與前一個範例類似,region1 託管了運作中的 CI/CD 管道。region2 沒有被動管道,只有必要區域資料的備份,例如 Maven 套件和容器映像檔。如果您在 region1 託管來源存放區,也應將資料同步到災難復原位置。
同樣地,如果 region1 管道發生重大問題 (例如區域性產品服務中斷),您可以在 region2 還原 CI/CD 實作。如果基礎架構程式碼儲存在基礎架構程式碼存放區,您可以從存放區執行自動化指令碼,並在 region2 中重建 CI/CD 管道。
如果服務中斷是大規模事件,您可能需要與其他客戶競爭雲端資源。如要緩解這種情況,其中一種方法是為 DR 位置提供多個選項。舉例來說,如果 region1 管道位於 us-east1,容錯移轉區域可以是 us-east4、us-central1 或 us-west1。
備份/還原策略的優點包括:
- 成本:這項策略的成本最低,因為您只會在 DR 情境中部署備份管道。
這項策略的缺點包括:
- 停機時間:這項策略需要較多時間實作,因為您必須在需要時建立容錯移轉管道。服務必須在事件復原期間建立及設定,而非使用預先建構的管道。構件建構時間和擷取外部依附元件的時間也可能大幅增加。
記錄 BCP 並實施最佳做法
對應 CI/CD 工具鍊、找出其依附元件,並決定重要功能的 RTO 和 RPO 目標後,下一步是以書面 BCP 記錄所有相關資訊。建立 BCP 時,請記錄還原各項重要功能的策略、程序和步驟。這項記錄程序包括為特定角色的員工編寫逐步程序,以便在服務中斷期間遵循。
定義 BCP 後,您可以使用最佳做法部署或更新 CI/CD 工具鍊,以達成 RTO 和 RPO 目標。雖然 CI/CD 工具鍊可能大不相同,但無論工具鍊為何,最佳做法都有兩個關鍵模式:全面瞭解依附元件和實作自動化。
在依附元件方面,大多數 BCP 都會直接處理您控制範圍內的系統。不過,請記住,第二或第三階外部依附元件可能也具有同樣的影響力,因此請務必為這些重要依附元件實施最佳做法和備援措施。範例應用程式中的外部 Java 程式庫就是第三階依附元件。如果您沒有這些程式庫的本機存放區或備份,當提取程式庫的外部來源中斷連線時,您可能無法建構應用程式。
在自動化方面,最佳做法的實作應納入整體雲端 IaC 策略。IaC 解決方案應使用 Terraform 等工具,自動佈建 CI/CD 實作所需的資源,並設定程序。IaC 做法是相當有效的復原程序,因為這類做法已納入 CI/CD 管道的日常運作。此外,IaC 鼓勵將設定檔儲存在原始碼控管系統中,進而鼓勵採用備份最佳做法。
根據 BCP 以及依附元件和自動化的最佳做法實作工具鍊後,CI/CD 程序和復原策略可能會有所變更。請務必記錄因審查 BCP 和實施最佳做法,而對復原策略、程序和程序所做的任何變更。
測試故障情境並維護計畫
請務必定期檢視、測試及更新 BCP。測試 BCP 和復原程序,可驗證計畫是否仍然有效,以及記錄的 RPO 和 RTO 目標是否可接受。最重要的是,定期測試、更新和維護可讓執行 BCP 成為正常營運的一部分。使用 Google Cloud,您就能以最低成本測試復原情境。建議您採取下列做法,協助測試:
- 使用 IaC 工具自動佈建基礎架構:您可以使用 Terraform 等工具,自動佈建 CI/CD 基礎架構。
- 使用 Cloud Logging 和 Cloud Monitoring 監控及偵錯測試:Google Cloud Observability 提供記錄和監控工具,您可以透過 API 呼叫存取這些工具,也就是說,您可以根據指標做出反應,自動部署復原情境。設計測試時,請務必設定適當的監控和快訊機制,以便觸發適當的復原動作。
- 在 BCP 中執行測試:例如,您可以測試 DR 環境中的權限和使用者存取權是否與正式環境相同。您可以在災難復原環境中進行整合和功能測試。您也可以執行測試,讓 Google Cloud 的常用存取路徑無法運作。
Google 會透過災難復原測試 (DiRT) 程序,定期測試營運持續計畫。這項測試有助於 Google 驗證影響、自動化作業,並找出未考量的風險。DiRT 的重要成果之一,就是找出需要對自動化和 BCP 進行的變更。
最佳做法
在本節中,您將瞭解一些最佳做法,可協助您達成 RTO 和 RPO 目標。這些最佳做法廣泛適用於 CI/CD 的災難復原,而非特定工具。無論採用何種實作方式,都應定期測試 BCP,確保高可用性、RTO 和 RPO 符合需求。如果發生事件或災難,您也應該進行回顧並分析流程,以便改進。
高可用性
請務必為每項工具實施高可用性最佳做法。遵循高可用性的最佳做法,可讓 CI/CD 程序更主動,因為這些做法可讓 CI/CD 程序更具彈性,更能因應故障。這些主動策略應與更具反應性的控制措施和程序搭配使用,以進行復原和備份。
以下是實現高可用性的幾項最佳做法。不過,請參閱 CI/CD 中各項工具的詳細說明文件,瞭解更詳細的最佳做法:
- 代管服務:使用代管服務可將營運責任轉移給 Google Cloud。
- 自動調度資源:盡可能使用自動調度資源功能。自動調度資源的一大重點在於動態建立 worker 執行個體,因此系統會自動復原故障的節點。
- 全域和多區域部署:盡可能使用全域和多區域部署,而非區域部署。舉例來說,您可以將 Artifact Registry 設為多區域儲存空間。
- 依附元件:瞭解工具的所有依附元件,並確保這些依附元件具有高可用性。舉例來說,您可以將所有第三方程式庫快取到 Artifact Registry。
備份程序
為 CI/CD 實作災難復原時,部分工具和程序較適合備份/還原策略。全面的備份策略是有效應對控制措施的第一步。如果發生惡意行為或災難,備份功能可讓您復原 CI/CD 管道,盡可能減少中斷。
建議您先採用下列三項最佳做法。不過,如需更詳細的備份最佳做法,請參閱 CI/CD 程序中各項工具的說明文件。
- 原始碼控管:將設定檔和您編寫的所有內容 (例如自動化指令碼和政策) 儲存在原始碼控管中。例如
cloudbuild.yaml和 Kubernetes YAML 檔案。 - 備援:確保存取密碼、憑證和 API 金鑰等密鑰時,不會發生單點故障。應避免的做法包括只有一人知道密碼,或只將 API 金鑰儲存在特定區域的單一伺服器上。
- 備份:經常驗證備份的完整性和準確性。GKE 備份 等代管服務可簡化驗證程序。
復原程序
DR 也需要復原程序,才能補足備份程序。復原程序和完整備份會決定您因應災難情境的速度。
依附元件管理
CI/CD 管道可能有多個依附元件,這些元件也可能是失敗來源。如要查看完整的依附元件清單,請按照本文前述「識別資料和依附元件」一節中的說明操作。不過,最常見的兩種依附元件來源如下:
- 應用程式構件:例如套件、程式庫和映像檔
- 外部系統:例如票務和通知系統
降低依附元件風險的方法之一,是採用供應商做法。供應商應用程式套件或映像檔是指在私人存放區中建立及儲存副本的程序。Vendoring 可移除這些套件或映像檔對外部來源的依附元件,也有助於防止惡意軟體插入軟體供應鏈。
供應商應用程式套件或映像檔的部分優點如下:
- 安全性:供應商模式可移除應用程式套件或映像檔對外部來源的依附元件,有助於防範惡意軟體插入攻擊。
- 控管:組織可透過供應商提供自己的套件或映像檔,進一步控管這些套件和映像檔的來源。
- 法規遵循:供應商管理可協助組織遵守產業法規,例如網路安全成熟度模型認證。
如果團隊決定供應應用程式套件或映像檔,請按照下列主要步驟操作:
- 找出需要供應商提供的應用程式套件或映像檔。
- 建立私人存放區,用於儲存供應商套件或映像檔。
- 從原始來源下載套件或映像檔,並儲存在私人存放區。
- 驗證套件或映像檔的完整性。
- 視需要更新供應商套件或映像檔。
CI/CD 管道通常會呼叫外部系統來執行動作,例如執行掃描、記錄票證或傳送通知。在大多數情況下,這些外部系統都有自己的災難復原策略,應加以實施。不過,在某些情況下,他們可能沒有合適的災難復原計畫,這些情況應在營運持續計畫中明確記錄。接著,您必須決定是否要基於可用性考量,略過管道中的這些階段,或是否可以接受 CI/CD 管道停機。
監控與通知
CI/CD 就像應用程式正式環境系統,因此您也需要為 CI/CD 工具實作監控和通知技術。建議您實作資訊主頁和警告通知。Cloud Monitoring 的 GitHub 範例存放區提供許多資訊主頁和警告政策範例。
您也可以實作其他層級的監控,例如服務水準指標 (SLI) 和服務水準目標 (SLO)。這些監控層級有助於追蹤 CI/CD 管道的整體健康狀態和效能。舉例來說,您可以實作服務等級目標 (SLO),追蹤建構和部署階段的延遲時間。這些服務等級目標可協助團隊按照您想要的速度和頻率建構及發布應用程式。
緊急存取程序
發生災難時,作業團隊可能需要採取標準程序以外的行動,並取得系統和工具的緊急存取權。這類緊急動作有時稱為「急用權限程序」。建議您先實作下列三項最佳做法:
- 制定明確的提報計畫和程序。有了明確的計畫,作業團隊就能知道何時需要使用緊急存取程序。
- 確保多人可存取重要資訊,例如設定和密鑰。
- 開發自動稽核方法,以便追蹤緊急存取程序的使用時間和使用者。
後續步驟
- 進一步瞭解本文件使用的 Google Cloud 產品:
- 請參閱「災難復原規劃指南」。
- 完成教學課程,試用其他 Google Cloud 功能。
- 如要查看更多參考架構、圖表和最佳做法,請瀏覽 Cloud Architecture Center。
貢獻者
作者:
- Ben Good | 解決方案架構師
- Xiang Shen | 解決方案架構師
其他貢獻者:
- Marco Ferrari | 雲端解決方案架構師
- Anuradha Bajpai | 解決方案架構師
- Rodd Zurcher | 解決方案架構師