應用程式的災難復原情境

Last reviewed 2024-08-05 UTC

本文件屬於系列文章,探討 Google Cloud中的災難復原 (DR)。本節將探討應用程式常見的災難復原情境。

本系列包含以下單元:

簡介

本文依據災難復原模式,為應用程式制定災難復原情境,指出應用程式從災難事件中復原的速度。本指南運用「DR 建構模塊」文件中討論的概念,說明如何實作適合您復原目標的端對端 DR 方案。

首先,讓我們來看看一些典型的工作負載,藉此說明復原目標和架構的設計會如何直接影響您的 DR 計畫。

批次處理工作負載

批次處理工作負載通常不屬於重要業務,因此您通常不需要花費成本設計高可用性 (HA) 架構,盡可能提高運作時間;一般來說,批次處理工作負載可以處理中斷。這類工作負載可善用 Spot VM 和先占 VM 執行個體等符合成本效益的產品,這類執行個體的建立和執行費用遠低於一般執行個體。(不過,為處理其他任務而必須存取相關資源時,Compute Engine 可能會先占停止或刪除這些執行個體。

在處理工作中定期建立檢查點,處理工作就能在啟動新 VM 時,從失敗點繼續執行。如果您使用 Managed Service for Apache Spark,啟動先占 worker 節點的程序會由代管執行個體群組管理。由於在等待替代的 VM 繼續進行處理程序時,作業會短暫停止,因此這可以視為暖模式。

電子商務網站

在電子商務網站中,應用程式的某些部分可能會有較大的 RTO 值。舉例來說,實際的購買管道必須具備高可用性,但向客戶傳送訂單通知的電子郵件程序可以容許幾小時的延遲。客戶知道其採購項目,因此他們雖然預期會收到確認電子郵件,但通知並不是此程序的重要部分。這是熱 (購買) 和溫/冷 (通知) 模式的組合。

應用程式的交易部分需要高運作時間,但 RTO 值要在最低,因此您會使用 HA 提高這部分應用程式的可用性。您可以將這個方法視為熱模式。

電子商務情境說明如何在同一個應用程式中使用不同的 RTO 值。

影片串流

從搜尋體驗到將內容串流給使用者的實際程序,影片串流解決方案的許多元件都需要高可用性。此外,系統需要低延遲以提供令人滿意的使用者體驗。如果解決方案的任一部分無法提供出色的體驗,對供應商及客戶而言都不利。此外,現今的客戶 可以轉向競爭產品

在此情境中,HA 架構和極小的 RTO 值為必備要素,這個情境需要在整個應用程式架構中採用熱模式,確保災難發生時影響降至最低。

內部部署實際工作環境的 DR 和 HA 架構

本節說明當應用程式在地端部署環境中執行,且 DR 解決方案位於Google Cloud時,如何實作冷、溫和熱這三種模式。

冷卻模式:恢復至 Google Cloud

在冷模式中,DR Google Cloud專案中的資源極少,僅足以啟用復原情境。如果發生問題,導致正式環境無法執行正式環境工作負載,容錯移轉策略會要求在 Google Cloud中啟動正式環境的鏡像。接著,用戶端會開始使用災難復原環境中的服務。

我們將在本節檢視這個模式的範例。在本例中,Cloud Interconnect 設有自行管理的 (非Google Cloud) VPN 解決方案,可連線至 Google Cloud。資料會複製到 Cloud Storage 做為正式環境的一部分

這個模式使用下列災難復原建構模塊:

  • Cloud DNS
  • Cloud Interconnect
  • 自行管理的 VPN 解決方案
  • Cloud Storage
  • Compute Engine
  • Cloud Load Balancing
  • Deployment Manager

下圖說明此範例架構:

在內部部署執行實際工作時,冷模式的架構

下列步驟大致說明如何設定環境:

  1. 建立虛擬私有雲網路。
  2. 在地端部署網路和 Google Cloud 網路之間設定連線。
  3. 建立 Cloud Storage bucket,做為資料備份的目標。
  4. 建立服務帳戶。
  5. 建立 IAM 政策,限制可存取 bucket 及其物件的使用者。請納入專為這項作業所建立的服務帳戶。您也可以將使用者帳戶或群組新增至操作員或系統管理員的政策,將相關權限授予所有這些身分。如要進一步瞭解 Cloud Storage 的存取權限,請參閱「Cloud Storage 的 IAM 權限」。
  6. 使用服務帳戶模擬功能,讓本機 Google Cloud使用者 (或服務帳戶) 模擬您先前建立的服務帳戶。或者,您也可以建立專門用於這項操作的新使用者。
  7. 測試您是否可以上傳及下載目標 bucket 中的檔案。
  8. 建立資料移轉指令碼。
  9. 建立排定的工作來執行指令碼。您可以使用 Linux crontab 和 Windows 工作排程器等工具。
  10. 建立自訂映像檔,並為正式環境中的每部伺服器進行設定。每個映像檔的設定應與內部部署的對應伺服器相同。

    在資料庫伺服器的自訂映像檔設定中,建立開機指令碼,自動將 Cloud Storage bucket 中的最新備份複製到執行個體,然後叫用還原程序。

  11. 設定 Cloud DNS,指向對外公開的網路服務。

  12. 建立 Deployment Manager 範本,使用先前設定的自訂映像檔,在 Google Cloud 網路中建立應用程式伺服器。這個範本也應視需要設定適當的防火牆規則。

您必須實作這些程序,以確保自訂映像檔的應用程式版本與內部部署相同。請務必在您的標準升級週期中納入升級到自訂映像檔的程序,並確保 Deployment Manager 範本使用最新的自訂映像檔。

容錯移轉程序和重新啟動後工作

如果發生災難,您可以復原至在Google Cloud上執行的系統。為此,您需要啟動復原程序,使用建立的 Deployment Manager 範本建立復原環境。當復原環境中的執行個體準備好接受正式版流量時,請調整 DNS,指向Google Cloud中的網路伺服器。

復原順序通常為:

  1. 使用 Deployment Manager 範本在Google Cloud中建立部署作業。
  2. 請按照資料庫系統的備份檔案復原操作說明,將 Cloud Storage 中最新的資料庫備份套用至在 Google Cloud 中執行的資料庫伺服器。
  3. 套用 Cloud Storage 中最新的交易記錄。
  4. 在已復原的環境中模擬使用者情境,測試應用程式是否如預期運作。
  5. 測試成功後,請設定 Cloud DNS,指向 Google Cloud上的網路伺服器。(例如,您可以在 Google Cloud 負載平衡器後方使用任意傳播 IP 位址,並在負載平衡器後方使用多個網路伺服器)。

下圖顯示已復原的環境:

在內部部署執行實際工作時,冷復原模式的設定

當正式環境再次於地端部署環境中執行,且環境可支援正式環境工作負載時,請反向執行容錯移轉至 Google Cloud 復原環境的步驟。返回正式環境的一般順序如下:

  1. 備份在 Google Cloud上執行的資料庫。
  2. 將備份檔案複製到正式環境。
  3. 將備份檔案套用到實際工作環境的資料庫系統。
  4. 禁止連線至 Google Cloud中的應用程式。例如,禁止連線至全域負載平衡器。從這時開始到您完成還原實際工作環境前,應用程式將無法使用。
  5. 將所有交易記錄檔複製到正式環境,並套用至資料庫伺服器。
  6. 設定 Cloud DNS,指向地端部署網路服務。
  7. 確定您的程序會如預期運作,將資料複製到 Cloud Storage。
  8. 刪除部署。

暖待命:復原至 Google Cloud

暖模式通常用於盡可能降低 RTO 和 RPO 值,同時避免完全高可用性設定所需的工作和費用。RTO 和 RPO 的值愈小,費用愈高,因為此方法使用可處理來自兩個環境的流量的完全備援環境。因此,在 DR 情境實行暖模式可在預算和可用性之間取得良好平衡。

舉例來說,您可以設定 Cloud Interconnect,並搭配自行管理的 VPN 解決方案,提供連至 Google Cloud的連線。多層式應用程式在地端部署環境中執行,同時在 Google Cloud使用最基本的復原套件。復原套件包含 Google Cloud上的作業資料庫伺服器執行個體。這個執行個體必須隨時執行,才能透過非同步或半同步複製技術接收複製的交易。若要降低費用,您可以使用執行資料庫服務的最小機器類型來執行資料庫。因為您可以使用長時間執行的執行個體,因此適用續用折扣。

這個模式使用下列災難復原建構模塊:

  • Cloud DNS
  • Cloud Interconnect
  • 自行管理的 VPN 解決方案
  • Compute Engine
  • Deployment Manager

Compute Engine 快照可讓您建立備份,並使用該備份復原到之前的狀態。本範例之所以使用快照,是因為更新的網頁和應用程式二進位檔會頻繁地寫入實際工作環境網路和應用程式伺服器。這些更新會定期複製到 Google Cloud上的參考網路伺服器和應用程式伺服器執行個體。(參考伺服器不接受實際工作環境流量,僅用於建立快照)。

下圖說明實作這個方法的架構。圖中未顯示複製目標。

在內部部署執行實際工作時,暖模式的架構

下列步驟大致說明如何設定環境:

  1. 建立虛擬私有雲網路。
  2. 在地端部署網路和 Google Cloud 網路之間設定連線。
  3. 將地端部署伺服器複製到 Google Cloud VM 執行個體。您可以選擇使用夥伴解決方案;使用的方法須視您的情況而定。
  4. 在 Google Cloud 上建立資料庫伺服器的自訂映像檔,其設定與地端部署資料庫伺服器相同。
  5. 建立網路伺服器和應用程式伺服器執行個體的快照。
  6. 使用先前建立的自訂映像檔,在 Google Cloud 中啟動資料庫執行個體。使用可從內部部署實際工作環境資料庫接受複製資料的最小機器類型。
  7. 將永久磁碟連接至 Google Cloud 資料庫執行個體,用於儲存資料庫和交易記錄。
  8. 按照資料庫軟體的操作說明,設定地端部署資料庫伺服器與 Google Cloud 中資料庫伺服器之間的複製作業。
  9. 將附加至資料庫執行個體的永久磁碟自動刪除旗標設為 no-auto-delete。
  10. 設定排定工作,定期建立 Google Cloud上資料庫執行個體永久磁碟的快照。
  11. 建立預留項目,視需要確保網路伺服器和應用程式伺服器的容量。
  12. 測試建立永久磁碟快照,以及從快照建立執行個體的程序。
  13. 使用稍早建立的快照,建立網路伺服器和應用程式伺服器的執行個體。
  14. 建立指令碼,只要對應的內部部署伺服器有更新,就會將更新複製到網路應用程式和應用程式伺服器。編寫指令碼,為更新的伺服器建立快照。
  15. 設定 Cloud DNS,指向地端部署環境中面向網際網路的網路服務。

容錯移轉程序和重新啟動後工作

若要管理容錯移轉,通常需使用監控和快訊系統來叫用自動容錯移轉程序。當地端部署應用程式需要容錯移轉時,您可以在 Google Cloud 上設定資料庫系統,使其能夠接受正式環境流量。您也可以啟動網路和應用程式伺服器的執行個體。

下圖顯示容錯移轉至Google Cloud 後的設定,可讓Google Cloud提供正式環境工作負載:

在內部部署執行實際工作時,暖復原模式的設定

復原順序通常為:

  1. 調整資料庫伺服器執行個體的大小,以便處理正式環境負載。
  2. 使用 Google Cloud上的網路伺服器和應用程式快照,建立新的網路伺服器和應用程式執行個體。
  3. 在已復原的環境中模擬使用者情境,測試應用程式是否如預期運作。
  4. 測試成功後,請設定 Cloud DNS,指向 Google Cloud上的網路服務。

當正式環境再次於地端部署環境中執行,且可支援正式環境工作負載時,請反向執行容錯移轉至 Google Cloud 復原環境的步驟。返回正式環境的一般程序如下:

  1. 備份在 Google Cloud上執行的資料庫。
  2. 將備份檔案複製到正式環境。
  3. 將備份檔案套用到實際工作環境的資料庫系統。
  4. 禁止連線至 Google Cloud中的應用程式。其中一種方法是修改防火牆規則,防止連線至網路伺服器。從此時起,應用程式將無法使用,直到您完成還原正式環境為止。
  5. 將所有交易記錄檔複製到正式環境,並套用至資料庫伺服器。
  6. 在正式環境中模擬使用者情境,測試應用程式是否正常運作。
  7. 設定 Cloud DNS,指向地端部署網路服務。
  8. 刪除在Google Cloud中執行的網路伺服器和應用程式伺服器執行個體。讓參考伺服器保持運作。
  9. 調整 Google Cloud 上的資料庫伺服器大小,恢復為可接受地端部署正式資料庫複製資料的最小執行個體大小。
  10. 按照資料庫軟體的操作說明,設定地端部署資料庫伺服器與 Google Cloud 中資料庫伺服器之間的複製作業。

地端部署和 Google Cloud之間的熱高可用性

如果 RTO 和 RPO 值較小,則只能在正式環境和 Google Cloud 中同時執行高可用性,才能達到這些值。這種方法會產生熱模式,因為地端部署和 Google Cloud都會提供正式環境流量。

而與暖模式間的主要差異為兩種環境的資源都是在實際運作模式中執行,並處理實際工作流量。

這個模式使用下列災難復原建構模塊:

  • Cloud Interconnect
  • Cloud VPN
  • Compute Engine
  • 代管執行個體群組
  • Cloud Monitoring
  • Cloud Load Balancing

下圖說明此範例架構。實作這個架構後,發生災難時您的 DR 計劃只需要最少的人為操作。

在內部部署執行實際工作時,熱模式的架構

下列步驟大致說明如何設定環境:

  1. 建立虛擬私有雲網路。
  2. 設定 地端部署網路與 Google Cloud 網路之間的連線。
  3. 在 Google Cloud 中建立自訂映像檔,並為地端部署正式環境中的每部伺服器設定這些映像檔。每個 Google Cloud 映像檔的設定都應與其對應的地端部署映像檔相同。
  4. 按照資料庫軟體的操作說明,設定地端部署資料庫伺服器與 Google Cloud 中資料庫伺服器之間的複製作業。

    設定複製作業時,由於許多資料庫系統只允許一個可寫入的資料庫執行個體,因此您可能需要確定其中一個資料庫備用資源將做為唯讀伺服器。

  5. 建立個別執行個體範本,用於應用程式伺服器和網路伺服器的映像檔。

  6. 為應用程式和網路伺服器設定區域代管執行個體群組。

  7. 使用 Cloud Monitoring 設定健康狀態檢查。

  8. 使用先前設定的區域性代管執行個體群組,設定負載平衡。

  9. 設定排程工作,定期建立永久磁碟快照。

  10. 設定 DNS 服務,在地端部署環境和 Google Cloud 環境之間分配流量。

採用這種混合式方法時,您必須使用支援加權轉送至兩個正式環境的 DNS 服務,才能從這兩個環境提供相同的應用程式。

您必須針對只在環境中的一小部分發生失敗 (部分失敗) 的情況來設計系統。在此情況下,流量應轉送到另一個備份環境中的相等服務。例如,如果内部部署網路伺服器變成無法使用,您可以停用以該環境為目的地的 DNS 轉送。如果 DNS 服務支援健康狀態檢查,則在健康狀態檢查判定無法連結其中一個環境的網路伺服器時,即會自動停用該轉送功能。

如果您使用的資料庫系統只允許單一可寫入執行個體,在許多情況下,當原始可寫入資料庫與唯讀副本之間的活動訊號失去聯絡時,資料庫系統會自動將唯讀副本升級為可寫入的主要執行個體。請確定您瞭解這方面的資料庫複製作業,以防您在災難發生後需要介入操作。

您必須實作程序,確保Google Cloud 中的自訂 VM 映像檔與地端部署版本具有相同版本的應用程式。請在標準升級週期中納入升級到自訂映像檔的程序,並確保 Deployment Manager 範本使用最新的自訂映像檔。

容錯移轉程序和重新啟動後工作

在本文所述的熱備援情境設定中,災難是指兩個環境之一無法使用。暖情境或冷情境所使用的容錯移轉程序都不相同,您在此程序中必須移動資料,或將資料處理到第二個環境。但您可能需要處理下列設定變更:

  • 如果 DNS 服務不會在健康狀態檢查失敗時自動重新規劃流量路徑,您必須手動設定 DNS 路由,將流量傳送至仍在運作的系統。
  • 如果資料庫系統在發生故障時,不會自動將唯讀副本升級為可寫入的主要執行個體,您就必須介入,確保副本升級。

當第二個環境再次執行且可以處理實際工作流量時,您必須重新同步處理資料庫。因為這兩個環境都支援實際工作負載,所以您不需要採取任何變更主要資料庫的動作。資料庫同步後,您可以調整 DNS 設定,就能再次在這兩個環境之間分配實際工作流量。

Google Cloud正式環境的災難復原和高可用性架構

在Google Cloud上設計正式版工作負載的應用程式架構時,平台的 HA 功能會直接影響 DR 架構。

備份和災難復原服務是集中式的雲端原生解決方案,用於備份及復原雲端和混合式工作負載。可快速復原資料,協助企業迅速恢復重要業務營運。

如要進一步瞭解如何將備份和災難復原服務用於Google Cloud上的應用程式情境,請參閱下列內容:

冷:可復原的應用程式伺服器

在需要單一有效伺服器執行個體的冷容錯移轉情境中,只有一個執行個體應寫入磁碟。在地端部署環境中,您通常會使用主動/被動叢集。在Google Cloud上執行正式環境時,您可以在代管執行個體群組中建立只執行一個執行個體的 VM。

這個模式使用下列災難復原建構模塊:

  • Compute Engine
  • 代管執行個體群組

以下範例架構圖顯示了這種冷容錯移轉情境:

當正式環境位於 Google Cloud時,復原作業的冷模式設定

以下步驟說明如何設定這個冷容錯移轉情境:

  1. 建立虛擬私有雲網路。
  2. 建立自訂 VM 映像檔,並設定應用程式網路服務。
    1. 設定 VM,讓應用程式服務處理的資料寫入附加的永久磁碟。
  3. 從連接的永久磁碟建立快照。
  4. 建立執行個體範本,參照網路伺服器的自訂 VM 映像檔。
    1. 設定開機指令碼,從最新快照建立永久磁碟,並掛接磁碟。這個指令碼必須能取得磁碟的最新快照。
  5. 建立代管執行個體群組和健康狀態檢查,目標大小為一,並參照執行個體範本。
  6. 建立排定工作,定期建立永久磁碟快照。
  7. 設定外部應用程式負載平衡器。
  8. 使用 Cloud Monitoring 設定快訊,在服務失敗時傳送快訊。

這個冷容錯移轉情境會利用 Google Cloud中提供的部分高可用性功能。如果 VM 故障,代管執行個體群組會嘗試自動重新建立 VM。您不必啟動這個容錯移轉步驟。外部應用程式負載平衡器可確保即使需要更換 VM,應用程式伺服器前端仍會使用相同的 IP 位址。執行個體範本和自訂映像檔可確保替換的 VM 設定與替換的執行個體相同。

RPO 取決於上次建立的快照。建立快照的頻率越高,RPO 值就越小。

代管執行個體群組提供深度高可用性。代管執行個體群組提供多種方法,可因應應用程式或 VM 層級的故障。如果發生上述任何情況,您不需要手動介入。目標大小為一,可確保代管執行個體群組中只有一個執行中的有效執行個體,且該執行個體會提供流量。

永久磁碟屬於可用區資源,因此如果可用區發生故障,您必須建立快照來重新建立磁碟。快照也可跨區域使用,因此您可以將磁碟還原至不同區域,就像還原至相同區域一樣。

萬一可用區故障,您必須手動介入復原,詳情請參閱下一節。

容錯移轉程序

如果 VM 故障,代管執行個體群組會自動嘗試在相同可用區重新建立 VM。執行個體範本中的開機指令碼會根據最新快照建立永久磁碟,並附加至新的 VM。

不過,如果可用區發生故障,大小為一的代管執行個體群組不會復原。在可用區故障的情況下,您必須在服務故障時,對 Cloud Monitoring 警告或其他監控平台做出反應,並在其他可用區手動建立執行個體群組。

這項設定的變化版本是使用區域性永久磁碟,而非可用區永久磁碟。這樣一來,您就不必使用快照,在復原步驟中還原永久磁碟。不過,這個變化版本會消耗兩倍的儲存空間,因此您需要為此編列預算。

您選擇的方法取決於預算、RTO 和 RPO 值。

暖:靜態網站容錯移轉

如果 Compute Engine 執行個體故障,您可以準備好以 Cloud Storage 為基礎的靜態網站,以減輕服務中斷的影響。如果網頁應用程式大多是靜態內容,就適合採用這個模式。

在這個情境中,主要應用程式會在 Compute Engine 執行個體上執行。這些執行個體會分組為代管執行個體群組,而執行個體群組會做為 HTTPS 負載平衡器的後端服務。HTTP 負載平衡器會依據負載平衡器設定、每個執行個體群組的設定及每個執行個體的健康狀態,將連入流量引導到執行個體。

這個模式使用下列災難復原建構模塊:

  • Compute Engine
  • Cloud Storage
  • Cloud Load Balancing
  • Cloud DNS

下圖說明此範例架構:

正式環境位於 Google Cloud時,暖容錯移轉至靜態網站的架構

以下步驟概述如何設定這個情境:

  1. 建立虛擬私有雲網路。
  2. 建立已設定應用程式網路服務的自訂映像檔。
  3. 建立執行個體範本,並使用該映像檔做為網路伺服器。
  4. 為網路伺服器設定代管執行個體群組。
  5. 使用 Monitoring 設定健康狀態檢查。
  6. 使用先前設定的代管執行個體群組,設定負載平衡。
  7. 建立以 Cloud Storage 為基礎的靜態網站。

在實際工作環境設定中,Cloud DNS 設定為指向這個主要應用程式,且待命靜態網站處於休眠狀態。如果 Compute Engine 應用程式故障,您可以將 Cloud DNS 設定為指向這個靜態網站。

容錯移轉程序

如果應用程式伺服器故障,復原程序是設定 Cloud DNS,指向靜態網站。下圖顯示復原模式中的架構:

正式環境位於 Google Cloud時,容錯移轉至靜態網站後的設定。

當應用程式 Compute Engine 執行個體再次執行,且可支援正式環境工作負載時,請反向執行復原步驟:設定 Cloud DNS,指向執行個體前端的負載平衡器。

或者,您也可以使用永久磁碟非同步複製。這項服務提供區塊儲存空間複製功能,具備低復原點目標 (RPO) 和低復原時間目標 (RTO),可執行跨區域的主動對被動 DR。有了這個儲存空間選項,您就能在基礎架構層級 (而非工作負載層級) 管理 Compute Engine 工作負載的複製作業。

熱:HA 網路應用程式

如果正式環境在 Google Cloud上執行,熱門模式是建立架構完善的高可用性部署。

這個模式使用下列災難復原建構模塊:

  • Compute Engine
  • Cloud Load Balancing
  • Cloud SQL

下圖說明此範例架構:

正式環境位於 Google Cloud時,熱門模式的架構

這個情境會利用 Google Cloud中的高可用性功能,您不必啟動任何容錯移轉步驟,因為發生災難時,系統會自動執行這些步驟。

如圖所示,此架構會使用地區代管執行個體群組,搭配全域負載平衡和 Cloud SQL 一起使用。這裡提供的範例使用地區代管執行個體群組,因此執行個體會分佈在三個區域。

使用這個方法,您就能獲得深度 HA。地區代管執行個體群組提供的機制可因應應用程式、執行個體或區域層級的錯誤,其中任何情境發生時,您都不需要手動介入。

若要在設定代管執行個體群組的過程中處理應用程式層級復原,請設定 HTTP 健康狀態檢查,確認服務在該群組的執行個體上正常運作。如果健康狀態檢查確定執行個體上的服務失敗,則群組會自動重建該執行個體。

如要進一步瞭解如何在Google Cloud上建構可擴充且具韌性的應用程式,請參閱「可擴充及具有韌性的應用程式模式」。

後續步驟