資料的災難復原情境

Last reviewed 2024-08-05 UTC

本文是探討 Google Cloud中災難復原 (DR) 系列文章的第三部分。本節說明備份及復原資料的情境。

本系列包含以下單元:

簡介

您必須在災難復原計畫中指定如何避免災難期間發生資料遺失的情形。這裡的「資料」一詞涵蓋兩種情境。備份並復原資料庫、記錄資料及其他資料類型符合下列其中一個情境:

  • 資料備份:光是資料備份作業,就牽涉將個別資料量複製到其他位置。備份是復原計畫的一部分,目的是從資料毀損中復原,以便直接在正式環境中還原至已知的良好狀態,或在正式環境停機時,在災難復原環境中還原資料。一般來說,資料備份具有低度到中度的 RTO 以及低度 RPO。
  • 資料庫備份:資料庫備份稍微複雜,因為備份作業通常需要復原至特定時間點。因此,除了考量如何備份與還原資料庫備份,並且確保復原資料庫系統反映實際工作環境設定 (相同版本、鏡像磁碟設定) 之外,您也需要考量如何備份交易記錄。在復原期間,還原資料庫功能後,您必須套用最新的資料庫備份,然後套用上次備份後備份的復原交易記錄。由於資料庫系統本身具有複雜因素 (例如必須比對正式環境和復原系統之間的版本),因此採用高可用性優先的方法,盡可能縮短從可能導致資料庫伺服器無法使用的情況中復原的時間,可讓您達到較小的 RTO 和 RPO 值。

在 Google Cloud上執行正式環境工作負載時,您可能會使用全球分散式系統,這樣一來,如果某個區域發生問題,應用程式仍可繼續提供服務,即使服務範圍較小也沒關係。基本上,該應用程式會叫用其 DR 計劃。

本文其餘部分將舉例說明如何為資料和資料庫設計一些情境,協助您達成 RTO 和 RPO 目標。

正式環境位於地端部署

在這個情境中,您的正式環境位於地端部署,而災難復原計畫涉及使用 Google Cloud 做為復原站點。

資料備份與復原

您可以運用多種策略,實作定期將資料從地端部署環境備份至 Google Cloud的程序。本節將介紹兩種最常見的解決方案。

解決方案 1:使用排程工作備份至 Cloud Storage

這個模式使用下列災難復原建構模塊:

  • Cloud Storage

備份資料的其中一個方法,是建立能夠執行指令碼或應用程式的排程工作,將資料移轉至 Cloud Storage。您可以使用 gcloud storage Google Cloud CLI 指令,或使用其中一個 Cloud Storage 用戶端程式庫,自動執行備份程序至 Cloud Storage。例如,下列 gcloud storage 指令會將來源目錄中的所有檔案複製到指定 bucket。

gcloud storage cp -r SOURCE_DIRECTORY gs://BUCKET_NAME

將 SOURCE_DIRECTORY 替換為來源目錄的路徑,並將 BUCKET_NAME 替換為您選擇的值區名稱。名稱必須符合 bucket 名稱規定。

下列步驟說明如何使用 gcloud storage 指令實作備份和復原程序。

  1. 在用於上傳資料檔案的地端部署機器上安裝 gcloud CLI。
  2. 建立 bucket 做為資料備份目標。
  3. 建立服務帳戶。
  4. 建立 IAM 政策,限制可存取 bucket 及其物件的使用者。請加入專為此目的建立的服務帳戶。如要進一步瞭解 Cloud Storage 的存取權限,請參閱「gcloud storage 的 IAM 權限」。
  5. 使用服務帳戶模擬功能,讓本機 Google Cloud使用者 (或服務帳戶) 模擬您剛才建立的服務帳戶。或者,您也可以建立專門用於這項操作的新使用者。
  6. 測試您是否可以上傳及下載目標 bucket 中的檔案。
  7. 使用 Linux crontab 和 Windows 工作排程器等工具,為上傳備份的指令碼設定排程。
  8. 設定復原程序,使用 gcloud storage 指令將資料復原至 Google Cloud上的復原 DR 環境。

您也可以使用 gcloud storage rsync 指令,在資料和 Cloud Storage bucket 之間執行即時增量同步。

舉例來說,下列 gcloud storage rsync 指令會複製任何缺少的檔案或物件,或資料已變更的檔案或物件,讓 Cloud Storage bucket 中的內容與來源目錄中的內容相同。如果連續備份工作階段之間變更的資料量,相對於來源資料的總量較小,則使用 gcloud storage rsync 可能會比使用 gcloud storage cp 指令更有效率。使用 gcloud storage rsync,即可更頻繁地執行備份,並降低 RPO。

gcloud storage rsync -r SOURCE_DIRECTORY gs:// BUCKET_NAME 

詳情請參閱「gcloud storage 指令:用於傳輸較少的地端部署資料」。

解決方案 2:使用 Transfer Service for On Premises Data 將資料備份至 Cloud Storage

這個模式使用下列災難復原建構模塊:

  • Cloud Storage
  • Transfer Service for On Premises Data

透過網路移轉大量資料時,通常需要審慎規劃並採取穩健的執行策略。開發可擴充、可靠且可維護的自訂指令碼並非易事。自訂指令碼通常會導致 RPO 值降低,甚至增加資料遺失的風險。

如需將大量資料從地端部署位置移至 Cloud Storage 的指引,請參閱「從地端部署儲存空間移動或備份資料」。

解決方案 3:使用合作夥伴閘道解決方案備份至 Cloud Storage

這個模式使用下列災難復原建構模塊:

  • Cloud Interconnect
  • Cloud Storage 分層儲存空間

內部部署應用程式通常會與第三方解決方案整合,作為資料備份與復原策略的一部分。這些解決方案通常採用分層儲存模式,在較快的儲存空間儲存最新的備份,並將較舊的備份緩慢遷移至較便宜 (緩慢) 的儲存空間。使用 Google Cloud 做為目標時,您可以使用多種儲存空間級別選項,做為速度較慢層級的等效選項。

如要實作這個模式,其中一種方法是在地端部署儲存空間和 Google Cloud 之間使用合作夥伴閘道,以便將資料移轉至 Cloud Storage。下圖顯示的配置具有管理從內部部署 NAS 設備或 SAN 進行移轉的合作夥伴解決方案。

架構圖:地端部署資料中心透過專屬互連網路連至 Google Cloud 。

發生失敗時,您需要將備份的資料復原到 DR 環境。在您能還原至正式環境之前,DR 環境會用於提供正式環境流量。達成目標的方式將取決於您的應用程式、合作夥伴解決方案及其架構 (DR 應用程式說明文件將會討論部分端對端情境)。

您也可以使用代管 Google Cloud 資料庫做為災難復原目的地。舉例來說,SQL Server 適用的 Cloud SQL 支援匯入交易記錄。您可以從地端部署 SQL Server 執行個體匯出交易記錄,上傳至 Cloud Storage,然後匯入 SQL Server 適用的 Cloud SQL。

如需進一步瞭解如何將資料從地端部署環境轉移至Google Cloud,請參閱「將大數據資料集轉移至 Google Cloud」。

如要進一步瞭解合作夥伴解決方案,請參閱「尋找合適的 Google Cloud 合作夥伴」。

資料庫備份與復原

您可以採用多種策略,實作將資料庫系統從地端部署環境復原至 Google Cloud的程序。本節將介紹兩種最常見的解決方案。

本文件不詳細討論第三方資料庫內建的各種備份和復原機制。本節僅就本文探討的解決方案提供實作的一般指引。

解決方案 1:使用 Google Cloud上的復原伺服器備份及復原

  1. 使用資料庫管理系統的內建備份機制建立資料庫備份。
  2. 連結地端部署網路和 Google Cloud 網路。
  3. 建立 Cloud Storage bucket,做為資料備份的目標。
  4. 使用 gcloud storage gcloud CLI 或合作夥伴閘道解決方案,將備份檔案複製到 Cloud Storage (請參閱先前在資料備份和復原一節中討論的步驟)。詳情請參閱「遷移至 Google Cloud:移動大型資料集」。
  5. 將交易記錄複製到 Google Cloud上的復原網站。備份交易記錄有助於降低 RPO 值。

設定這個備份拓撲後,您必須確保能復原至 Google Cloud上的系統。這個步驟通常不只要將備份檔案還原至目標資料庫,還要重播交易記錄,以達到最小的 RTO 值。復原順序通常為:

  1. 在 Google Cloud上建立資料庫伺服器的自訂映像檔。映像檔中的資料庫伺服器設定,應與地端部署資料庫伺服器相同。
  2. 實作將內部部署備份檔案與交易記錄檔複製到 Cloud Storage 的程序。有關實作範例請參見解決方案 1。
  3. 從自訂映像檔啟動最小規模的執行個體,並附加任何必要的永久磁碟。
  4. 將永久磁碟的自動刪除旗標設為 false。
  5. 按照資料庫系統對於復原備份檔案的操作說明,套用先前複製到 Cloud Storage 的最新備份檔案。
  6. 套用已複製到 Cloud Storage 的最新一組交易記錄檔。
  7. 將最小執行個體替換為較大的執行個體,以便接受實際工作環境流量。
  8. 將用戶端切換至 Google Cloud中復原的資料庫。

當正式環境運作正常,且能支援正式環境工作負載時,您必須反向執行容錯移轉至Google Cloud 復原環境的步驟。返回正式環境的一般程序如下:

  1. 備份在 Google Cloud上執行的資料庫。
  2. 將備份檔案複製到正式環境。
  3. 將備份檔案套用到實際工作環境的資料庫系統。
  4. 禁止用戶端連線至Google Cloud中的資料庫系統,例如停止資料庫系統服務。從此時開始,應用程式將無法使用,直到您完成還原正式環境為止。
  5. 將所有交易記錄檔複製到正式環境並套用。
  6. 將用戶端連線重新導向至正式環境。

解決方案 2:複製到 Google Cloud上的待命伺服器

如要達到極小的 RTO 和 RPO 值,其中一種方法是即時複製 (不只是備份) 資料,有時也包括資料庫狀態,並將其複製到資料庫伺服器的副本。

  1. 連結地端部署網路和 Google Cloud 網路。
  2. 在 Google Cloud上建立資料庫伺服器的自訂映像檔。映像檔中的資料庫伺服器設定,應與地端部署資料庫伺服器的設定相同。
  3. 從自訂映像檔啟動執行個體,並連接任何必要的永久磁碟。
  4. 將永久磁碟的自動刪除旗標設為 false。
  5. 按照資料庫軟體專屬的操作說明,設定地端部署資料庫伺服器與 Google Cloud 中目標資料庫伺服器之間的複製作業。
  6. 在正常作業下設定用戶端以指向內部部署的資料庫伺服器。

設定這個複製拓撲後,請將用戶端切換為指向在 Google Cloud 網路中執行的待命伺服器。

當正式環境備份完成,且能支援正式環境工作負載時,您必須將正式環境資料庫伺服器與Google Cloud 資料庫伺服器重新同步,然後將用戶端切換回指向正式環境

正式環境為 Google Cloud

在這種情況下,正式環境和災難復原環境都會在 Google Cloud上執行。

資料備份與復原

常見的資料備份模式是使用分層儲存模式。當正式環境工作負載位於 Google Cloud時,分層儲存系統會如下圖所示。由於不太可能會需要存取備份資料,因此您可以將資料移轉至儲存費用較低的分層。

這個模式使用下列災難復原建構模塊:

概念圖:顯示資料從永久磁碟遷移至 Nearline,再遷移至 Coldline 時,成本會降低。

Nearline、Coldline 和 Archive Storage 級別用於儲存不常存取的資料,因此擷取這些級別中儲存的資料或中繼資料時,會產生額外費用,且有最低儲存時間長度,您必須支付相關費用。

資料庫備份與復原

使用自行代管的資料庫 (例如已在 Compute Engine 執行個體上安裝 MySQL、PostgreSQL 或 SQL Server 時),跟管理實際工作環境的內部部署資料庫一樣有操作考量,但您不再需要管理其中的基礎架構。

備份和災難復原服務是集中式的雲端原生解決方案,用於備份及復原雲端和混合式工作負載。可快速復原資料,協助企業迅速恢復重要業務營運。

如要進一步瞭解如何在 Google Cloud上使用備份和災難復原服務,處理自行管理的資料庫情境,請參閱下列內容:

或者,您也可以使用適當的DR 建構模塊功能設定高可用性,以縮短 RTO。您可以設計資料庫設定,盡可能復原到災難發生前的狀態,這有助於降低 RPO 值。 Google Cloud 提供多種選項,可因應這種情況。

本節將討論兩種常見的方法,用於為 Google Cloud 上的自行管理資料庫設計資料庫復原架構。

復原資料庫伺服器,但不進行狀態同步

常見的模式是啟用資料庫伺服器的復原功能,不需要將系統狀態與最新的待命副本同步。

這個模式使用下列災難復原建構模塊:

  • Compute Engine
  • 代管執行個體群組
  • Cloud Load Balancing (內部負載平衡)

下圖說明能解決這個情境的範例架構。透過實作這個架構,您將設置能夠自動回應失敗而無需手動復原的 DR 計畫。

顯示從特定區域的永久磁碟擷取的永久磁碟映像檔的架構圖

以下步驟概述如何設定這個情境:

  1. 建立虛擬私有雲網路。
  2. 請按照下列步驟,建立已設定資料庫伺服器的自訂映像檔:

    1. 進行伺服器設定,讓資料庫檔案與記錄檔寫入到附加的標準永久磁碟。
    2. 從連接的永久磁碟建立快照。
    3. 設定開機指令碼以從快照建立永久磁碟及掛接磁碟。
    4. 建立開機磁碟的自訂映像檔。
  3. 建立使用該映像檔的執行個體範本。

  4. 使用執行個體範本,設定目標大小為 1 的代管執行個體群組。

  5. 使用 Cloud Monitoring 指標設定健康狀態檢查。

  6. 使用代管執行個體群組設定內部負載平衡。

  7. 設定排程工作,定期建立永久磁碟快照。

在需要替換資料庫執行個體時,這個設定將會自動執行下列工作:

  • 在相同可用區中,啟動另一個版本正確的資料庫伺服器。
  • 將具有最新備份與交易記錄檔案的永久磁碟,連結到剛建立的資料庫伺服器執行個體。
  • 儘可能避免重新設定為回應事件而與資料庫伺服器進行通訊的用戶端。
  • 確保適用於正式環境資料庫伺服器的 Google Cloud 安全性控管機制 (IAM 政策、防火牆設定),也適用於復原的資料庫伺服器。

由於替代執行個體是從執行個體範本建立,原本套用的控制設定也會套用到替代執行個體。

這個情境會利用Google Cloud中提供的部分高可用性功能;您不必啟動任何容錯移轉步驟,因為發生災難時,系統會自動執行這些步驟。內部負載平衡器可確保即使需要替代執行個體,資料庫伺服器也會使用相同的 IP 位址。執行個體範本和自訂映像檔,可確保替代執行個體的設定與被替換的執行個體完全相同。透過定期擷取永久磁碟的快照,您可確保從快照重新建立磁碟並連結至替代執行個體時,替代執行個體會根據快照頻率指示的 RPO 值使用復原的資料。在此架構中,系統也會自動復原寫入永久磁碟的最新交易記錄檔。

代管執行個體群組提供深度高可用性。這項服務提供機制,可因應應用程式或執行個體層級的故障,因此如果發生上述任何情況,您不必手動介入。將目標大小設為一,可確保代管執行個體群組中只有一個執行中的有效執行個體,且該執行個體會提供流量。

標準永久磁碟為區域磁碟,所以如果發生區域失敗,則需使用快照來重新建立磁碟。快照也可跨區域使用,因此您不僅能在同一區域內還原磁碟,也能還原至其他區域。

這項設定的變化版本是使用區域性永久磁碟,而非標準永久磁碟。在這種情況下,您不需要在復原步驟中還原快照。

您的選擇取決於您的預算及 RTO 與 RPO 值。

從部分損毀的超大型資料庫中復原

永久磁碟非同步複製提供低 RPO 和低 RTO 的區塊儲存空間複製功能,適用於跨區域主動對被動災難復原。這項儲存空間選項可讓您在基礎架構層級 (而非工作負載層級) 管理 Compute Engine 工作負載的複製作業。

如果使用的資料庫能夠儲存 PB 規模的資料量,則資料庫服務中斷可能會影響到部分資料,但不至於全部資料都受影響。在此情況下,您應該盡量減少需要還原的資料量;您不需要 (也不會想要) 為了還原部分資料而復原整個資料庫。

以下是您可以採取的幾個緩解策略。

  • 將資料按照特定時間範圍儲存於不同的資料表。這個方法可確保您只需要還原資料子集到新資料表,不用還原整個資料集。
  • 將原始資料儲存於 Cloud Storage。這種做法可讓您建立新資料表,並重新載入未損毀的資料。接著,您可以調整應用程式以指向新的資料表。

此外,如果 RTO 允許,您可以將應用程式設為離線來避免存取具有損毀資料的資料表,直到未損毀的資料還原到新資料表為止。

Google Cloud的代管資料庫服務

本節說明一些方法,可用於為Google Cloud上的代管資料庫服務實作適當的備份和復原機制。

代管資料庫採用可調整規模的設計,因此通常不會有傳統 RDMB 中的傳統備份與還原機制。如同自我管理資料庫,如果您採用的是能夠儲存 PB 規模資料量的資料庫,則需要儘可能減少 DR 情境中需要還原的資料量。已有針對各個代管資料庫提供各種策略來協助您達到這個目標。

Bigtable 提供 Bigtable 複製功能。與單一叢集相比,複製的 Bigtable 資料庫可提供更高的可用性、額外的讀取處理量,以及更高的耐用性和彈性,可因應可用區或區域故障。

Bigtable 備份是全代管服務,可讓您儲存資料表結構定義和資料的副本,日後再透過備份還原至新的資料表。

您也可以將 Bigtable 中的資料表匯出為一系列 Hadoop 序列檔案。接著,您可以將這些檔案儲存在 Cloud Storage 中,或使用這些檔案將資料匯回另一個 Bigtable 執行個體。您可以在 Google Cloud 區域內,跨可用區非同步複製 Bigtable 資料集。

BigQuery。如要封存資料,可以利用 BigQuery 的長期儲存空間。如果資料表連續 90 天未經編輯,該資料表的儲存空間價格會自動降低 50%。當系統將特定資料表的使用方式歸類為長期儲存模式時,其效能、耐用性、可用性或任何其他功能都不會降低。不過,資料表經過編輯之後,就會恢復為標準儲存價格,先前累計的 90 天閒置期也會重新開始計算。

BigQuery 會複製到單一區域中的兩個可用區,但這無法解決資料表損毀的問題。因此,您需要制定計畫,以便在這種情況下復原。例如,您可以執行以下操作:

  • 如果是在過去 7 天內發生損毀,請查詢過去時間點的資料表,以使用快照修飾符復原損毀前的資料表。
  • 從 BigQuery 匯出資料,然後建立包含匯出資料但排除損毀資料的新資料表。
  • 將資料按照特定時間範圍儲存於不同的資料表。這個方法可確保您只需要還原資料子集到新資料表,不用還原整個資料集。
  • 在特定時間範圍內建立資料集副本。如果資料損毀事件發生的時間超出時間點查詢可擷取的範圍 (例如超過 7 天前),您可以使用這些副本。您也可以將資料集從一個區域複製到另一個區域,確保區域故障時資料仍可使用。
  • 將原始資料儲存在 Cloud Storage,以便建立新資料表並重新載入未損毀的資料。接著,您可以調整應用程式以指向新的資料表。

Firestore。代管匯出和匯入服務可讓您使用 Cloud Storage bucket 匯入及匯出 Firestore 實體。接著,您可以實作程序,用於復原意外刪除的資料。

Cloud SQL。如果您使用 Cloud SQL (全代管Google Cloud MySQL 資料庫),請為 Cloud SQL 執行個體啟用自動備份和二進位記錄功能。這種方法可讓您執行時間點復原,從備份還原資料庫,並將資料庫復原至新的 Cloud SQL 執行個體。詳情請參閱「Cloud SQL 備份簡介」和「Cloud SQL 災難復原 (DR) 簡介」。

您也可以將 Cloud SQL 設為高可用性設定和跨區域副本,在可用區或區域故障時,盡可能延長運作時間。

如果您為 Cloud SQL 啟用幾乎無停機時間的計畫維護作業,可以模擬 MySQL 適用的 Cloud SQL 和 PostgreSQL 適用的 Cloud SQL 的幾乎無停機時間計畫維護事件,評估維護事件對執行個體的影響。

如果是 Cloud SQL Enterprise Plus 版本,您可以使用進階災難復原 (DR),在執行跨區域容錯移轉後,簡化復原和容錯回復程序,且不會遺失任何資料。

Spanner:您可以使用 Dataflow 範本,將資料庫完整匯出為 Cloud Storage bucket 中的一組 Avro 檔案,並使用其他範本將匯出的檔案重新匯入新的 Spanner 資料庫。

如要進一步控管備份,可以使用 Dataflow 連接器編寫程式碼,在 Dataflow 管道中讀取及寫入 Spanner 資料。例如,您可以使用連接器將資料從 Spanner 複製到 Cloud Storage,做為備份目標。從 Spanner 讀取資料 (或將資料寫回 Spanner) 的速度,取決於設定的節點數量。這會直接影響 RTO 值。

Spanner 修訂版本時間戳記功能可用於增量備份,讓您只選取上次完整備份後新增或修改的資料列。

如要使用代管備份,Spanner 備份與還原可讓您建立一致的備份,最多可保留 1 年。與匯出相比,RTO 值較低,因為還原作業會直接掛接備份,不會複製資料。

如果 RTO 值較小,您可以設定暖待命 Spanner 執行個體,並設定符合儲存空間和讀寫處理量需求所需的最低節點數量。

Spanner 時間點復原 (PITR) 功能可讓您復原過去特定時間點的資料。舉例來說,如果操作人員不小心寫入資料,或應用程式推出作業損毀資料庫,您可以使用 PITR 復原過去某個時間點的資料,最長可達 7 天。

Managed Airflow。您可以使用 Managed Airflow (代管版 Apache Airflow),排定多個Google Cloud 資料庫的定期備份作業。您可以建立有向無環圖 (DAG),並排定執行時間 (例如每天),將資料複製到其他專案、資料集或資料表 (視使用的解決方案而定),或將資料匯出至 Cloud Storage。

有各種不同的 Cloud Platform 運算子可用來匯出或複製資料:

舉例來說,您可以建立 DAG 來執行下列任一操作:

實際工作環境為另一個雲端

在這個情境中,您的正式環境使用其他雲端服務供應商,而災難復原計畫涉及使用 Google Cloud 做為復原網站。

資料備份與復原

在物件儲存庫之間移轉資料,是災難復原情境的常見用途。Storage 移轉服務與 Amazon S3 相容,是將物件從 Amazon S3 移轉至 Cloud Storage 的建議方式。

您可以設定移轉工作,安排定期將資料從資料來源同步至資料接收器,並根據檔案建立日期、檔案名稱篩選器和偏好的資料移轉時段,使用進階篩選器。如要達到所需的 RPO,您必須考量下列因素:

  • 變化率:在指定時間內產生或更新的資料量。變更率越高,在每個增量移轉期間,將變更移轉至目的地所需的資源就越多。

  • 傳輸效能。傳輸檔案所需的時間。如果是大型檔案傳輸,這通常取決於來源和目的地之間的可用頻寬。不過,如果移轉工作包含大量小型檔案,QPS 可能會成為限制因素。在這種情況下,只要頻寬足夠,您就可以排定多項並行工作,提高效能。建議您使用實際資料的代表性子集,評估移轉效能。

  • 頻率:備份工作之間的時間間隔。目的地資料的新鮮度取決於上次排定移轉工作的時間。因此,請務必確保連續移轉工作之間的間隔不超過 RPO 目標。舉例來說,如果 RPO 目標是 1 天,則轉移工作的排程頻率必須至少為每天一次。

  • 監控與快訊。Storage 移轉服務會針對各種事件提供 Pub/Sub 通知。建議您訂閱這些通知,以便處理非預期的失敗或工作完成時間變更。

資料庫備份與復原

本文件不會詳細討論第三方資料庫內建的各種備份和復原機制,或是在其他雲端服務供應商使用的備份和復原技術。如果在運算服務上執行的是非代管資料庫,您可以妥善利用實際工作環境的雲端服務供應商提供的 HA 設施。您可以擴充這些功能,將高可用性部署項目納入 Google Cloud,或使用 Cloud Storage 做為資料庫備份檔案冷儲存空間的最終目的地。

後續步驟