本文件屬於系列文章,探討 Google Cloud中的災難復原 (DR)。本文說明如何將「為位置受限的工作負載建立災難復原架構」一文中的位置限制套用至資料分析應用程式。具體來說,本文說明資料分析平台中使用的元件,如何融入符合應用程式或資料可能受限的本地限制 DR 架構。
本系列文章包含以下部分:
- 災難復原規劃指南
- 災難復原構成元素
- 資料災難復原情境
- 應用程式的災難復原情境
- 為位置受限的工作負載建立災難復原架構
- 為雲端基礎架構服務中斷建立災難復原架構
- 災難復原用途:位置受限的資料分析應用程式 (本文件)
本文適用對象為系統架構師和 IT 經理。本文假設您具備下列知識和技能:
- 基本熟悉 Google Cloud 資料分析服務,例如 Dataflow、Managed Service for Apache Spark、Managed Service for Apache Airflow、Pub/Sub、Cloud Storage 和 BigQuery。
- 對 Google Cloud 網路服務有基本瞭解,例如 Cloud Interconnect 和 Cloud VPN。
- 熟悉災難復原計畫。
- 熟悉 Apache Hive 和 Apache Spark。
資料分析平台的資料位置規定
資料分析平台通常是複雜的多層式應用程式,會儲存靜態資料。這些應用程式會產生事件,並在分析系統中處理及儲存。應用程式本身和系統中儲存的資料都可能受到位置法規的規範。這些法規不僅因國家/地區而異,也因產業別而異。因此,在開始設計災難復原架構之前,請務必清楚瞭解資料位置需求。
您可以回答下列兩個問題,判斷資料分析平台是否有任何位置要求:
- 應用程式是否需要部署至特定區域?
- 靜態資料是否僅限於特定區域?
如果這兩個問題的答案都是「否」,代表資料分析平台沒有任何特定地區的要求。由於您的平台沒有位置要求,請按照災難復原規劃指南中概述的災難復原指南,使用符合規定的服務和產品。
不過,如果您對任一問題回答「是」,則應用程式會受到地區限制。由於數據分析平台有地區限制,您必須詢問以下問題: 是否可以使用加密技術來降低靜態資料需求?
如果您可以使用加密技術,則可使用 Cloud External Key Manager 和 Cloud Key Management Service 的多區域和雙區域服務。接著,您也可以按照「資料災難復原情境」中概述的標準高可用性和災難復原 (HA/DR) 技術操作。
如果您無法使用加密技術,則必須使用自訂解決方案或合作夥伴產品來規劃災難復原。如要進一步瞭解如何處理災難復原情境的位置限制,請參閱「為位置受限的工作負載建立災難復原架構」。
資料分析平台的元件
瞭解位置需求後,下一步是瞭解資料分析平台使用的元件。資料分析平台的一些常見元件包括資料庫、資料湖泊、處理管道和資料倉儲,如下列清單所述:
- Google Cloud 提供一組資料庫服務,適用於不同用途。
資料湖泊、資料倉儲和處理管道的定義可能略有不同。本文件使用一組定義,參照 Google Cloud 服務:
- 資料湖泊是可擴充的安全平台,可從多個系統擷取及儲存資料。典型的資料湖泊可能會使用 Cloud Storage 做為中央儲存庫。
- 處理管道是端對端程序,會從一或多個系統擷取資料或事件、轉換資料或事件,並載入另一個系統。管道可採用擷取、轉換和載入 (ETL) 程序,或擷取、載入和轉換 (ELT) 程序。通常,載入處理後資料的系統是資料倉儲。Pub/Sub、Dataflow 和 Managed Service for Apache Spark 是處理管道中常用的元件。
- 資料倉儲是一種企業系統,用於分析資料和製作報表,資料通常來自作業資料庫。BigQuery 是常用的資料倉儲系統,在 Google Cloud上執行。
實際的 DR 實作方式會因位置要求和使用的資料分析元件而異。以下各節將透過兩個用途示範這項變化。
批次用途:週期性 ETL 工作
第一個用途是批次處理,零售平台會定期從各家商店收集銷售事件檔案,然後將檔案寫入 Cloud Storage bucket。下圖說明這家零售商批次工作的資料分析架構。
此架構包含下列階段和元件:
- 擷取階段包含商店將銷售點 (POS) 資料傳送至 Cloud Storage。這些擷取的資料會等待處理。
- 自動化調度管理階段會使用 Managed Airflow,自動調度管理端對端批次管道。
- 處理階段涉及在 Managed Service for Apache Spark 叢集上執行的 Apache Spark 工作。Apache Spark 工作會對擷取的資料執行 ETL 程序。這項 ETL 程序會提供業務指標。
- 資料湖泊階段會擷取處理過的資料,並將資訊儲存在下列元件中:
- 處理後的資料通常會以 Parquet 和 ORC 等 Cloud Storage 資料欄格式儲存,因為這些格式可有效率地儲存資料,並加快分析工作負載的存取速度。
- 程序資料 (例如資料庫、資料表、資料欄和分區) 的中繼資料,會儲存在 Dataproc Metastore 提供的 Hive metastore 服務中。
在受限於位置的情況下,可能難以提供備援處理和自動化調度管理能力,以維持可用性。由於資料是以批次處理,因此可以重新建立處理和 Orchestration Pipelines,並在災難情境解決後重新啟動批次工作。因此,災難復原的核心重點是復原實際資料:擷取的 POS 資料、儲存在資料湖泊中的已處理資料,以及儲存在資料湖泊中的中繼資料。
擷取至 Cloud Storage
首先應考量的是,用於從 POS 系統擷取資料的 Cloud Storage bucket,其位置需求為何。考量下列選項時,請使用這項位置資訊:
- 如果當地法規允許靜態資料存放在多區域或雙區域位置,請在建立 Cloud Storage bucket 時選擇對應的位置類型。您選擇的位置類型會決定要使用哪些 Google Cloud 區域來複製靜態資料。如果其中一個區域發生服務中斷,您仍可存取多區域或雙區域 bucket 中的資料。
- Cloud Storage 也支援客戶自行管理的加密金鑰 (CMEK) 和客戶提供的加密金鑰 (CSEK)。部分地區法規允許您使用 CMEK 或 CSEK 管理金鑰,並將靜態資料儲存在多個位置。如果當地法規允許使用 CMEK 或 CSEK,您可以將災難復原架構設計為使用 Cloud Storage 區域。
- 您的位置需求可能不允許您使用位置類型或加密金鑰管理。如果無法使用位置類型或加密金鑰管理功能,可以使用
gcloud storage rsync指令,將資料同步到其他位置,例如地端部署儲存空間或其他雲端服務供應商的儲存空間解決方案。
如果發生災難,Cloud Storage bucket 中擷取的 POS 資料可能含有尚未處理並匯入資料湖泊的資料。或者,POS 資料可能無法擷取至 Cloud Storage bucket。在這種情況下,您有下列災難復原選項:
讓 POS 系統重試。如果系統無法將 POS 資料寫入 Cloud Storage,資料擷取程序就會失敗。為緩解這種情況,您可以實施重試策略,讓 POS 系統重試資料擷取作業。由於 Cloud Storage 提供高耐用性,因此在 Cloud Storage 服務恢復後,資料擷取和後續處理管道將繼續運作,幾乎不會遺失資料。
複製擷取的資料。Cloud Storage 支援多區域和雙區域位置類型。視資料位置需求而定,您或許可以設定多區域或雙區域 Cloud Storage bucket,提高資料可用性。您也可以使用
gcloud storageGoogle Cloud CLI 指令等工具,在 Cloud Storage 和其他位置之間同步處理資料。
自動調度管理及處理擷取的 POS 資料
在批次用途的架構圖中,Managed Airflow 會執行下列步驟:
- 驗證新檔案是否已上傳至 Cloud Storage 擷取 bucket。
- 啟動臨時 Managed Service for Apache Spark 叢集。
- 啟動 Apache Spark 工作來處理資料。
- 在工作結束時刪除 Managed Service for Apache Spark 叢集。
Managed Airflow 會使用有向無環圖 (DAG) 檔案定義這些步驟。這些 DAG 檔案儲存在 Cloud Storage bucket 中,但未顯示在架構圖中。就雙區域和多區域位置而言,DAG 檔案 bucket 的 DR 考量與擷取 bucket 相同。
Managed Service for Apache Spark 叢集為暫時性,也就是說,叢集只會在處理階段執行期間存在。由於這種暫時性,您不必針對 Managed Service for Apache Spark 叢集採取任何災難復原措施。
使用 Cloud Storage 儲存資料湖泊
用於資料湖泊的 Cloud Storage bucket 與用於擷取 bucket 的位置考量相同:雙區域和多區域考量、使用加密,以及使用 gcloud storage rsync gcloud CLI 指令。
為資料湖泊設計災難復原計畫時,請考量下列事項:
資料大小。資料湖泊中的資料量可能很大。還原大量資料需要時間。在 DR 情境中,您必須考量資料湖泊的資料量對資料還原時間的影響,確保還原後的資料符合下列條件:
- 您的應用程式已可使用。
- 您達到復原時間目標 (RTO) 值。
- 您會取得符合復原點目標 (RPO) 值所需的資料檢查點。
在目前的批次用途中,Cloud Storage 是資料湖泊位置,可提供高耐用性。不過,勒索軟體攻擊事件日益增加。為確保您能從這類攻擊中復原,建議您遵循「Cloud Storage 如何提供 99.999999999% 的耐用性」一文所述的最佳做法。
資料依賴。資料湖泊中的資料通常會由資料分析系統的其他元件 (例如處理管道) 使用。在 DR 情境中,處理管道和其依賴的資料應共用相同的 RTO。在這種情況下,請著重於系統可停機的時間長度。
資料存在時間:歷來資料可能允許較高的 RPO。這類資料可能已由其他資料分析元件分析或處理,並可能保存在另一個具有專屬 DR 策略的元件中。舉例來說,匯出至 Cloud Storage 的銷售記錄會每天匯入 BigQuery 進行分析。如果 BigQuery 具備適當的 DR 策略,已匯入 BigQuery 的歷來銷售記錄,復原目標可能低於未匯入的記錄。
使用 Dataproc Metastore 儲存資料湖泊中繼資料
Dataproc Metastore 是 Apache Hive metastore,具備全代管、高可用性、自動修復和無伺服器等特性。metastore 提供資料抽象化和資料探索功能。發生災難時,您可以備份和還原 metastore。Dataproc Metastore 服務也支援匯出和匯入中繼資料。您可以新增工作來匯出 metastore,並與 ETL 工作一起維護外部備份。
如果遇到中繼資料不相符的情況,您可以使用 MSCK 指令,從資料本身重新建立 metastore。
串流用途:使用 ELT 變更資料擷取
第二個應用實例說明零售平台如何使用變更資料擷取 (CDC) 更新後端庫存系統,並追蹤即時銷售指標。下圖顯示的架構會處理 Cloud SQL 等交易資料庫中的事件,然後將事件儲存在資料倉儲中。
此架構包含下列階段和元件:
- 擷取階段包含將傳入的變更事件推送至 Pub/Sub。Pub/Sub 是訊息傳遞服務,可用於可靠地擷取及發布串流分析資料。Pub/Sub 還有可擴充和無伺服器的優點。
- 處理階段涉及使用 Dataflow 對擷取的事件執行 ELT 程序。
- 資料倉儲階段會使用 BigQuery 儲存處理後的事件。合併作業會在 BigQuery 中插入或更新記錄。這項作業可讓 BigQuery 中儲存的資訊與交易資料庫保持最新。
雖然這個 CDC 架構不依賴 Managed Airflow,但部分 CDC 架構需要 Managed Airflow,才能自動調度管理串流與批次工作負載的整合。在這種情況下,Managed Airflow 工作流程會實作完整性檢查、補充和預測,這些作業因延遲限制而無法即時完成。如要瞭解 Managed Airflow 的 DR 技術,請參閱本文稍早討論的批次處理用途。
規劃串流資料管道的災難復原架構時,請考量下列事項:
- 管道依附元件。處理管道會從一或多個系統 (來源) 接收輸入內容,接著,管道會處理、轉換這些輸入內容,並儲存至其他系統 (接收器)。設計 DR 架構時,請務必考量如何達成端對端 RTO。您必須確保資料來源和接收器的 RPO 可讓您達到 RTO。除了設計雲端架構來滿足位置需求外,您也需要設計原始 CDC 來源,以符合端對端 RTO。
- 加密和位置。如果加密可讓您減輕位置限制,則可使用 Cloud KMS 達成下列目標:
- 管理自己的加密金鑰。
- 善用個別服務的加密功能。
- 在因位置限制而無法使用的區域部署服務。
- 動態資料的本地化規則。某些地區規則可能僅適用於靜態資料,不適用於動態資料。如果當地法規不適用於傳輸中的資料,請設計災難復原架構,使用其他區域的資源來改善復原目標。您可以整合加密技術,補充區域性做法。
擷取至 Pub/Sub
如果沒有位置限制,可以將訊息發布至全球 Pub/Sub 端點。全域 Pub/Sub 端點可從任何Google Cloud 位置查看及存取。
如果您的位置要求允許使用加密,則可設定 Pub/Sub,達到與全域端點類似的高可用性。雖然 Pub/Sub 訊息預設會使用Google-owned and Google-managed encryption keys 加密,但您可以設定 Pub/Sub 改用 CMEK。將 Pub/Sub 與 CMEK 搭配使用,即可遵守加密相關的本地規則,同時維持高可用性。
部分地區法規要求訊息即使經過加密,也必須保留在特定位置。如果您的地區法規有這項限制,可以指定 Pub/Sub 主題的訊息儲存政策,並將其限制在某個區域。如果採用這種訊息儲存方式,發布至主題的訊息一律不會保留在您指定的 Google Cloud 區域集以外。如果您的位置規則允許使用多個 Google Cloud 區域,您可以在 Pub/Sub 主題中啟用這些區域,提高服務可用性。請注意,如果實施訊息儲存政策來限制 Pub/Sub 資源位置,可用性會受到影響。
Pub/Sub 訂閱項目可讓您儲存未確認的訊息,最多可儲存 7 天,且訊息數量不受限制。如果服務等級協議允許延遲資料,您可以在管道停止執行時,將資料緩衝處理至 Pub/Sub 訂閱項目。管道再次執行時,您就可以處理備份的事件。這種設計的優點是 RPO 較低。如要進一步瞭解 Pub/Sub 的資源限制,請參閱「Pub/Sub 配額的資源限制」。
使用 Dataflow 處理事件
Dataflow 是可執行各種資料處理模式的代管服務。Apache Beam SDK 是開放原始碼程式設計模型,可讓您開發批次和串流管道。您可以使用 Apache Beam 程式建立管道,然後在 Dataflow 服務上執行。
設計位置限制時,您必須考量來源、接收器和暫存檔案的位置。如果這些檔案位置位於工作區域外部,資料可能會跨區域傳送。如果當地法規允許在其他位置處理資料,請設計 DR 架構,在其他 Google Cloud 區域部署 worker,提供高可用性。
如果資料在地化限制規定只能在單一位置處理資料,您可以建立 Dataflow 工作,並限制在特定區域或可用區執行。提交 Dataflow 工作時,您可以指定區域端點、worker 區域和 worker 可用區參數。這些參數可控管 worker 的部署位置,以及工作中繼資料的儲存位置。
Apache Beam 提供的架構可讓管道在各種執行工具中執行。您可以設計災難復原架構,充分運用這項功能。舉例來說,您可以設計 DR 架構,使用 Apache Spark Runner 在本機地端部署 Spark 叢集上執行備份管道。如要瞭解特定執行器是否能執行特定管道作業,請參閱 Beam 功能矩陣。
如果加密功能可讓您減輕位置限制,您可以使用 Dataflow 中的 CMEK,加密管道狀態構件,並存取受 Cloud KMS 金鑰保護的來源和接收器。使用加密功能,您就能設計 DR 架構,使用因位置限制而無法使用的區域。
以 BigQuery 建構的資料倉儲
資料倉儲可支援分析和決策。除了分析資料庫外,資料倉儲還包含多個分析元件和程序。
為資料倉儲設計 DR 計畫時,請考量下列特性:
大小。資料倉儲系統比線上交易處理 (OLTP) 系統大得多。資料倉儲通常會儲存數 TB 到數 PB 的資料。您需要考量還原這項資料所需的時間,才能達到 RPO 和 RTO 值。規劃災難復原策略時,您也必須考量復原數 TB 資料的相關成本。如要進一步瞭解 BigQuery 的 DR 緩解技術,請參閱 Google Cloud上代管資料庫服務的備份和復原機制一節中的 BigQuery 資訊。
可用性:建立 BigQuery 資料集時,您要選取資料儲存位置:區域或多區域。區域位置是指單一特定地理位置,例如愛荷華州 (
us-central1)。多區域位置是指包含兩個及以上地理位置的大型地理區域,例如美國 (US) 或歐洲 (EU)。設計 DR 計畫以符合位置限制時,故障域 (即故障發生在機器層級、可用區或區域) 會直接影響您是否能達到定義的 RTO。如要進一步瞭解這些故障域及其對可用性的影響,請參閱「BigQuery 的可用性和耐用性」。
資料性質。資料倉儲包含歷來資訊,且大部分舊資料通常是靜態資料。許多資料倉儲都設計為僅限附加。如果資料倉儲僅限附加,您或許可以只還原附加的資料,以達到 RTO。採用這種方法時,您只需備份附加的資料。如果發生災難,您就能還原附加的資料,並使用資料倉儲,但只能使用部分資料。
資料新增和更新模式。資料倉儲通常會使用 ETL 或 ELT 模式更新。如果更新路徑受到控管,您就能從替代來源重現最近的更新事件。
您的資料倉儲能否使用單一區域或多個區域,可能取決於您的位置要求。雖然 BigQuery 資料集可以位於區域,但多區域儲存空間是最簡單且最具成本效益的方法,可確保資料在發生災難時仍可使用。如果您的區域不支援多區域儲存空間,但您可以使用其他區域,請使用 BigQuery 資料移轉服務將資料集複製到其他區域。如果可以透過加密來降低位置要求,則可使用 Cloud KMS 和 BigQuery 管理自己的加密金鑰。
如果只能使用一個區域,請考慮備份 BigQuery 資料表。備份資料表最符合成本效益的解決方案是使用 BigQuery Export。使用 Cloud Scheduler 或 Managed Airflow 定期排定匯出工作,將資料寫入 Cloud Storage。您可以使用格式,例如採用 SNAPPY 壓縮的 Avro,或採用 GZIP 壓縮的 JSON。設計匯出策略時,請留意匯出限制。
您可能也想以 Parquet 和 ORC 等欄式格式儲存 BigQuery 備份。這些格式提供高壓縮率,並可與許多開放原始碼引擎 (例如 Hive 和 Presto) 互通,您可能在地端部署系統中擁有這些引擎。下圖概述將 BigQuery 資料匯出為欄式格式,並儲存在地端部署位置的程序。
具體來說,將 BigQuery 資料匯出至地端部署儲存空間位置的程序包含下列步驟:
- BigQuery 資料會傳送至 Managed Service for Apache Spark 上的 Apache Spark 工作。使用 Apache Spark 工作可演進結構定義。
- Managed Service for Apache Spark 工作處理完 BigQuery 檔案後,會將處理過的檔案寫入 Cloud Storage,然後轉移至地端部署災難復原位置。
- Cloud Interconnect 可將虛擬私有雲網路連結至地端部署網路。
- 您可以透過 Spark 工作,將資料移轉至地端部署 DR 位置。
如果您的資料倉儲設計為僅限附加,且依日期分區,則必須先在新資料表中建立所需分區的副本,然後在新資料表上執行 BigQuery Export 工作。接著,您可以使用 gcloud storage gcloud CLI 指令等工具,將更新後的檔案轉移至地端部署或其他雲端的備份位置。(將資料移出 Google Cloud時,可能需要支付輸出費用)。
舉例來說,假設您有一個銷售資料倉儲,其中包含僅限附加的 orders 資料表,新訂單會附加到代表目前日期的分區。不過,退貨政策可能允許在 7 天內退貨。因此,orders 資料表中過去 7 天內的記錄可能會更新。出口策略必須考量退貨政策。在這個範例中,任何備份 orders 資料表的匯出工作,也需要匯出代表過去 7 天內訂單的分區,以免因退貨而遺漏更新。
後續步驟
- 閱讀本 DR 系列的其他文章:
- 閱讀白皮書: 瞭解歐洲客戶在 Google Cloud上的資料落地、營運透明度和隱私權。
- 如要查看更多參考架構、圖表和最佳做法,請瀏覽 Cloud Architecture Center。
貢獻者
作者:
- Grace Mollison | 解決方案主管
- Marco Ferrari | 雲端解決方案架構師