可擴充的 BigQuery 備份自動化功能

Last reviewed 2024-09-17 UTC

這個架構提供架構和參考部署,協助您制定 BigQuery 備份策略。這項建議架構及其自動化功能可協助貴組織執行下列操作:

  • 遵守貴組織的災難復原目標。
  • 復原因人為錯誤而遺失的資料。
  • 遵守法規。
  • 提升作業效率。

BigQuery 資料的範圍可以包含 (或排除) 資料夾、專案、資料集和資料表。這項建議架構說明如何大規模自動執行週期性備份作業。每份資料表都有兩種備份方法:BigQuery 快照和BigQuery Export 至 Cloud Storage。

本文適用對象為雲端架構師、工程師和資料治理人員,協助他們在組織中定義及自動執行資料政策。

架構

下圖顯示自動備份架構:

自動備份解決方案的架構。

上圖所示的工作流程包含下列階段:

  1. Cloud Scheduler 透過 Pub/Sub 訊息觸發調度器服務執行,其中包含要納入和排除的 BigQuery 資料範圍。執行作業是使用 cron 運算式排定。
  2. 調度服務是以 Cloud Run 建構,會使用 BigQuery API 列出 BigQuery 範圍內的資料表。
  3. 調度器服務會透過 Pub/Sub 訊息,為每個資料表向設定工具服務提交一項要求。
  4. Cloud Run 設定工具服務會根據下列其中一個定義選項,計算資料表的備份政策:

    1. 資料表層級政策,由資料擁有者定義。
    2. 備用政策,由資料治理主管定義,適用於未定義政策的資料表。

    如要進一步瞭解備份政策,請參閱「備份政策」。

  5. 設定工具服務會根據計算出的備份政策,為每個資料表向下一項服務提交一項要求。

  6. 視備份方法而定,下列其中一項自訂 Cloud Run 服務會向 BigQuery API 提交要求,並執行備份程序:

    1. BigQuery 快照服務會將資料表備份為快照。
    2. 資料匯出服務會將資料表備份為匯出至 Cloud Storage 的資料。
  7. 如果備份方法是資料表資料匯出,Cloud Logging 記錄檔接收器會監聽匯出工作完成事件,以便啟用下一個步驟的非同步執行作業。

  8. 備份服務完成作業後,Pub/Sub 會觸發標記服務。

  9. 針對每個資料表,標記服務會記錄備份服務的服務記錄,並更新 Cloud Storage 中繼資料層中的備份狀態。

使用的產品

這個參考架構使用下列 Google Cloud 產品:

  • BigQuery:企業資料倉儲,內建機器學習、地理空間分析和商業智慧等功能,可協助您管理及分析資料。
  • Cloud Logging:即時記錄管理系統,提供儲存、搜尋、分析和警告通知功能。
  • Pub/Sub:可擴充的非同步訊息服務,會分離產生訊息的服務與處理訊息的服務。
  • Cloud Run:無伺服器運算平台,可讓您直接在 Google 可擴充的基礎架構上執行容器。
  • Cloud Storage:適用於多種資料類型的物件儲存庫,成本低廉且沒有限制。資料在 Google Cloud內外都能存取,且會複製到多個位置,以便提供備援機制。
  • Cloud Scheduler:全代管的企業級 Cron 工作排程器,可設定排程工作單元,並指定執行時間或頻率。
  • Datastore:具高度擴充性的 NoSQL 資料庫,適用於網頁和行動應用程式。

用途

本節提供可使用這個架構的用途範例。

備份自動化

舉例來說,貴公司可能在受監管的產業中營運,並使用 BigQuery 做為主要資料倉儲。即使貴公司在軟體開發、程式碼審查和發布工程方面遵循最佳做法,仍有可能因人為錯誤而導致資料遺失或損毀。在受監管的產業中,您必須盡可能降低這項風險。

這類人為錯誤包括:

  • 意外刪除資料表。
  • 資料管道邏輯錯誤,導致資料毀損。

這類人為錯誤通常可以透過時間旅行功能解決,這項功能可讓您復原最多七天前的資料。此外,BigQuery 還提供安全失效期,在時間旅行期間結束後,刪除的資料會在安全失效儲存空間中保留七天。您可以透過 Cloud Customer Care 取得這些資料,用於緊急復原。不過,如果貴公司未在這段合併時間範圍內發現並修正這類錯誤,就無法再從最後的穩定狀態復原已刪除的資料。

為降低這類風險,建議您定期備份無法從來源資料重建的 BigQuery 資料表,例如歷來記錄或商業邏輯不斷變化的 KPI。

貴公司可以使用基本指令碼備份數十個資料表。不過,如果您需要定期備份整個組織中數百或數千個資料表,則需要可擴充的自動化解決方案,才能執行下列操作:

  • 處理不同的 Google Cloud API 限制。
  • 提供標準化架構,用於定義備份政策。
  • 提供備份作業的透明度和監控功能。

備份政策

貴公司可能也會要求由下列人員定義備份政策:

  • 資料擁有者:最熟悉資料表,可設定適當的資料表層級備份政策。
  • 資料治理團隊:確保已制定備用政策,涵蓋所有未設定資料表層級政策的資料表。備用政策可確保備份特定資料集、專案和資料夾,以符合公司的資料保留法規。

在這個參考架構的部署作業中,您可以透過兩種方式定義資料表的備份政策,而且可以搭配使用:

  • 資料擁有者設定 (去中心化):資料表層級的備份政策,會手動附加至資料表。

    • 資料擁有者會定義資料表層級的 JSON 檔案,並儲存在一般 bucket 中。
    • 解決方案決定資料表的備份政策時,手動政策的優先順序高於備用政策。
    • 如要瞭解部署作業的詳細資料,請參閱「設定資料表層級備份政策」。
  • 組織預設設定 (集中式):備用政策,僅適用於未手動附加政策的資料表。

    • 資料治理團隊在 Terraform 中定義中央 JSON 檔案,做為解決方案的一部分。
    • 備用政策提供資料夾、專案、資料集和資料表層級的預設備份策略。
    • 如要進一步瞭解部署作業,請參閱「定義備用備份政策」。

備份與複製

備份程序會複製特定時間點的資料表資料,以便在資料遺失或損毀時還原。備份作業可以一次性執行,也可以週期性執行 (透過排定的查詢或工作流程)。在 BigQuery 中,您可以使用快照建立時間點備份。您可以使用快照,將資料副本保留在與來源資料相同的儲存位置,不受七天時間旅行期限的限制。BigQuery 快照特別適合用於復原人為錯誤導致的資料遺失或損毀,而非從區域性故障中復原。BigQuery 的服務水準目標 (SLO) 為 99.9% 至 99.99%,具體取決於版本。

相較之下,「複製」是持續將資料庫變更複製到其他位置的次要 (或副本) 資料庫。在 BigQuery 中,跨區域複製功能會在次要 Google Cloud 區域 (與來源資料區域不同) 建立唯讀資料副本,提供異地備援。不過,BigQuery 跨區域複製功能不適合做為整個區域服務中斷時的災難復原計畫。如要防範區域性災害,建議使用 BigQuery 代管災難復原服務。

BigQuery 跨區域複製功能會在靠近資料消費者的區域,提供同步的唯讀資料副本。這些資料副本可讓您執行共置 join,並避免跨區域流量和費用。不過,如果資料因人為錯誤而損毀,單靠複製功能無法復原,因為損毀的資料會自動複製到副本。在這種情況下,時間點備份 (快照) 是更好的選擇。

下表摘要比較備份方法和複製:

方法 頻率 儲存空間位置 用途 費用
備份

(快照或 Cloud Storage 匯出作業)
一次性或週期性 與來源資料表資料相同 還原原始資料 (超過時光旅行期間) 快照只會針對快照中的資料變更產生儲存費用

匯出作業可能會產生標準儲存費用

請參閱「成本最佳化」
跨區域複製作業 持續 遠端 在其他區域建立副本

在區域之間進行一次性遷移
在副本中儲存資料會產生費用

會產生資料複製費用

設計須知

本節提供指引,協助您在使用這個參考架構時,考量如何開發符合特定安全性、可靠性、成本最佳化、作業效率和效能需求的拓撲。

安全性、隱私權和法規遵循

部署作業在設計和實作時,會納入下列安全措施:

  • Cloud Run 的網路輸入設定僅接受內部流量,以限制來自網際網路的存取。此外,只有通過驗證的使用者和服務帳戶才能呼叫服務。
  • 每項 Cloud Run 服務和 Pub/Sub 訂閱項目都會使用個別的服務帳戶,且該帳戶僅具備必要權限。這樣可以降低系統使用單一服務帳戶的相關風險,並遵循最小權限原則。

基於隱私權考量,這項解決方案不會收集或處理個人識別資訊 (PII)。不過,如果來源資料表含有公開的 PII,這些資料表的備份也會包含這類公開資料。來源資料的擁有者有責任保護來源資料表中的任何 PII (例如套用資料欄層級安全性、資料遮蓋或遮蓋)。只有在來源資料安全無虞的情況下,備份資料才安全。另一種方法是確保含有 PII 的備份資料專案、資料集或 bucket,具備必要的 Identity and Access Management (IAM) 政策,僅限授權使用者存取。

參考部署作業是通用解決方案,不一定符合特定產業的特定需求。

可靠性

本節說明可靠性的功能和設計考量。

精細的故障緩解機制

如要備份數千個資料表,您可能會達到基礎 Google Cloud 產品的 API 限制 (例如每個專案的快照和匯出作業限制)。不過,如果某個資料表因設定錯誤或其他暫時性問題而備份失敗,不應影響整體執行作業和其他資料表的備份。

為降低潛在故障,參考部署作業會使用精細的 Cloud Run 服務,並透過 Pub/Sub 連結這些服務,藉此分離處理步驟。如果資料表備份要求在最後一個標記服務步驟失敗,Pub/Sub 只會重試這個步驟,不會重試整個程序。

將流程拆解為多項 Cloud Run 服務,而非在單一 Cloud Run 服務下託管多個端點,有助於精細控管各項服務設定。設定層級取決於服務的功能和通訊的 API。舉例來說,調度器服務每次執行一次,但需要大量時間列出 BigQuery 備份範圍內的所有資料表。因此,調度器服務需要較高的逾時和記憶體設定。不過,BigQuery 快照的 Cloud Run 服務在單次執行中,每個資料表只會執行一次,且完成時間比調度器服務短。因此,Cloud Run 服務需要在服務層級進行不同的設定。

資料一致性

資料表和檢視表之間的資料一致性,對於維護可靠的備份策略至關重要。由於資料會持續更新及修改,因此在不同時間建立的備份可能會擷取到資料集的不同狀態。還原資料時,這些處於不同狀態的備份可能會導致不一致,尤其是屬於相同功能資料集的資料表。舉例來說,如果將銷售資料表還原至與對應庫存資料表不同的時間點,可能會導致可用庫存不一致。同樣地,匯總多個資料表資料的資料庫檢視表,可能特別容易受到不一致問題的影響。如果未確保基礎資料表處於一致狀態,就還原這些檢視表,可能會導致結果不準確或誤導。因此,在設計 BigQuery 備份政策和頻率時,請務必考量這項一致性,並確保還原的資料能準確反映資料集在特定時間點的實際狀態。

舉例來說,在這個參考架構的部署作業中,資料一致性是透過備份政策中的下列兩項設定控管。這些設定會透過時間旅行計算確切的資料表快照時間,不一定會同時備份所有資料表。

  • backup_cron:控制資料表的備份頻率。執行作業的開始時間戳記,會做為時間旅行計算的參考點,用於計算這項作業中備份的所有資料表。
  • backup_time_travel_offset_days:控制應從參考時間點 (執行開始時間) 減去過去幾天,以計算資料表的確切時間旅行版本。

自動還原備份

雖然這個參考架構著重於大規模自動備份,但您也可以考慮以自動化方式還原這些備份。這項額外的自動化功能可提供與備份自動化功能類似的好處,包括提高復原效率和速度,並減少停機時間。由於解決方案會透過標記工具服務追蹤所有備份參數和結果,因此您可以開發類似的架構,大規模套用還原作業。

舉例來說,您可以根據隨選觸發條件建立解決方案,將 BigQuery 資料範圍傳送至調度工具服務,該服務會將每個資料表的一項要求調度至設定工具服務。設定工具服務可以擷取特定資料表的備份記錄。設定工具服務接著會將事件傳遞至 BigQuery 快照還原服務或 Cloud Storage 還原服務,以便據此套用還原作業。最後,標記服務可將這些作業的結果儲存在狀態儲存庫中。這樣一來,自動化還原架構就能享有與備份架構相同的設計目標,詳情請參閱本文件。

成本最佳化

這個架構的框架提供備份政策,可設定下列參數,以達到整體成本最佳化:

  • 備份方法:這個架構提供下列兩種備份方法:
    • BigQuery 快照:與基礎資料表相比,根據更新和刪除的資料產生儲存費用。因此,對於僅限附加或更新次數有限的資料表,快照更具成本效益。
    • BigQuery 匯出至 Cloud Storage:會產生標準儲存空間費用。不過,對於採用截斷和載入方式的大型資料表,將其備份為匯出項目,並儲存在較便宜的儲存空間級別中,會更具成本效益。
  • 快照到期:為單一資料表快照設定存留時間 (TTL),避免無限期產生快照儲存費用。如果資料表沒有到期時間,儲存空間費用可能會隨著時間增加。

提升作業效率

本節說明作業效率的功能和注意事項。

精細且可擴充的備份政策

這個架構的目標之一是提高作業效率,也就是在提高業務產出的同時,將業務投入維持在相對較低且可控的程度。例如,輸出內容是大量定期備份的資料表,而輸入內容則是少數維護的備份政策和設定。

除了允許在資料表層級設定備份政策外,這個架構也允許在資料集、專案、資料夾和全域層級設定政策。這表示只要在較高層級 (例如資料夾或專案層級) 進行一些設定,就能定期大規模備份數百或數千個資料表。

觀測能力

使用自動化架構時,請務必瞭解程序狀態。舉例來說,您應該能找到下列常見查詢的資訊:

  • 系統為每個資料表使用的備份政策。
  • 各資料表的備份記錄和備份位置。
  • 單次執行的整體狀態 (已處理和失敗的資料表數量)。
  • 單次執行中發生的嚴重錯誤,以及發生錯誤的元件或程序步驟。

為提供這項資訊,部署作業會在每個使用 Cloud Run 服務的執行步驟中,將結構化記錄寫入 Cloud Logging。記錄檔包含輸入、輸出、錯誤和其他進度檢查點。記錄檔接收器會將這些記錄檔轉送至 BigQuery 資料表。您可以執行多項查詢,監控執行作業並取得報表,以因應常見的可觀測性用途。如要進一步瞭解 BigQuery 中的記錄和查詢,請參閱「查看轉送至 BigQuery 的記錄」。

效能最佳化

為在每次執行時處理數千個資料表,解決方案會平行處理備份要求。調度器服務會列出 BigQuery 備份範圍內的所有資料表,並在每次執行時為每個資料表產生一個備份要求。這樣一來,應用程式就能同時處理數千個要求和資料表,不必依序處理。

部分要求可能一開始會因暫時性原因而失敗,例如達到基礎 Google Cloud API 的限制或發生網路問題。在要求完成前,Pub/Sub 會自動以指數輪詢重試政策重試要求。如果發生嚴重錯誤 (例如備份目的地無效或缺少權限),系統會記錄錯誤並終止執行該特定資料表要求,但不會影響整體執行作業。

限制

這個架構適用下列配額和限制。

如果是資料表快照,您指定的每個備份作業專案都適用下列規定:

  • 一項專案最多可同時執行 100 項資料表快照工作。
  • 一項專案每天最多可執行 50,000 項資料表快照工作。
  • 一項專案每天最多可為每個資料表執行 50 項資料表快照工作。

詳情請參閱「資料表快照」。

匯出工作 (匯出至 Cloud Storage) 適用下列規定:

  • 使用共用運算單元集區,即可從專案免費匯出資料,每日上限為 50 TiB。
  • 一項專案每天最多可執行 100,000 次匯出作業。如要提高這項限制,請建立運算單元預留項目。

如要進一步瞭解如何提高這些限制,請參閱「匯出工作」。

關於並行限制,這個架構會使用 Pub/Sub 自動重試因這些限制而失敗的要求,直到 API 處理這些要求為止。不過,如果每項專案每天的作業數量有其他限制,您可以要求提高配額,或將備份作業 (快照或匯出) 分散到多項專案,藉此減輕限制。如要將作業分散到各項專案,請按照下列部署章節所述,設定備份政策:

部署作業

如要部署這個架構,請參閱「部署可擴充的 BigQuery 備份自動化功能」。

後續步驟

貢獻者

作者:Karim Wadie | 策略雲端工程師

其他貢獻者: