關於跨區域複製和災難復原

BigLake Metastore 提供跨區域複寫和災難復原功能,可提升目錄的可用性和應變能力。

這項功能可確保持續存取,防範區域性服務中斷,避免資料遺失,並為使用 Iceberg REST 目錄的 Apache Iceberg 資料表啟用容錯移轉,藉此提升目錄的可用性和復原能力。

運作方式

BigLake Metastore 會自動為目錄中繼資料選取主要和次要區域。主要區域會處理所有資料表提交中繼資料,然後將其複製到次要區域以進行備份。

您隨時可以 (特別是在發生災害時) 使用容錯移轉作業,切換目錄的主要和次要區域。這項動作會切換目錄和所有內含命名空間和資料表的主要項目。

跨區域複製作業

跨區域複製作業包含兩個主要元件:資料複製和中繼資料存放區複製。災難復原功能以跨區域複製為基礎,可啟用容錯移轉。

  • 資料複製:使用雙區域或多區域值區時,Cloud Storage 會自動在多個區域之間複製目錄資料。如果發生區域性服務中斷,您仍可存取資料,儲存空間路徑也不會變更。

  • Metastore 複寫:如果是 Iceberg REST Catalog,使用雙區域 (或自訂雙區域) 值區時,BigLake metastore 會自動複寫 metastore。建立目錄時,系統會開始複製 Metastore。BigLake Metastore 會從 Cloud Storage 設定中定義的區域,選取主要和次要區域。主要區域會提供所有資料表提交中繼資料,並複製到次要區域以進行備份。

災難復原與容錯移轉

透過災難復原功能,您可以切換目錄的主要和次要區域。容錯移轉作業會切換目錄及其所有命名空間和資料表的主要區域。容錯移轉有兩種模式:軟體容錯移轉和硬體容錯移轉。

  • 軟體容錯移轉:軟體容錯移轉可防止資料遺失。在這個模式中,只有在所有先前的資料都從先前的主要區域同步處理完畢後,新的主要區域才會開始接受寫入作業。在災害復原測試或其他計畫情境中,使用軟性容錯移轉。

  • 硬體容錯移轉:硬體容錯移轉會優先考量可用性,而非資料一致性,目的是為了還原服務。在此模式下,主要區域一律會接管並接受寫入流量,無論主要區域的目前狀態為何。舉例來說,使用硬性容錯移轉時,即使無法連線至先前的主要區域,新的主要區域仍可接管。

限制

這項功能目前處於預覽階段,REPLICATION_TIMESTAMP 只會追蹤目錄中繼資料,而非 Cloud Storage 檔案。如要將資料遺失的下限維持在較低水準,請參閱 Cloud Storage 的「資料可用性和耐久性」說明文件。

後續步驟