將 Lakehouse 執行階段目錄複製到不同區域,即可備份目錄中繼資料,並保護工作負載免受區域性服務中斷影響。在無邊界湖倉中,您可以使用災難復原功能,對使用 Apache Iceberg REST 目錄端點的資料表進行容錯移轉。
管理容錯移轉時,您可以選擇軟性容錯移轉來進行預定測試,或選擇硬性容錯移轉來還原服務。
運作方式
Lakehouse 執行階段目錄會自動選取目錄中繼資料的主要和次要區域。主要區域會處理所有資料表修訂中繼資料,然後複製到次要區域進行備份。
您隨時可以透過容錯移轉作業,切換目錄的主要和次要區域,在發生災難時尤其如此。這項操作會切換目錄的主要項目,以及所有包含的命名空間和資料表。
跨區域複製作業
跨區域複製包含兩個主要元件:資料複製和 metastore 複製。災難復原功能以跨區域複製為基礎,可啟用容錯移轉。
資料複製:使用雙區域或多區域 bucket 時,Cloud Storage 會自動在多個區域複製目錄資料。如果發生區域性服務中斷,您仍可存取資料,且儲存路徑不會變更。
Metastore 複製:如果是 Iceberg REST 目錄端點,當您使用雙區域 (或自訂雙區域) bucket 時,Lakehouse 執行階段目錄會自動複製 metastore。建立目錄後,系統就會開始複製 metastore。Lakehouse 執行階段目錄會從 Cloud Storage 設定中定義的區域,選取主要和次要區域。主要區域會提供所有資料表修訂中繼資料,並將其複製到次要區域進行備份。
災難復原與容錯移轉
災難復原功能可讓您切換目錄的主要和次要區域。容錯移轉作業會切換目錄及其所有命名空間和資料表的主要區域。容錯移轉有兩種模式:軟性容錯移轉和硬性容錯移轉。
軟性容錯移轉:軟性容錯移轉可防止資料遺失。在這種模式下,新的主要區域會等到先前主要區域的所有資料同步完成後,才開始接受寫入作業。請在災難復原測試或其他預定情境中,使用軟容錯移轉。
硬性容錯移轉:硬性容錯移轉會優先考量可用性,而非資料一致性,旨在還原服務。在這種模式下,無論主要區域目前的狀態為何,主要區域一律會接管並接受寫入流量。舉例來說,使用硬性容錯移轉時,即使無法連上先前的主要區域,新的主要區域也能接管。
限制
這項功能處於預先發布版階段時,REPLICATION_TIMESTAMP 只會追蹤目錄中繼資料,而非 Cloud Storage 檔案。如要將資料遺失率控制在下限,請參閱 Cloud Storage 資料可用性和耐用性說明文件。
後續步驟
- 搭配 Lakehouse 執行階段目錄端點,使用跨區域複製和災難復原功能。