Tentang replikasi lintas region dan pemulihan dari bencana

Dengan mereplikasi katalog runtime Lakehouse di seluruh region, Anda dapat mencadangkan metadata katalog dan melindungi workload dari pemadaman layanan regional. Sebagai bagian dari Lakehouse tanpa batas, Anda dapat menggunakan disaster recovery untuk melakukan failover pada tabel yang menggunakan endpoint katalog REST Apache Iceberg.

Saat mengelola failover, Anda dapat memilih antara failover ringan untuk pengujian terencana atau failover berat untuk memulihkan layanan.

Cara kerjanya

Katalog runtime Lakehouse otomatis memilih region utama dan sekunder untuk metadata katalog. Region utama memproses semua metadata commit tabel, lalu mereplikasinya ke region sekunder untuk pencadangan.

Kapan saja, terutama saat terjadi bencana, Anda dapat mengalihkan region utama dan sekunder untuk katalog menggunakan operasi failover. Tindakan ini akan mengalihkan primer untuk katalog serta semua namespace dan tabel yang ada di dalamnya.

Replikasi lintas-region

Replikasi lintas region melibatkan dua komponen utama: replikasi data dan replikasi metastore. Fitur disaster recovery dibuat berdasarkan replikasi lintas region untuk mengaktifkan failover.

  • Replikasi data: Cloud Storage secara otomatis mereplikasi data katalog Anda di beberapa region saat Anda menggunakan bucket dual-region atau multi-region. Jika terjadi pemadaman layanan regional, data Anda tetap dapat diakses tanpa perubahan pada jalur penyimpanan.

  • Replikasi metastore: Untuk endpoint katalog REST Iceberg, katalog runtime Lakehouse akan otomatis mereplikasi metastore Anda saat Anda menggunakan bucket dua region (atau dua region kustom). Replikasi metastore dimulai saat Anda membuat katalog. Katalog runtime Lakehouse memilih region utama dan sekunder dari region yang ditentukan dalam konfigurasi Cloud Storage Anda. Region utama menyajikan semua metadata commit tabel dan mereplikasinya ke region sekunder untuk pencadangan.

Disaster recovery dengan failover

Fitur disaster recovery memungkinkan Anda mengalihkan region utama dan sekunder untuk katalog. Operasi failover mengalihkan region utama untuk katalog serta semua namespace dan tabelnya. Failover memiliki dua mode: failover ringan dan failover berat.

  • Failover ringan: Failover ringan mencegah kehilangan data. Dalam mode ini, region utama baru mulai menerima penulisan hanya setelah semua data sebelumnya disinkronkan dari region utama sebelumnya. Gunakan failover ringan untuk pengujian disaster recovery atau skenario terencana lainnya.

  • Hard failover: Hard failover memprioritaskan ketersediaan daripada konsistensi data dan dirancang untuk memulihkan layanan. Dalam mode ini, region utama selalu mengambil alih dan menerima traffic tulis, terlepas dari status region utama saat ini. Misalnya, saat menggunakan hard failover, region utama baru dapat mengambil alih meskipun region utama sebelumnya tidak dapat dijangkau.

Batasan

Meskipun fitur ini dalam Pratinjau, REPLICATION_TIMESTAMP hanya melacak metadata katalog, bukan file Cloud Storage. Untuk menjaga kehilangan data dengan batas yang lebih rendah, lihat dokumentasi Ketersediaan dan ketahanan data Cloud Storage.

Langkah berikutnya