Tentang replikasi lintas region dan pemulihan dari bencana

Replikasi lintas region dan disaster recovery untuk katalog runtime Lakehouse melindungi dari pemadaman layanan regional. Sebagai bagian dari Lakehouse tanpa batas, kemampuan ini memungkinkan failover untuk tabel yang menggunakan endpoint katalog REST Apache Iceberg.

Saat mengelola failover, Anda dapat memilih antara soft failover untuk pengujian terencana atau hard failover untuk memulihkan layanan dengan cepat.

Cara kerjanya

Katalog runtime Lakehouse secara otomatis memilih region utama dan sekunder untuk metadata katalog. Region utama memproses semua metadata commit tabel, lalu mereplikasinya ke region sekunder untuk pencadangan.

Kapan saja, terutama saat terjadi bencana, Anda dapat mengalihkan region utama dan sekunder untuk katalog menggunakan operasi failover. Tindakan ini akan mengalihkan region utama untuk katalog dan semua namespace serta tabel yang ada di dalamnya.

Replikasi lintas-region

Replikasi lintas region melibatkan dua komponen utama: replikasi data dan replikasi metastore. Fitur disaster recovery dibangun berdasarkan replikasi lintas region untuk mengaktifkan failover.

  • Replikasi data: Cloud Storage secara otomatis mereplikasi data katalog Anda di beberapa region saat Anda menggunakan bucket region ganda atau multi-region. Jika terjadi pemadaman layanan regional, data Anda akan tetap dapat diakses tanpa perubahan pada jalur penyimpanan.

  • Replikasi metastore: Untuk endpoint katalog REST Iceberg, katalog runtime Lakehouse secara otomatis mereplikasi metastore Anda saat Anda menggunakan bucket region ganda (atau region ganda kustom). Replikasi metastore dimulai saat Anda membuat katalog. Katalog runtime Lakehouse memilih region utama dan sekunder dari region yang ditentukan dalam konfigurasi Cloud Storage Anda. Region utama menyajikan semua metadata commit tabel dan mereplikasinya ke region sekunder untuk pencadangan.

Pemulihan dari bencana dengan failover

Fitur disaster recovery memungkinkan Anda mengalihkan region utama dan sekunder untuk katalog. Operasi failover mengalihkan region utama untuk katalog dan semua namespace serta tabelnya. Failover memiliki dua mode: soft failover dan hard failover.

  • Soft failover: Soft failover mencegah kehilangan data. Dalam mode ini, region utama baru mulai menerima operasi tulis hanya setelah semua data sebelumnya disinkronkan dari region utama sebelumnya. Gunakan soft failover untuk pengujian pemulihan dari bencana atau skenario terencana lainnya.

  • Hard failover: Hard failover memprioritaskan ketersediaan daripada konsistensi data dan dirancang untuk memulihkan layanan. Dalam mode ini, region utama selalu mengambil alih dan menerima traffic tulis, terlepas dari status region utama saat ini. Misalnya, saat menggunakan hard failover, region utama baru dapat mengambil alih meskipun region utama sebelumnya tidak dapat dijangkau.

Batasan

Saat fitur ini dalam Pratinjau, REPLICATION_TIMESTAMP hanya melacak metadata katalog, bukan file Cloud Storage. Untuk mencegah kehilangan data dengan batas bawah, lihat dokumentasi Ketersediaan dan durabilitas data Cloud Storage.

Langkah berikutnya