Tentang replikasi lintas region dan pemulihan dari bencana

Replikasi lintas region dan pemulihan dari bencana untuk katalog runtime Lakehouse melindungi dari pemadaman layanan regional. Sebagai bagian dari Lakehouse untuk Apache Iceberg, kemampuan ini memungkinkan failover untuk tabel yang menggunakan endpoint katalog REST Apache Iceberg.

Saat mengelola failover, Anda dapat memilih antara failover ringan untuk pengujian terencana atau failover berat untuk memulihkan layanan dengan cepat.

Cara kerjanya

Katalog runtime Lakehouse secara otomatis memilih region primer dan sekunder untuk metadata katalog. Region utama memproses semua metadata commit tabel, lalu mereplikasinya ke region sekunder untuk pencadangan.

Kapan saja, terutama selama bencana, Anda dapat mengganti region utama dan sekunder untuk katalog menggunakan operasi failover. Tindakan ini akan menukar status primer untuk katalog dan semua namespace serta tabel yang ada di dalamnya.

Replikasi lintas-region

Replikasi lintas region melibatkan dua komponen utama: replikasi data dan replikasi metastore. Fitur pemulihan dari bencana dibangun di atas replikasi lintas region untuk mengaktifkan failover.

  • Replikasi data: Cloud Storage secara otomatis mereplikasi data katalog Anda di beberapa region saat Anda menggunakan bucket dual-region atau multi-region. Jika terjadi pemadaman regional, data Anda tetap dapat diakses tanpa perubahan pada jalur penyimpanan.

  • Replikasi metastore: Untuk endpoint katalog REST Iceberg, katalog runtime Lakehouse secara otomatis mereplikasi metastore Anda saat Anda menggunakan bucket dual-region (atau dual-region kustom). Replikasi metastore dimulai saat Anda membuat katalog. Katalog runtime Lakehouse memilih region utama dan sekunder dari region yang ditentukan dalam konfigurasi Cloud Storage Anda. Region utama menyajikan semua metadata commit tabel dan mereplikasinya ke region sekunder untuk pencadangan.

Pemulihan dari bencana dengan failover

Fitur pemulihan dari bencana memungkinkan Anda mengganti region utama dan sekunder untuk katalog. Operasi failover mengalihkan region utama untuk katalog dan semua namespace serta tabelnya. Failover memiliki dua mode: failover ringan dan failover berat.

  • Pengalihan sementara: Pengalihan sementara mencegah kehilangan data. Dalam mode ini, region primer baru mulai menerima penulisan hanya setelah semua data sebelumnya disinkronkan dari region primer sebelumnya. Gunakan failover lembut untuk pengujian pemulihan dari bencana atau skenario terencana lainnya.

  • Failover berat: Failover berat memprioritaskan ketersediaan daripada konsistensi data dan dirancang untuk memulihkan layanan. Dalam mode ini, region utama selalu mengambil alih dan menerima traffic tulis, terlepas dari status region utama saat ini. Misalnya, saat menggunakan failover paksa, region utama baru dapat mengambil alih meskipun region utama sebelumnya tidak dapat dijangkau.

Batasan

Saat fitur ini dalam Pratinjau, REPLICATION_TIMESTAMP hanya melacak metadata katalog, bukan file Cloud Storage. Untuk menjaga agar kehilangan data tetap berada dalam batas bawah, lihat dokumentasi Ketersediaan dan keandalan data Cloud Storage.

Langkah berikutnya