Tentang replikasi lintas region dan pemulihan dari bencana

Metastore BigLake menawarkan replikasi lintas region dan pemulihan dari bencana untuk meningkatkan ketersediaan dan ketahanan katalog Anda.

Fitur ini meningkatkan ketersediaan dan ketahanan katalog Anda dengan memastikan akses berkelanjutan, melindungi dari pemadaman layanan regional, mencegah kehilangan data, dan mengaktifkan failover untuk tabel Apache Iceberg yang menggunakan katalog REST Iceberg.

Cara kerjanya

BigLake Metastore otomatis memilih region utama dan sekunder untuk metadata katalog. Region utama memproses semua metadata commit tabel, lalu mereplikasinya ke region sekunder untuk pencadangan.

Kapan saja, terutama saat terjadi bencana, Anda dapat menukar region utama dan sekunder untuk katalog menggunakan operasi failover. Tindakan ini akan menukar setelan utama untuk katalog dan semua namespace serta tabel yang ada di dalamnya.

Replikasi lintas-region

Replikasi lintas region melibatkan dua komponen utama: replikasi data dan replikasi metastore. Fitur pemulihan dari bencana dibangun di atas replikasi lintas region untuk mengaktifkan failover.

  • Replikasi data: Cloud Storage secara otomatis mereplikasi data katalog Anda di beberapa region saat Anda menggunakan bucket dual-region atau multi-region. Jika terjadi pemadaman regional, data Anda tetap dapat diakses tanpa perubahan pada jalur penyimpanan.

  • Replikasi metastore: Untuk Katalog REST Iceberg, metastore BigLake akan otomatis mereplikasi metastore Anda saat Anda menggunakan bucket dual region (atau dual region kustom). Replikasi Metastore dimulai saat Anda membuat katalog. Metastore BigLake memilih region utama dan sekunder dari region yang ditentukan dalam konfigurasi Cloud Storage Anda. Region utama melayani semua metadata commit tabel dan mereplikasinya ke region sekunder untuk pencadangan.

Pemulihan dari bencana dengan failover

Fitur pemulihan dari bencana memungkinkan Anda mengganti region utama dan sekunder untuk katalog. Operasi failover mengalihkan region utama untuk katalog dan semua namespace serta tabelnya. Failover memiliki dua mode: failover ringan dan failover berat.

  • Pengalihan sementara: Pengalihan sementara mencegah kehilangan data. Dalam mode ini, region primer baru mulai menerima penulisan hanya setelah semua data sebelumnya disinkronkan dari region primer sebelumnya. Gunakan failover ringan untuk pengujian pemulihan dari bencana atau skenario terencana lainnya.

  • Failover berat: Failover berat memprioritaskan ketersediaan daripada konsistensi data dan dirancang untuk memulihkan layanan. Dalam mode ini, region utama selalu mengambil alih dan menerima traffic tulis, terlepas dari status region utama saat ini. Misalnya, saat menggunakan failover berat, region primer baru dapat mengambil alih meskipun primer sebelumnya tidak dapat dijangkau.

Batasan

Saat fitur ini dalam Pratinjau, REPLICATION_TIMESTAMP hanya melacak metadata katalog, bukan file Cloud Storage. Untuk menjaga agar kehilangan data tetap berada di batas bawah, lihat dokumentasi Ketersediaan dan keandalan data Cloud Storage.

Langkah berikutnya