Menggunakan replikasi lintas region dan pemulihan dari bencana

Borderless Lakehouse mendukung replikasi lintas-region dan pemulihan dari bencana (disaster recovery) untuk metadata katalog.

Konfigurasi ini memerlukan katalog yang didukung oleh Cloud Storage Dual-Region atau Multi-Region bucket.

Sebelum memulai

  1. Pastikan penagihan diaktifkan untuk Google Cloud project Anda.

  2. Aktifkan BigLake API.

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Service Usage (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

    Mengaktifkan API

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk menggunakan endpoint katalog REST Iceberg di katalog runtime Lakehouse, minta administrator untuk memberi Anda peran IAM berikut:

  • Melakukan tugas administratif, seperti mengelola akses pengguna katalog, akses penyimpanan, dan mode penjualan kredensial katalog:
  • Membaca data tabel dalam mode penjualan kredensial: Viewer BigLake (roles/biglake.viewer) di project
  • Menulis data tabel dalam mode penjualan kredensial: Editor BigLake (roles/biglake.editor) di project
  • Membaca resource katalog dan data tabel dalam mode non-penjualan kredensial:
  • Mengelola resource katalog dan menulis data tabel dalam mode non-penjualan kredensial:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Alur kerja replikasi dan pemulihan dari bencana (disaster recovery)

Untuk menggunakan replikasi lintas-region dan pemulihan dari bencana (disaster recovery), ikuti langkah-langkah umum berikut:

  1. Melihat status replikasi: Identifikasi region utama dan sekunder Anda saat ini untuk menentukan region target untuk failover.
  2. Memeriksa status sinkronisasi: Verifikasi status region utama dan sekunder Anda saat ini untuk memastikan keduanya siap untuk transisi.
  3. Memilih mode failover: Pilih antara soft failover (terbaik untuk pemeliharaan terencana) atau hard failover (terbaik untuk pemulihan darurat ).
  4. Memulai failover: Jalankan perintah yang sesuai dengan mode yang Anda pilih untuk mengalihkan region utama dan sekunder.

Mempersiapkan failover

Identifikasi region utama Anda saat ini dan verifikasi status sinkronisasi region sekunder Anda. Kemudian, mulai failover.

Melihat status replikasi

Untuk menentukan region tempat katalog Anda direplikasi, jalankan perintah berikut gcloud biglake iceberg catalogs describe.

gcloud biglake iceberg catalogs describe CATALOG_NAME

Ganti CATALOG_NAME dengan nama katalog Anda.

Memeriksa status sinkronisasi

Sebelum memulai failover, periksa status sinkronisasi replika sekunder Anda dengan perintah gcloud biglake iceberg catalogs failover:

gcloud biglake iceberg catalogs failover CATALOG_NAME \
    --validate_only \
    --primary-replica PRIMARY_REPLICA_REGION

Ganti kode berikut:

  • CATALOG_NAME: nama katalog Anda.
  • PRIMARY_REPLICA_REGION: region yang akan ditetapkan sebagai replika utama baru.

Memulai failover

Fitur pemulihan dari bencana (disaster recovery) menggunakan replikasi metastore untuk menetapkan region utama dan sekunder. Semua metadata commit tabel ditayangkan dari region utama dan direplikasi ke region sekunder. Anda dapat mengalihkan region utama dan sekunder untuk katalog menggunakan operasi failover.

Soft failover

Untuk memulai soft failover, jalankan perintah gcloud biglake iceberg catalogs failover berikut:

gcloud biglake iceberg catalogs failover CATALOG_NAME \
    --primary-replica PRIMARY_REPLICA_REGION

Ganti kode berikut:

  • CATALOG_NAME: nama katalog Anda.
  • PRIMARY_REPLICA_REGION: region yang akan ditetapkan sebagai replika utama baru.

Hard failover

Untuk memulai hard failover, jalankan gcloud biglake iceberg catalogs failover perintah berikut:

gcloud biglake iceberg catalogs failover CATALOG_NAME \
    --primary-replica PRIMARY_REPLICA_REGION \
    --conditional-failover-replication-time=REPLICATION_TIMESTAMP

Ganti kode berikut:

  • CATALOG_NAME: nama katalog Anda.
  • PRIMARY_REPLICA_REGION: region yang akan ditetapkan sebagai replika utama baru.
  • REPLICATION_TIMESTAMP: stempel waktu RFC 3339 yang bertindak sebagai checkpoint untuk replikasi. Proses replikasi memverifikasi bahwa replika berisi semua data yang di-commit hingga waktu ini. Jika replika tidak berisi semua data yang di-commit sebelum stempel waktu ini, perintah akan gagal. Untuk memaksa proses failover terlepas dari penundaan replikasi, tetapkan stempel waktu ini ke tanggal yang jauh di masa lalu. Catatan: Saat fitur ini dalam Pratinjau, REPLICATION_TIMESTAMP hanya melacak metadata katalog, bukan file Cloud Storage. Untuk meminimalkan kehilangan data, lihat dokumentasi Ketersediaan dan durabilitas data Cloud Storage.

Langkah berikutnya