Mengonfigurasi database Amazon RDS PostgreSQL untuk CDC

Untuk menstreaming update change data capture (CDC) ke tujuan yang didukung, seperti BigQuery atau Cloud Storage, Anda dapat menghubungkan database Amazon RDS for PostgreSQL ke Datastream. Untuk menyiapkan instance sumber, Anda mengaktifkan parameter rds.logical_replication, membuat publikasi dan slot replikasi, serta mengonfigurasi pengguna Datastream.

Membuat grup parameter

1. Luncurkan Dasbor Amazon RDS.

2. Di panel navigasi, klik Grup Parameter, lalu klik Buat Grup Parameter. Halaman Create Parameter Group akan muncul.

3. Pilih family database yang cocok dengan database Anda, berikan nama dan deskripsi untuk grup parameter, lalu klik Create.

4. Centang kotak di sebelah kiri grup parameter yang baru Anda buat, lalu, di bagian Parameter group actions, klik Edit.

5. Tetapkan parameter berikut untuk grup Anda.

   Parameter	Nilai
   rds.logical_replication	1

6. Klik Save Changes.

   Untuk PostgreSQL 13 dan yang lebih baru, sebaiknya tetapkan juga parameter max_slot_wal_keep_size dalam file postgresql.conf untuk membatasi jumlah penyimpanan yang digunakan oleh slot replikasi. Untuk mengetahui informasi selengkapnya, lihat Menggunakan file log WAL database PostgreSQL.

Mengonfigurasi database sumber

1. Luncurkan Dasbor Amazon RDS.

2. Di panel navigasi, klik Database.

3. Pilih sumber Anda, lalu klik Modify.

4. Buka bagian Additional configuration.

5. Pilih grup parameter yang Anda buat.

6. Klik Continue.

7. Di bagian Scheduling of modifications, pilih Apply immediately.

   Karena Anda mengubah sumber, Anda harus menunggu hingga perubahan pada grup parameter diterapkan sebelum melanjutkan.

Memastikan bahwa grup parameter ditetapkan ke instance database

1. Luncurkan Dasbor Amazon RDS.

2. Di panel navigasi, klik Database, lalu pilih instance database Anda.

3. Klik tab Configurations.

4. Pastikan Anda melihat grup parameter yang Anda buat, dan statusnya adalah pending-reboot.

5. Mulai ulang instance database Anda untuk menyelesaikan konfigurasi. Untuk memulai ulang instance:

   1. Di panel navigasi, klik Instances.
   2. Pilih instance database Anda.
   3. Dari menu Instance Actions, pilih Reboot.
   Setelah Anda memulai ulang instance database, statusnya akan berubah menjadi in-sync.

Membuat publikasi dan slot replikasi

1. Buat publikasi. Sebaiknya buat publikasi hanya untuk tabel yang ingin Anda replikasi. Hal ini memungkinkan Datastream membaca data yang relevan saja, dan menurunkan beban pada database dan Datastream:

   CREATE PUBLICATION PUBLICATION_NAME
   FOR TABLE SCHEMA1.TABLE1, SCHEMA2.TABLE2;

   Ganti kode berikut:

   • PUBLICATION_NAME: Nama publikasi Anda. Anda harus memberikan nama ini saat membuat stream di wizard pembuatan stream Datastream.
   • SCHEMA: Nama skema yang berisi tabel.
   • TABLE: Nama tabel yang ingin Anda replikasi.

   Anda juga dapat membuat publikasi untuk semua tabel di database Anda. Perhatikan bahwa pendekatan ini meningkatkan beban pada database sumber dan Datastream:

   CREATE PUBLICATION PUBLICATION_NAME FOR ALL TABLES;
   

   Untuk PostgreSQL 15 dan yang lebih baru, Anda dapat membuat publikasi untuk semua tabel dalam skema. Pendekatan ini memungkinkan Anda mereplikasi perubahan untuk tabel dalam daftar skema yang ditentukan, termasuk tabel yang Anda buat di masa mendatang:

   CREATE PUBLICATION PUBLICATION_NAME
   FOR TABLES IN SCHEMA SCHEMA1, SCHEMA2;

2. Buat slot replikasi dengan memasukkan perintah PostgreSQL berikut:

   SELECT PG_CREATE_LOGICAL_REPLICATION_SLOT('REPLICATION_SLOT_NAME', 'pgoutput'); 

   Ganti kode berikut:

   • REPLICATION_SLOT_NAME: Nama slot replikasi Anda. Anda harus memberikan nama ini saat membuat stream di wizard pembuatan stream Datastream.
   Slot replikasi harus unik untuk setiap stream yang direplikasi dari database ini.

Membuat pengguna Datastream

1. Untuk membuat pengguna Datastream, masukkan perintah PostgreSQL berikut:

   CREATE USER USER_NAME WITH ENCRYPTED PASSWORD 'USER_PASSWORD';
   

   Ganti kode berikut:

   • USER_NAME: Nama pengguna Datastream yang Anda ingin buat.
   • USER_PASSWORD: Sandi login untuk pengguna Datastream yang ingin Anda buat.

2. Berikan hak istimewa berikut kepada pengguna yang Anda buat:

   GRANT RDS_REPLICATION TO USER_NAME;
   GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO USER_NAME;
   GRANT USAGE ON SCHEMA SCHEMA_NAME TO USER_NAME;
   ALTER DEFAULT PRIVILEGES IN SCHEMA SCHEMA_NAME
     GRANT SELECT ON TABLES TO USER_NAME;
   

   Ganti kode berikut:

   • USER_NAME: Pengguna yang ingin Anda beri hak istimewa.
   • SCHEMA_NAME: Nama skema yang ingin Anda beri hak istimewa.

Langkah berikutnya

• Pelajari lebih lanjut cara kerja Datastream dengan sumber PostgreSQL.