Mengonfigurasi database Amazon Aurora MySQL untuk CDC

Anda dapat melakukan streaming update change data capture (CDC) dari cluster Amazon Aurora MySQL ke tujuan seperti BigQuery atau Cloud Storage menggunakan Datastream. Sebelum membuat aliran, Anda mengonfigurasi grup parameter cluster, menetapkan periode retensi log biner, dan memberikan hak istimewa replikasi kepada pengguna database Datastream.

Sebelum memulai, pastikan Anda memiliki cluster Amazon Aurora yang ada dan terhubung ke endpoint Penulis server database utama Anda.

Membuat grup parameter

1. Luncurkan Dasbor Amazon RDS.

2. Di panel navigasi, klik Parameter Groups.

3. Klik Create Parameter Group. Halaman Create Parameter Group akan muncul.

4. Gunakan tabel berikut untuk mengisi kolom halaman ini:

   Kolom	Deskripsi
   Parameter group family	Pilih family yang cocok dengan database Anda.
   Jenis	Pilih DB Cluster Parameter Group.
   Nama grup	Berikan nama untuk grup parameter.
   Deskripsi	Berikan deskripsi untuk grup parameter.

5. Klik Create.

6. Centang kotak di sebelah kiri grup parameter yang baru Anda buat.

7. Di bagian Parameter group actions, klik Edit.

8. Tetapkan nilai parameter berikut:

   • Untuk replikasi berbasis GTID:

     Parameter	Nilai
     binlog_format	ROW
     log_bin_use_v1_row_events	1
     read_only	0
     net_read_timeout	3600
     net_write_timeout	3600
     wait_timeout	86400
     expire-logs-days	7
     binlog_row_image	FULL
     max_allowed_packet	1G (nilai yang direkomendasikan)
     log-replica-updates	1
     enforce-gtid-consistency	ON
     gtid_mode	ON Anda hanya dapat menetapkan parameter ini ke ON setelah menetapkan enforce-gtid-consistency ke ON. Secara umum, gtid_mode dapat memiliki nilai berikut: OFF OFF_PERMISSIVE ON_PERMISSIVE ON Anda hanya dapat mengubah nilai parameter gtid_mode satu langkah dalam satu waktu. Misalnya, jika mode saat ini ditetapkan ke OFF, lakukan hal berikut: Ubah setelan ke OFF_PERMISSIVE. Ubah setelan ke ON_PERMISSIVE. Ubah setelan ke ON. Untuk mengetahui informasi selengkapnya, lihat dokumentasi MySQL.

   • Untuk replikasi berbasis binlog:

     Parameter	Nilai
     binlog_format	ROW

9. Klik Save Changes.

Menetapkan grup parameter ke instance database

1. Luncurkan Dasbor Amazon RDS.

2. Di panel navigasi, klik Database, lalu pilih instance database Anda.

3. Dari menu Instance Actions, pilih Modify. Dialog Modify DB Instance akan muncul.

4. Di bagian Additional configuration, pilih grup parameter cluster database yang Anda buat.

5. Tetapkan Backup retention period ke 7 days.

6. Klik Continue.

7. Di panel Scheduling of Modifications, pilih opsi Apply immediately.

Menetapkan periode retensi log biner

1. Masukkan perintah MySQL berikut:

   call mysql.rds_set_configuration('binlog retention hours', 168);

   Anda memasukkan perintah ini karena ingin memastikan replikasi yang tepat dengan mengonfigurasi sistem untuk menyimpan log biner selama minimal 7 hari (atau 168 jam).

2. Mulai ulang server MySQL agar perubahan yang Anda buat dapat diterapkan.

Membuat pengguna Datastream

1. Buat pengguna Datastream:

   CREATE USER 'datastream'@'%' IDENTIFIED BY 'YOUR_PASSWORD';

2. Berikan hak istimewa berikut kepada pengguna:

   GRANT REPLICATION SLAVE, SELECT, REPLICATION CLIENT ON *.* TO 'datastream'@'%';
   GRANT EXECUTE ON PROCEDURE mysql.rds_show_configuration TO 'datastream'@'%';
   FLUSH PRIVILEGES;

Langkah berikutnya

• Pelajari lebih lanjut cara kerja Datastream dengan sumber MySQL.