Mereplikasi data antara AlloyDB dan AlloyDB Omni

Pilih versi dokumentasi:

Halaman ini menyediakan langkah-langkah untuk mereplikasi data antara AlloyDB untuk PostgreSQL dan AlloyDB Omni menggunakan ekstensi pglogical.

Untuk mengetahui ringkasan pglogical di AlloyDB Omni, manfaat, dan batasannya, lihat Tentang ekstensi pglogical.

Komponen utama pglogical

Komponen utama ekstensi pglogical adalah sebagai berikut:

  • Node: referensi yang diberikan untuk database dalam cluster PostgreSQL. Ekstensi pglogical diinstal ke dalam, dan berfungsi untuk sejumlah database dalam cluster, dan masing-masing bertindak sebagai node pglogical yang berbeda. Setiap node dapat berupa penyedia yang juga dikenal sebagai sumber replikasi atau pelanggan yang juga dikenal sebagai target replikasi, atau keduanya secara bersamaan. Hanya satu node yang diizinkan per database.
  • Kumpulan replikasi: ditentukan dalam database penyedia sebagai pengelompokan logis tabel dan urutan yang akan dimigrasikan, serta pernyataan SQL seperti INSERT, UPDATE, DELETE, TRUNCATE yang perlu direplikasi. Anda dapat menetapkan tabel ke lebih dari satu kumpulan replikasi. Secara default, tiga kumpulan replikasi yang telah dikonfigurasi sebelumnya seperti default, default_insert_only, dan ddl_sql disediakan, dan Anda dapat menambahkan sejumlah kumpulan replikasi tambahan untuk memenuhi kebutuhan Anda.
  • Langganan: memberikan detail perubahan yang direplikasi dari database penyedia dan perubahan yang direplikasi dari database penyedia, di database pelanggan. Langganan menentukan database penyedia melalui string koneksi, dan secara opsional, kumpulan replikasi mana dari penyedia tersebut yang harus disalin. Selain itu, Anda juga dapat menentukan apakah akan menggunakan apply delay saat membuat langganan.

Dalam deployment ini, layanan AlloyDB untuk PostgreSQL adalah penyedia dan AlloyDB Omni lokal adalah pelanggan. Perhatikan bahwa konfigurasi yang berlawanan juga dapat dilakukan.

Metode autentikasi yang didukung

Anda harus mempertimbangkan jaringan dan keamanan antara node replikasi sebelum menerapkan ekstensi pglogical di AlloyDB Omni. Dua metode autentikasi utama yang digunakan dengan ekstensi pglogical adalah metode autentikasi sandi dan kepercayaan.

Metode autentikasi yang direkomendasikan adalah autentikasi kepercayaan karena dalam metode autentikasi sandi, sandi disimpan dalam format teks biasa di tabel database yang dimiliki oleh pglogical. Sandi ini terlihat dalam teks biasa oleh siapa saja yang memiliki izin database untuk membuat kueri tabel ini, dalam cadangan non-biner, dan dalam file log PostgreSQL.

Jika menggunakan metode autentikasi kepercayaan, Anda harus membuat entri tertentu dalam file autentikasi berbasis host, pg_hba.conf untuk keamanan maksimum. Anda dapat membatasi akses dengan menentukan database target, hanya mengizinkan opsi replikasi atau database tertentu, pengguna replikasi, dan hanya dari alamat IP tertentu pelanggan.

Sebelum memulai

Anda dapat menginstal pglogical sebagai ekstensi dalam database tertentu.

Sebelum menerapkan ekstensi pglogical di AlloyDB Omni, pastikan Anda memenuhi persyaratan sistem berikut:

  • Cluster AlloyDB untuk PostgreSQL, dan akses baca/tulis ke instance utama sebagai Admin Cloud AlloyDB. Untuk mengetahui petunjuk cara menyediakan cluster AlloyDB untuk PostgreSQL, lihat Membuat dan menghubungkan ke database.
  • Server AlloyDB Omni, diinstal dan dikonfigurasi. Untuk mengetahui petunjuk cara menginstal AlloyDB Omni, lihat Menginstal AlloyDB Omni.
  • Alamat IP untuk instance utama AlloyDB untuk PostgreSQL dan server host AlloyDB Omni.
  • Jaringan yang dibuat dan diamankan antara AlloyDB untuk PostgreSQL dan server host AlloyDB Omni. Konektivitas TCP pada port PostgreSQL standar 5432 diperlukan.

Menyesuaikan parameter pada penyedia AlloyDB untuk PostgreSQL

Ekstensi pglogical memerlukan serangkaian penyesuaian parameter minimal pada cluster penyedia AlloyDB untuk PostgreSQL. Anda harus menetapkan parameter wal_level ke logical, dan menambahkan pglogical ke parameter shared_preload_libraries dalam file postgresql.conf.

   cp postgresql.conf postgresql.bak
   sed -r -i "s|(\#)?wal_level\s*=.*|wal_level=logical|" postgresql.conf
   sed -r -i "s|(\#)?(shared_preload_libraries\s*=\s*)'(.*)'.*$|\2'\3,pglogical'|" postgresql.conf
   sed -r -i "s|',|'|" postgresql.conf

Di layanan AlloyDB untuk PostgreSQL, Anda dapat menyesuaikan parameter dengan menetapkan flag cluster yang sesuai.

Anda harus menyesuaikan parameter untuk flag AlloyDB untuk PostgreSQL berikut:

  • alloydb.enable_pglogical = on
  • alloydb.logical_decoding = on

Untuk mengetahui informasi tentang cara menetapkan flag database di AlloyDB untuk PostgreSQL, lihat Mengonfigurasi flag database instance.

Untuk parameter database node penyedia lain yang diperlukan, Anda harus menetapkan nilai default AlloyDB untuk PostgreSQL sebagai berikut:

  • max_worker_processes: satu per database penyedia dan setidaknya satu per node pelanggan. Setidaknya 10 adalah standar untuk parameter ini.
  • max_replication_slots: satu per node di node penyedia.
  • max_wal_senders: satu per node di node penyedia.
  • track_commit_timestamp: ditetapkan ke on jika resolusi konflik pembaruan terakhir atau pertama diperlukan.
  • listen_addresses: harus menyertakan alamat IP AlloyDB Omni atau menyebutkan melalui blok CIDR yang mencakup.

Anda dapat memeriksa parameter ini menggunakan alat kueri apa pun, seperti psql.

Menyesuaikan parameter pada cluster pelanggan AlloyDB Omni

Ekstensi pglogical juga memerlukan serangkaian penyesuaian parameter minimal pada pelanggan AlloyDB Omni. Anda harus menambahkan pglogical ke parameter shared_preload_libraries dalam file DATA_DIR/postgresql.conf. Jika database apa pun dalam cluster bertindak sebagai database penyedia, lakukan perubahan parameter yang diperlukan untuk database penyedia.

Ganti DATA_DIR dengan jalur sistem file ke direktori data Anda—misalnya, /home/$USER/alloydb-data.

  1. Sesuaikan parameter:

    sudo sed -r -i "s|(shared_preload_libraries\s*=\s*)'(.*)'.*$|\1'\2,pglogical'|" DATA_DIR/postgresql.conf

  2. Pastikan parameter ditetapkan dengan benar:

    grep -iE 'shared_preload_libraries' DATA_DIR/postgresql.conf

  3. Mulai ulang AlloyDB Omni agar perubahan parameter diterapkan:

    Docker 

     docker container restart CONTAINER_NAME

    Ganti CONTAINER_NAME dengan nama yang Anda tetapkan ke container AlloyDB Omni saat Anda menginstalnya.

    Podman 

     podman container restart CONTAINER_NAME

    Ganti CONTAINER_NAME dengan nama yang Anda tetapkan ke container AlloyDB Omni saat Anda menginstalnya.

  4. Tetapkan nilai default AlloyDB Omni untuk parameter database penyedia lainnya:

    • max_worker_processes: Satu per database penyedia dan satu per node pelanggan.
    • track_commit_timestamp: Ditetapkan ke on jika resolusi konflik pembaruan terakhir atau pertama diperlukan.

  5. Pastikan semua nilai parameter ditetapkan dengan benar:

    Docker 

     docker exec CONTAINER_NAME psql -h localhost -U postgres -c "
 SELECT name, setting
   FROM pg_catalog.pg_settings
  WHERE name IN ('listen_addresses',
                 'wal_level',
                 'shared_preload_libraries',
                 'max_worker_processes',
                 'max_replication_slots',
                 'max_wal_senders',
                 'track_commit_timestamp')
      ORDER BY name;"

    Podman 

     podman exec CONTAINER_NAME psql -h localhost -U postgres -c "
 SELECT name, setting
   FROM pg_catalog.pg_settings
  WHERE name IN ('listen_addresses',
                 'wal_level',
                 'shared_preload_libraries',
                 'max_worker_processes',
                 'max_replication_slots',
                 'max_wal_senders',
                 'track_commit_timestamp')
      ORDER BY name;"

Penyesuaian autentikasi berbasis host ke cluster pelanggan AlloyDB Omni

pglogical membuat koneksi TCP lokal ke database pelanggan AlloyDB Omni. Oleh karena itu, Anda harus menambahkan alamat IP server host pelanggan ke file DATA_DIR/pg_hba.conf AlloyDB Omni.

  1. Tambahkan entri autentikasi kepercayaan untuk server lokal, khusus untuk pengguna baru pglogical_replication ke file DATA_DIR/pg_hba.conf:

    echo -e "# pglogical entries:
host all pglogical_replication samehost trust
" | column -t | sudo tee -a DATA_DIR/pg_hba.conf

  2. Pastikan entri sudah benar:

    tail -2 DATA_DIR/pg_hba.conf

  3. Mulai ulang AlloyDB Omni agar perubahan autentikasi diterapkan:

    Docker 

    docker container restart CONTAINER_NAME

    Podman 

    podman container restart CONTAINER_NAME

Membuat pengguna pglogical di cluster penyedia dan pelanggan

Anda harus membuat pengguna baru di cluster penyedia dan pelanggan. pglogical mengharuskan pengguna memiliki izin superuser dan replication.

  1. Di cluster penyedia AlloyDB untuk PostgreSQL, buat pengguna dan berikan peran alloydbsuperuser:

    CREATE USER pglogical_replication LOGIN PASSWORD 'secret';
ALTER USER pglogical_replication WITH replication;
GRANT alloydbsuperuser TO pglogical_replication;

  2. Di cluster pelanggan AlloyDB Omni, buat pengguna dan berikan atribut replication dan superuser:

    CREATE USER pglogical_replication LOGIN PASSWORD 'secret';
ALTER USER pglogical_replication WITH replication;
ALTER USER pglogical_replication WITH superuser;

Menambahkan pglogical dan node ke database penyedia AlloyDB untuk PostgreSQL

  1. Berikan hak istimewa yang diperlukan.

    Anda harus menginstal ekstensi pglogical di setiap database dan memberikan izin usage kepada pengguna database pglogical. Di AlloyDB untuk PostgreSQL, Anda harus memberikan hak istimewa pada skema pglogical.

    Misalnya, jika database Anda adalah my_test_db, jalankan perintah berikut terhadap database penyedia AlloyDB untuk PostgreSQL:

       \c my_test_db;
 CREATE EXTENSION IF NOT EXISTS pglogical;
 GRANT usage ON SCHEMA pglogical TO pglogical_replication;
-- For Google Cloud AlloyDB we also need to manually grant privileges:
 GRANT ALL PRIVILEGES ON ALL tables IN SCHEMA pglogical TO pglogical_replication;

  2. Buat node pglogical untuk database penyedia. node_name bersifat arbitrer dan string dsn harus merupakan koneksi TCP yang valid kembali ke database yang sama. Untuk AlloyDB untuk PostgreSQL, bagian host dari dsn adalah alamat IP yang disediakan untuk instance utama.

    Untuk AlloyDB untuk PostgreSQL, autentikasi kepercayaan tidak diizinkan, dan argumen sandi harus disertakan dalam dsn. parameter.

    Misalnya, untuk database my_test_db, jalankan perintah berikut:

    SELECT pglogical.create_node(node_name := 'provider', dsn := 'host=SERVER_IP_ADDRESS
port=5432 dbname=my_test_db user=pglogical_replication password=secret');

Membuat tabel dan menambahkannya ke kumpulan replikasi default

Buat tabel dan tambahkan ke kumpulan replikasi default di database penyedia AlloyDB untuk PostgreSQL.

  1. Buat tabel pengujian bernama test_table_1 di database penyedia:

    CREATE TABLE test_table_1 (col1 INT PRIMARY KEY);
INSERT INTO test_table_1 VALUES (1),(2),(3);

  2. Berikan SELECT pada tabel individual atau jalankan perintah GRANT SELECT ON ALL TABLES. Tabel apa pun yang akan menjadi bagian dari kumpulan replikasi harus memiliki izin kueri yang diberikan kepada pengguna replikasi, pglogical_replication.

    GRANT SELECT ON ALL TABLES IN SCHEMA public TO pglogical_replication;

  3. Tambahkan tabel pengujian secara manual ke kumpulan replikasi default. Anda dapat membuat kumpulan replikasi pglogical kustom, atau menggunakan kumpulan replikasi default. Beberapa kumpulan replikasi default seperti default, default_insert_only, dan ddl_sql dibuat saat Anda membuat ekstensi. Anda dapat menambahkan tabel dan urutan ke kumpulan replikasi satu per satu, atau sekaligus untuk skema tertentu.

    -- Add the specified table to the default replication set:
SELECT pglogical.replication_set_add_table(set_name := 'default', relation := 'test_table_1', synchronize_data := TRUE);

-- Check which tables have been added to all replication sets:
SELECT * FROM pglogical.replication_set_table;

  4. (Opsional) Tambahkan semua tabel dalam skema tertentu, seperti public:

    -- Add all "public" schema tables to the default replication set:
SELECT pglogical.replication_set_add_all_tables('default', ARRAY['public']);

-- Check which tables have been added to all replication sets:
SELECT * FROM pglogical.replication_set_table;

-- Add all "public" schema sequences to the default replication:
SELECT pglogical.replication_set_add_all_sequences('default', ARRAY['public']);

 -- Check which sequences have been added to all replication sets:
SELECT * FROM pglogical.replication_set_seq;

  5. Hapus tabel dari kumpulan replikasi default. Jika ada tabel dalam skema yang tidak memiliki kunci utama, Anda dapat menyiapkannya untuk replikasi INSERT saja atau menetapkan kolom yang secara unik mengidentifikasi baris menggunakan fitur REPLICA IDENTITY yang digunakan dengan perintah ALTER TABLE. Jika Anda telah menambahkan tabel tersebut ke kumpulan replikasi default secara otomatis menggunakan fungsi replication_set_add_all_tables, Anda harus menghapusnya secara manual dari kumpulan replikasi tersebut dan menambahkannya ke kumpulan default_insert_only.

    -- Remove the table from the **default** replication set:
SELECT pglogical.replication_set_remove_table(set_name := 'default', relation := 'test_table_2');

    -- Manually add to the **default_insert_only** replication set:
SELECT pglogical.replication_set_add_table(set_name := 'default_insert_only', relation := 'test_table_2');

    Secara opsional, jika Anda ingin menambahkan tabel yang baru dibuat ke kumpulan replikasi secara otomatis, tambahkan pemicu pglogical_assign_repset seperti yang disarankan di sumber pglogical.

Menyalin database ke cluster pelanggan AlloyDB Omni

  1. Buat cadangan hanya skema database sumber menggunakan utilitas pg_dump.

  2. Jalankan perintah pg_dump dari server pelanggan AlloyDB Omni menggunakan alamat IP instance utama AlloyDB untuk PostgreSQL.

    pg_dump -h SERVER_IP_ADDRESS -U postgres --create --schema-only my_test_db > my_test_db.schema-only.sql

  3. Impor cadangan ke database pelanggan di server AlloyDB Omni pelanggan:

    Docker 

    docker exec -i CONTAINER_NAME psql -h localhost -U postgres < my_test_db.schema-only.sql

    Podman 

    podman exec -i CONTAINER_NAME psql -h localhost -U postgres < my_test_db.schema-only.sql

Abaikan error seperti alloydbsuperuser not existing. Peran ini khusus untuk AlloyDB untuk PostgreSQL.

Tindakan ini akan membuat database dan skema, tanpa data baris apa pun. Data baris direplikasi oleh ekstensi pglogical. Salin atau buat ulang pengguna atau peran lain yang diperlukan secara manual.

Membuat node dan langganan di database pelanggan AlloyDB Omni

  1. Buat node di database pelanggan AlloyDB Omni:

    Docker 

    docker exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c "
SELECT pglogical.create_node(node_name := 'subscriber', dsn := 'host=localhost port=5432 dbname=my_test_db user=pglogical_replication');"

    Podman 

    podman exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c "
SELECT pglogical.create_node(node_name := 'subscriber', dsn := 'host=localhost port=5432 dbname=my_test_db user=pglogical_replication');"

  2. Buat langganan di database pelanggan, yang mengarah kembali ke instance utama database penyedia AlloyDB untuk PostgreSQL.

    Docker 

    docker exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c "
SELECT pglogical.create_subscription(subscription_name := 'test_sub_1', provider_dsn := 'host=SERVER_IP_ADDRESS port=5432 dbname=my_test_db user=pglogical_replication password=secret');"

    Podman 

    podman exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c "
SELECT pglogical.create_subscription(subscription_name := 'test_sub_1', provider_dsn := 'host=SERVER_IP_ADDRESS port=5432 dbname=my_test_db user=pglogical_replication password=secret');"

  3. Berdasarkan ukuran tabel dan data yang akan direplikasi, waktu replikasi dapat bervariasi dari detik hingga menit. Setelah itu, data awal akan direplikasi dari penyedia ke pelanggan:

    Docker 

    docker exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c "
SELECT * FROM test_table_1 ORDER BY 1;"

    Podman 

    podman exec CONTAINER_NAME psql -h localhost -U postgres -d my_test_db -c "
SELECT * FROM test_table_1 ORDER BY 1;"

    Baris tambahan yang ditambahkan ke database penyedia juga direplikasi dalam hitungan detik.

Pertimbangan deployment pglogical tambahan

Ekstensi pglogical memiliki banyak fitur lanjutan yang tidak dibahas dalam dokumen ini. Banyak fitur ini berlaku untuk penerapan Anda. Anda dapat mempertimbangkan fitur lanjutan berikut:

  • Resolusi konflik
  • Replikasi dua arah dan multimaster
  • Pencantuman urutan
  • Prosedur peralihan dan failover

Langkah berikutnya