Membuat aliran AlloyDB menggunakan alur otomatis

Halaman ini menjelaskan cara membuat aliran AlloyDB untuk PostgreSQL menggunakan alur penyiapan otomatis.

Catatan: Untuk menggunakan alur penyiapan streaming otomatis saat mereplikasi dari cluster AlloyDB untuk PostgreSQL, instance utama Anda harus mengaktifkan akses layanan pribadi dan harus menggunakan jenis konektivitas antarmuka Private Service Connect.

Penyiapan streaming otomatis menyederhanakan proses pemindahan data dari cluster AlloyDB untuk PostgreSQL ke BigQuery dengan mengurangi jumlah langkah yang perlu Anda lakukan. Alur ini memungkinkan Anda membuat aliran langsung dari halaman ringkasan cluster AlloyDB untuk PostgreSQL.

Deployment AlloyDB untuk PostgreSQL terdiri dari cluster utama, yang berisi instance utama. Cluster ini juga dapat mencakup cluster sekunder dan instance sekunder. Datastream selalu membuat aliran dari instance utama di cluster utama.

Datastream mengotomatiskan pengamanan koneksi VPC antara stream dan cluster sumber, membuat konfigurasi database dan resource koneksi stream.

Paket Gratis

Datastream memungkinkan Anda melakukan streaming dari AlloyDB untuk PostgreSQL ke BigQuery menggunakan Paket Gratis, yang menyediakan hingga 100 GiB data penangkapan perubahan data gratis setiap bulan. Untuk mengetahui informasi selengkapnya, lihat Harga Datastream.

Sebelum memulai

1. Aktifkan Datastream, Network Connectivity, dan Compute Engine API.
2. Pastikan Anda memiliki izin Identity and Access Management (IAM) yang diperlukan untuk membuat dan mengelola resource Datastream. Lihat bagian berikutnya untuk mengetahui detail selengkapnya.
3. Buat dan konfigurasi cluster AlloyDB untuk PostgreSQL sumber untuk replikasi. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi database AlloyDB untuk PostgreSQL untuk CDC.

4. Sebaiknya aktifkan replikasi logis untuk cluster Anda sebelum membuat streaming. Jika Anda tidak mengaktifkan replikasi logis, Datastream akan mengaktifkannya untuk Anda, yang akan memulai ulang instance sumber Anda.

   Untuk mengetahui informasi tentang cara mengaktifkan replikasi logis untuk cluster AlloyDB untuk PostgreSQL, lihat Mengonfigurasi database AlloyDB untuk PostgreSQL untuk CDC.

5. Pastikan cluster sumber Anda dikonfigurasi untuk menggunakan akses layanan pribadi.

Izin yang diperlukan

Untuk menggunakan alur pembuatan streaming otomatis, Anda memerlukan peran atau izin Identity and Access Management (IAM) berikut:

• serviceusage.services.enable, compute.networkAdmin untuk mengaktifkan API yang diperlukan dan melakukan tugas konfigurasi jaringan.
• alloydb.admin untuk tugas konfigurasi cluster dan instance.
• datastream.admin untuk tugas administrasi yang dilakukan Datastream atas nama Anda.

Pastikan semua skema dan tabel dalam database yang dipilih diberikan ke peran postgres atau alloydbsuperuser. Karena alur otomatis mencakup semua skema dan tabel dalam database secara default, pembuatan streaming gagal jika pengguna yang dibuat secara otomatis tidak memiliki izin pada skema atau tabel apa pun.

Jika Anda memilih untuk menyesuaikan setelan streaming, pengguna administrator database Anda juga memerlukan izin GRANT untuk skema yang ingin Anda replikasi dan beberapa izin tambahan untuk tugas administratif dan struktural dalam database sumber. Hubungkan ke database sumber Anda dan jalankan perintah berikut:

  GRANT alloydbsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";
  

Catatan: Peran alloydbsuperuser diperlukan agar Datastream dapat membuat publikasi untuk semua tabel di instance database Anda.

Tabel mendatang

Tabel mendatang akan otomatis ditambahkan ke aliran hanya jika dibuat oleh pengguna yang detail akunnya Anda berikan untuk mengautentikasi selama alur otomatis. Jika tabel mendatang dibuat oleh pengguna lain, pengguna tersebut harus memberikan izin SELECT secara eksplisit kepada pengguna pembaca Datastream di tabel.

Membuat dan memulai aliran data

Untuk membuat dan memulai streaming, lakukan langkah-langkah berikut:

Konsol

1. Buka halaman ringkasan cluster AlloyDB untuk PostgreSQL sumber Anda.

   Buka AlloyDB untuk PostgreSQL

2. Klik cluster utama tempat Anda ingin melakukan streaming data.

3. Buat dan mulai streaming Anda secara otomatis, dengan salah satu cara berikut:

   1. Di halaman Cluster details, di bagian Data replication, klik Start stream.
   2. Di bagian Integrations, klik Start stream di bagian Replicate data to BigQuery.
   3. Di tab Launchpad, di bagian Integrasikan dengan lancar produkGoogle Cloud lainnya, klik Replikasi data ke BigQuery.

4. Panel Mulai streaming untuk mereplikasi data akan terbuka.

5. Di bagian Setelan streaming, tinjau setelan default untuk streaming yang Anda buat.

   Catatan: Jika tanda alloydb.logical_decoding tidak diaktifkan, Anda akan melihat notifikasi yang sesuai di bagian atas panel.

6. Anda dapat mengubah database sumber dengan meluaskan drop-down yang sesuai dan memilih nilai yang berbeda.

7. Jika Anda sudah siap membuat dan memulai streaming, klik Mulai streaming.

   Catatan: Jika Anda tidak perlu menyesuaikan setelan, Aliran Data menggunakan kredensial pengguna yang login untuk semua konfigurasi database. Anda tidak perlu memberikan detail autentikasi database bawaan atau IAM lebih lanjut. Saat menggunakan alur ini, Datastream membuat pengguna database dengan peran alloydbsuperuser dan postgres. Pastikan Anda memberikan izin akses ke semua skema dan tabel dalam database yang dipilih ke peran postgres atau alloydbsuperuser.

Jika Anda perlu mengubah setelan streaming, klik Sesuaikan.

Menyesuaikan setelan streaming

Saat Anda mengklik Sesuaikan, halaman Sesuaikan setelan streaming akan muncul. Pastikan Anda memiliki izin yang diperlukan untuk menyesuaikan setelan streaming.

Mulai

1. Di halaman Mulai, berikan nama untuk streaming Anda di kolom Nama streaming. Kolom ID Aliran Data akan diisi secara otomatis.

2. Di bagian Provide the instance user account details, pilih metode autentikasi:

   • Autentikasi database IAM: opsi ini tersedia jika pengguna Anda memiliki identitas utama Identity and Access Management (IAM) yang ditetapkan. Untuk mengetahui informasi selengkapnya, lihat akun utama IAM. Jika Anda memilih opsi ini, Anda harus memberikan peran alloydbsuperuser dan izin CREATEROLE kepada pengguna secara manual:

     1. Di konsol Google Cloud , buka halaman Cluster AlloyDB untuk PostgreSQL.

     Buka AlloyDB untuk PostgreSQL

     1. Pilih cluster AlloyDB untuk PostgreSQL Anda.
     2. Di menu navigasi, klik AlloyDB untuk PostgreSQL Studio, lalu login.
     3. Di panel Explorer, jalankan kueri berikut untuk pengguna Anda:

   GRANT alloydbsuperuser TO "USER_NAME";
   ALTER ROLE "USER_NAME" CREATEROLE;

   • Autentikasi database bawaan: berikan nama pengguna dan sandi pengguna dengan peran alloydbsuperuser. Jika pengguna Anda tidak memiliki peran alloydbsuperuser, ikuti langkah-langkah yang dijelaskan di bagian autentikasi database IAM untuk memberikan peran tersebut secara manual. Jika Anda memilih autentikasi database bawaan, pastikan juga bahwa pengguna memiliki izin GRANT pada tabel yang ingin direplikasi.

3. Tinjau detail streaming tambahan, seperti wilayah, enkripsi, dan label. Perluas bagian Detail tambahan streaming untuk menerapkan perubahan, jika diperlukan.

4. Klik Lanjutkan.

Konfigurasikan sumber

1. Di halaman Konfigurasi sumber, pilih database yang datanya ingin Anda replikasi.

   Catatan: Datastream hanya menampilkan database yang izin yang diperlukan untuk penggunanya Anda miliki. Jika Anda tidak dapat melihat database yang ingin digunakan, hal ini mungkin berarti pengguna Anda tidak memiliki izin. Selain itu, Datastream tidak menampilkan tabel sistem karena tidak mendukung replikasi dari tabel sistem.

2. Daftar Objek yang dipilih memilih semua objek yang tersedia secara default. Objek dalam daftar adalah objek yang izin streaming-nya Anda miliki. Untuk mengubah objek yang dipilih, ubah pilihan dalam daftar.

3. Tinjau konfigurasi stream lanjutan, seperti mode pengisian ulang dan jumlah maksimum koneksi pengisian ulang serentak. Luaskan bagian Konfigurasi streaming lanjutan untuk menerapkan perubahan, jika diperlukan.

4. Klik Lanjutkan.

Konfigurasikan tujuan

1. Di halaman Konfigurasi tujuan, sesuaikan setelan tujuan BigQuery, jika diperlukan. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi informasi tentang tujuan untuk streaming.

Membuat dan memulai aliran data

1. Klik Buat dan mulai untuk membuat dan memulai streaming, atau Buat tanpa memulai untuk membuat streaming dan memulainya nanti di Datastream.

   Penting: Mengklik Buat dan mulai akan memulai ulang instance AlloyDB untuk PostgreSQL Anda. Jika Anda belum mengaktifkan decoding logis untuk instance, Datastream akan mengaktifkannya untuk Anda.

2. Anda akan diberi tahu tentang tugas yang dilakukan secara otomatis untuk Anda:

   • Datastream membuat resource Virtual Private Cloud yang diperlukan, seperti rentang alamat IP internal, subnetwork, dan lampiran jaringan.
   • Datastream mengonfigurasi tabel untuk CDC, menyiapkan slot replikasi, menyiapkan publikasi untuk semua tabel dalam database, dan membuat pengguna Datastream khusus.
   • Datastream membuat konfigurasi konektivitas pribadi serta profil koneksi sumber dan tujuan.

3. Konfirmasi bahwa Anda ingin membuat dan memulai streaming.

Memantau streaming

Anda dapat memantau detail streaming dasar dari halaman ringkasan instance sumber di konsol Google Cloud . Halaman ini menampilkan informasi seperti status streaming, nama streaming, set data BigQuery tujuan, dan ID project tujuan.

Dari halaman ringkasan, Anda juga dapat melakukan tindakan seperti memulai atau menjeda streaming. Untuk informasi pemantauan yang lebih terperinci, klik nama stream untuk membuka Datastream.

Menghapus feed

Saat Anda menghapus aliran yang dibuat menggunakan alur otomatis, beberapa resource, seperti slot replikasi PostgreSQL, akan dihapus secara otomatis. Namun, ada resource yang perlu Anda hapus secara manual:

• Publikasi. Publikasi dibuat menggunakan pengguna administrator database, dan hanya dapat dihapus oleh pemiliknya, jadi secara default, pengguna yang membuatnya.
• Pengguna pembaca Datastream.
• Profil koneksi sumber dan tujuan Datastream
• Resource konektivitas pribadi.
• Semua resource jaringan yang dibuat selama alur otomatis, seperti subnetwork dan lampiran jaringan.

Langkah berikutnya

• Pelajari cara membuat aliran secara manual.
• Pelajari cara mengonfigurasi sumber AlloyDB untuk PostgreSQL.
• Pelajari lebih lanjut cara memantau streaming.