Membuat aliran AlloyDB menggunakan alur otomatis

Anda dapat mereplikasi data dari cluster AlloyDB untuk PostgreSQL ke BigQuery langsung dari halaman ringkasan cluster menggunakan alur penyiapan aliran otomatis di Datastream. Datastream menyederhanakan penyiapan dengan mengonfigurasi koneksi Virtual Private Cloud (VPC), setelan database sumber, dan resource aliran data secara otomatis.

Datastream membuat aliran data dari instance utama di cluster AlloyDB utama Anda, meskipun deployment Anda menyertakan cluster atau instance sekunder. Untuk menggunakan alur otomatis, instance utama Anda harus mengaktifkan akses layanan pribadi dan menggunakan antarmuka Private Service Connect.

Paket Gratis

Datastream memungkinkan Anda melakukan streaming dari AlloyDB untuk PostgreSQL ke BigQuery menggunakan Paket Gratis, yang menyediakan hingga 100 GiB data change data capture gratis setiap bulan. Untuk mengetahui informasi selengkapnya, lihat Harga Datastream.

Sebelum memulai

1. Aktifkan Datastream API, Network Connectivity API, dan Compute Engine API.
2. Pastikan Anda memiliki izin Identity and Access Management (IAM) yang diperlukan untuk membuat dan mengelola resource Datastream. Lihat bagian berikut untuk mengetahui detail selengkapnya.
3. Membuat dan mengonfigurasi cluster AlloyDB untuk PostgreSQL sumber untuk replikasi. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi database AlloyDB untuk PostgreSQL untuk CDC.

4. Sebaiknya aktifkan replikasi logis untuk cluster Anda sebelum membuat aliran data. Jika Anda tidak mengaktifkan replikasi logis, Datastream akan mengaktifkannya untuk Anda, yang akan memulai ulang instance sumber.

   Untuk mengetahui informasi tentang cara mengaktifkan replikasi logis untuk cluster AlloyDB untuk PostgreSQL, lihat Mengonfigurasi database AlloyDB untuk PostgreSQL untuk CDC.

5. Pastikan cluster sumber Anda dikonfigurasi untuk menggunakan akses layanan pribadi.

Izin yang diperlukan

Untuk menggunakan alur pembuatan aliran data otomatis, Anda memerlukan peran atau izin Identity and Access Management (IAM) berikut:

• serviceusage.services.enable, compute.networkAdmin untuk mengaktifkan API yang diperlukan dan melakukan tugas konfigurasi jaringan.
• alloydb.admin untuk tugas konfigurasi cluster dan instance.
• datastream.admin untuk tugas administrasi yang dilakukan Datastream atas nama Anda.

Pastikan semua skema dan tabel dalam database yang dipilih diberikan ke peran postgres atau alloydbsuperuser. Karena alur otomatis mencakup semua skema dan tabel dalam database secara default, pembuatan aliran data akan gagal jika pengguna yang dibuat secara otomatis tidak memiliki izin pada skema atau tabel apa pun.

Jika Anda memilih untuk menyesuaikan setelan aliran data, pengguna administrator database Anda juga memerlukan izin GRANT untuk skema yang ingin Anda replikasi dan beberapa izin tambahan untuk tugas administratif dan struktural dalam database sumber. Hubungkan ke database sumber Anda dan jalankan perintah berikut:

  GRANT alloydbsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";
  

Catatan: Peran alloydbsuperuser diperlukan agar Datastream dapat membuat publikasi untuk semua tabel di instance database Anda.

Tabel mendatang

Tabel mendatang akan otomatis ditambahkan ke aliran data hanya jika tabel tersebut dibuat oleh pengguna yang detail akunnya Anda berikan untuk melakukan autentikasi selama alur otomatis. Jika tabel mendatang dibuat oleh pengguna lain, pengguna tersebut harus secara eksplisit memberikan izin SELECT kepada pengguna pembaca Datastream pada tabel.

Membuat dan memulai aliran data

Untuk membuat dan memulai streaming, lakukan langkah-langkah berikut:

Konsol

1. Buka halaman ringkasan cluster AlloyDB untuk PostgreSQL sumber Anda.

   Buka AlloyDB untuk PostgreSQL

2. Klik cluster utama yang ingin Anda gunakan untuk menstreaming data.

3. Buat dan mulai streaming Anda secara otomatis, dengan salah satu cara berikut:

   • Di halaman Cluster details, di bagian Data replication, klik Start stream.
   • Di bagian Integrations, klik Start stream di bagian Replicate data to BigQuery.
   • Di tab Launchpad, di bagian Integrasi yang lancar denganGoogle Cloud produk lain, klik Replikasi data ke BigQuery.

4. Panel Start stream to replicate data akan terbuka.

5. Di bagian Setelan streaming, tinjau setelan default untuk streaming yang Anda buat.

   Catatan: Jika flag alloydb.logical_decoding tidak diaktifkan, Anda akan melihat notifikasi yang sesuai di bagian atas panel.

6. Anda dapat mengubah database sumber dengan meluaskan drop-down yang sesuai dan memilih nilai yang berbeda.

7. Jika Anda sudah siap membuat dan memulai streaming, klik Mulai streaming.

   Catatan: Jika Anda tidak perlu menyesuaikan setelan, Datastream akan menggunakan kredensial pengguna yang login untuk semua konfigurasi database. Anda tidak perlu memberikan detail autentikasi database bawaan atau IAM lebih lanjut. Saat menggunakan alur ini, Datastream akan membuat pengguna database dengan peran alloydbsuperuser dan postgres. Pastikan Anda memberikan izin akses ke semua skema dan tabel dalam database yang dipilih ke peran postgres atau alloydbsuperuser.

Jika Anda perlu mengubah setelan streaming, klik Sesuaikan.

Menyesuaikan setelan streaming

Saat Anda mengklik Sesuaikan, halaman Sesuaikan setelan streaming akan muncul. Pastikan Anda memiliki izin yang diperlukan untuk menyesuaikan setelan aliran data.

Mulai

1. Di halaman Get started, berikan nama untuk aliran data Anda di kolom Stream name. Kolom ID Aliran Data akan diisi secara otomatis.

2. Di bagian Provide the instance user account details, pilih metode autentikasi:

   • Autentikasi database IAM: opsi ini tersedia jika pengguna Anda memiliki identitas akun utama Identity and Access Management (IAM) yang ditetapkan. Untuk mengetahui informasi selengkapnya, lihat Akun utama IAM. Jika memilih opsi ini, Anda harus memberikan peran alloydbsuperuser dan izin CREATEROLE kepada pengguna secara manual:

     1. Di konsol Google Cloud , buka halaman AlloyDB untuk PostgreSQL Clusters.

     Buka AlloyDB untuk PostgreSQL

     1. Pilih cluster AlloyDB untuk PostgreSQL Anda.
     2. Di menu navigasi, klik AlloyDB untuk PostgreSQL Studio, lalu login.
     3. Di panel Explorer, jalankan kueri berikut untuk pengguna Anda:

   GRANT alloydbsuperuser TO "USER_NAME";
   ALTER ROLE "USER_NAME" CREATEROLE;

   • Autentikasi database bawaan: berikan nama pengguna dan sandi pengguna dengan peran alloydbsuperuser. Jika pengguna Anda tidak memiliki peran alloydbsuperuser, ikuti langkah-langkah yang dijelaskan di bagian autentikasi database IAM untuk memberikannya secara manual. Jika Anda memilih autentikasi database bawaan, pastikan juga bahwa pengguna memiliki izin GRANT pada tabel yang ingin direplikasi.

3. Tinjau detail streaming tambahan, seperti wilayah, enkripsi, dan label. Luaskan bagian Detail aliran data tambahan untuk menerapkan perubahan, jika diperlukan.

4. Klik Lanjutkan.

Konfigurasikan sumber

1. Di halaman Configure source, pilih database tempat Anda ingin mereplikasi data.

   Catatan: Datastream hanya menampilkan database yang izinnya dimiliki oleh pengguna Anda. Jika Anda tidak dapat melihat database yang ingin digunakan, mungkin pengguna Anda tidak memiliki izin. Selain itu, Datastream tidak menampilkan tabel sistem, karena tidak mendukung replikasi dari tabel sistem.

2. Daftar Selected objects memilih semua objek yang tersedia secara default. Objek dalam daftar adalah objek yang izinnya Anda miliki untuk melakukan streaming. Untuk mengubah objek yang dipilih, ubah pilihan dalam daftar.

3. Tinjau konfigurasi aliran lanjutan, seperti mode pengisian ulang dan jumlah maksimum koneksi pengisian ulang serentak. Luaskan bagian Advanced stream configurations untuk menerapkan perubahan, jika diperlukan.

4. Klik Lanjutkan.

Konfigurasikan tujuan

1. Di halaman Configure destination, sesuaikan setelan tujuan BigQuery, jika diperlukan. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi informasi tentang tujuan untuk aliran data.

Membuat dan memulai aliran data

1. Klik Create and start untuk membuat dan memulai streaming, atau Create without starting untuk membuat streaming dan memulainya nanti di Datastream.

   Penting: Mengklik Create and start akan memulai ulang instance AlloyDB untuk PostgreSQL Anda. Jika Anda belum mengaktifkan decoding logis untuk instance, Datastream akan mengaktifkannya untuk Anda.

2. Anda akan diberi tahu tentang tugas yang otomatis dilakukan untuk Anda:

   • Datastream membuat resource Virtual Private Cloud yang diperlukan, seperti rentang alamat IP internal, subnetwork, dan lampiran jaringan.
   • Datastream mengonfigurasi tabel untuk CDC, menyiapkan slot replikasi, menyiapkan publikasi untuk semua tabel dalam database, dan membuat pengguna Datastream khusus.
   • Datastream membuat konfigurasi konektivitas pribadi serta profil koneksi sumber dan tujuan.

3. Konfirmasi bahwa Anda ingin membuat dan memulai streaming.

Memantau streaming

Anda dapat memantau detail aliran data dasar dari halaman ringkasan instance sumber di konsol Google Cloud . Halaman ini menampilkan informasi seperti status aliran, nama aliran, set data BigQuery tujuan, dan ID project tujuan.

Dari halaman ringkasan, Anda juga dapat melakukan tindakan seperti memulai atau menjeda streaming. Untuk informasi pemantauan yang lebih terperinci, klik nama aliran data untuk membuka Datastream.

Menghapus aliran data

Saat Anda menghapus aliran data yang dibuat menggunakan alur otomatis, beberapa resource, seperti slot replikasi PostgreSQL, akan dihapus secara otomatis. Namun, ada resource yang perlu Anda hapus secara manual:

• Publikasi. Publikasi dibuat menggunakan pengguna administrator database, dan hanya dapat dihapus oleh pemiliknya, jadi secara default, pengguna yang membuatnya.
• Pengguna pembaca Datastream.
• Profil koneksi sumber dan tujuan Datastream
• Resource konektivitas pribadi.
• Semua resource jaringan yang dibuat selama alur otomatis, seperti subnetwork dan lampiran jaringan.

Langkah berikutnya

• Pelajari cara membuat streaming secara manual.
• Pelajari cara mengonfigurasi sumber AlloyDB untuk PostgreSQL.
• Pelajari lebih lanjut cara memantau streaming.