Membuat aliran AlloyDB menggunakan alur otomatis

Halaman ini menjelaskan cara membuat aliran data AlloyDB untuk PostgreSQL menggunakan alur penyiapan otomatis.

Catatan: Untuk menggunakan alur penyiapan aliran data otomatis saat mereplikasi dari cluster AlloyDB untuk PostgreSQL, instance utama Anda harus mengaktifkan akses layanan pribadi dan harus menggunakan jenis konektivitas antarmuka Private Service Connect.

Penyiapan aliran data otomatis menyederhanakan proses pemindahan data dari cluster AlloyDB untuk PostgreSQL ke BigQuery dengan mengurangi jumlah langkah yang perlu Anda lakukan. Alur ini memungkinkan Anda membuat aliran data langsung dari halaman ringkasan cluster AlloyDB untuk PostgreSQL.

Deployment AlloyDB untuk PostgreSQL terdiri dari cluster utama, yang berisi instance utama. Deployment ini juga dapat mencakup cluster sekunder dan instance sekunder. Datastream selalu membuat aliran data dari instance utama di cluster utama.

Datastream mengotomatiskan pengamanan koneksi VPC antara aliran data dan cluster sumber, membuat konfigurasi database dan resource koneksi aliran data.

Sebelum memulai

1. Aktifkan Datastream, Network Connectivity, dan Compute Engine API.
2. Pastikan Anda memiliki izin Identity and Access Management (IAM) yang diperlukan untuk membuat dan mengelola resource Datastream. Lihat bagian berikut untuk mengetahui detail selengkapnya.
3. Buat dan konfigurasi cluster AlloyDB untuk PostgreSQL sumber untuk replikasi. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi database AlloyDB untuk PostgreSQL untuk CDC.

4. Sebaiknya aktifkan replikasi logis untuk cluster Anda sebelum membuat aliran data. Jika Anda tidak mengaktifkan replikasi logis, Datastream akan mengaktifkannya untuk Anda, yang akan memulai ulang instance sumber Anda.

   Untuk mengetahui informasi tentang cara mengaktifkan replikasi logis untuk cluster AlloyDB untuk PostgreSQL, lihat Mengonfigurasi database AlloyDB untuk PostgreSQL untuk CDC.

5. Pastikan cluster sumber Anda dikonfigurasi untuk menggunakan akses layanan pribadi.

Izin yang diperlukan

Untuk menggunakan alur pembuatan aliran data otomatis, Anda memerlukan peran atau izin Identity and Access Management (IAM) berikut:

• serviceusage.services.enable, compute.networkAdmin untuk mengaktifkan API yang diperlukan dan melakukan tugas konfigurasi jaringan.
• alloydb.admin untuk tugas konfigurasi cluster dan instance.
• datastream.admin untuk tugas administrasi yang dilakukan Datastream atas nama Anda.

Jika Anda memilih untuk menyesuaikan setelan aliran data, pengguna administrator database Anda juga memerlukan izin GRANT untuk skema yang ingin Anda replikasi dan beberapa izin tambahan untuk tugas administratif dan struktural dalam database sumber. Hubungkan ke database sumber Anda dan jalankan perintah berikut:

  GRANT alloydbsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";
  

Catatan: Peran alloydbsuperuser diperlukan agar Datastream dapat membuat publikasi untuk semua tabel di instance database Anda.

Tabel mendatang

Tabel mendatang akan otomatis ditambahkan ke aliran data hanya jika dibuat oleh pengguna yang detail akunnya Anda berikan untuk mengautentikasi selama alur otomatis. Jika tabel mendatang dibuat oleh pengguna lain, pengguna tersebut harus secara eksplisit memberikan izin SELECT kepada pengguna pembaca Datastream di tabel.

Membuat dan memulai aliran data

Untuk membuat dan memulai aliran data, lakukan langkah-langkah berikut:

Konsol

1. Buka halaman ringkasan cluster AlloyDB untuk PostgreSQL sumber Anda.

   Buka AlloyDB untuk PostgreSQL

2. Klik cluster utama tempat Anda ingin melakukan streaming data.

3. Buat dan mulai aliran data Anda secara otomatis, dengan salah satu cara berikut:

   1. Di halaman Cluster details, di bagian Data replication, klik Start stream.
   2. Di bagian Integrations, klik Start stream di bagian Replicate data to BigQuery.
   3. Di tab Launchpad, di bagian Seamlessly integrate with other Google Cloud products, klik Replicate data to BigQuery.

4. Panel Start stream to replicate data akan terbuka.

5. Di bagian Stream settings, tinjau setelan default untuk aliran data yang Anda buat.

   Catatan: Jika flag alloydb.logical_decoding tidak diaktifkan, Anda akan melihat notifikasi yang sesuai di bagian atas panel.

6. Anda dapat mengubah database sumber dengan meluaskan drop-down yang sesuai dan memilih nilai yang berbeda.

7. Jika Anda siap membuat dan memulai aliran data, klik Start stream.

   Catatan: Jika Anda tidak perlu menyesuaikan setelan, Datastream akan menggunakan kredensial pengguna yang login untuk semua konfigurasi database. Anda tidak perlu memberikan detail autentikasi database bawaan atau IAM lebih lanjut. Saat menggunakan alur ini, Datastream akan membuat pengguna database dengan peran alloydbsuperuser dan postgres.

Jika Anda perlu mengubah setelan aliran data, klik Customize.

Menyesuaikan setelan aliran data

Saat Anda mengklik Customize, halaman Customize stream settings akan muncul. Pastikan Anda memiliki izin yang diperlukan untuk menyesuaikan setelan aliran data.

Mulai

1. Di halaman Get started, berikan nama untuk aliran data Anda di kolom Stream name. Kolom Stream ID akan diisi secara otomatis.

2. Di bagian Provide the instance user account details, pilih metode autentikasi:

   • Autentikasi database IAM: opsi ini tersedia jika pengguna Anda memiliki identitas utama Identity and Access Management (IAM) yang ditetapkan. Untuk mengetahui informasi selengkapnya, lihat Prinsipal IAM. Jika Anda memilih opsi ini, Anda harus memberikan peran alloydbsuperuser dan izin CREATEROLE kepada pengguna Anda secara manual:

     1. Di Google Cloud konsol, buka halaman AlloyDB for PostgreSQL Clusters.

     Buka AlloyDB untuk PostgreSQL

     1. Pilih cluster AlloyDB untuk PostgreSQL Anda.
     2. Di menu navigasi, klik AlloyDB for PostgreSQL Studio dan login.
     3. Di panel Explorer, jalankan kueri berikut untuk pengguna Anda:

   GRANT alloydbsuperuser TO "USER_NAME";
   ALTER ROLE "USER_NAME" CREATEROLE;

   • Autentikasi database bawaan: berikan nama pengguna dan sandi pengguna dengan peran alloydbsuperuser. Jika pengguna Anda tidak memiliki peran alloydbsuperuser, ikuti langkah-langkah yang dijelaskan di bagian autentikasi database IAM untuk memberikannya secara manual. Jika Anda memilih autentikasi database bawaan, pastikan juga bahwa pengguna memiliki izin GRANT pada tabel yang ingin mereka replikasi.

3. Tinjau detail aliran data tambahan, seperti region, enkripsi, dan label. Luaskan bagian Additional stream details untuk menerapkan perubahan, jika diperlukan.

4. Klik Continue.

Konfigurasikan sumber

1. Di halaman Configure source, pilih database tempat Anda ingin mereplikasi data.

   Catatan: Datastream hanya menampilkan database yang memiliki izin yang diperlukan oleh pengguna Anda. Jika Anda tidak dapat melihat database yang ingin digunakan, mungkin pengguna Anda tidak memiliki izin. Selain itu, Datastream tidak menampilkan tabel sistem, karena tidak mendukung replikasi dari tabel sistem.

2. Daftar Selected objects memilih semua objek yang tersedia secara default. Objek dalam daftar adalah objek yang memiliki izin yang diperlukan untuk melakukan streaming. Untuk mengubah objek yang dipilih, ubah pilihan dalam daftar.

3. Tinjau konfigurasi aliran data lanjutan, seperti mode backfill dan jumlah maksimum koneksi backfill serentak. Luaskan bagian Advanced stream configurations untuk menerapkan perubahan, jika diperlukan.

4. Klik Continue.

Konfigurasikan tujuan

1. Di halaman Configure destination, sesuaikan setelan tujuan BigQuery, jika diperlukan. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi informasi tentang tujuan untuk aliran data.

Membuat dan memulai aliran data

1. Klik Create and start untuk membuat dan memulai aliran data Anda, atau Create without starting untuk membuat aliran data dan memulainya nanti di Datastream.

   Penting: Mengklik Create and start akan memulai ulang instance AlloyDB untuk PostgreSQL Anda. Jika Anda tidak mengaktifkan decoding logis untuk instance Anda, Datastream akan mengaktifkannya untuk Anda.

2. Anda akan diberi tahu tentang tugas yang dilakukan secara otomatis untuk Anda:

   • Datastream membuat resource Virtual Private Cloud yang diperlukan, seperti rentang alamat IP internal, subnetwork, dan lampiran jaringan.
   • Datastream mengonfigurasi tabel untuk CDC, menyiapkan slot replikasi, menyiapkan publikasi untuk semua tabel di database, dan membuat pengguna Datastream khusus.
   • Datastream membuat konfigurasi konektivitas pribadi dan profil koneksi sumber dan tujuan.

3. Konfirmasi bahwa Anda ingin membuat dan memulai aliran data.

Memantau aliran data

Anda dapat memantau detail aliran data dasar dari halaman ringkasan instance sumber di konsol Google Cloud . Halaman ini menampilkan informasi seperti status aliran data, nama aliran data, set data BigQuery tujuan, dan ID project tujuan.

Dari halaman ringkasan, Anda juga dapat melakukan tindakan seperti memulai atau menjeda aliran data. Untuk informasi pemantauan yang lebih mendetail, klik nama aliran data untuk membuka Datastream.

Menghapus aliran data

Saat Anda menghapus aliran data yang dibuat menggunakan alur otomatis, beberapa resource, seperti slot replikasi PostgreSQL, akan dihapus secara otomatis. Namun, ada resource yang perlu Anda hapus secara manual:

• Publikasi. Publikasi dibuat menggunakan pengguna administrator database, dan hanya dapat dihapus oleh pemiliknya, sehingga secara default, pengguna yang membuatnya.
• Pengguna pembaca Datastream.
• Profil koneksi sumber dan tujuan Datastream
• Resource konektivitas pribadi.
• Semua resource jaringan yang dibuat selama alur otomatis, seperti subnetwork dan lampiran jaringan.

Langkah berikutnya

• Pelajari cara membuat aliran data secara manual.
• Pelajari cara mengonfigurasi sumber AlloyDB untuk PostgreSQL .
• Pelajari lebih lanjut cara memantau aliran data.