Membuat aliran menggunakan alur otomatis

Halaman ini menjelaskan cara membuat aliran menggunakan alur penyiapan otomatis.

Penyiapan streaming otomatis menyederhanakan proses pemindahan data dari database terkelola Cloud SQL untuk PostgreSQL ke BigQuery dengan mengurangi jumlah langkah yang perlu Anda lakukan. Alur ini memungkinkan Anda membuat aliran langsung dari halaman ringkasan instance Cloud SQL untuk PostgreSQL. Datastream mengotomatiskan pengamanan koneksi VPC antara stream dan database sumber, membuat konfigurasi database dan sumber daya koneksi stream.

Sebelum memulai

  1. Aktifkan Datastream, Network Connectivity, dan Compute Engine API.
  2. Pastikan Anda memiliki izin Identity and Access Management (IAM) yang diperlukan untuk membuat dan mengelola resource Datastream. Lihat bagian berikutnya untuk mengetahui detail selengkapnya.
  3. Buat dan konfigurasi database Cloud SQL for PostgreSQL sumber untuk replikasi. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi database Cloud SQL untuk PostgreSQL untuk CDC.

  4. Sebaiknya aktifkan replikasi logis untuk instance Anda sebelum membuat aliran. Jika Anda tidak mengaktifkan replikasi logis, Datastream akan mengaktifkannya untuk Anda, yang akan memulai ulang instance sumber Anda.

    Untuk mengetahui informasi tentang cara mengaktifkan replikasi logis untuk instance Cloud SQL untuk PostgreSQL, lihat Mengonfigurasi database Cloud SQL untuk PostgreSQL untuk CDC.

  5. Pastikan database sumber Anda dikonfigurasi untuk menggunakan akses layanan pribadi.

Izin yang diperlukan

Untuk menggunakan alur pembuatan streaming otomatis, Anda memerlukan peran atau izin Identity and Access Management (IAM) berikut:

  • serviceusage.services.enable, compute.networkAdmin untuk mengaktifkan API yang diperlukan dan melakukan tugas konfigurasi jaringan.
  • cloudsql.admin untuk tugas konfigurasi instance.
  • datastream.admin untuk tugas administrasi yang dilakukan Datastream atas nama Anda.

Pengguna administrator database Anda juga memerlukan izin GRANT untuk skema yang ingin Anda replikasi. Hubungkan ke database sumber Anda dan jalankan berikut ini:

  GRANT cloudsqlsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;

Membuat dan memulai aliran data

Untuk membuat dan memulai streaming, lakukan langkah-langkah berikut:

Konsol

Mulai

  1. Buka halaman ringkasan instance database Cloud SQL untuk PostgreSQL sumber Anda.

    Buka Instance Cloud SQL

  2. Di bagian Stream data into BigQuery, klik Create stream.

  3. Di halaman Mulai, masukkan nama untuk streaming Anda di kolom Nama streaming. ID unik akan diisi otomatis.

  4. Di bagian Provide the instance user account details, pilih metode autentikasi:

    • Autentikasi database IAM: opsi ini tersedia jika pengguna Anda memiliki identitas utama Identity and Access Management (IAM) yang ditetapkan. Untuk mengetahui informasi selengkapnya, lihat akun utama IAM. Jika Anda memilih opsi ini, Anda harus memberikan peran cloudsqlsuperuser dan izin CREATEROLE kepada pengguna Anda secara manual:

      1. Di Konsol Google Cloud , buka halaman Instance Cloud SQL.

      Buka Instance Cloud SQL

      1. Pilih instance Cloud SQL Anda.
      2. Di menu navigasi, klik Cloud SQL Studio, lalu login.
      3. Di panel Explorer, jalankan kueri berikut untuk pengguna Anda:
    GRANT cloudsqlsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
    • Autentikasi database bawaan: berikan nama pengguna dan sandi pengguna dengan peran cloudsqlsuperuser. Jika Anda memilih opsi ini, pastikan pengguna memiliki izin GRANT pada tabel yang ingin direplikasi.

  5. Tinjau detail streaming tambahan, seperti wilayah, enkripsi, dan label. Perluas bagian Detail tambahan streaming untuk menerapkan perubahan, jika diperlukan.

  6. Klik Lanjutkan.

Konfigurasikan sumber

  1. Di halaman Konfigurasi sumber aliran data, pilih database yang datanya ingin Anda replikasi.
  2. Daftar Objek yang akan disertakan memilih semua objek yang tersedia secara default. Objek dalam daftar adalah objek yang izin streaming-nya Anda miliki. Untuk mengubah objek yang dipilih, ubah pilihan dalam daftar.
  3. Tinjau konfigurasi streaming lanjutan, seperti mode pengisian ulang dan jumlah maksimum koneksi pengisian ulang serentak. Luaskan bagian Konfigurasi streaming lanjutan untuk menerapkan perubahan, jika diperlukan.
  4. Klik Lanjutkan.

Konfigurasikan tujuan

  1. Di halaman Konfigurasi tujuan, sesuaikan setelan tujuan BigQuery, jika diperlukan. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi informasi tentang tujuan untuk streaming.

Membuat dan memulai aliran data

  1. Klik Buat dan mulai nanti untuk membuat aliran data dan memulainya nanti di Datastream, atau Mulai untuk membuat dan memulai aliran data Anda secara langsung.

  2. Anda akan mendapatkan notifikasi tentang tugas yang dilakukan secara otomatis untuk Anda:

    • Datastream membuat resource Virtual Private Cloud yang diperlukan, seperti rentang alamat IP internal, subnetwork, dan lampiran jaringan.
    • Datastream mengonfigurasi tabel untuk CDC, menyiapkan slot replikasi, menyiapkan publikasi untuk semua tabel dalam database, dan membuat pengguna Datastream khusus.
    • Datastream membuat konfigurasi konektivitas pribadi serta profil koneksi sumber dan tujuan.

  3. Konfirmasi bahwa Anda ingin membuat atau membuat dan memulai streaming.

Memantau streaming

Anda dapat memantau detail streaming dasar dari halaman ringkasan instance sumber di konsol Google Cloud . Halaman ini menampilkan informasi seperti status streaming, nama streaming, set data BigQuery tujuan, dan ID project tujuan.

Dari halaman ringkasan, Anda juga dapat melakukan tindakan seperti memulai, menghentikan, atau menjeda streaming. Untuk informasi pemantauan yang lebih terperinci, klik nama stream untuk membuka Datastream.

Menghapus feed

Saat Anda menghapus aliran yang dibuat menggunakan alur otomatis, beberapa resource, seperti slot replikasi PostgreSQL, akan dihapus secara otomatis. Namun, ada resource yang perlu Anda hapus secara manual:

  • Publikasi. Publikasi dibuat menggunakan pengguna administrator database, dan hanya dapat dihapus oleh pemiliknya, jadi secara default, pengguna yang membuatnya.
  • Pengguna pembaca Datastream.
  • Profil koneksi sumber dan tujuan Datastream
  • Resource konektivitas pribadi.
  • Semua resource jaringan yang dibuat selama alur otomatis, seperti subnetwork dan lampiran jaringan.

Langkah berikutnya