Membuat aliran Cloud SQL menggunakan alur otomatis

Halaman ini menjelaskan cara membuat aliran data menggunakan alur penyiapan otomatis.

Penyiapan aliran data otomatis menyederhanakan proses pemindahan data dari Google Cloud database terkelola ke BigQuery dengan mengurangi jumlah langkah yang perlu Anda lakukan. Alur ini memungkinkan Anda membuat aliran data langsung dari halaman ringkasan instance Cloud SQL. Datastream mengotomatiskan pengamanan koneksi VPC antara aliran data dan database sumber, membuat konfigurasi database dan resource koneksi aliran data.

Sebelum memulai

  1. Aktifkan Datastream, Network Connectivity, dan Compute Engine API.
  2. Pastikan Anda memiliki izin Identity and Access Management (IAM) yang diperlukan untuk membuat dan mengelola resource Datastream. Lihat bagian berikut untuk mengetahui detail selengkapnya.
  3. Buat dan konfigurasi database Cloud SQL sumber untuk replikasi. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi sumber.
  4. Pastikan database sumber Anda dikonfigurasi untuk menggunakan akses layanan pribadi.

  5. Untuk instance Cloud SQL untuk PostgreSQL: sebaiknya aktifkan replikasi logis untuk instance Anda sebelum membuat aliran data. Jika Anda tidak mengaktifkan replikasi logis, Datastream akan mengaktifkannya untuk Anda, yang akan memulai ulang instance sumber Anda.

  6. Untuk instance Cloud SQL untuk MySQL: aktifkan pemulihan point-in-time untuk instance Cloud SQL untuk MySQL Anda dan pastikan versi database Anda adalah 8.0.14 atau yang lebih baru. Datastream hanya mendukung pengaktifan pemulihan point-in-time di tingkat pencadangan Standar saat menggunakan penyiapan aliran data otomatis.

  7. Untuk instance Cloud SQL untuk SQL Server: pastikan Datastream mendukung versi SQL Server yang digunakan instance Anda.

Izin yang diperlukan

Untuk menggunakan alur pembuatan aliran data otomatis, Anda memerlukan peran atau izin Identity and Access Management (IAM) berikut:

  • serviceusage.services.enable, compute.networkAdmin untuk mengaktifkan API yang diperlukan dan melakukan tugas konfigurasi jaringan.
  • cloudsql.admin untuk tugas konfigurasi instance.
  • datastream.admin untuk tugas administrasi yang dilakukan Datastream atas nama Anda.

Izin tambahan yang diperlukan untuk Cloud SQL untuk PostgreSQL

  • Pastikan Anda memberikan akses ke semua skema dan tabel di database yang dipilih ke peran postgres atau cloudsqlsuperuser. Karena alur otomatis menyertakan semua skema dan tabel dalam database secara default, pembuatan aliran data akan gagal jika pengguna database yang dibuat secara otomatis tidak memiliki izin pada skema atau tabel apa pun.

  • Jika Anda memilih untuk menyesuaikan setelan aliran data, pengguna administrator database Anda juga memerlukan izin GRANT untuk skema yang ingin Anda replikasi dan beberapa izin tambahan untuk tugas administratif dan struktural dalam database sumber. Hubungkan ke database sumber Anda dan jalankan perintah berikut:

    GRANT cloudsqlsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
ALTER DEFAULT PRIVILEGES
IN SCHEMA "SCHEMA_NAME"
GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";

  • Tabel mendatang akan otomatis ditambahkan ke aliran data hanya jika dibuat oleh pengguna yang detail akunnya Anda berikan untuk mengautentikasi selama alur otomatis. Jika tabel mendatang dibuat oleh pengguna lain, pengguna tersebut harus secara eksplisit memberikan izin SELECT pengguna pembaca Datastream pada tabel.

Membuat dan memulai aliran data

Untuk membuat dan memulai aliran data, lakukan langkah-langkah berikut:

Konsol

  1. Buka halaman ringkasan instance database Cloud SQL sumber Anda.

    Buka Instance Cloud SQL

  2. Pilih instance tempat Anda ingin melakukan streaming data.

  3. Di bagian Replicate data to BigQuery, klik Start stream.

  4. Panel Start stream to replicate data akan terbuka.

  5. Untuk sumber Cloud SQL untuk PostgreSQL dan Cloud SQL untuk MySQL, di bagian Stream settings, tinjau setelan default untuk aliran data yang Anda buat. Untuk sumber Cloud SQL untuk SQL Server, lanjutkan ke bagian Menyesuaikan setelan aliran data.

  6. Jika Anda siap membuat dan memulai aliran data, klik Start stream.

Jika Anda perlu mengubah setelan aliran data, klik Customize.

Menyesuaikan setelan aliran data

Saat Anda mengklik Customize, halaman Customize stream settings akan muncul. Pastikan Anda memiliki izin yang diperlukan untuk menyesuaikan setelan aliran data.

Mulai

  1. Di halaman Get started, berikan nama untuk aliran data Anda di kolom Stream name. ID unik akan otomatis diisi.

  2. Di bagian Provide the instance user account details, pilih metode autentikasi:

    • Autentikasi database IAM: opsi ini tersedia jika pengguna Anda memiliki identitas utama Identity and Access Management (IAM) yang ditetapkan. Untuk mengetahui informasi selengkapnya, lihat Prinsipal IAM. Jika Anda memilih opsi ini, Anda harus memberikan peran cloudsqlsuperuser dan izin CREATEROLE kepada pengguna Anda secara manual:

      1. Di Google Cloud Konsol, buka halaman Cloud SQL Instances.

      Buka Instance Cloud SQL

      1. Pilih instance Cloud SQL Anda.
      2. Di menu navigasi, klik Cloud SQL Studio dan login.
      3. Di panel Explorer, jalankan kueri berikut untuk pengguna Anda:
    GRANT cloudsqlsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
    • Autentikasi database bawaan: berikan nama pengguna dan sandi pengguna dengan peran cloudsqlsuperuser. Jika Anda memilih opsi ini, pastikan pengguna memiliki izin GRANT pada tabel yang ingin mereka replikasi.

  3. Tinjau detail aliran data tambahan, seperti region, enkripsi, dan label. Luaskan bagian Additional stream details untuk menerapkan perubahan, jika diperlukan.

  4. Klik Continue.

Konfigurasikan sumber

  1. Di halaman Configure stream source, pilih database tempat Anda ingin mereplikasi data.

  2. Daftar Objects to include memilih semua objek yang tersedia secara default. Objek dalam daftar adalah objek yang memiliki izin yang diperlukan untuk melakukan streaming. Untuk mengubah objek yang dipilih, ubah pilihan dalam daftar.

  3. Tinjau konfigurasi aliran data lanjutan, seperti mode backfill dan jumlah maksimum koneksi backfill serentak. Luaskan bagian Advanced stream configurations untuk menerapkan perubahan, jika diperlukan.

  4. Klik Continue.

Konfigurasikan tujuan

  1. Di halaman Configure destination, sesuaikan setelan tujuan BigQuery, jika diperlukan. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi informasi tentang tujuan untuk aliran data.

Membuat dan memulai aliran data

  1. Klik Create and start later untuk membuat aliran data dan memulainya nanti di Datastream, atau Start untuk membuat dan memulai aliran data Anda segera.

  2. Anda akan diberi tahu tentang tugas yang otomatis dilakukan untuk Anda:

    • Datastream membuat resource Virtual Private Cloud yang diperlukan, seperti rentang alamat IP internal, subnetwork, dan lampiran jaringan.
    • Datastream mengonfigurasi tabel untuk CDC, menyiapkan slot replikasi, menyiapkan publikasi untuk semua tabel dalam database, dan membuat pengguna Datastream khusus.
    • Datastream membuat konfigurasi konektivitas pribadi dan profil koneksi sumber dan tujuan.

  3. Konfirmasi bahwa Anda ingin membuat atau membuat dan memulai aliran data.

Memantau aliran data

Anda dapat memantau detail aliran data dasar dari halaman ringkasan instance sumber di Konsol Google Cloud . Halaman ini menampilkan informasi seperti status aliran data, nama aliran data, set data BigQuery tujuan, dan ID project tujuan.

Dari halaman ringkasan, Anda juga dapat melakukan tindakan seperti memulai atau menjeda aliran data. Untuk informasi pemantauan yang lebih mendetail, klik nama aliran data untuk membuka Datastream.

Menghapus aliran data

Saat Anda menghapus aliran data yang dibuat menggunakan alur otomatis, beberapa resource, seperti slot replikasi PostgreSQL, akan otomatis dihapus. Namun, ada resource yang perlu Anda hapus secara manual:

  • Publikasi. Publikasi dibuat menggunakan pengguna administrator database, dan hanya dapat dihapus oleh pemiliknya, sehingga secara default, pengguna yang membuatnya.
  • Pengguna pembaca Datastream.
  • Profil koneksi sumber dan tujuan Datastream
  • Resource konektivitas pribadi.
  • Semua resource jaringan yang dibuat selama alur otomatis, seperti subnetwork dan network attachment.

Langkah berikutnya