Membuat aliran Spanner menggunakan alur otomatis

Halaman ini menjelaskan cara membuat aliran data Spanner menggunakan alur penyiapan otomatis.

Penyiapan aliran data otomatis menyederhanakan proses pemindahan data dari database Spanner ke tujuan seperti BigQuery dengan mengurangi jumlah langkah yang perlu Anda lakukan. Alur ini memungkinkan Anda membuat aliran data langsung dari halaman ringkasan instance atau database Spanner. Datastream mengotomatiskan pengamanan koneksi antara aliran data dan database sumber, membuat konfigurasi database dan resource koneksi aliran data.

Paket Gratis

Datastream memungkinkan Anda melakukan streaming dari Spanner ke BigQuery menggunakan Paket Gratis, yang menyediakan data capture data perubahan hingga 100 GiB secara gratis setiap bulan. Untuk mengetahui informasi selengkapnya, lihat Harga Datastream.

Sebelum memulai

Sebelum mengonfigurasi aliran data Datastream untuk Spanner, pastikan lingkungan Anda memenuhi prasyarat berikut:

  1. Aktifkan API yang diperlukan di Google Cloud project:
    • Datastream API (datastream.googleapis.com)
    • Cloud Spanner API (spanner.googleapis.com)
    • BigQuery API (bigquery.googleapis.com).
  2. Pastikan Anda memiliki izin Identity and Access Management (IAM) yang diperlukan untuk membuat dan mengelola resource Datastream. Untuk mengetahui informasi selengkapnya, lihat Izin yang diperlukan.

  3. Tinjau batasan sumber Spanner:

    • Kolom jenis data PROTO dan ENUM tidak didukung.
    • Array jenis data DATE atau TIMESTAMP tidak didukung.
    • Pastikan Anda mengonfigurasi jendela retensi aliran perubahan dengan benar. Jika Datastream tertinggal dari jendela retensi, Anda mungkin akan kehilangan data, dan aliran data mungkin akan gagal.

Izin yang diperlukan

Untuk menggunakan alur pembuatan aliran data otomatis, pastikan pengguna atau akun layanan yang mengonfigurasi aliran data memiliki peran atau izin IAM berikut:

  • Administrator Datastream (roles/datastream.admin) atau Editor Datastream (roles/datastream.editor) untuk membuat dan mengelola aliran data dan profil koneksi.
  • Pembaca Database Spanner (roles/spanner.databaseReader) atau Admin Spanner (roles/spanner.admin) di database sumber untuk mengakses data dan melacak perubahan.
  • Editor Data BigQuery di set data tujuan.

Membuat dan memulai aliran data

Untuk membuat dan memulai aliran data menggunakan alur otomatis, lakukan langkah-langkah berikut:

Konsol

  1. Di Google Cloud konsol, buka halaman Instance Spanner.

Buka Instance Spanner

  1. Pilih instance dan database Spanner tempat Anda ingin melakukan streaming data.

  2. Buat dan mulai aliran data Anda secara otomatis, dengan salah satu cara berikut:

    • Di halaman ringkasan instance, klik Mulai aliran data di bagian Replikasi data ke BigQuery.
    • Di halaman ringkasan database, di tab Integrasi, klik Buat aliran data di bagian Replikasi data ke BigQuery.

  3. Panel Mulai aliran data untuk mereplikasi data akan terbuka.

  4. Di bagian Setelan aliran data, tinjau setelan default untuk aliran data yang Anda buat.

  5. Jika membuat aliran data dari halaman ringkasan instance, Anda dapat mengubah database sumber dengan meluaskan menu drop-down yang sesuai dan memilih nilai yang berbeda.

  6. Anda dapat mengubah aliran data dengan meluaskan menu drop-down Ubah aliran data dan memilih nilai yang berbeda.

  7. Jika sudah siap membuat dan memulai aliran data, klik Mulai aliran data.

Memantau aliran data

Untuk memantau detail aliran data dasar dari halaman ringkasan database Spanner sumber di Google Cloud konsol, klik tab Ubah aliran data , lalu klik aliran data yang ingin Anda lihat.

Menghapus aliran data

Saat Anda menghapus aliran data yang dibuat menggunakan alur otomatis, Datastream akan menghapus objek aliran data dan profil koneksi terkait yang dibuat untuk aliran data tersebut.

Namun, Anda harus menghapus aliran data perubahan Spanner atau resource tujuan yang dibuat secara terpisah secara manual jika tidak lagi diperlukan.

Langkah berikutnya