Menggunakan template aliran perubahan Bigtable ke BigQuery

Dalam panduan memulai ini, Anda akan mempelajari cara menyiapkan tabel Bigtable dengan aliran perubahan yang diaktifkan, menjalankan pipeline aliran perubahan, membuat perubahan pada tabel, lalu melihat perubahan yang di-streaming.

Sebelum memulai

  1. Di konsol Google Cloud , pada halaman pemilih project, pilih atau buat project Google Cloud .

    Peran yang diperlukan untuk memilih atau membuat project

    • Pilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project mana pun yang telah diberi peran.
    • Membuat project: Untuk membuat project, Anda memerlukan peran Pembuat Project (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.

    Buka pemilih project

  2. Verifikasi bahwa penagihan diaktifkan untuk project Google Cloud Anda.

  3. Aktifkan Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, dan BigQuery API.

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

    Aktifkan API

  4. Di konsol Google Cloud , aktifkan Cloud Shell.

    Aktifkan Cloud Shell

Membuat set data BigQuery

Gunakan konsol Google Cloud untuk membuat set data yang menyimpan data.

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, klik nama project Anda.

  3. Luaskan opsi Actions, lalu klik Create dataset.

  4. Di halaman Create dataset, lakukan hal berikut:

    1. Untuk Dataset ID, masukkan bigtable_bigquery_quickstart.
    2. Jangan ubah setelan default lainnya, lalu klik Create dataset.

Membuat tabel dengan aliran perubahan yang diaktifkan

  1. Di konsol Google Cloud , buka halaman Instances Bigtable.

    Buka Instances

  2. Klik ID instance yang Anda gunakan untuk panduan memulai ini.

    Jika Anda tidak memiliki instance yang tersedia, buat instance dengan konfigurasi default di region terdekat.

  3. Di panel navigasi kiri, klik Tabel.

  4. Klik Buat tabel.

  5. Beri nama tabel bigquery-changestream-quickstart.

  6. Tambahkan grup kolom bernama cf.

  7. Pilih Aktifkan aliran perubahan.

  8. Klik Create.

  9. Di halaman Tables Bigtable, temukan tabel Anda bigquery-changestream-quickstart.

  10. Di kolom Change stream, klik Connect.

  11. Pada dialog, pilih BigQuery.

  12. Klik Buat tugas Dataflow.

  13. Di kolom parameter yang disediakan, masukkan nilai parameter Anda. Anda tidak perlu memberikan parameter opsional apa pun.

    1. Setel ID profil aplikasi Bigtable ke default.
    2. Tetapkan set data BigQuery ke bigtable_bigquery_quickstart.

  14. Klik Jalankan tugas.

  15. Tunggu hingga status tugas menjadi Starting atau Running sebelum melanjutkan. Proses ini memerlukan waktu sekitar 5 menit setelah tugas dimasukkan dalam antrean.

  16. Biarkan tugas tetap terbuka di tab, sehingga Anda dapat menghentikan tugas saat membersihkan resource.

Menulis beberapa data ke Bigtable

  1. Di Cloud Shell, tulis beberapa baris ke Bigtable sehingga log perubahan dapat menulis beberapa data ke BigQuery. Selama Anda menulis data setelah tugas dibuat, perubahan akan muncul. Anda tidak perlu menunggu status tugas menjadi running.

    cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user123 cf:col1=abc
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user546 cf:col1=def
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user789 cf:col1=ghi

    Ganti kode berikut:

    • PROJECT_ID: ID project yang Anda gunakan
    • BIGTABLE_INSTANCE_ID: ID instance yang berisi tabel bigquery-changestream-quickstart

Melihat log perubahan di BigQuery

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, luaskan project Anda dan set data bigtable_bigquery_quickstart.

  3. Klik tabel bigquery-changestream-quickstart_changelog.

  4. Untuk melihat log perubahan, klik Pratinjau.

    Pratinjau log perubahan di BigQuery

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

  1. Nonaktifkan aliran perubahan pada tabel:

    gcloud bigtable instances tables update bigquery-changestream-quickstart \
--project=PROJECT_ID --instance=BIGTABLE_INSTANCE_ID \
--clear-change-stream-retention-period

  2. Hapus tabel bigquery-changestream-quickstart:

    cbt --instance=BIGTABLE_INSTANCE_ID --project=PROJECT_ID deletetable bigquery-changestream-quickstart

  3. Hentikan pipeline aliran perubahan:

    1. Di konsol Google Cloud , buka halaman Tugas Dataflow.

      Buka Tugas

    2. Pilih tugas streaming Anda dari daftar tugas.

    3. Di navigasi, klik Berhenti.

    4. Dalam dialog Stop job, pilih Cancel, lalu klik Stop job.

  4. Hapus set data BigQuery:

    1. Di konsol Google Cloud , buka halaman BigQuery.

      Buka BigQuery

    2. Di panel Explorer, temukan set data bigtable_bigquery_quickstart, lalu klik.

    3. Klik Hapus, ketik delete, lalu klik Hapus untuk mengonfirmasi.

  5. Opsional: Hapus instance jika Anda membuat instance baru untuk panduan memulai ini:

    cbt deleteinstance BIGTABLE_INSTANCE_ID

Langkah berikutnya