Menggunakan template aliran perubahan Bigtable ke BigQuery

Dalam panduan memulai ini, Anda akan mempelajari cara menyiapkan tabel Bigtable dengan aliran perubahan yang diaktifkan, menjalankan pipeline aliran perubahan, membuat perubahan pada tabel, lalu melihat perubahan yang di-streaming.

Sebelum memulai

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Enable the Dataflow, Cloud Bigtable API, Cloud Bigtable Admin API, and BigQuery APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  4. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    5. Membuat set data BigQuery

    Gunakan konsol Google Cloud untuk membuat set data yang menyimpan data.

    1. Di konsol Google Cloud , buka halaman BigQuery.

      Buka BigQuery

    2. Di panel Explorer, klik nama project Anda.

    3. Luaskan opsi Actions, lalu klik Create dataset.

    4. Di halaman Create dataset, lakukan hal berikut:

      1. Untuk Dataset ID, masukkan bigtable_bigquery_quickstart.
      2. Jangan ubah setelan default lainnya, lalu klik Create dataset.

    Membuat tabel dengan aliran perubahan yang diaktifkan

    1. Di konsol Google Cloud , buka halaman Instances Bigtable.

      Buka Instances

    2. Klik ID instance yang Anda gunakan untuk panduan memulai ini.

      Jika Anda tidak memiliki instance yang tersedia, buat instance dengan konfigurasi default di region terdekat.

    3. Di panel navigasi kiri, klik Tabel.

    4. Klik Buat tabel.

    5. Beri nama tabel bigquery-changestream-quickstart.

    6. Tambahkan grup kolom bernama cf.

    7. Pilih Aktifkan aliran perubahan.

    8. Klik Create.

    9. Di halaman Tables Bigtable, cari tabel Anda bigquery-changestream-quickstart.

    10. Di kolom Change stream, klik Connect.

    11. Pada dialog, pilih BigQuery.

    12. Klik Buat tugas Dataflow.

    13. Di kolom parameter yang disediakan, masukkan nilai parameter Anda. Anda tidak perlu memberikan parameter opsional apa pun.

      1. Setel ID profil aplikasi Bigtable ke default.
      2. Tetapkan set data BigQuery ke bigtable_bigquery_quickstart.

    14. Klik Jalankan tugas.

    15. Tunggu hingga status tugas menjadi Starting atau Running sebelum melanjutkan. Proses ini memerlukan waktu sekitar 5 menit setelah tugas dimasukkan dalam antrean.

    16. Biarkan tugas tetap terbuka di tab, sehingga Anda dapat menghentikan tugas saat membersihkan resource.

    Menulis beberapa data ke Bigtable

    1. Di Cloud Shell, tulis beberapa baris ke Bigtable sehingga log perubahan dapat menulis beberapa data ke BigQuery. Selama Anda menulis data setelah tugas dibuat, perubahan akan muncul. Anda tidak perlu menunggu status tugas menjadi running.

      cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user123 cf:col1=abc
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user546 cf:col1=def
cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
    set bigquery-changestream-quickstart user789 cf:col1=ghi

      Ganti kode berikut:

      • PROJECT_ID: ID project yang Anda gunakan
      • BIGTABLE_INSTANCE_ID: ID instance yang berisi tabel bigquery-changestream-quickstart

    Melihat log perubahan di BigQuery

    1. Di konsol Google Cloud , buka halaman BigQuery.

      Buka BigQuery

    2. Di panel Explorer, luaskan project Anda dan set data bigtable_bigquery_quickstart.

    3. Klik tabel bigquery-changestream-quickstart_changelog.

    4. Untuk melihat log perubahan, klik Pratinjau.

      Pratinjau log perubahan di BigQuery

    Pembersihan

    Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

    1. Nonaktifkan aliran perubahan pada tabel:

      gcloud bigtable instances tables update bigquery-changestream-quickstart \
--project=PROJECT_ID --instance=BIGTABLE_INSTANCE_ID \
--clear-change-stream-retention-period

    2. Hapus tabel bigquery-changestream-quickstart:

      cbt --instance=BIGTABLE_INSTANCE_ID --project=PROJECT_ID deletetable bigquery-changestream-quickstart

    3. Hentikan pipeline aliran perubahan:

      1. Di konsol Google Cloud , buka halaman Tugas Dataflow.

        Buka Tugas

      2. Pilih tugas streaming Anda dari daftar tugas.

      3. Di navigasi, klik Berhenti.

      4. Dalam dialog Stop job, pilih Cancel, lalu klik Stop job.

    4. Hapus set data BigQuery:

      1. Di konsol Google Cloud , buka halaman BigQuery.

        Buka BigQuery

      2. Di panel Explorer, temukan set data bigtable_bigquery_quickstart, lalu klik.

      3. Klik Hapus, ketik delete, lalu klik Hapus untuk mengonfirmasi.

    5. Opsional: Hapus instance jika Anda membuat instance baru untuk panduan memulai ini:

      cbt deleteinstance BIGTABLE_INSTANCE_ID

    Langkah berikutnya