Memuat data Klaviyo ke BigQuery

Untuk menjadwalkan transfer data berulang dari Klaviyo ke BigQuery, buat konfigurasi transfer untuk menentukan objek data yang akan ditransfer, dan seberapa sering transfer data akan dijadwalkan. Anda dapat membuat konfigurasi transfer menggunakan konsol Google Cloud atau alat bq command line. Setelah Anda menyiapkan konfigurasi transfer, BigQuery Data Transfer Service akan mentransfer data terbaru ke tabel BigQuery sesuai jadwal yang ditentukan.

Untuk mempelajari cara kerja transfer Klaviyo, lihat Pengantar transfer data Klaviyo.

Batasan

Transfer Klaviyo inkremental tunduk pada batasan berikut:

  • Anda hanya dapat memilih kolom TIMESTAMP sebagai kolom watermark.
  • Penyerapan inkremental hanya didukung untuk aset dengan kolom watermark yang valid.
  • Nilai dalam kolom watermark harus meningkat secara monoton.
  • Transfer inkremental tidak dapat menyinkronkan operasi penghapusan dalam tabel sumber.
  • Satu konfigurasi transfer hanya dapat mendukung penyerapan inkremental atau penuh.
  • Anda tidak dapat memperbarui objek dalam daftar asset setelah operasi penyerapan inkremental pertama.
  • Anda tidak dapat mengubah mode tulis dalam konfigurasi transfer setelah operasi penyerapan inkremental pertama.
  • Anda tidak dapat mengubah kolom watermark atau kunci utama setelah operasi penyerapan inkremental pertama.
  • Tabel BigQuery tujuan dikelompokkan menggunakan kunci utama yang disediakan dan tunduk pada batasan tabel pengelompokan.
  • Saat Anda memperbarui konfigurasi transfer yang ada ke mode penyerapan inkremental untuk pertama kalinya, transfer data pertama setelah pembaruan tersebut akan mentransfer semua data yang tersedia dari sumber data Anda. Setiap transfer data inkremental berikutnya hanya akan mentransfer baris baru dan yang diperbarui dari sumber data Anda.

Sebelum memulai

Bagian berikut menjelaskan prasyarat yang perlu Anda lakukan sebelum membuat transfer data Klaviyo.

Prasyarat Klaviyo

Anda harus memiliki kunci API pribadi hanya baca untuk mengizinkan konektor Klaviyo mentransfer data ke BigQuery. Untuk mengetahui informasi selengkapnya, lihat Membuat kunci pribadi.

Prasyarat BigQuery

Peran BigQuery yang diperlukan

Untuk mendapatkan izin yang diperlukan guna membuat transfer data BigQuery Data Transfer Service, minta administrator untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin) pada project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer data BigQuery Data Transfer Service. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat transfer data BigQuery Data Transfer Service:

  • Izin BigQuery Data Transfer Service:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • Izin BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya, lihat Memberikan akses bigquery.admin.

Jika ingin menyiapkan notifikasi operasi transfer untuk Pub/Sub, pastikan Anda memiliki izin IAM pubsub.topics.setIamPolicy. Izin Pub/Sub tidak diperlukan jika Anda hanya menyiapkan notifikasi email. Untuk informasi selengkapnya, lihat Notifikasi operasi BigQuery Data Transfer Service.

Menyiapkan transfer data Klaviyo

Tambahkan data Klaviyo ke BigQuery dengan menyiapkan konfigurasi transfer menggunakan salah satu opsi berikut:

Konsol

  1. Buka halaman Transfer data di Google Cloud konsol.

    Buka Transfer data

  2. Klik Buat transfer.

  3. Di bagian Source type, untuk Source, pilih Klaviyo - Preview.

  4. Di bagian Data source details, lakukan hal berikut:

    • Untuk Private API Key, masukkan kunci API pribadi Anda. Untuk mengetahui informasi selengkapnya, lihat Prasyarat Klaviyo.
    • Opsional: Untuk Start Date, tentukan tanggal mulai untuk data baru yang akan disertakan dalam transfer data. Hanya data yang dibuat pada atau setelah tanggal ini yang disertakan dalam transfer data. Nilai defaultnya adalah 3 bulan sebelum tanggal operasi transfer.
    • Untuk Klaviyo objects to transfer, klik Browse untuk memilih objek yang akan ditransfer ke set data tujuan BigQuery. Anda juga dapat memasukkan objek secara manual untuk disertakan dalam transfer data di kolom ini.

  5. Di bagian Destination settings, untuk Dataset, pilih set data yang Anda buat untuk menyimpan data.

  6. Di bagian Transfer config name, untuk Display name, masukkan nama tampilan untuk transfer data.

  7. Di bagian Schedule options:

    • Di daftar Repeat frequency, pilih opsi untuk menentukan seberapa sering transfer data ini dijalankan. Untuk menentukan frekuensi pengulangan kustom, pilih Custom. Jika Anda memilih On-demand, transfer ini akan berjalan saat Anda memicu transfer secara manual.
    • Jika berlaku, pilih Start now atau Start at set time, lalu masukkan tanggal mulai dan waktu proses.

  8. Opsional: Di bagian Notification options, lakukan hal berikut:

    • Untuk mengaktifkan notifikasi email, klik tombol Email notification. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat operasi transfer gagal.
    • Untuk mengaktifkan notifikasi operasi transfer Pub/Sub untuk transfer ini, klik tombol Pub/Sub notifications. Anda dapat memilih nama topik, atau dapat mengklik Create a topic untuk membuatnya.

  9. Klik Save.

bq

Masukkan perintah bq mk command dan berikan flag pembuatan transfer --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Ganti kode berikut:

  • PROJECT_ID (opsional): Project ID Google Cloud Anda. Jika --project_id tidak diberikan untuk menentukan project tertentu, project default akan digunakan.
  • DATA_SOURCE: sumber data — klaviyo.
  • NAME: nama tampilan untuk konfigurasi transfer data. Nama transfer dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.
  • DATASET: set data target untuk konfigurasi transfer.

  • PARAMETERS: parameter untuk konfigurasi transfer yang dibuat dalam format JSON. Contoh: --params='{"param":"param_value"}'. Berikut adalah parameter untuk transfer data Klaviyo:

    • assets: jalur ke objek Klaviyo yang akan ditransfer ke BigQuery.
    • connector.authentication.privateApiKey: kunci API pribadi untuk akun Klaviyo.
    • connector.startDate: (Opsional) tanggal mulai untuk data baru yang akan disertakan dalam transfer data, dalam format YYYY-MM-DD. Hanya data yang dibuat pada atau setelah tanggal ini yang disertakan dalam transfer data. Nilai defaultnya adalah 3 bulan sebelum tanggal operasi transfer.

Perintah berikut membuat transfer data Klaviyo di project default.

    bq mk
        --transfer_config
        --target_dataset=mydataset
        --data_source=klaviyo
        --display_name='My Transfer'
        --params= ' {
            "assets": [ "Events" , "Flows"] ,
            "connector.authentication.privateApiKey" : "pk_123456789123",
            "connector.startDate": "2025-10-20"
            }'
Saat Anda menyimpan konfigurasi transfer, konektor Klaviyo akan otomatis memicu operasi transfer sesuai dengan opsi jadwal Anda. Dengan setiap operasi transfer, konektor Klaviyo akan mentransfer semua data yang tersedia dari Klaviyo ke BigQuery.

Untuk menjalankan transfer data secara manual di luar jadwal reguler, Anda dapat memulai operasi pengisian ulang.

Untuk mengetahui daftar data yang disertakan dalam transfer data Klaviyo, lihat Referensi model data Klaviyo.

Memecahkan masalah penyiapan transfer

Jika Anda mengalami masalah saat menyiapkan transfer data, lihat Masalah transfer Klaviyo.

Langkah berikutnya