Memuat data Stripe ke BigQuery

Anda dapat memuat data dari Stripe ke BigQuery menggunakan konektor Stripe dengan BigQuery Data Transfer Service. Dengan menggunakan konektor Stripe, Anda dapat menjadwalkan tugas transfer berulang yang menambahkan data terbaru dari Stripe ke BigQuery.

Batasan

Transfer data Stripe tunduk pada batasan berikut:

  • Transfer data Stripe memuat mata uang sesuai dengan unit kecil Stripe. Untuk mengetahui informasi selengkapnya, lihat Unit terkecil dalam jumlah API.
  • Konektor Stripe hanya mentransfer laporan yang telah dibuat sebelumnya untuk setiap akun Stripe. Konektor Stripe tidak membuat laporan baru berdasarkan data Stripe baru.
    • Untuk mentransfer laporan terbaru, buat laporan secara manual di dasbor Stripe sebelum memulai transfer data Stripe.
    • Untuk mengetahui informasi selengkapnya, lihat Pelaporan Stripe.
  • Konektor Stripe tidak mendukung peristiwa berbasis webhook, pembaruan real-time, atau Stripe Sigma.
  • Transfer data Stripe dari region Stripe yang masih dalam pratinjau mungkin mengalami masalah terkait transfer data:
    • Opsi pemfilteran dibatasi atau tidak tersedia di wilayah pratinjau Stripe.
    • Transfer dan kueri data bersyarat tidak didukung di region pratinjau Stripe.
    • Anda mungkin mengalami durasi transfer data yang lama saat mentransfer data dari region pratinjau Stripe.
  • Konektor Stripe mendukung beberapa objek dengan filter StartDate.
    • Format yang diperlukan untuk filter StartDate adalah YYYY-MM-DD. Jika tidak ada tanggal mulai yang diberikan, konektor akan menggunakan setelan default tiga tahun sebelum tanggal saat ini. Jika tanggal sebelum 1 Januari 2011 diberikan, konektor akan otomatis menggunakan 1 Januari 2011.
    • Untuk mengetahui daftar objek yang didukung, lihat Objek dengan dukungan filter StartDate.
  • Satu konfigurasi transfer hanya dapat mendukung satu kali menjalankan transfer data pada waktu tertentu. Jika transfer data kedua dijadwalkan untuk berjalan sebelum transfer pertama selesai, maka hanya transfer data pertama yang selesai, sedangkan transfer data lain yang tumpang-tindih dengan transfer pertama akan dilewati.
    • Untuk menghindari transfer yang dilewati dalam satu konfigurasi transfer, sebaiknya Anda memperpanjang durasi waktu antara transfer data dalam jumlah besar dengan mengonfigurasi Frekuensi pengulangan.

Sebelum memulai

Bagian berikut menjelaskan langkah-langkah yang perlu Anda lakukan sebelum membuat transfer data Stripe.

Prasyarat Stripe

  • Anda harus memiliki akun developer Stripe untuk mengizinkan transfer data Stripe. Untuk mendaftarkan akun Stripe, lihat Pendaftaran Stripe.
  • Konfigurasi aplikasi platform Stripe Anda dengan langkah-langkah berikut:
    1. Buka bagian Developers di dasbor Stripe.
    2. Di bagian Hubungkan, konfigurasi platform Anda untuk mendukung akun Standard dan Express.
  • Informasi berikut diperlukan untuk membuat transfer data Stripe:
    • Catat ID akun Stripe Anda. Untuk mengetahui informasi selengkapnya, lihat Membuat akun.
    • Catat kunci rahasia atau kunci terbatas Anda. Untuk informasi selengkapnya, lihat Kunci API.
  • Jika Anda berencana mentransfer data dari akun tertaut, pastikan platform Anda dikonfigurasi untuk Stripe Connect dan memiliki akses ke kemampuan akun yang diperlukan. Untuk mengetahui informasi selengkapnya tentang Stripe Connect, lihat Platform dan marketplace dengan Stripe Connect.

Peran BigQuery yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat transfer, minta administrator untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat transfer:

  • bigquery.transfers.update pada pengguna
  • bigquery.datasets.get pada set data target
  • bigquery.datasets.update pada set data target

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Prasyarat BigQuery

Jenis akun Stripe

Konektor Stripe mendukung akun platform Stripe dan akun terhubung Stripe. Untuk mengetahui informasi selengkapnya, lihat Jenis akun yang dapat dihubungkan.

Menghubungkan ke akun platform

Untuk menjalankan transfer data Stripe hanya dari satu akun platform, lakukan hal berikut saat Anda menyiapkan konfigurasi transfer:

  • Masukkan ID akun platform untuk akun platform di kolom Account Id.
  • Masukkan kunci rahasia atau kunci yang dibatasi untuk akun platform di kolom Secret/API Key.
  • Untuk SyncAllConnectedAccounts, pilih False.

Untuk menjalankan transfer data Stripe untuk beberapa akun, misalnya, untuk akun platform yang ditautkan dengan akun terhubung, lakukan hal berikut saat Anda menyiapkan konfigurasi transfer:

  • Masukkan ID akun platform untuk akun platform di kolom Account Id.
  • Masukkan kunci rahasia atau kunci yang dibatasi untuk akun platform di kolom Secret/API Key.
  • Untuk SyncAllConnectedAccounts, pilih True.

Menghubungkan ke akun terhubung

Akun terhubung adalah akun Stripe yang ditautkan ke Stripe menggunakan Stripe Connect.

Untuk menjalankan transfer data Stripe dari akun tertaut, lakukan hal berikut saat Anda menyiapkan konfigurasi transfer:

  • Masukkan ID akun platform untuk akun tertaut di kolom Account Id.
  • Masukkan kunci rahasia atau kunci terbatas untuk akun platform yang terhubung dengan akun tertaut di kolom Kunci Rahasia/API.
  • Untuk SyncAllConnectedAccounts, pilih False.

Menyiapkan transfer data Stripe

Tambahkan data Stripe ke BigQuery dengan menyiapkan konfigurasi transfer menggunakan salah satu opsi berikut:

Konsol

  1. Buka halaman Transfer data di konsol Google Cloud .

    Buka Data transfers

  2. Klik Create transfer.

  3. Di bagian Source type, untuk Source, pilih Stripe.

  4. Di bagian Detail sumber data, lakukan hal berikut:

    • Untuk Platform/Connected Account ID, masukkan ID akun Stripe. Untuk mengetahui informasi selengkapnya, lihat Prasyarat Stripe.
    • Untuk Stripe Secret Key, masukkan kunci API untuk akun Stripe. Untuk mengetahui informasi selengkapnya, lihat Prasyarat Stripe.
    • Untuk Tanggal Mulai, masukkan tanggal dalam format YYYY-MM-DD. Transfer data memuat data Stripe mulai dari tanggal ini.
    • Pilih Sinkronkan semua akun terhubung, untuk menyinkronkan semua akun terhubung.
    • Untuk Stripe objects to transfer, masukkan nama objek Stripe yang akan ditransfer, atau klik Browse dan pilih objek yang ingin Anda transfer.

  5. Di bagian Destination settings, untuk Dataset, pilih set data yang Anda buat untuk menyimpan data.

  6. Di bagian Transfer config name, untuk Display name, masukkan nama untuk transfer data.

  7. Di bagian Opsi jadwal, lakukan tindakan berikut:

    • Dalam daftar Frekuensi pengulangan, pilih opsi untuk menentukan seberapa sering transfer data ini dijalankan. Untuk menentukan frekuensi pengulangan kustom, pilih Kustom. Jika Anda memilih Sesuai permintaan, transfer ini akan berjalan saat Anda memicu transfer secara manual.
    • Jika berlaku, pilih Start now atau Start at set time, dan masukkan tanggal mulai dan waktu proses.

  8. Opsional: Di bagian Opsi notifikasi, lakukan hal berikut:

    • Untuk mengaktifkan notifikasi email, klik tombol Notifikasi email. Setelah Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat proses transfer gagal.
    • Untuk mengaktifkan notifikasi operasi transfer Pub/Sub untuk transfer ini, klik tombol Notifikasi Pub/Sub. Anda dapat memilih nama topik, atau Anda dapat mengklik Create a topic untuk membuatnya.

  9. Klik Simpan.

bq

Masukkan perintah bq mk dan berikan flag pembuatan transfer --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Dengan:

  • PROJECT_ID (opsional): ID project Google Cloud Anda. Jika --project_id tidak diberikan untuk menentukan project tertentu, project default akan digunakan.
  • DATA_SOURCE: sumber data — stripe.
  • DISPLAY_NAME: nama tampilan untuk konfigurasi transfer data. Nama transfer dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.
  • DATASET: set data target untuk konfigurasi transfer.

  • PARAMETERS: parameter untuk konfigurasi transfer yang dibuat dalam format JSON. Contoh: --params='{"param":"param_value"}'. Berikut adalah parameter untuk transfer data Stripe:

    • assets: daftar objek Stripe yang akan disertakan dalam transfer ini.
    • connector.accountId: ID akun Stripe.
    • connector.secretKey: kunci API untuk akun Stripe.
    • connector.syncAllConnectedAccounts: tentukan true untuk menyinkronkan semua akun yang terhubung.
    • connector.startDate: masukkan tanggal dalam format YYYY-MM-DD. Transfer data memuat data Stripe mulai dari tanggal ini.

Misalnya, perintah berikut akan membuat transfer data Stripe di project default dengan semua parameter yang diperlukan:

  bq mk \
      --transfer_config \
      --target_dataset=mydataset \
      --data_source=stripe \
      --display_name='My Transfer' \
      --params= ' {
  "assets" : [ "Customers" , "Accounts", "BalanceSummaryReport"] ,
  "connector.accountId" : "acct_000000000000",
  "connector.secretKey" : "sk_test_000000000",
  "connector.syncAllConnectedAccounts" : "true",
  "connector.startDate": "2025-05-20"
  }'

API

Gunakan metode projects.locations.transferConfigs.create dan berikan instance resource TransferConfig.

Saat Anda menyimpan konfigurasi transfer, konektor Stripe akan otomatis memicu proses transfer sesuai dengan opsi jadwal Anda. Dengan setiap operasi transfer, konektor Stripe mentransfer semua data yang tersedia dari Stripe ke BigQuery.

Untuk menjalankan transfer data secara manual di luar jadwal rutin, Anda dapat memulai operasi pengisian ulang.

Pemetaan jenis data

Tabel berikut memetakan jenis data Stripe ke jenis data BigQuery yang sesuai.

Jenis data Stripe Jenis data BigQuery Catatan
String STRING
Dictionary STRING Saat dimuat ke BigQuery, objek bertingkat akan dikonversi menjadi objek yang diratakan. Objek yang diratakan ini kemudian disimpan sebagai satu string literal dalam tabel.
Integer INT64
Double DOUBLE
Float FLOAT
Decimal BIGNUMERIC
BigInt (long) BIGNUMERIC
Boolean BOOL
Datetime TIMESTAMP
Unix timestamp TIMESTAMP

Objek dengan dukungan filter StartDate

Objek Stripe berikut mendukung filter StartDate, yang memungkinkan Anda memuat data berbasis waktu:

  • Akun
  • ApplicationFees
  • BalanceTransactions
  • Pemegang kartu
  • Tagihan
  • Kupon
  • Pelanggan
  • Sengketa
  • EarlyFraudWarnings
  • Acara
  • FileLinks
  • File
  • InvoiceItems
  • Invoice
  • IssuingCards
  • IssuingDisputes
  • PaymentIntent
  • Pembayaran
  • Paket
  • Harga
  • Produk
  • PromotionCodes
  • Pengembalian dana
  • Ulasan
  • ShippingRates
  • Langganan
  • TaxRates
  • TopUps
  • Transfer
  • ValueListItems
  • ValueLists

Memecahkan masalah penyiapan transfer

Jika Anda mengalami masalah saat menyiapkan transfer data, lihat Masalah transfer Stripe.

Harga

Tidak ada biaya untuk mentransfer data Stripe ke BigQuery selama fitur ini dalam status Pratinjau.

Langkah berikutnya