Memuat data Stripe ke BigQuery

Anda dapat memuat data dari Stripe ke BigQuery menggunakan konektor Stripe dengan BigQuery Data Transfer Service. Dengan menggunakan konektor Stripe, Anda dapat menjadwalkan tugas transfer berulang yang menambahkan data terbaru dari Stripe ke BigQuery.

Batasan

Transfer data Stripe tunduk pada batasan berikut:

  • Transfer data Stripe memuat mata uang sesuai dengan unit terkecil Stripe. Untuk mengetahui informasi selengkapnya, lihat Unit terkecil dalam jumlah API.
  • Konektor Stripe hanya mentransfer laporan yang telah dibuat sebelumnya untuk setiap akun Stripe. Konektor Stripe tidak membuat laporan baru berdasarkan data Stripe baru.
    • Untuk mentransfer laporan terbaru, buat laporan secara manual di dasbor Stripe sebelum memulai transfer data Stripe.
    • Untuk mengetahui informasi selengkapnya, lihat Pelaporan Stripe.
  • Konektor Stripe tidak mendukung peristiwa berbasis webhook, pembaruan real-time, atau Stripe Sigma.
  • Transfer data Stripe dari region Stripe yang berada dalam pratinjau mungkin mengalami masalah terkait transfer data:
    • Opsi pemfilteran dibatasi atau tidak tersedia di region pratinjau Stripe.
    • Transfer dan kueri data bersyarat tidak didukung di region pratinjau Stripe.
    • Anda mungkin mengalami waktu proses transfer data yang lama saat mentransfer data dari region pratinjau Stripe.
  • Konektor Stripe mendukung beberapa objek dengan filter StartDate.
    • Format yang diperlukan untuk filter StartDate adalah YYYY-MM-DD. Jika tidak ada tanggal mulai yang diberikan, konektor akan menggunakan tanggal tiga tahun sebelum tanggal saat ini secara default. Jika tanggal sebelum 1 Januari 2011 diberikan, konektor akan otomatis menggunakan 1 Januari 2011.
    • Untuk mengetahui daftar objek yang didukung, lihat Objek dengan dukungan filter StartDate.
  • Satu konfigurasi transfer hanya dapat mendukung satu operasi transfer data pada waktu tertentu. Jika transfer data kedua dijadwalkan untuk berjalan sebelum transfer pertama selesai, hanya transfer data pertama yang akan selesai, sedangkan transfer data lainnya yang tumpang-tindih dengan transfer pertama akan dilewati.
    • Untuk menghindari transfer yang dilewati dalam satu konfigurasi transfer, sebaiknya tingkatkan durasi waktu antara transfer data besar dengan mengonfigurasi Frekuensi berulang.

Sebelum memulai

Bagian berikut menjelaskan langkah-langkah yang perlu Anda lakukan sebelum membuat transfer data Stripe.

Prasyarat Stripe

  • Anda harus memiliki akun developer Stripe untuk mengotorisasi transfer data Stripe. Untuk mendaftarkan akun Stripe, lihat Pendaftaran Stripe.
  • Konfigurasikan aplikasi platform Stripe Anda dengan langkah-langkah berikut:
    1. Buka bagian Developers di dasbor Stripe.
    2. Di bagian Connect, konfigurasikan platform Anda untuk mendukung akun Standard dan Express.
  • Informasi berikut diperlukan untuk membuat transfer data Stripe:
    • Catat ID akun Stripe Anda. Untuk mengetahui informasi selengkapnya, lihat Membuat akun.
    • Catat kunci rahasia atau kunci terbatas Anda. Untuk mengetahui informasi selengkapnya, lihat Kunci API.
  • Jika Anda berencana mentransfer data dari akun tertaut, pastikan platform Anda dikonfigurasi untuk Stripe Connect dan memiliki akses ke kemampuan akun yang diperlukan. Untuk mengetahui informasi selengkapnya tentang Stripe Connect, lihat Platform dan marketplace dengan Stripe Connect.

Peran BigQuery yang diperlukan

Untuk mendapatkan izin yang diperlukan dalam membuat transfer, minta administrator untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin) pada project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat transfer:

  • bigquery.transfers.update pada pengguna
  • bigquery.datasets.get pada set data target
  • bigquery.datasets.update pada set data target

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Prasyarat BigQuery

Jenis akun Stripe

Konektor Stripe mendukung akun platform Stripe dan akun tertaut Stripe. Untuk mengetahui informasi selengkapnya, lihat Jenis akun Connect.

Menghubungkan ke akun platform

Untuk menjalankan transfer data Stripe dari hanya satu akun platform, lakukan hal berikut saat Anda menyiapkan konfigurasi transfer:

  • Masukkan ID akun platform untuk akun platform di kolom Account Id.
  • Masukkan kunci rahasia atau kunci terbatas untuk akun platform di kolom Secret/API Key.
  • Untuk SyncAllConnectedAccounts, pilih False.

Untuk menjalankan transfer data Stripe untuk beberapa akun, misalnya, untuk akun platform yang ditautkan dengan akun tertaut, lakukan hal berikut saat Anda menyiapkan konfigurasi transfer:

  • Masukkan ID akun platform untuk akun platform di kolom Account Id.
  • Masukkan kunci rahasia atau kunci terbatas untuk akun platform di kolom Secret/API Key.
  • Untuk SyncAllConnectedAccounts, pilih True.

Menghubungkan ke akun tertaut

Akun tertaut adalah akun Stripe yang ditautkan ke Stripe menggunakan Stripe Connect.

Untuk menjalankan transfer data Stripe dari akun tertaut, lakukan hal berikut saat Anda menyiapkan konfigurasi transfer:

  • Masukkan ID akun platform untuk akun tertaut di kolom Account Id.
  • Masukkan kunci rahasia atau kunci terbatas untuk akun platform yang terhubung dengan akun tertaut di kolom Secret/API Key.
  • Untuk SyncAllConnectedAccounts, pilih False.

Menyiapkan transfer data Stripe

Tambahkan data Stripe ke BigQuery dengan menyiapkan konfigurasi transfer menggunakan salah satu opsi berikut:

Konsol

  1. Buka halaman Transfer data di Google Cloud konsol.

    Buka Data transfers

  2. Klik Buat transfer.

  3. Di bagian Jenis sumber, untuk Sumber, pilih Stripe.

  4. Di bagian Detail sumber data, lakukan hal berikut:

    • Untuk ID Akun Platform/Tertaut, masukkan ID akun Stripe. Untuk mengetahui informasi selengkapnya, lihat Prasyarat Stripe.
    • Untuk Kunci Rahasia Stripe, masukkan kunci API untuk akun Stripe. Untuk mengetahui informasi selengkapnya, lihat Prasyarat Stripe.
    • Untuk Tanggal Mulai, masukkan tanggal dalam format YYYY-MM-DD. Transfer data akan memuat data Stripe mulai dari tanggal ini.
    • Pilih Sinkronkan semua akun tertaut, untuk menyinkronkan semua akun tertaut.
    • Untuk Objek Stripe yang akan ditransfer, masukkan nama objek Stripe yang akan ditransfer, atau klik Telusuri dan pilih objek yang ingin Anda transfer.

  5. Di bagian Setelan tujuan, untuk Set data, pilih set data yang Anda buat untuk menyimpan data.

  6. Di bagian Nama konfigurasi transfer, untuk Nama tampilan, masukkan nama untuk transfer data.

  7. Di bagian Opsi jadwal, lakukan tindakan berikut:

    • Di daftar Frekuensi berulang, pilih opsi untuk menentukan seberapa sering transfer data ini berjalan. Untuk menentukan frekuensi berulang kustom, pilih Kustom. Jika Anda memilih Sesuai permintaan, transfer ini akan berjalan saat Anda memicu transfer secara manual.
    • Jika berlaku, pilih Mulai sekarang atau Mulai pada waktu yang ditetapkan, dan masukkan tanggal mulai dan waktu proses.

  8. Opsional: Di bagian Opsi notifikasi, lakukan hal berikut:

  9. Klik Simpan.

bq

Masukkan perintah bq mk command dan berikan flag pembuatan transfer --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Dengan:

  • PROJECT_ID (opsional): ID project Anda. Google Cloud Jika --project_id tidak diberikan untuk menentukan project tertentu, project default akan digunakan.
  • DATA_SOURCE: sumber data — stripe.
  • DISPLAY_NAME: nama tampilan untuk konfigurasi transfer data. Nama transfer dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.
  • DATASET: set data target untuk konfigurasi transfer.

  • PARAMETERS: parameter untuk konfigurasi transfer yang dibuat dalam format JSON. Contoh: --params='{"param":"param_value"}'. Berikut adalah parameter untuk transfer data Stripe:

    • assets: daftar objek Stripe yang akan disertakan dalam transfer ini.
    • connector.accountId: ID akun Stripe.
    • connector.secretKey: kunci API untuk akun Stripe.
    • connector.syncAllConnectedAccounts: tentukan true untuk menyinkronkan semua akun tertaut.
    • connector.startDate: masukkan tanggal dalam format YYYY-MM-DD. Transfer data akan memuat data Stripe mulai dari tanggal ini.

Misalnya, perintah berikut akan membuat transfer data Stripe di project default dengan semua parameter yang diperlukan:

  bq mk \
      --transfer_config \
      --target_dataset=mydataset \
      --data_source=stripe \
      --display_name='My Transfer' \
      --params= ' {
  "assets" : [ "Customers" , "Accounts", "BalanceSummaryReport"] ,
  "connector.accountId" : "acct_000000000000",
  "connector.secretKey" : "sk_test_000000000",
  "connector.syncAllConnectedAccounts" : "true",
  "connector.startDate": "2025-05-20"
  }'

API

Gunakan projects.locations.transferConfigs.create metode dan berikan instance TransferConfig resource.

Saat Anda menyimpan konfigurasi transfer, konektor Stripe akan otomatis memicu operasi transfer sesuai dengan opsi jadwal Anda. Dengan setiap operasi transfer, konektor Stripe akan mentransfer semua data yang tersedia dari Stripe ke BigQuery.

Untuk menjalankan transfer data secara manual di luar jadwal reguler, Anda dapat memulai operasi pengisian ulang.

Pemetaan jenis data

Tabel berikut memetakan jenis data Stripe ke jenis data BigQuery yang sesuai.

Jenis data Stripe Jenis data BigQuery Catatan
String STRING
Dictionary STRING Saat objek bertingkat dimuat ke BigQuery, objek tersebut akan dikonversi menjadi objek yang diratakan. Objek yang diratakan ini kemudian disimpan sebagai satu string literal dalam tabel.
Integer INT64
Double DOUBLE
Float FLOAT
Decimal BIGNUMERIC
BigInt (long) BIGNUMERIC
Boolean BOOL
Datetime TIMESTAMP
Unix timestamp TIMESTAMP

Objek dengan dukungan filter StartDate

Objek Stripe berikut mendukung filter StartDate, yang memungkinkan Anda memuat data berbasis waktu:

  • Akun
  • ApplicationFees
  • BalanceTransactions
  • Cardholders
  • Charges
  • Coupons
  • Customers
  • Disputes
  • EarlyFraudWarnings
  • Events
  • FileLinks
  • Files
  • InvoiceItems
  • Invoices
  • IssuingCards
  • IssuingDisputes
  • PaymentIntent
  • Payouts
  • Plans
  • Prices
  • Products
  • PromotionCodes
  • Refunds
  • Reviews
  • ShippingRates
  • Subscriptions
  • TaxRates
  • TopUps
  • Transfers
  • ValueListItems
  • ValueLists

Memecahkan masalah penyiapan transfer

Jika Anda mengalami masalah saat menyiapkan transfer data, lihat Masalah transfer Stripe.

Harga

Tidak ada biaya untuk mentransfer data Stripe ke BigQuery saat fitur ini dalam Pratinjau.

Langkah berikutnya