Memuat data PayPal ke BigQuery

Anda dapat memuat data dari PayPal ke BigQuery menggunakan konektor PayPal dengan BigQuery Data Transfer Service. Dengan konektor PayPal, Anda dapat menjadwalkan tugas transfer berulang yang menambahkan data terbaru dari PayPal ke BigQuery.

Konektor PayPal mendukung akun PayPal produksi dan sandbox.

Objek yang didukung

Jenis objek PayPal Objek yang didukung BigQuery Dukungan filter tanggal
Transaksi TransactionReports Didukung
TransactionReportsCartInfoItemDetails Didukung
TransactionReportsIncentiveDetails Didukung
Sengketa Disputes Didukung
DisputeDetails Didukung
DisputeTransactions Didukung
Pembayaran Payments Didukung
PaymentTransactions Didukung
Saldo Balance Tidak didukung
Produk Products Tidak didukung
ProductDetails Tidak didukung
Invoice Invoices Didukung

Batasan

Transfer data PayPal tunduk pada batasan berikut:

  • Mungkin ada penundaan beberapa jam sebelum transaksi PayPal tersedia melalui PayPal API.
    • Sebaiknya jadwalkan transfer data berikutnya dengan interval yang lebih lama (tidak lebih dari satu kali per jam) untuk mencegah kehilangan data.
  • Konektor PayPal hanya mendukung data transaksi dari 3 tahun terakhir.
  • Konektor PayPal hanya mendukung data sengketa dari 6 bulan terakhir.
  • PayPal API menggunakan batas ukuran halaman yang berbeda untuk setiap objek data. Konektor PayPal menggunakan ukuran halaman maksimum yang diizinkan oleh PayPal dalam transfer data.
    • Namun, beberapa objek seperti Payments atau Payment Transactions menggunakan batas ukuran halaman yang lebih kecil. Hal ini dapat menyebabkan transfer data lebih lambat, terutama saat menangani set data besar.

Sebelum memulai

Bagian berikut menjelaskan langkah-langkah yang perlu Anda lakukan sebelum membuat transfer data PayPal.

Prasyarat PayPal

Untuk mengaktifkan transfer data dari PayPal, Anda harus memiliki hal berikut:

  • Anda harus memiliki akun PayPal Developer. Untuk mengetahui informasi selengkapnya, lihat Program PayPal Developer.
  • Buat aplikasi PayPal REST API. Untuk mengetahui informasi selengkapnya, lihat Memulai PayPal REST API.
    • Di bagian Apps &Credentials, catat ID klien dan kunci rahasia untuk aplikasi.
    • Di bagian Features, aktifkan izin API Transaction search dan Invoicing.

Peran BigQuery yang diperlukan

Untuk mendapatkan izin yang diperlukan dalam membuat transfer, minta administrator untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin). Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat transfer:

  • bigquery.transfers.update pada pengguna
  • bigquery.datasets.get pada set data target
  • bigquery.datasets.update pada set data target

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Prasyarat BigQuery

Menyiapkan transfer data PayPal

Tambahkan data PayPal ke BigQuery dengan menyiapkan konfigurasi transfer menggunakan salah satu opsi berikut:

Konsol

  1. Buka halaman Transfer data di Google Cloud konsol.

    Buka Transfer data

  2. Klik Buat transfer.

  3. Di bagian Jenis sumber, untuk Sumber, pilih PayPal.

  4. Di bagian Detail sumber data, lakukan hal berikut:

    • Untuk ID Klien, masukkan ID klien PayPal. Untuk mengetahui informasi selengkapnya, lihat Prasyarat PayPal.
    • Untuk Rahasia Klien, masukkan kunci rahasia klien PayPal. Untuk mengetahui informasi selengkapnya, lihat Prasyarat PayPal.
    • Pilih Is Sandbox jika Anda menggunakan akun PayPal sandbox.
    • Untuk Tanggal Mulai, masukkan tanggal dalam format YYYY-MM-DD. Transfer data akan memuat data PayPal mulai dari tanggal ini.
      • Jika kolom ini dibiarkan kosong, transfer ini akan mengambil data dari 3 tahun terakhir secara default.
      • Untuk mengetahui informasi tentang objek yang mendukung filter tanggal mulai, lihat Objek yang didukung.
    • Untuk Objek PayPal yang akan ditransfer, masukkan nama objek PayPal yang akan ditransfer, atau klik Telusuri dan pilih objek yang ingin Anda transfer.

  5. Di bagian Setelan tujuan, untuk Set data, pilih set data yang Anda buat untuk menyimpan data.

  6. Di bagian Transfer config name, untuk Display name, masukkan nama untuk transfer data.

  7. Di bagian Opsi jadwal, lakukan tindakan berikut:

    • Di daftar Repeat frequency, pilih opsi untuk menentukan seberapa sering transfer data ini dijalankan. Untuk menentukan frekuensi pengulangan kustom, pilih Custom. Jika Anda memilih On-demand, transfer ini akan berjalan saat Anda memicu transfer secara manual.
    • Jika berlaku, pilih Start now atau Start at set time, dan masukkan tanggal mulai dan waktu proses.

  8. Opsional: Di bagian Opsi notifikasi, lakukan hal berikut:

    • Untuk mengaktifkan notifikasi email, aktifkan Email notification. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat proses transfer gagal.
    • Untuk mengaktifkan notifikasi operasi transfer Pub/Sub untuk transfer ini, aktifkan Pub/Sub notifications. Anda dapat memilih nama topik, atau dapat mengklik Create a topic untuk membuatnya.

  9. Klik Simpan.

bq

Masukkan perintah bq mk command dan berikan flag pembuatan transfer --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Dengan:

  • PROJECT_ID (opsional): ID project Anda. Google Cloud Jika --project_id tidak diberikan untuk menentukan project tertentu, project default akan digunakan.
  • DATA_SOURCE: sumber data — paypal.
  • DISPLAY_NAME: nama tampilan untuk konfigurasi transfer data. Nama transfer dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.
  • DATASET: set data target untuk konfigurasi transfer.

  • PARAMETERS: parameter untuk konfigurasi transfer yang dibuat dalam format JSON. Contoh: --params='{"param":"param_value"}'. Berikut adalah parameter untuk transfer data PayPal:

    • assets: daftar objek PayPal yang akan disertakan dalam transfer ini.
    • connector.authentication.clientId: ID klien aplikasi PayPal.
    • connector.authentication.clientSecret: rahasia klien aplikasi PayPal.
    • connector.isSandbox: tetapkan nilai ke true jika Anda menggunakan akun PayPal sandbox, atau false jika Anda menggunakan akun PayPal produksi.
    • connector.createdStartDate: (Opsional) masukkan tanggal dalam format YYYY-MM-DD. Transfer data akan memuat data PayPal mulai dari tanggal ini.

Misalnya, perintah berikut akan membuat transfer data PayPal di project default dengan semua parameter yang diperlukan:

  bq mk \
      --transfer_config \
      --target_dataset=mydataset \
      --data_source=PayPal \
      --display_name='My Transfer' \
      --params='{"assets":  ["Payments", "TransactionReports"],
          "connector.authentication.clientId": "112233445566",
          "connector.authentication.clientSecret":"123456789",
          "connector.isSandbox":"false",
          "connector.createdStartDate":  "2025-01-01"}'

Saat Anda membuat transfer data menggunakan alat command line bq, konfigurasi transfer akan menjadwalkan transfer data sekali setiap 8 jam.

API

Gunakan projects.locations.transferConfigs.create metode dan berikan instance TransferConfig resource.

Saat Anda menyimpan konfigurasi transfer, konektor PayPal akan otomatis memicu operasi transfer sesuai dengan opsi jadwal Anda. Dengan setiap operasi transfer, konektor PayPal akan mentransfer semua data yang tersedia dari PayPal ke BigQuery.

Untuk menjalankan transfer data secara manual di luar jadwal reguler, Anda dapat memulai operasi pengisian ulang.

Pemetaan jenis data

Tabel berikut memetakan jenis data PayPal ke jenis data BigQuery yang sesuai.

Jenis data PayPal Jenis data BigQuery
String STRING
Decimal BIGNUMERIC
Boolean BOOL
Datetime TIMESTAMP

Memecahkan masalah penyiapan transfer

Jika Anda mengalami masalah saat menyiapkan transfer data, lihat Masalah transfer PayPal.

Harga

Tidak ada biaya untuk mentransfer data PayPal ke BigQuery saat fitur ini dalam Pratinjau.

Langkah berikutnya