Memuat data PayPal ke BigQuery

Pratinjau

Fitur ini tunduk kepada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Untuk mendapatkan dukungan atau memberikan masukan terkait fitur ini, hubungi [e-mail].

Anda dapat memuat data dari PayPal ke BigQuery menggunakan konektor PayPal dengan BigQuery Data Transfer Service. Dengan konektor PayPal, Anda dapat menjadwalkan tugas transfer berulang yang menambahkan data terbaru dari PayPal ke BigQuery.

Konektor PayPal mendukung akun PayPal produksi dan sandbox.

Objek yang didukung

Jenis objek PayPal	Objek yang didukung BigQuery	Dukungan filter tanggal
Transaksi	TransactionReports	Didukung
	TransactionReportsCartInfoItemDetails	Didukung
	TransactionReportsIncentiveDetails	Didukung
Sengketa	Sengketa	Didukung
	DisputeDetails	Didukung
	DisputeTransactions	Didukung
Pembayaran	Pembayaran	Didukung
	PaymentTransactions	Didukung
Saldo	Saldo	Tidak didukung
Produk	Produk	Tidak didukung
	ProductDetails	Tidak didukung
Invoice	Invoice	Didukung

Batasan

Transfer data PayPal tunduk pada batasan berikut:

• Mungkin ada penundaan beberapa jam sebelum transaksi PayPal tersedia melalui PayPal API.
  • Sebaiknya jadwalkan transfer data berikutnya dengan interval yang lebih panjang (tidak lebih dari satu kali setiap jam) untuk mencegah kehilangan data.
• Konektor PayPal hanya mendukung data transaksi dari 3 tahun terakhir.
• Konektor PayPal hanya mendukung data sengketa dari 6 bulan terakhir.
• PayPal API menggunakan batas ukuran halaman yang berbeda untuk setiap objek data. Konektor PayPal menggunakan ukuran halaman maksimum yang diizinkan oleh PayPal dalam transfer data.
  • Namun, beberapa objek seperti Payments atau Payment Transactions menggunakan batas ukuran halaman yang lebih kecil. Hal ini dapat menyebabkan transfer data yang lebih lambat, terutama saat menangani set data besar.

Sebelum memulai

Bagian berikut menjelaskan langkah-langkah yang perlu Anda lakukan sebelum membuat transfer data PayPal.

Prasyarat PayPal

Untuk mengaktifkan transfer data dari PayPal, Anda harus memiliki hal berikut:

• Anda harus memiliki akun Developer PayPal. Untuk informasi selengkapnya, lihat Program Developer PayPal.
• Buat aplikasi PayPal REST API. Untuk mengetahui informasi selengkapnya, lihat Mulai menggunakan PayPal REST API.
  • Di bagian Apps & Credentials, catat ID klien dan kunci rahasia untuk aplikasi.
  • Di bagian Fitur, aktifkan izin API Penelusuran transaksi dan Pembuatan invoice.

Peran BigQuery yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat transfer, minta administrator Anda untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin). Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat transfer:

• bigquery.transfers.update pada pengguna
• bigquery.datasets.get pada set data target
• bigquery.datasets.update pada set data target

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Prasyarat BigQuery

• Pastikan Anda telah menyelesaikan semua tindakan yang diperlukan untuk mengaktifkan BigQuery Data Transfer Service.
• Buat set data BigQuery untuk menyimpan data Anda.
• Jika ingin menyiapkan notifikasi operasi transfer untuk Pub/Sub, pastikan Anda memiliki izin Identity and Access Management (IAM) pubsub.topics.setIamPolicy. Izin Pub/Sub tidak diperlukan jika Anda hanya menyiapkan notifikasi email. Untuk mengetahui informasi selengkapnya, lihat Notifikasi operasi BigQuery Data Transfer Service.

Menyiapkan transfer data PayPal

Tambahkan data PayPal ke BigQuery dengan menyiapkan konfigurasi transfer menggunakan salah satu opsi berikut:

Konsol

1. Buka halaman Transfer data di konsol Google Cloud .

   Buka Data transfers

2. Klik Create transfer.

3. Di bagian Source type, untuk Source, pilih PayPal.

4. Di bagian Detail sumber data, lakukan hal berikut:

   • Untuk Client Id, masukkan client ID PayPal. Untuk mengetahui informasi selengkapnya, lihat Prasyarat PayPal.
   • Untuk Client Secret, masukkan kunci rahasia klien PayPal. Untuk mengetahui informasi selengkapnya, lihat Prasyarat PayPal.
   • Pilih Is Sandbox jika Anda menggunakan akun PayPal sandbox.
   • Untuk Tanggal Mulai, masukkan tanggal dalam format YYYY-MM-DD. Transfer data memuat data PayPal mulai dari tanggal ini.
     • Jika kolom ini dibiarkan kosong, transfer ini akan mengambil data secara default dari 3 tahun terakhir.
     • Untuk mengetahui informasi tentang objek yang mendukung filter tanggal mulai, lihat Objek yang didukung.
   • Untuk Objek PayPal yang akan ditransfer, masukkan nama objek PayPal yang akan ditransfer, atau klik Jelajahi dan pilih objek yang ingin Anda transfer.

5. Di bagian Destination settings, untuk Dataset, pilih set data yang Anda buat untuk menyimpan data.

6. Di bagian Transfer config name, untuk Display name, masukkan nama untuk transfer data.

7. Di bagian Opsi jadwal, lakukan tindakan berikut:

   • Dalam daftar Frekuensi pengulangan, pilih opsi untuk menentukan seberapa sering transfer data ini dijalankan. Untuk menentukan frekuensi pengulangan kustom, pilih Kustom. Jika Anda memilih Sesuai permintaan, transfer ini akan berjalan saat Anda memicu transfer secara manual.
   • Jika berlaku, pilih Start now atau Start at set time, dan masukkan tanggal mulai dan waktu proses.

8. Opsional: Di bagian Opsi notifikasi, lakukan hal berikut:

   • Untuk mengaktifkan notifikasi email, alihkan Notifikasi email ke posisi aktif. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat proses transfer gagal.
   • Untuk mengaktifkan notifikasi operasi transfer Pub/Sub untuk transfer ini, alihkan Notifikasi Pub/Sub ke posisi aktif. Anda dapat memilih nama topik, atau Anda dapat mengklik Buat topik untuk membuatnya.

9. Klik Simpan.

bq

Masukkan perintah bq mk dan berikan flag pembuatan transfer --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Dengan:

• PROJECT_ID (opsional): ID project Google Cloud Anda. Jika --project_id tidak diberikan untuk menentukan project tertentu, project default akan digunakan.
• DATA_SOURCE: sumber data — paypal.
• DISPLAY_NAME: nama tampilan untuk konfigurasi transfer data. Nama transfer dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.
• DATASET: set data target untuk konfigurasi transfer.

• PARAMETERS: parameter untuk konfigurasi transfer yang dibuat dalam format JSON. Contoh: --params='{"param":"param_value"}'. Berikut adalah parameter untuk transfer data PayPal:

  • assets: daftar objek PayPal yang akan disertakan dalam transfer ini.
  • connector.authentication.clientId: ID klien aplikasi PayPal.
  • connector.authentication.clientSecret: rahasia klien aplikasi PayPal.
  • connector.isSandbox: setel nilai ke true jika Anda menggunakan akun PayPal sandbox, atau false jika Anda menggunakan akun PayPal produksi.
  • connector.createdStartDate: (Opsional) masukkan tanggal dalam format YYYY-MM-DD. Transfer data memuat data PayPal mulai dari tanggal ini.

Misalnya, perintah berikut akan membuat transfer data PayPal di project default dengan semua parameter yang diperlukan:

  bq mk \
      --transfer_config \
      --target_dataset=mydataset \
      --data_source=PayPal \
      --display_name='My Transfer' \
      --params='{"assets":  ["Payments", "TransactionReports"],
          "connector.authentication.clientId": "112233445566",
          "connector.authentication.clientSecret":"123456789",
          "connector.isSandbox":"false",
          "connector.createdStartDate":  "2025-01-01"}'

Saat Anda membuat transfer data menggunakan alat command line bq, konfigurasi transfer menjadwalkan transfer data sekali setiap 8 jam.

Catatan: Anda tidak dapat mengonfigurasi notifikasi jika menyiapkan konfigurasi transfer menggunakan alat command line bq.

API

Gunakan metode projects.locations.transferConfigs.create dan berikan instance resource TransferConfig.

Saat Anda menyimpan konfigurasi transfer, konektor PayPal akan otomatis memicu proses transfer sesuai dengan opsi jadwal Anda. Dengan setiap operasi transfer, konektor PayPal mentransfer semua data yang tersedia dari PayPal ke BigQuery.

Untuk menjalankan transfer data secara manual di luar jadwal rutin, Anda dapat memulai operasi pengisian ulang.

Pemetaan jenis data

Tabel berikut memetakan jenis data PayPal ke jenis data BigQuery yang sesuai.

Jenis data PayPal	Jenis data BigQuery
String	STRING
Decimal	BIGNUMERIC
Boolean	BOOL
Datetime	TIMESTAMP

Memecahkan masalah penyiapan transfer

Jika Anda mengalami masalah saat menyiapkan transfer data, lihat Masalah transfer PayPal.

Harga

Tidak ada biaya untuk mentransfer data PayPal ke BigQuery selama fitur ini dalam status Pratinjau.

Langkah berikutnya

• Untuk ringkasan BigQuery Data Transfer Service, lihat Pengantar BigQuery Data Transfer Service.
• Untuk mempelajari cara mengelola konfigurasi transfer, termasuk cara mendapatkan informasi, membuat daftar konfigurasi, dan melihat histori operasi, lihat Mengelola transfer.
• Pelajari cara memuat data dengan operasi lintas-cloud.