Memuat data Shopify ke BigQuery

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Untuk mendapatkan dukungan atau memberikan masukan terkait fitur ini, hubungi [e-mail].

Anda dapat memuat data dari Shopify ke BigQuery menggunakan konektor BigQuery Data Transfer Service untuk Shopify. Dengan BigQuery Data Transfer Service, Anda dapat menjadwalkan tugas transfer berulang yang menambahkan data terbaru dari Shopify ke BigQuery.

Konektor Shopify mendukung transfer data resource berbasis GraphQL, seperti Collections dan Orders, dari resource berikut:

• Akun berbasis langganan
• Akun partner

Batasan

Transfer data Shopify tunduk pada batasan berikut:

• Untuk menyertakan objek GiftCards dalam transfer data, akun yang terkait dengan transfer data ini harus memiliki langganan ShopifyPlus.
• Untuk menyertakan objek data langganan aplikasi berikut dalam transfer data, aplikasi yang diinstal di toko Shopify harus berupa aplikasi saluran penjualan.
  • AppSubscriptionLineItems
  • AppSubscriptions
  • ProductResourceFeedbacks
• Untuk menyertakan objek data Shopify berikut yang memerlukan fungsi diskon, Anda harus menggunakan Shopify CLI untuk membuat aplikasi Shopify.
  • DiscountsCodeApp
  • DiscountsCodeBasic

Sebelum memulai

Bagian berikut menjelaskan prasyarat yang perlu Anda lakukan sebelum membuat transfer data Shopify.

Prasyarat Shopify

• Anda harus memiliki akun Shopify dan toko Shopify.
• Anda harus memiliki Aplikasi Shopify kustom untuk toko Shopify Anda. Untuk mengetahui informasi selengkapnya, lihat Aplikasi kustom.
• Anda harus memiliki akses ke semua cakupan akses yang diperlukan. Untuk mengetahui daftar semua cakupan akses yang diperlukan, lihat Cakupan akses yang diautentikasi.

Prasyarat BigQuery

• Pastikan Anda telah menyelesaikan semua tindakan yang diperlukan untuk mengaktifkan BigQuery Data Transfer Service.
• Buat set data BigQuery untuk menyimpan data Anda.

Peran BigQuery yang diperlukan

Untuk mendapatkan izin yang diperlukan guna membuat transfer data BigQuery Data Transfer Service, minta administrator untuk memberi Anda peran IAM BigQuery Admin (roles/bigquery.admin) di project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat transfer data BigQuery Data Transfer Service. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat transfer data BigQuery Data Transfer Service:

• Izin BigQuery Data Transfer Service:
  • bigquery.transfers.update
  • bigquery.transfers.get
• Izin BigQuery:
  • bigquery.datasets.get
  • bigquery.datasets.getIamPolicy
  • bigquery.datasets.update
  • bigquery.datasets.setIamPolicy
  • bigquery.jobs.create

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya, lihat Memberikan akses bigquery.admin.

Jika ingin menyiapkan notifikasi operasi transfer untuk Pub/Sub, pastikan Anda memiliki izin Identity and Access Management (IAM) pubsub.topics.setIamPolicy. Izin Pub/Sub tidak diperlukan jika Anda hanya menyiapkan notifikasi email. Untuk informasi selengkapnya, lihat Notifikasi operasi BigQuery Data Transfer Service.

Menyiapkan transfer data Shopify

Tambahkan data Shopify ke BigQuery dengan menyiapkan konfigurasi transfer menggunakan salah satu opsi berikut:

Konsol

1. Buka halaman Transfer data di konsol Google Cloud .

   Buka Data transfers

2. Klik Create transfer.

3. Di bagian Source type, untuk Source, pilih Shopify.

4. Di bagian Detail sumber data, lakukan hal berikut:

   • Untuk Nama toko, masukkan nama toko Shopify Anda. Misalnya, jika ID akun penjual Anda adalah storename.myshopify.com, maka nama toko Anda adalah storename.
   • Untuk Client ID dan Client Secret, masukkan client ID dan rahasia untuk aplikasi Shopify Anda. Untuk mengetahui informasi selengkapnya, lihat Tentang rahasia klien.
   • Untuk objek Shopify yang akan ditransfer, klik Jelajahi:
     • Pilih objek yang akan ditransfer ke set data tujuan BigQuery. Anda juga dapat memasukkan objek secara manual untuk disertakan dalam transfer data di kolom ini.

5. Di bagian Setelan tujuan, untuk Set data, pilih set data yang Anda buat untuk menyimpan data.

6. Di bagian Transfer config name, untuk Display name, masukkan nama untuk transfer data.

7. Di bagian Schedule options:

   • Dalam daftar Frekuensi berulang, pilih opsi untuk menentukan seberapa sering transfer data ini dijalankan. Untuk menentukan frekuensi pengulangan kustom, pilih Custom. Jika Anda memilih Sesuai permintaan, transfer ini akan berjalan saat Anda memicu transfer secara manual.
   • Jika berlaku, pilih Start now atau Start at set time, lalu masukkan tanggal mulai dan waktu proses.

8. Opsional: Di bagian Opsi notifikasi, lakukan hal berikut:

   • Untuk mengaktifkan notifikasi email, klik tombol Notifikasi email. Saat Anda mengaktifkan opsi ini, administrator transfer akan menerima notifikasi email saat proses transfer gagal.
   • Untuk mengaktifkan notifikasi operasi transfer Pub/Sub untuk transfer ini, klik tombol Notifikasi Pub/Sub. Anda dapat memilih nama topik, atau Anda dapat mengklik Buat topik untuk membuatnya.

9. Klik Simpan.

bq

Masukkan perintah bq mk dan berikan flag pembuatan transfer --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Dengan:

• PROJECT_ID (opsional): project ID Google Cloud Anda. Jika --project_id tidak diberikan untuk menentukan project tertentu, project default akan digunakan.
• DATA_SOURCE: sumber data — shopify.
• NAME: nama tampilan untuk konfigurasi transfer data. Nama transfer dapat berupa nilai apa pun yang memungkinkan Anda mengidentifikasi transfer jika perlu mengubahnya nanti.
• DATASET: set data target untuk konfigurasi transfer.

• PARAMETERS: parameter untuk konfigurasi transfer yang dibuat dalam format JSON. Contoh: --params='{"param":"param_value"}'. Berikut adalah parameter untuk transfer data Shopify:

  • assets: jalur ke objek Shopify yang akan ditransfer ke BigQuery.
  • connector.shopName: nama toko Shopify Anda. Misalnya, jika ID akun penjual Anda adalah storename.myshopify.com, maka nama toko Anda adalah storename.
  • connector.authentication.accessToken: token akses API Admin Shopify.

Perintah berikut akan membuat transfer data Shopify inkremental di project default.

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=shopify
    --display_name='My Transfer'
    --params='{"assets": ["Orders"]
        "connector.shopName": "storename",
        "connector.authentication.accessToken":"sk_test_123456789"}'

Saat Anda menyimpan konfigurasi transfer, konektor Shopify akan otomatis memicu proses transfer sesuai opsi jadwal Anda. Dengan setiap proses transfer, konektor Shopify mentransfer semua data yang tersedia dari Shopify ke BigQuery.

Untuk menjalankan transfer data secara manual di luar jadwal reguler, Anda dapat memulai operasi pengisian ulang.

Tabel yang didukung

Konektor Shopify mendukung objek data berikut:

• AppFeedbacks
• AppSubscriptionLineItems (Memerlukan aplikasi saluran penjualan)
• AppSubscriptions (Memerlukan aplikasi saluran penjualan)
• Catalogs
• Collections
• Companies
• CompanyContactRoleAssignments
• CompanyContacts
• CompanyLocations
• Customers
• DeliveryProfiles
• DiscountsAutomaticApp (Memerlukan fungsi diskon)
• DiscountsAutomaticBasic (Memerlukan fungsi diskon)
• DiscountsAutomaticBxgy
• DiscountsCodeApp
• DiscountsCodeBasic
• DiscountsCodeBxgy
• DraftOrders
• Files
• FulfillmentEvents
• FulfillmentOrders
• Fulfillments
• FulfillmentServices
• FulfillmentTrackingInfo
• GiftCards (Memerlukan langganan ShopifyPlus)
• InventoryItems
• Locations
• Objek Metafield, seperti metafield_product atau metafield_order.
• OrderRiskAssessments
• Orders
• OrderTransactions
• PriceLists
• ProductMediaImages
• ProductOptions
• ProductOptionValues
• ProductResourceFeedbacks (Memerlukan aplikasi saluran penjualan)
• Products
• ProductVariants
• Publications
• Refunds
• Returns
• ScriptTags
• Segments
• SellingPlanGroups
• StorefrontAccessTokens
• UrlRedirects

Pemetaan jenis data

Tabel berikut memetakan jenis data Shopify ke jenis data BigQuery yang sesuai:

Jenis data Shopify	Jenis data BigQuery
String	STRING
Int	INT64
Decimal	NUMERIC
Double	FLOAT64
Long	BIGNUMERIC
Bool	BOOL
Datetime	TIMESTAMP

Harga

Tidak ada biaya untuk mentransfer data Shopify ke BigQuery selama fitur ini dalam status Pratinjau.

Memecahkan masalah penyiapan transfer

Jika Anda mengalami masalah saat menyiapkan transfer data, lihat Masalah transfer Shopify.

Langkah berikutnya

• Untuk ringkasan BigQuery Data Transfer Service, lihat Apa itu BigQuery Data Transfer Service.
• Untuk informasi cara menggunakan transfer, termasuk mendapatkan informasi tentang konfigurasi transfer, membuat listingan konfigurasi transfer, dan melihat histori pelaksanaan transfer, lihat Mengelola transfer.