Caricare i dati di Shopify in BigQuery

Puoi caricare i dati da Shopify a BigQuery utilizzando il BigQuery Data Transfer Service per Shopify. Con BigQuery Data Transfer Service, puoi pianificare job di trasferimento ricorrenti che aggiungono i dati più recenti da Shopify a BigQuery.

Il connettore Shopify supporta il trasferimento di dati di risorse basate su GraphQL, come Collections e Orders, dalle seguenti risorse:

  • Account basati su abbonamento
  • Account partner

Limitazioni

I trasferimenti di dati di Shopify sono soggetti alle seguenti limitazioni:

  • Per includere l'oggetto GiftCards nel trasferimento di dati, l'account associato a questo trasferimento di dati deve avere un abbonamento ShopifyPlus.
  • Per includere i seguenti oggetti di dati di abbonamento all'app nel trasferimento di dati, l'app installata nello store Shopify deve essere un'app del canale di vendita.
    • AppSubscriptionLineItems
    • AppSubscriptions
    • ProductResourceFeedbacks
  • Per includere i seguenti oggetti di dati di Shopify che richiedono una funzione di sconto, devi utilizzare l'interfaccia a riga di comando di Shopify per creare un'app Shopify.
    • DiscountsCodeApp
    • DiscountsCodeBasic

Prima di iniziare

Le sezioni seguenti descrivono i prerequisiti da soddisfare prima di creare un trasferimento di dati di Shopify.

Prerequisiti di Shopify

  • Devi avere un account Shopify e uno store Shopify.
  • Devi avere un'app Shopify personalizzata per il tuo store Shopify. Per ulteriori informazioni, consulta App personalizzate.
  • Devi avere accesso a tutti gli ambiti di accesso richiesti. Per un elenco di tutti gli ambiti di accesso richiesti, consulta Ambiti di accesso autenticati.

Prerequisiti di BigQuery

Ruoli BigQuery richiesti

Per ottenere le autorizzazioni necessarie per creare un trasferimento di dati di BigQuery Data Transfer Service, chiedi all'amministratore di concederti il ruolo IAM di amministratore BigQuery (roles/bigquery.admin) nel tuo progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare un trasferimento di dati di BigQuery Data Transfer Service. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per creare un trasferimento di dati di BigQuery Data Transfer Service sono richieste le seguenti autorizzazioni:

  • Autorizzazioni di BigQuery Data Transfer Service:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • Autorizzazioni BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Per ulteriori informazioni, consulta Concedere l'accesso bigquery.admin.

Se intendi configurare le notifiche di esecuzione del trasferimento per Pub/Sub, assicurati di disporre dell'autorizzazione Identity and Access Management (IAM) pubsub.topics.setIamPolicy. Le autorizzazioni Pub/Sub non sono richieste se configuri solo le notifiche via email. Per ulteriori informazioni, consulta Notifiche di esecuzione di BigQuery Data Transfer Service.

Configurare un trasferimento di dati di Shopify

Aggiungi i dati di Shopify a BigQuery configurando un trasferimento utilizzando una delle seguenti opzioni:

Console

  1. Vai alla pagina Trasferimenti di dati nella Google Cloud console.

    Vai a Trasferimenti di dati

  2. Fai clic su Crea trasferimento.

  3. Nella sezione Tipo di origine, per Origine, scegli Shopify.

  4. Nella sezione Dettagli origine dati, segui questi passaggi:

    • In Nome negozio, inserisci il nome del tuo negozio Shopify. Ad esempio, se l'ID account commerciante è storename.myshopify.com, il nome del negozio è storename.
    • Per ID client e Client secret, inserisci l'ID client e il secret della tua app Shopify. Per ulteriori informazioni, consulta Informazioni sui client secret.
    • Per Oggetti Shopify da trasferire, fai clic su Sfoglia:
      • Seleziona gli oggetti da trasferire al set di dati di destinazione BigQuery. Puoi anche inserire manualmente gli oggetti da includere nel trasferimento di dati in questo campo.

  5. Nella sezione Impostazioni destinazione, in Set di dati, scegli il set di dati che hai creato per archiviare i dati.

  6. Nella sezione Nome configurazione di trasferimento, per Nome visualizzato, inserisci un nome per il trasferimento di dati.

  7. Nella sezione Opzioni di pianificazione:

    • Nell'elenco Frequenza di ripetizione, seleziona un'opzione per specificare la frequenza con cui viene eseguito questo trasferimento di dati. Per specificare una frequenza di ripetizione personalizzata, seleziona Personalizzata. Se selezioni On demand, l'esecuzione avviene quando attivi manualmente il trasferimento.
    • Se applicabile, seleziona Inizia ora o Inizia all'ora impostata e fornisci una data di inizio e un'ora di esecuzione.

  8. (Facoltativo) Nella sezione Opzioni di notifica, segui questi passaggi:

    • Per attivare le notifiche via email, fai clic sul pulsante di attivazione/disattivazione Notifica email. Quando attivi questa opzione, l'amministratore del trasferimento riceve una notifica via email quando l'esecuzione di un trasferimento non riesce.
    • Per attivare le notifiche di esecuzione del trasferimento Pub/Sub per questo trasferimento, fai clic sul pulsante di attivazione/disattivazione Notifiche Pub/Sub. Puoi selezionare il nome del tuo argomento oppure fare clic su Crea un argomento per crearne uno.

  9. Fai clic su Salva.

bq

Inserisci il bq mk comando e fornisci il flag di creazione del trasferimento --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Dove:

  • PROJECT_ID (facoltativo): l'ID del tuo Google Cloud progetto. Se non viene fornito --project_id per specificare un progetto particolare, viene utilizzato il progetto predefinito.
  • DATA_SOURCE: l'origine dati, ovvero shopify.
  • NAME: il nome visualizzato per la configurazione del trasferimento di dati. Il nome del trasferimento può essere qualsiasi valore che ti consenta di identificare il trasferimento se devi modificarlo in un secondo momento.
  • DATASET: il set di dati di destinazione per la configurazione del trasferimento.

  • PARAMETERS: i parametri per la configurazione del trasferimento creata in formato JSON. Ad esempio: --params='{"param":"param_value"}'. Di seguito sono riportati i parametri per un trasferimento di dati di Shopify:

    • assets: il percorso degli oggetti Shopify da trasferire a BigQuery.
    • connector.shopName: il nome del tuo negozio Shopify. Ad esempio, se l'ID account commerciante è storename.myshopify.com, il nome del negozio è storename.
    • connector.authentication.accessToken: il token di accesso all'API Admin di Shopify.

Il seguente comando crea un trasferimento di dati incrementale di Shopify nel progetto predefinito.

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=shopify
    --display_name='My Transfer'
    --params='{"assets": ["Orders"]
        "connector.shopName": "storename",
        "connector.authentication.accessToken":"sk_test_123456789"}'
Quando salvi la configurazione del trasferimento, il connettore Shopify attiva automaticamente un'esecuzione del trasferimento in base all'opzione di pianificazione. A ogni esecuzione del trasferimento, il connettore Shopify trasferisce tutti i dati disponibili da Shopify a BigQuery.

Per eseguire manualmente un trasferimento di dati al di fuori della pianificazione regolare, puoi avviare un'esecuzione di backfill.

Tabelle supportate

Il connettore Shopify supporta i seguenti oggetti di dati:

  • AppFeedbacks
  • AppSubscriptionLineItems (richiede un'app del canale di vendita)
  • AppSubscriptions (richiede un'app del canale di vendita)
  • Catalogs
  • Collections
  • Companies
  • CompanyContactRoleAssignments
  • CompanyContacts
  • CompanyLocations
  • Customers
  • DeliveryProfiles
  • DiscountsAutomaticApp (richiede una funzione di sconto)
  • DiscountsAutomaticBasic (richiede una funzione di sconto)
  • DiscountsAutomaticBxgy
  • DiscountsCodeApp
  • DiscountsCodeBasic
  • DiscountsCodeBxgy
  • DraftOrders
  • Files
  • FulfillmentEvents
  • FulfillmentOrders
  • Fulfillments
  • FulfillmentServices
  • FulfillmentTrackingInfo
  • GiftCards (richiede un abbonamento ShopifyPlus)
  • InventoryItems
  • Locations
  • Metafield oggetti, come metafield_product o metafield_order.
  • OrderRiskAssessments
  • Orders
  • OrderTransactions
  • PriceLists
  • ProductMediaImages
  • ProductOptions
  • ProductOptionValues
  • ProductResourceFeedbacks (richiede un'app del canale di vendita)
  • Products
  • ProductVariants
  • Publications
  • Refunds
  • Returns
  • ScriptTags
  • Segments
  • SellingPlanGroups
  • StorefrontAccessTokens
  • UrlRedirects

Mappatura dei tipi di dati

La seguente tabella mappa i tipi di dati di Shopify ai tipi di dati BigQuery corrispondenti:

Tipo di dati di Shopify Tipo di dati BigQuery
String STRING
Int INT64
Decimal NUMERIC
Double FLOAT64
Long BIGNUMERIC
Bool BOOL
Datetime TIMESTAMP

Prezzi

Il trasferimento dei dati di Shopify a BigQuery non comporta costi durante l'antempiema di questa funzionalità in anteprima.

Risoluzione dei problemi di configurazione del trasferimento

Se riscontri problemi durante la configurazione del trasferimento di dati, consulta Problemi di trasferimento di Shopify.

Passaggi successivi

  • Per una panoramica di BigQuery Data Transfer Service, consulta Che cos'è BigQuery Data Transfer Service.
  • Per informazioni sull'utilizzo dei trasferimenti, inclusa la visualizzazione delle informazioni su una configurazione del trasferimento, l'elenco delle configurazioni del trasferimento e la visualizzazione della cronologia di esecuzione di un trasferimento, consulta Gestire i trasferimenti.