Carregar dados da Shopify no BigQuery

É possível carregar dados da Shopify para o BigQuery usando o conector do serviço de transferência de dados do BigQuery para a Shopify. Com o serviço de transferência de dados do BigQuery, é possível programar jobs de transferência recorrentes que adicionam os dados mais recentes do Shopify ao BigQuery.

O conector da Shopify é compatível com a transferência de dados de recursos baseados em GraphQL, como Collections e Orders, dos seguintes recursos:

  • Contas baseadas em assinatura
  • Contas de parceiros

Limitações

As transferências de dados da Shopify estão sujeitas às seguintes limitações:

  • Para incluir o objeto GiftCards na transferência de dados, a conta associada a ela precisa ter uma assinatura do ShopifyPlus.
  • Para incluir os seguintes objetos de dados de assinatura de app na transferência de dados, o app instalado na loja da Shopify precisa ser um app de canal de vendas.
    • AppSubscriptionLineItems
    • AppSubscriptions
    • ProductResourceFeedbacks
  • Para incluir os seguintes objetos de dados da Shopify que exigem uma função de desconto, use a CLI da Shopify para criar um app da Shopify.
    • DiscountsCodeApp
    • DiscountsCodeBasic

Antes de começar

Nas seções a seguir, descrevemos os pré-requisitos que você precisa seguir antes de criar uma transferência de dados da Shopify.

Pré-requisitos da Shopify

  • Você precisa ter uma conta e uma loja da Shopify.
  • Você precisa ter um app personalizado da Shopify para sua loja. Para mais informações, consulte Apps personalizados.
  • Você precisa ter acesso a todos os escopos de acesso necessários. Para uma lista de todos os escopos de acesso necessários, consulte Escopos de acesso autenticado.

Pré-requisitos do BigQuery

Papéis obrigatórios do BigQuery

Para receber as permissões necessárias para criar uma transferência de dados do BigQuery Data Transfer Service, peça ao administrador para conceder a você o papel do IAM Administrador do BigQuery (roles/bigquery.admin) no seu projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery:

  • Permissões do serviço de transferência de dados do BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • Permissões do BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações, consulte Conceder acesso ao bigquery.admin.

Se quiser configurar notificações de execução de transferência do Pub/Sub, verifique se você tem a permissão pubsub.topics.setIamPolicy do Identity and Access Management (IAM). As permissões do Pub/Sub não são necessárias se você configurar apenas notificações por e-mail. Para saber mais informações, consulte Notificações de execução do serviço de transferência de dados do BigQuery.

Configurar uma transferência de dados da Shopify

Adicione dados da Shopify ao BigQuery configurando uma configuração de transferência usando uma das seguintes opções:

Console

  1. Acesse a página "Transferências de dados" no console Google Cloud .

    Acesse Transferências de dados

  2. Clique em Criar transferência.

  3. Na seção Tipo de origem, em Origem, escolha Shopify.

  4. Na seção Detalhes da fonte de dados, faça o seguinte:

    • Em Nome da loja, insira o nome da sua loja da Shopify. Por exemplo, se o ID da sua conta do comerciante for storename.myshopify.com, o nome da loja será storename.
    • Em ID do cliente e Chave secreta do cliente, insira o ID e a chave secreta do cliente do seu app da Shopify. Para mais informações, consulte Sobre as chaves secretas do cliente.
    • Em Objetos da Shopify para transferência, clique em Procurar:
      • Selecione os objetos a serem transferidos para o conjunto de dados de destino do BigQuery. Nesse campo, também é possível inserir manualmente qualquer objeto para incluir na transferência de dados.

  5. No campo Conjunto de dados da seção Configurações de destino, escolha o conjunto criado para armazenar seus dados.

  6. No campo Nome de exibição da seção Nome de configuração da transferência, insira um nome para a transferência de dados.

  7. Na seção Opções de programação, faça o seguinte:

    • Na lista Frequência de repetição, selecione uma opção para especificar com que frequência essa transferência de dados é executada. Para especificar uma frequência de repetição personalizada, selecione Personalizada. Se você selecionar Sob demanda, essa transferência será executada quando você acionar manualmente a transferência.
    • Se aplicável, selecione Começar agora ou Começar no horário definido e escolha uma data de início e hora de execução.

  8. Opcional: na seção Opções de notificação, faça o seguinte:

    • Para ativar as notificações por e-mail, clique no botão que ativa as Notificações por e-mail. Quando essa opção está ativada, o administrador da transferência recebe uma notificação por e-mail quando uma execução da transferência falha.
    • Para ativar as notificações de execução de transferência do Pub/Sub para essa transferência, clique no botão de alternância Notificações do Pub/Sub. Selecione o nome do tópico ou clique em Criar tópico.

  9. Clique em Salvar.

bq

Insira o comando bq mk e forneça a sinalização de execução da transferência --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Em que:

  • PROJECT_ID (opcional): o ID do projeto do Google Cloud . Se --project_id não for fornecido para especificar um projeto determinado, o projeto padrão será usado.
  • DATA_SOURCE: a fonte de dados — shopify.
  • NAME: o nome de exibição da configuração da transferência de dados. O nome da transferência pode ser qualquer valor que permita identificá-la, caso você precise modificá-la mais tarde.
  • DATASET: o conjunto de dados de destino na configuração da transferência.

  • PARAMETERS é o parâmetro da configuração de transferência criada no formato JSON. Por exemplo, --params='{"param":"param_value"}'. Confira a seguir os parâmetros de uma transferência de dados da Shopify:

    • assets: o caminho para os objetos da Shopify a serem transferidos para o BigQuery.
    • connector.shopName: o nome da sua loja do Shopify. Por exemplo, se o ID da sua conta do comerciante for storename.myshopify.com, o nome da loja será storename.
    • connector.authentication.accessToken: o token de acesso à API do Admin da Shopify.

O comando a seguir cria uma transferência incremental de dados da Shopify no projeto padrão.

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=shopify
    --display_name='My Transfer'
    --params='{"assets": ["Orders"]
        "connector.shopName": "storename",
        "connector.authentication.accessToken":"sk_test_123456789"}'
Quando você salva a configuração de transferência, o conector da Shopify aciona automaticamente uma execução de transferência de acordo com a opção de programação. A cada execução de transferência, o conector da Shopify transfere todos os dados disponíveis da Shopify para o BigQuery.

Para executar manualmente uma transferência de dados fora da sua programação regular, inicie uma execução de preenchimento.

Tabelas compatíveis

O conector da Shopify é compatível com os seguintes objetos de dados:

  • AppFeedbacks
  • AppSubscriptionLineItems (requer um app de canal de vendas)
  • AppSubscriptions (requer um app de canal de vendas)
  • Catalogs
  • Collections
  • Companies
  • CompanyContactRoleAssignments
  • CompanyContacts
  • CompanyLocations
  • Customers
  • DeliveryProfiles
  • DiscountsAutomaticApp (requer uma função de desconto)
  • DiscountsAutomaticBasic (requer uma função de desconto)
  • DiscountsAutomaticBxgy
  • DiscountsCodeApp
  • DiscountsCodeBasic
  • DiscountsCodeBxgy
  • DraftOrders
  • Files
  • FulfillmentEvents
  • FulfillmentOrders
  • Fulfillments
  • FulfillmentServices
  • FulfillmentTrackingInfo
  • GiftCards (requer uma assinatura do ShopifyPlus)
  • InventoryItems
  • Locations
  • Objetos Metafield, como metafield_product ou metafield_order.
  • OrderRiskAssessments
  • Orders
  • OrderTransactions
  • PriceLists
  • ProductMediaImages
  • ProductOptions
  • ProductOptionValues
  • ProductResourceFeedbacks (requer um app de canal de vendas)
  • Products
  • ProductVariants
  • Publications
  • Refunds
  • Returns
  • ScriptTags
  • Segments
  • SellingPlanGroups
  • StorefrontAccessTokens
  • UrlRedirects

Mapeamento de tipo de dados

A tabela a seguir mapeia os tipos de dados da Shopify para os tipos de dados correspondentes do BigQuery:

Tipo de dados da Shopify Tipo de dados do BigQuery
String STRING
Int INT64
Decimal NUMERIC
Double FLOAT64
Long BIGNUMERIC
Bool BOOL
Datetime TIMESTAMP

Preços

Não há custo para transferir dados da Shopify para o BigQuery enquanto esse recurso está em Pré-lançamento.

Resolver problemas na configuração da transferência

Se você tiver problemas para configurar a transferência de dados, consulte Problemas de transferência da Shopify.

A seguir