Charger des données Shopify dans BigQuery

Preview

Cette fonctionnalité est soumise(s) aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service. Les fonctionnalités de pré-DG sont disponibles "en l'état" et peuvent avoir une prise en charge limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Remarque : Pour obtenir de l'aide ou envoyer des commentaires sur cette fonctionnalité, contactez [e-mail].

Vous pouvez charger des données depuis Shopify vers BigQuery à l'aide du connecteur Service de transfert de données BigQuery pour Shopify. Le service de transfert de données BigQuery vous permet de planifier des tâches de transfert récurrentes qui ajoutent vos dernières données Shopify à BigQuery.

Le connecteur Shopify permet le transfert de données de ressources basées sur GraphQL, telles que Collections et Orders, à partir des ressources suivantes :

• Comptes basés sur un abonnement
• Comptes partenaires

Limites

Les transferts de données Shopify sont soumis aux limitations suivantes :

• Pour inclure l'objet GiftCards dans le transfert de données, le compte associé à ce transfert de données doit disposer d'un abonnement Shopify Plus.
• Pour inclure les objets de données d'abonnement à l'application suivants dans le transfert de données, l'application installée sur la boutique Shopify doit être une application de canal de vente.
  • AppSubscriptionLineItems
  • AppSubscriptions
  • ProductResourceFeedbacks
• Pour inclure les objets de données Shopify suivants qui nécessitent une fonction de remise, vous devez utiliser la CLI Shopify pour créer une application Shopify.
  • DiscountsCodeApp
  • DiscountsCodeBasic

Avant de commencer

Les sections suivantes décrivent les conditions préalables à remplir avant de créer un transfert de données Shopify.

Conditions préalables pour Shopify

• Vous devez disposer d'un compte et d'une boutique Shopify.
• Vous devez disposer d'une application Shopify personnalisée pour votre boutique Shopify. Pour en savoir plus, consultez Applications personnalisées.
• Vous devez avoir accès à tous les niveaux d'accès requis. Pour obtenir la liste de tous les niveaux d'accès requis, consultez Niveaux d'accès authentifiés.

Prérequis pour BigQuery

• Vérifiez que vous avez effectué toutes les actions requises pour activer le service de transfert de données BigQuery.
• Créez un ensemble de données BigQuery pour stocker vos données.

Rôles BigQuery requis

Pour obtenir les autorisations nécessaires pour créer un transfert de données BigQuery Data Transfer Service, demandez à votre administrateur de vous accorder le rôle IAM Administrateur BigQuery (roles/bigquery.admin) sur votre projet. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient les autorisations requises pour créer un transfert de données du service de transfert de données BigQuery. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour créer un transfert de données du service de transfert de données BigQuery :

• Autorisations du service de transfert de données BigQuery :
  • bigquery.transfers.update
  • bigquery.transfers.get
• Autorisations BigQuery :
  • bigquery.datasets.get
  • bigquery.datasets.getIamPolicy
  • bigquery.datasets.update
  • bigquery.datasets.setIamPolicy
  • bigquery.jobs.create

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus, consultez Accorder l'accès bigquery.admin.

Si vous avez l'intention de configurer des notifications d'exécution de transfert pour Pub/Sub, assurez-vous de disposer de l'autorisation Identity and Access Management (IAM) pubsub.topics.setIamPolicy. Les autorisations Pub/Sub ne sont pas nécessaires si vous ne configurez que des notifications par e-mail. Pour plus d'informations, consultez la page Notifications d'exécution du service de transfert de données BigQuery.

Configurer un transfert de données Shopify

Ajoutez des données Shopify à BigQuery en configurant un transfert à l'aide de l'une des options suivantes :

Console

1. Accédez à la page "Transferts de données" dans la console Google Cloud .

   Accéder à la page Transferts de données

2. Cliquez sur Créer un transfert.

3. Dans la section Type de source, sous Source sélectionnez Shopify.

4. Dans la section Data source details (Détails de la source de données), procédez comme suit :

   • Dans le champ Nom de la boutique, saisissez le nom de votre boutique Shopify. Par exemple, si l'ID de votre compte marchand est storename.myshopify.com, le nom de votre boutique est storename.
   • Pour ID client et Code secret du client, saisissez l'ID client et le code secret de votre application Shopify. Pour en savoir plus, consultez À propos des codes secrets du client.
   • Dans le champ Objets Shopify à transférer, cliquez sur Parcourir :
     • Sélectionnez les objets à transférer vers l'ensemble de données de destination BigQuery. Vous pouvez également saisir manuellement dans ce champ les objets à inclure dans le transfert de données.

5. Dans la section Paramètres de destination, accédez au menu déroulant Ensemble de données, puis sélectionnez l'ensemble de données que vous avez créé pour stocker vos données.

6. Dans la section Nom de la configuration de transfert, sous Nom à afficher, saisissez le nom du transfert de données.

7. Dans la section Schedule options (Options de programmation) :

   • Dans la liste Fréquence de répétition, sélectionnez une option pour spécifier la fréquence d'exécution de ce transfert de données. Pour spécifier une fréquence de répétition personnalisée, sélectionnez Personnalisée. Si vous sélectionnez À la demande, le transfert s'exécute lorsque vous le déclenchez manuellement.
   • Le cas échéant, sélectionnez Commencer ou Commencer à l'heure définie, puis indiquez une date de début et une heure d'exécution.

8. Facultatif : dans la section Options de notification, procédez comme suit :

   • Pour activer les notifications par e-mail, cliquez sur le bouton Notification par e-mail. Lorsque vous activez cette option, l'administrateur du transfert reçoit une notification par e-mail si l'exécution du transfert échoue.
   • Pour activer les notifications d'exécution de transfert Pub/Sub pour ce transfert, cliquez sur le bouton Notifications Pub/Sub. Vous pouvez sélectionner le nom de votre sujet ou cliquer sur Créer un sujet pour en créer un.

9. Cliquez sur Enregistrer.

bq

Saisissez la commande bq mk, puis spécifiez l'indicateur de création de transfert --transfer_config.

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Où :

• PROJECT_ID (facultatif) : ID de votre projet Google Cloud . Si vous ne fournissez pas de --project_id afin de spécifier un projet particulier, le projet par défaut est utilisé.
• DATA_SOURCE. La source de données – shopify.
• NAME : nom à afficher de la configuration de transfert de données. Ce nom peut correspondre à toute valeur permettant d'identifier le transfert si vous devez le modifier ultérieurement.
• DATASET : ensemble de données cible de la configuration de transfert.

• PARAMETERS correspond aux paramètres de la configuration de transfert créée, au format JSON. Exemple : --params='{"param":"param_value"}'. Voici les paramètres d'un transfert de données Shopify :

  • assets : chemin d'accès aux objets Shopify à transférer vers BigQuery.
  • connector.shopName : nom de votre boutique Shopify. Par exemple, si l'ID de votre compte marchand est storename.myshopify.com, le nom de votre boutique est storename.
  • connector.authentication.accessToken : jeton d'accès à l'API Shopify Admin.

La commande suivante crée un transfert de données Shopify incrémentiel dans le projet par défaut.

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=shopify
    --display_name='My Transfer'
    --params='{"assets": ["Orders"]
        "connector.shopName": "storename",
        "connector.authentication.accessToken":"sk_test_123456789"}'

Lorsque vous enregistrez la configuration du transfert, le connecteur Shopify déclenche automatiquement une exécution du transfert en fonction de l'option de planification que vous avez choisie. À chaque exécution du transfert, le connecteur Shopify transfère toutes les données disponibles de Shopify vers BigQuery.

Pour exécuter manuellement un transfert de données en dehors de votre calendrier habituel, vous pouvez lancer une exécution de remplissage.

Tables compatibles

Le connecteur Shopify est compatible avec les objets de données suivants :

• AppFeedbacks
• AppSubscriptionLineItems (Nécessite une application de canal de vente)
• AppSubscriptions (Nécessite une application de canal de vente)
• Catalogs
• Collections
• Companies
• CompanyContactRoleAssignments
• CompanyContacts
• CompanyLocations
• Customers
• DeliveryProfiles
• DiscountsAutomaticApp (nécessite une fonction de remise)
• DiscountsAutomaticBasic (nécessite une fonction de remise)
• DiscountsAutomaticBxgy
• DiscountsCodeApp
• DiscountsCodeBasic
• DiscountsCodeBxgy
• DraftOrders
• Files
• FulfillmentEvents
• FulfillmentOrders
• Fulfillments
• FulfillmentServices
• FulfillmentTrackingInfo
• GiftCards (Nécessite un abonnement Shopify Plus)
• InventoryItems
• Locations
• Objets Metafield, tels que metafield_product ou metafield_order.
• OrderRiskAssessments
• Orders
• OrderTransactions
• PriceLists
• ProductMediaImages
• ProductOptions
• ProductOptionValues
• ProductResourceFeedbacks (Nécessite une application de canal de vente)
• Products
• ProductVariants
• Publications
• Refunds
• Returns
• ScriptTags
• Segments
• SellingPlanGroups
• StorefrontAccessTokens
• UrlRedirects

Mappage des types de données

Le tableau suivant mappe les types de données Shopify aux types de données BigQuery correspondants :

Type de données Shopify	Type de données BigQuery
String	STRING
Int	INT64
Decimal	NUMERIC
Double	FLOAT64
Long	BIGNUMERIC
Bool	BOOL
Datetime	TIMESTAMP

Tarifs

Le transfert de données Shopify vers BigQuery est sans frais tant que cette fonctionnalité est disponible en version bêta.

Résoudre les problèmes liés à la configuration d'un transfert

Si vous rencontrez des problèmes lors de la configuration de votre transfert de données, consultez la section Problèmes de transfert Shopify.

Étapes suivantes

• Pour une vue d'ensemble du service de transfert de données BigQuery, consultez Qu'est-ce que le service de transfert de données BigQuery ?.
• Pour plus d'informations sur l'utilisation des transferts, y compris l'obtention d'informations sur une configuration de transfert, la liste des configurations de transfert et l'affichage de l'historique d'exécution d'un transfert, consultez Gérer les transferts.