Shopify-Daten in BigQuery laden

Vorschau

Diese Funktion unterliegt den „Bedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Dienstbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA‑Funktionen stehen in der vorliegenden Form zur Verfügung und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie unter den Beschreibungen der Startphase.

Hinweis: Wenn Sie Support benötigen oder Feedback zu dieser Funktion geben möchten, wenden Sie sich an [e-mail].

Mit dem BigQuery Data Transfer Service für den Shopify-Connector können Sie Daten aus Shopify in BigQuery laden. Mit dem BigQuery Data Transfer Service können Sie wiederkehrende Übertragungsjobs planen, mit denen Ihre neuesten Daten aus Shopify in BigQuery übertragen werden.

Der Shopify-Connector unterstützt die Datenübertragung von GraphQL-basierten Ressourcen wie Collections und Orders aus den folgenden Ressourcen:

• Abobasierte Konten
• Partnerkonten

Beschränkungen

Für Shopify-Datenübertragungen gelten die folgenden Beschränkungen:

• Wenn Sie das Objekt GiftCards in die Datenübertragung einbeziehen möchten, muss das mit dieser Datenübertragung verknüpfte Konto ein ShopifyPlus-Abo haben.
• Wenn Sie die folgenden App-Abo-Datenobjekte in die Datenübertragung einbeziehen möchten, muss die im Shopify-Shop installierte App eine Vertriebskanal-App sein.
  • AppSubscriptionLineItems
  • AppSubscriptions
  • ProductResourceFeedbacks
• Wenn Sie die folgenden Shopify-Datenobjekte einbeziehen möchten, für die eine Rabattfunktion erforderlich ist, müssen Sie mit der Shopify CLI eine Shopify-App erstellen.
  • DiscountsCodeApp
  • DiscountsCodeBasic

Hinweis

In den folgenden Abschnitten werden die Voraussetzungen beschrieben, die Sie erfüllen müssen, bevor Sie eine Shopify-Datenübertragung erstellen.

Voraussetzungen für Shopify

• Sie benötigen ein Shopify-Konto und einen Shopify-Shop.
• Sie benötigen eine benutzerdefinierte Shopify-App für Ihren Shopify-Shop. Weitere Informationen finden Sie unter Benutzerdefinierte Apps.
• Sie müssen Zugriff auf alle erforderlichen Zugriffsbereiche haben. Eine Liste aller erforderlichen Zugriffsbereiche finden Sie unter Authentifizierte Zugriffsbereiche.

Voraussetzungen für BigQuery

• Überprüfen Sie, ob Sie alle erforderlichen Aktionen ausgeführt haben, damit Sie den BigQuery Data Transfer Service aktivieren können.
• Erstellen Sie ein BigQuery-Dataset zum Speichern Ihrer Daten.

Erforderliche BigQuery-Rollen

Bitten Sie Ihren Administrator, Ihnen die BigQuery-Administrator (roles/bigquery.admin) IAM-Rolle für Ihr Projekt zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer BigQuery Data Transfer Service-Datenübertragung benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen einer BigQuery Data Transfer Service-Datenübertragung erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um eine BigQuery Data Transfer Service-Datenübertragung zu erstellen:

• Berechtigungen für BigQuery Data Transfer Service:
  • bigquery.transfers.update
  • bigquery.transfers.get
• BigQuery-Berechtigungen:
  • bigquery.datasets.get
  • bigquery.datasets.getIamPolicy
  • bigquery.datasets.update
  • bigquery.datasets.setIamPolicy
  • bigquery.jobs.create

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Weitere Informationen finden Sie unter Zugriff auf bigquery.admin gewähren.

Wenn Sie Benachrichtigungen zur Übertragungsausführung für Pub/Sub einrichten möchten, benötigen Sie die IAM-Berechtigung (Identity and Access Management) pubsub.topics.setIamPolicy. Pub/Sub-Berechtigungen sind nicht erforderlich, wenn Sie nur E-Mail-Benachrichtigungen einrichten. Weitere Informationen finden Sie unter Ausführungsbenachrichtigungen im BigQuery Data Transfer Service.

Shopify-Datenübertragung einrichten

Wenn Sie Shopify-Daten in BigQuery hinzufügen möchten, richten Sie eine Übertragungskonfiguration mit einer der folgenden Optionen ein:

Console

1. Rufen Sie in der Google Cloud Console die Seite „Datenübertragungen“ auf.

   Zu „Datenübertragungen”

2. Klicken Sie auf Übertragung erstellen.

3. Wählen Sie im Abschnitt Quelltyp für Quelle die Option Shopify aus.

4. Führen Sie im Abschnitt Details zur Datenquelle folgende Schritte aus:

   • Geben Sie unter Shopname den Namen Ihres Shopify-Shops ein. Wenn Ihre Händlerkonto-ID beispielsweise storename.myshopify.com lautet, ist Ihr Shopname storename.
   • Geben Sie unter Client-ID und Clientschlüssel die Client-ID und den Clientschlüssel für Ihre Shopify-App ein. Weitere Informationen finden Sie unter Clientschlüssel.
   • Klicken Sie unter Zu übertragende Shopify-Objekte auf Durchsuchen:
     • Wählen Sie alle Objekte aus, die an das BigQuery-Ziel-Dataset übertragen werden sollen. Sie können in diesem Feld auch manuell Objekte eingeben, die in die Datenübertragung einbezogen werden sollen.

5. Wählen Sie im Abschnitt Zieleinstellungen als Dataset das Dataset aus, das Sie zum Speichern Ihrer Daten erstellt haben.

6. Geben Sie im Abschnitt Konfigurationsname für Übertragung als Anzeigename einen Namen für die Datenübertragung ein.

7. Im Abschnitt Zeitplanoptionen:

   • Wählen Sie in der Liste Wiederholungshäufigkeit aus, wie oft diese Datenübertragung ausgeführt werden soll. Wenn Sie eine benutzerdefinierte Wiederholungshäufigkeit angeben möchten, wählen Sie Benutzerdefiniert aus. Wenn Sie On demand auswählen, wird diese Datenübertragung ausgeführt, wenn Sie die Übertragung manuell auslösen.
   • Wählen Sie gegebenenfalls Jetzt starten oder Zu festgelegter Zeit starten aus und geben Sie ein Startdatum und eine Laufzeit an.

8. Optional: Gehen Sie im Abschnitt Benachrichtigungsoptionen so vor:

   • Klicken Sie zum Aktivieren von E‑Mail-Benachrichtigungen auf den Ein/Aus-Button E‑Mail-Benachrichtigung. Wenn Sie diese Option aktivieren, erhält der Übertragungsadministrator eine E‑Mail-Benachrichtigung, falls ein Übertragungsvorgang fehlschlägt.
   • Klicken Sie auf den Ein/Aus-Button Pub/Sub-Benachrichtigungen, um Pub/Sub-Benachrichtigungen über die Ausführung von Übertragungen für diese Übertragung zu aktivieren. Sie können Ihr Thema auswählen oder auf Thema erstellen klicken, um eines zu erstellen.

9. Klicken Sie auf Speichern.

bq

Geben Sie den Befehl bq mk ein und geben Sie das Flag --transfer_config für die Übertragungserstellung an.

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Wobei:

• PROJECT_ID (optional): Ihre Google Cloud Projekt-ID. Wenn --project_id nicht bereitgestellt wird, um ein bestimmtes Projekt anzugeben, wird das Standardprojekt verwendet.
• DATA_SOURCE. Die Datenquelle – shopify.
• NAME: Der Anzeigename für die Datenübertragungs konfiguration. Der Übertragungsname kann ein beliebiger Wert sein, mit dem Sie die Übertragung identifizieren können, wenn Sie sie später ändern müssen.
• DATASET: Das Ziel-Dataset für die Übertragungskonfiguration.

• PARAMETERS: die Parameter für die erstellte Übertragungskonfiguration im JSON-Format. Beispiel: --params='{"param":"param_value"}'. Im Folgenden finden Sie die Parameter für eine Shopify-Datenübertragung:

  • assets: der Pfad zu den Shopify-Objekten, die in BigQuery übertragen werden sollen.
  • connector.shopName: der Name Ihres Shopify-Shops. Wenn Ihre Händlerkonto-ID beispielsweise storename.myshopify.com lautet, ist Ihr Shopname storename.
  • connector.authentication.accessToken: das Zugriffstoken der Shopify Admin API.

Mit dem folgenden Befehl wird eine inkrementelle Shopify-Datenübertragung im Standardprojekt erstellt.

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=shopify
    --display_name='My Transfer'
    --params='{"assets": ["Orders"]
        "connector.shopName": "storename",
        "connector.authentication.accessToken":"sk_test_123456789"}'

Wenn Sie die Übertragungskonfiguration speichern, löst der Shopify-Connector automatisch eine Übertragungsausführung gemäß Ihrer Zeitplanoption aus. Bei jeder Übertragungsausführung überträgt der Shopify-Connector alle verfügbaren Daten aus Shopify in BigQuery.

Wenn Sie eine Datenübertragung außerhalb des regulären Zeitplans manuell ausführen möchten, können Sie einen Backfill-Vorgang starten.

Unterstützte Tabellen

Der Shopify-Connector unterstützt die folgenden Datenobjekte:

• AppFeedbacks
• AppSubscriptionLineItems (erfordert eine Vertriebskanal-App)
• AppSubscriptions (erfordert eine Vertriebskanal-App)
• Catalogs
• Collections
• Companies
• CompanyContactRoleAssignments
• CompanyContacts
• CompanyLocations
• Customers
• DeliveryProfiles
• DiscountsAutomaticApp (erfordert eine Rabattfunktion)
• DiscountsAutomaticBasic (erfordert eine Rabattfunktion)
• DiscountsAutomaticBxgy
• DiscountsCodeApp
• DiscountsCodeBasic
• DiscountsCodeBxgy
• DraftOrders
• Files
• FulfillmentEvents
• FulfillmentOrders
• Fulfillments
• FulfillmentServices
• FulfillmentTrackingInfo
• GiftCards (erfordert ein ShopifyPlus-Abo)
• InventoryItems
• Locations
• Metafield Objekte, wie metafield_product oder metafield_order.
• OrderRiskAssessments
• Orders
• OrderTransactions
• PriceLists
• ProductMediaImages
• ProductOptions
• ProductOptionValues
• ProductResourceFeedbacks (erfordert eine Vertriebskanal-App)
• Products
• ProductVariants
• Publications
• Refunds
• Returns
• ScriptTags
• Segments
• SellingPlanGroups
• StorefrontAccessTokens
• UrlRedirects

Datentypzuordnung

In der folgenden Tabelle werden Shopify-Datentypen den entsprechenden BigQuery-Datentypen zugeordnet:

Shopify-Datentyp	BigQuery-Datentyp
String	STRING
Int	INT64
Decimal	NUMERIC
Double	FLOAT64
Long	BIGNUMERIC
Bool	BOOL
Datetime	TIMESTAMP

Preise

Während sich dieses Feature in der Vorschaubefindet, fallen keine Kosten für die Übertragung von Shopify-Daten in BigQuery an.

Fehler bei der Übertragungseinrichtung beheben

Bei Problemen beim Einrichten von Datenübertragungen finden Sie weitere Informationen unter Probleme mit Shopify-Übertragungen.

Nächste Schritte

• Eine Übersicht über den BigQuery Data Transfer Service finden Sie unter Was ist der BigQuery Data Transfer Service?.
• Informationen zum Verwenden von Übertragungen, einschließlich des Abrufs von Informationen zu einer Übertragungskonfiguration, des Auflistens von Übertragungskonfigurationen und des Aufrufs des Ausführungsverlaufs der Übertragung finden Sie unter Übertragungen verwalten.