טעינת נתונים מ-Shopify ל-BigQuery

אפשר לטעון נתונים מ-Shopify ל-BigQuery באמצעות המחבר של שירות העברת הנתונים ל-BigQuery ב-Shopify. באמצעות שירות העברת הנתונים ל-BigQuery, אתם יכולים לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים שלכם מ-Shopify ל-BigQuery.

מחבר Shopify תומך בהעברת נתונים של משאבים מבוססי GraphQL, כמו Collections ו-Orders, מהמשאבים הבאים:

  • חשבונות מבוססי-מינוי
  • חשבונות שותפים

מגבלות

העברות נתונים מ-Shopify כפופות למגבלות הבאות:

  • כדי לכלול את האובייקט GiftCards בהעברת הנתונים, החשבון שמשויך להעברת הנתונים הזו צריך להיות מנוי ל-ShopifyPlus.
  • כדי לכלול את אובייקטי הנתונים הבאים של מינוי לאפליקציה בהעברת הנתונים, האפליקציה שהותקנה בחנות Shopify צריכה להיות אפליקציית ערוץ מכירות.
    • AppSubscriptionLineItems
    • AppSubscriptions
    • ProductResourceFeedbacks
  • כדי לכלול את אובייקטי הנתונים הבאים של Shopify שנדרשת להם פונקציית הנחה, צריך להשתמש ב-Shopify CLI כדי ליצור אפליקציית Shopify.
    • DiscountsCodeApp
    • DiscountsCodeBasic

לפני שמתחילים

בקטעים הבאים מתוארות הדרישות המוקדמות שצריך לבצע לפני שיוצרים העברת נתונים ב-Shopify.

דרישות מוקדמות לשימוש ב-Shopify

  • צריך להיות לכם חשבון Shopify וחנות Shopify.
  • צריכה להיות לכם אפליקציית Shopify בהתאמה אישית לחנות Shopify שלכם. מידע נוסף זמין במאמר אפליקציות בהתאמה אישית.
  • צריכה להיות לכם גישה לכל היקפי ההרשאות הנדרשים. רשימה של כל היקפי הגישה הנדרשים זמינה במאמר היקפי גישה מאומתים.

דרישות מוקדמות ל-BigQuery

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שנדרשות ליצירת העברת נתונים באמצעות שירות העברת נתונים ל-BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקיד BigQuery Admin ‏ (roles/bigquery.admin) ב-IAM בפרויקט. להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת נתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:

  • הרשאות של שירות העברת נתונים ל-BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • הרשאות ב-BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף מופיע במאמר בנושא מתן גישה ל-bigquery.admin.

אם אתם מתכוונים להגדיר התראות על הפעלת העברה ב-Pub/Sub, ודאו שיש לכם הרשאה לניהול זהויות והרשאות גישה (IAM) pubsub.topics.setIamPolicy. לא נדרשות הרשאות Pub/Sub אם מגדירים רק התראות באימייל. מידע נוסף זמין במאמר בנושא התראות על הפעלת שירות העברת נתונים ל-BigQuery.

הגדרה של העברת נתונים מ-Shopify

כדי להוסיף נתונים מ-Shopify ל-BigQuery, צריך להגדיר העברה באחת מהאפשרויות הבאות:

המסוף

  1. עוברים לדף 'העברות נתונים' במסוף Google Cloud .

    מעבר אל "העברות נתונים"

  2. לוחצים על Create transfer (יצירת העברה).

  3. בקטע Source type, בוחרים באפשרות Shopify בשדה Source.

  4. בקטע Data source details (פרטים של מקור הנתונים):

    • בשדה שם החנות, מזינים את השם של החנות ב-Shopify. לדוגמה, אם מספר החשבון שלכם כמוכר הוא storename.myshopify.com, אז שם החנות שלכם הוא storename.
    • בשדות Client ID (מזהה לקוח) ו-Client Secret (סוד לקוח), מזינים את מזהה הלקוח ואת הסוד של אפליקציית Shopify. מידע נוסף זמין במאמר בנושא סודות לקוח.
    • כדי להעביר אובייקטים של Shopify, לוחצים על עיון:
      • בוחרים את האובייקטים שרוצים להעביר למערך הנתונים של היעד ב-BigQuery. אפשר גם להזין באופן ידני אובייקטים שרוצים לכלול בהעברת הנתונים בשדה הזה.

  5. בקטע הגדרות יעד, בשדה מערך נתונים, בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.

  6. בקטע Transfer config name, בשדה Display name, מזינים שם להעברת הנתונים.

  7. בקטע אפשרויות תזמון:

    • ברשימה תדירות החזרה, בוחרים אפשרות כדי לציין באיזו תדירות יתבצע העברת הנתונים. כדי לציין תדירות חזרה מותאמת אישית, בוחרים באפשרות בהתאמה אישית. אם בוחרים באפשרות על פי דרישה, ההעברה הזו תתבצע כשמפעילים אותה באופן ידני.
    • אם רלוונטי, בוחרים באפשרות התחלה מיידית או התחלה בשעה שנקבעה, ומזינים תאריך התחלה ומשך זמן הפעלה.

  8. אופציונלי: בקטע אפשרויות התראות, מבצעים את הפעולות הבאות:

    • כדי להפעיל התראות באימייל, לוחצים על המתג התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל הודעה באימייל אם ההעברה נכשלת.
    • כדי להפעיל התראות על הפעלת העברה ב-Pub/Sub להעברה הזו, לוחצים על המתג התראות Pub/Sub. אפשר לבחור את שם הנושא או ללחוץ על יצירת נושא כדי ליצור נושא.

  9. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומספקים את דגל יצירת ההעברה --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

כאשר:

  • ‫PROJECT_ID (אופציונלי): מזהה הפרויקט ב- Google Cloud . אם לא מציינים את --project_id כדי לציין פרויקט מסוים, המערכת משתמשת בפרויקט ברירת המחדל.
  • ‫DATA_SOURCE: מקור הנתונים – shopify.
  • ‫NAME: השם המוצג של הגדרת העברת הנתונים. שם ההעברה יכול להיות כל ערך שיעזור לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
  • ‫DATASET: מערך הנתונים היעד להגדרת ההעברה.

  • ‫PARAMETERS: הפרמטרים של הגדרת ההעברה שנוצרה בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'. אלה הפרמטרים להעברת נתונים ב-Shopify:

    • ‫assets: הנתיב לאובייקטים של Shopify שיועברו אל BigQuery.
    • ‫connector.shopName: השם של החנות שלכם ב-Shopify. לדוגמה, אם מספר החשבון שלכם כמוכר הוא storename.myshopify.com, אז שם החנות הוא storename.
    • ‫connector.authentication.accessToken: אסימון הגישה ל-Shopify Admin API.

הפקודה הבאה יוצרת העברת נתונים מצטברת מ-Shopify בפרויקט ברירת המחדל.

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=shopify
    --display_name='My Transfer'
    --params='{"assets": ["Orders"]
        "connector.shopName": "storename",
        "connector.authentication.accessToken":"sk_test_123456789"}'
כששומרים את הגדרת ההעברה, מחבר Shopify מפעיל באופן אוטומטי העברה בהתאם לאפשרות של לוח הזמנים שהגדרתם. בכל הפעלה של העברה, המחבר של Shopify מעביר את כל הנתונים הזמינים מ-Shopify אל BigQuery.

כדי להפעיל העברת נתונים ידנית מחוץ ללוח הזמנים הרגיל, אפשר להתחיל הפעלה של מילוי חוסרים.

טבלאות נתמכות

מחבר Shopify תומך באובייקטים הבאים של נתונים:

מיפוי סוגי נתונים

בטבלה הבאה מפורטים סוגי הנתונים ב-Shopify וסוגי הנתונים התואמים ב-BigQuery:

סוג הנתונים של Shopify סוג נתונים ב-BigQuery
String STRING
Int INT64
Decimal NUMERIC
Double FLOAT64
Long BIGNUMERIC
Bool BOOL
Datetime TIMESTAMP

תמחור

העברת נתונים מ-Shopify אל BigQuery לא כרוכה בתשלום בזמן שהתכונה הזו נמצאת בגרסת Preview.

פתרון בעיות בהגדרת ההעברה

אם נתקלתם בבעיות בהגדרת העברת הנתונים, כדאי לעיין במאמר בעיות בהעברת נתונים ב-Shopify.

המאמרים הבאים

  • סקירה כללית של שירות העברת הנתונים ל-BigQuery זמינה במאמר מהו שירות העברת נתונים ל-BigQuery.
  • מידע על שימוש בהעברות, כולל קבלת מידע על הגדרת העברה, הצגת רשימה של הגדרות העברה והצגת היסטוריית ההרצה של העברה, זמין במאמר ניהול העברות.