טעינת נתונים מ-Klaviyo ל-BigQuery

אפשר לטעון נתונים מ-Klaviyo ל-BigQuery באמצעות המחבר של שירות העברת הנתונים ל-BigQuery ב-Klaviyo. באמצעות שירות העברת הנתונים ל-BigQuery, אתם יכולים לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים שלכם מ-Klaviyo ל-BigQuery.

לפני שמתחילים

בקטעים הבאים מפורטות הדרישות המוקדמות שצריך לבצע לפני שיוצרים העברת נתונים של Klaviyo.

דרישות מוקדמות לשימוש ב-Klaviyo

כדי לאפשר למחבר של Klaviyo להעביר נתונים ל-BigQuery, צריך מפתח API פרטי עם הרשאת קריאה בלבד. מידע נוסף זמין במאמר יצירת מפתח פרטי.

דרישות מוקדמות ל-BigQuery

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שנדרשות ליצירת העברת נתונים באמצעות שירות העברת נתונים ל-BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקיד BigQuery Admin ‏ (roles/bigquery.admin) ב-IAM בפרויקט. להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת נתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:

  • הרשאות של שירות העברת נתונים ל-BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • הרשאות ב-BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף מופיע במאמר בנושא מתן גישה ל-bigquery.admin.

אם אתם מתכוונים להגדיר התראות על הפעלת העברה ב-Pub/Sub, ודאו שיש לכם את ההרשאה pubsub.topics.setIamPolicyIAM. לא נדרשות הרשאות Pub/Sub אם מגדירים רק התראות באימייל. מידע נוסף זמין במאמר בנושא התראות על הפעלת שירות העברת נתונים ל-BigQuery.

הגדרה של העברת נתונים ב-Klaviyo

כדי להוסיף נתונים מ-Klaviyo ל-BigQuery, צריך להגדיר העברה באמצעות אחת מהאפשרויות הבאות:

המסוף

  1. עוברים לדף 'העברות נתונים' במסוף Google Cloud .

    מעבר אל "העברות נתונים"

  2. לוחצים על Create transfer (יצירת העברה).

  3. בקטע סוג המקור, בשדה מקור, בוחרים באפשרות Klaviyo – תצוגה מקדימה.

  4. בקטע Data source details (פרטים של מקור הנתונים):

    • בקטע Private API Key (מפתח API פרטי), מזינים את מפתח ה-API הפרטי. מידע נוסף מופיע במאמר דרישות מוקדמות ל-Klaviyo.
    • אופציונלי: בשדה תאריך התחלה, מציינים תאריך התחלה להכללה של רשומות חדשות בהעברת הנתונים. העברת הנתונים כוללת רק רשומות שנוצרו בתאריך הזה או אחריו. ערך ברירת המחדל הוא 3 חודשים לפני התאריך של הפעלת ההעברה.
    • בקטע Klaviyo objects to transfer (אובייקטים של Klaviyo להעברה), לוחצים על Browse (עיון) כדי לבחור אובייקטים להעברה למערך נתוני היעד ב-BigQuery. אפשר גם להזין באופן ידני אובייקטים שרוצים לכלול בהעברת הנתונים בשדה הזה.

  5. בקטע הגדרות יעד, בשדה מערך נתונים, בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.

  6. בקטע Transfer config name, בשדה Display name, מזינים שם להעברת הנתונים.

  7. בקטע אפשרויות תזמון:

    • ברשימה תדירות החזרה, בוחרים אפשרות כדי לציין באיזו תדירות יתבצע העברת הנתונים. כדי לציין תדירות חזרה מותאמת אישית, בוחרים באפשרות בהתאמה אישית. אם בוחרים באפשרות על פי דרישה, ההעברה הזו תתבצע כשמפעילים אותה באופן ידני.
    • אם רלוונטי, בוחרים באפשרות התחלה מיידית או התחלה בשעה שנקבעה, ומזינים תאריך התחלה ומשך זמן הפעלה.

  8. אופציונלי: בקטע אפשרויות התראות, מבצעים את הפעולות הבאות:

    • כדי להפעיל התראות באימייל, לוחצים על המתג התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל הודעה באימייל אם ההעברה נכשלת.
    • כדי להפעיל התראות על הפעלת העברה ב-Pub/Sub להעברה הזו, לוחצים על המתג התראות Pub/Sub. אפשר לבחור את שם הנושא או ללחוץ על יצירת נושא כדי ליצור נושא.

  9. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומספקים את דגל יצירת ההעברה --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID (אופציונלי): מזהה הפרויקט ב- Google Cloud . אם לא מציינים את --project_id כדי לציין פרויקט מסוים, המערכת משתמשת בפרויקט ברירת המחדל.
  • ‫DATA_SOURCE: מקור הנתונים – klaviyo.
  • ‫NAME: השם המוצג של הגדרת העברת הנתונים. שם ההעברה יכול להיות כל ערך שיעזור לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
  • ‫DATASET: מערך הנתונים היעד להגדרת ההעברה.

  • ‫PARAMETERS: הפרמטרים של הגדרת ההעברה שנוצרה בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'. אלה הפרמטרים להעברת נתונים ב-Klaviyo:

    • ‫assets: הנתיב לאובייקטים של Klaviyo שיועברו אל BigQuery.
    • ‫connector.authentication.privateApiKey: מפתח ה-API הפרטי של חשבון Klaviyo.
    • ‫connector.startDate: (אופציונלי) תאריך התחלה של רשומות חדשות שייכללו בהעברת הנתונים, בפורמט YYYY-MM-DD. רק רשומות שנוצרו בתאריך הזה או אחריו ייכללו בהעברת הנתונים. ערך ברירת המחדל הוא 3 חודשים לפני התאריך של הפעלת ההעברה.

הפקודה הבאה יוצרת העברת נתונים של Klaviyo בפרויקט ברירת המחדל.

    bq mk
        --transfer_config
        --target_dataset=mydataset
        --data_source=klaviyo
        --display_name='My Transfer'
        --params= ' {
            "assets": [ "Events" , "Flows"] ,
            "connector.authentication.privateApiKey" : "pk_123456789123",
            "connector.startDate": "2025-10-20"
            }'
כששומרים את הגדרת ההעברה, מחבר Klaviyo מפעיל באופן אוטומטי העברה לפי האפשרות של לוח הזמנים שהגדרתם. בכל הפעלה של העברה, המחבר של Klaviyo מעביר את כל הנתונים הזמינים מ-Klaviyo אל BigQuery.

כדי להפעיל העברת נתונים ידנית מחוץ ללוח הזמנים הרגיל, אפשר להתחיל הפעלה של מילוי חוסרים.

רשימת הנתונים שכלולים בהעברת נתונים ב-Klaviyo מופיעה במאמר Klaviyo data model reference.

מיפוי סוגי נתונים

בטבלה הבאה מפורטים סוגי הנתונים ב-Klaviyo וסוגי הנתונים התואמים ב-BigQuery:

סוג הנתונים ב-Klaviyo סוג נתונים ב-BigQuery
String STRING
Text STRING
Integer INTEGER
Boolean BOOLEAN
Date (YYYY-MM-DD HH:MM:SS) TIMESTAMP
List ARRAY

תמחור

התכונה הזו נמצאת בגרסת Preview, ולכן אין עלות להעברת נתונים מ-Klaviyo ל-BigQuery.

פתרון בעיות בהגדרת ההעברה

אם נתקלתם בבעיות בהגדרת העברת הנתונים, כדאי לעיין במאמר בעיות בהעברה של Klaviyo.

המאמרים הבאים

  • סקירה כללית של שירות העברת הנתונים ל-BigQuery זמינה במאמר מהו שירות העברת נתונים ל-BigQuery.
  • מידע על שימוש בהעברות, כולל קבלת מידע על הגדרת העברה, הצגת רשימה של הגדרות העברה והצגת היסטוריית ההרצה של העברה, זמין במאמר ניהול העברות.