טעינת נתונים מ-Mailchimp ל-BigQuery

גרסת טרום-השקה

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. אתם יכולים לקרוא מידע נוסף בקטע תיאור שלבי ההשקה.

הערה: כדי לקבל תמיכה או לשלוח משוב על התכונה הזו, אפשר לפנות אל [e-mail].

אפשר לטעון נתונים מ-Mailchimp ל-BigQuery באמצעות המחבר של שירות העברת הנתונים ל-BigQuery ב-Mailchimp. באמצעות שירות העברת הנתונים ל-BigQuery, אתם יכולים לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים שלכם מ-Mailchimp ל-BigQuery. מחבר Mailchimp תומך בכמה חשבונות, כולל חשבונות Mailchimp רגילים וחשבונות Mailchimp Express.

מגבלות

• ממשק ה-API של Mailchimp לשיווק תומך ב-10 חיבורים בו-זמניים לכל היותר לכל משתמש. חריגה מהמגבלה הזו תגרום לשגיאה 429: TooManyRequests: You have exceeded the limit of 10 simultaneous connections
  • כדי להימנע מהגעה למגבלת הקצב הזו, מומלץ להפעיל רק העברת נתונים אחת לכל חשבון Mailchimp.
  • מידע נוסף זמין במאמר בנושא מילון מונחים של שגיאות.
• סוג הנתונים Integer ב-Mailchimp תומך בערך מקסימלי של 2,147,483,647 בכל האובייקטים.
  • עם זאת, חלק מהשדות ב-Mailchimp תומכים בערכים גבוהים יותר, כמו השדה Quantity ב-EcommerceOrderLines וב-EcommerceCartLines.

מגבלות בשדות של מערכים

מחבר Mailchimp לא תומך בשדות ARRAY באובייקטים הבאים של Mailchimp:

אובייקט Mailchimp	שדות ARRAY שלא נתמכים
Campaigns	VariateSettings_SubjectLines VariateSettings_SendTimes VariateSettings_FromNames VariateSettings_ReplyToAddresses VariateSettings_Contents VariateSettings_Combinations
EcommerceCarts	Lines
EcommerceProducts	Variants
ListMembers	TagsAggregate
ListMergeFields	Options_Choices
Lists	Modules
AuthorizedApps	Users
AutomationEmails	Settings_AutoFbPost
CampaignOpenEmailDetails	Opens
EcommerceProductImages	VariantIds
ListSignupForms	Contents, Styles
ReportEmailActivity	Activity
Reports	Timewarp

לפני שמתחילים

בקטעים הבאים מפורטות הדרישות המוקדמות שצריך לבצע לפני שיוצרים העברת נתונים מ-Mailchimp.

דרישות מוקדמות לשימוש ב-Mailchimp

כדי להפעיל העברות נתונים מ-Mailchimp ל-BigQuery, אתם צריכים מפתח Mailchimp API לאישור ולגישה. במאמר יצירת מפתח API מוסבר איך לקבל מפתח API.

דרישות מוקדמות ל-BigQuery

• מוודאים שביצעתם את כל הפעולות שנדרשות כדי להפעיל את שירות העברת נתונים ל-BigQuery.
• יוצרים מערך נתונים ב-BigQuery לאחסון הנתונים.

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שנדרשות ליצירת העברת נתונים באמצעות שירות העברת נתונים ל-BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקיד BigQuery Admin ‏ (roles/bigquery.admin) ב-IAM בפרויקט. להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת נתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:

• הרשאות של שירות העברת נתונים ל-BigQuery:
  • bigquery.transfers.update
  • bigquery.transfers.get
• הרשאות ב-BigQuery:
  • bigquery.datasets.get
  • bigquery.datasets.getIamPolicy
  • bigquery.datasets.update
  • bigquery.datasets.setIamPolicy
  • bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף מופיע במאמר בנושא מתן גישה ל-bigquery.admin.

אם אתם מתכוונים להגדיר התראות על הפעלת העברה ב-Pub/Sub, ודאו שיש לכם את ההרשאה pubsub.topics.setIamPolicyIAM. לא נדרשות הרשאות Pub/Sub אם מגדירים רק התראות באימייל. מידע נוסף זמין במאמר בנושא התראות על הפעלת שירות העברת נתונים ל-BigQuery.

הגדרת העברת נתונים מ-Mailchimp

כדי להוסיף נתונים מ-Mailchimp ל-BigQuery, צריך להגדיר העברה באמצעות אחת מהאפשרויות הבאות:

המסוף

1. עוברים לדף 'העברות נתונים' במסוף Google Cloud .

   מעבר אל "העברות נתונים"

2. לוחצים על Create transfer (יצירת העברה).

3. בקטע סוג המקור, בשדה מקור, בוחרים באפשרות Mailchimp – תצוגה מקדימה.

4. בקטע Data source details (פרטים של מקור הנתונים):

   • בקטע API Key (מפתח API), מזינים את מפתח ה-API של Mailchimp. מידע נוסף מופיע במאמר דרישות מוקדמות ל-Mailchimp.
   • אופציונלי: בשדה תאריך התחלה, מציינים תאריך התחלה להכללה של רשומות חדשות בהעברת הנתונים. העברת הנתונים כוללת רק רשומות שנוצרו בתאריך הזה או אחריו.
     • מזינים תאריך בפורמט YYYY-MM-DD. הערך המינימלי הוא 2001-01-01.
   • בקטע Mailchimp objects to transfer (אובייקטים של Mailchimp להעברה), לוחצים על Browse (עיון) כדי לבחור אובייקטים להעברה למערך נתוני היעד ב-BigQuery. אפשר גם להזין באופן ידני אובייקטים שרוצים לכלול בהעברת הנתונים בשדה הזה.

5. בקטע הגדרות יעד, בשדה מערך נתונים, בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.

6. בקטע Transfer config name, בשדה Display name, מזינים שם להעברת הנתונים.

7. בקטע אפשרויות תזמון:

   • ברשימה תדירות החזרה, בוחרים אפשרות כדי לציין באיזו תדירות יתבצע העברת הנתונים. כדי לציין תדירות חזרה מותאמת אישית, בוחרים באפשרות בהתאמה אישית. אם בוחרים באפשרות על פי דרישה, ההעברה הזו תתבצע כשמפעילים אותה באופן ידני.
   • אם רלוונטי, בוחרים באפשרות התחלה מיידית או התחלה בשעה שנקבעה, ומזינים תאריך התחלה ומשך זמן הפעלה.

8. אופציונלי: בקטע אפשרויות התראות, מבצעים את הפעולות הבאות:

   • כדי להפעיל התראות באימייל, לוחצים על המתג התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל הודעה באימייל אם ההעברה נכשלת.
   • כדי להפעיל התראות על הפעלת העברה ב-Pub/Sub להעברה הזו, לוחצים על המתג התראות Pub/Sub. אפשר לבחור את שם הנושא או ללחוץ על יצירת נושא כדי ליצור נושא.

9. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומספקים את דגל יצירת ההעברה --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID (אופציונלי): מזהה הפרויקט ב- Google Cloud . אם לא מציינים את --project_id כדי לציין פרויקט מסוים, המערכת משתמשת בפרויקט ברירת המחדל.
• ‫DATA_SOURCE: מקור הנתונים – mailchimp.
• ‫NAME: השם המוצג של הגדרת העברת הנתונים. שם ההעברה יכול להיות כל ערך שיעזור לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
• ‫DATASET: מערך הנתונים היעד להגדרת ההעברה.

• ‫PARAMETERS: הפרמטרים של הגדרת ההעברה שנוצרה בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'. אלה הפרמטרים להעברת נתונים ב-Mailchimp:

  • ‫assets: הנתיב לאובייקטים של Mailchimp שיועברו אל BigQuery.
  • ‫connector.authentication.apiKey: מפתח Mailchimp API.
  • ‫connector.startDate: (אופציונלי) תאריך התחלה של רשומות חדשות שייכללו בהעברת הנתונים, בפורמט YYYY-MM-DD. רק רשומות שנוצרו בתאריך הזה או אחריו ייכללו בהעברת הנתונים.

הפקודה הבאה יוצרת העברת נתונים של Mailchimp בפרויקט ברירת המחדל.

    bq mk
        --transfer_config
        --target_dataset=mydataset
        --data_source=mailchimp
        --display_name='My Transfer'
        --params='{"assets": "Lists",
            "connector.authentication.apiKey":"1234567",
            "connector.startDate":"2025-01-01"}'

כששומרים את הגדרות ההעברה, מחבר Mailchimp מפעיל באופן אוטומטי העברה לפי האפשרות של לוח הזמנים שהגדרתם. בכל הפעלה של העברה, המחבר של Mailchimp מעביר את כל הנתונים הזמינים מ-Mailchimp אל BigQuery.

כדי להפעיל העברת נתונים ידנית מחוץ ללוח הזמנים הרגיל, אפשר להתחיל הפעלה של מילוי חוסרים.

מיפוי סוגי נתונים

בטבלה הבאה מפורטים סוגי הנתונים ב-Mailchimp והמיפוי שלהם לסוגי הנתונים התואמים ב-BigQuery:

סוג הנתונים של Mailchimp	סוג נתונים ב-BigQuery	תיאור
String	STRING
Integer	INT64
Number	BIGNUMERIC	אובייקטי הנתונים של Mailchimp‏ Number ממופים לסוג הנתונים BIGNUMERIC בשדות שקשורים לנתונים פיננסיים, כמו Price ו-OrderTotal, או לסוג הנתונים FLOAT64 בשדות אחרים, כמו Stats_OpenRate ו-Location_Latitude.
Number	FLOAT64
Boolean	BOOLEAN
‫String בפורמט של תאריך ושעה	TIMESTAMP	סוגי הנתונים STRING בפורמט תאריך ושעה מיוצגים בפורמט ISO 8601. לדוגמה, 2019-08-24T14:15:22Z.

תמחור

העברת נתונים מ-Mailchimp ל-BigQuery לא כרוכה בתשלום בזמן שהתכונה הזו נמצאת בגרסת Preview.

פתרון בעיות בהגדרת ההעברה

אם נתקלתם בבעיות בהגדרת העברת הנתונים, כדאי לעיין במאמר בעיות בהעברה מ-Mailchimp.

המאמרים הבאים

• סקירה כללית של שירות העברת הנתונים ל-BigQuery זמינה במאמר מהו שירות העברת נתונים ל-BigQuery.
• מידע על שימוש בהעברות, כולל קבלת מידע על הגדרת העברה, הצגת רשימה של הגדרות העברה והצגת היסטוריית ההרצה של העברה, זמין במאמר ניהול העברות.