שימוש בהעברות של צד שלישי

העברות של צד שלישי לשירות העברת הנתונים ל-BigQuery מאפשרות לתזמן ולנהל באופן אוטומטי משימות טעינה חוזרות ממקורות נתונים חיצוניים ל-BigQuery. אתם יכולים להתחבר למקורות חיצוניים כמו Salesforce CRM,‏ Adobe Analytics ו-Facebook Ads על ידי הרשמה למחברים של שותפים דרך Google Cloud Marketplace.

מגבלות

העברות של צד שלישי כפופות למגבלות הבאות:

• צריך ליצור או לעדכן העברה של צד שלישי באמצעות מסוףGoogle Cloud .
• אי אפשר להגדיר או לעדכן העברות של צד שלישי באמצעות כלי שורת הפקודה של BigQuery.

לפני שמתחילים

לפני שיוצרים העברת נתונים של צד שלישי:

• מוודאים שביצעתם את כל הפעולות הנדרשות כדי להפעיל את שירות העברת הנתונים ל-BigQuery.
• יוצרים מערך נתונים ב-BigQuery שבו יאוחסנו הנתונים.
• כדי לוודא שהגדרתם את כל ההרשאות שנדרשות להפעלת ההעברה, עיינו במסמכי התיעוד של מקור הנתונים של הצד השלישי.
• אם אתם מתכוונים להגדיר התראות על הפעלת העברות ב-Pub/Sub, אתם צריכים את ההרשאות של pubsub.topics.setIamPolicy. אם אתם מגדירים רק התראות באימייל, אתם לא צריכים הרשאות Pub/Sub. למידע נוסף, קראו את המאמר התראות על הפעלות של שירות העברת הנתונים ל-BigQuery.

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שדרושות ליצירת העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, בקשו מהאדמין להקצות לכם את התפקיד אדמין ב-BigQuery (roles/bigquery.admin) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאות שנדרשות כדי ליצור העברת נתונים בשירות העברת הנתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:

• הרשאות לשירות העברת נתונים ל-BigQuery:
  • bigquery.transfers.update
  • bigquery.transfers.get
• הרשאות ב-BigQuery:
  • bigquery.datasets.get
  • bigquery.datasets.getIamPolicy
  • bigquery.datasets.update
  • bigquery.datasets.setIamPolicy
  • bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף זמין במאמר מתן גישה ל-bigquery.admin.

הגדרת העברת נתונים של צד שלישי

כדי ליצור העברת נתונים מצד שלישי באמצעות מסוף Google Cloud :

1. נכנסים ל-Google Cloud Marketplace.

   כניסה ל-Google Cloud Marketplace

2. לוחצים על ספק הצד השלישי הרלוונטי.

3. בדף התיעוד של ספק הצד השלישי, לוחצים על Enroll. תהליך ההרשמה עשוי להימשך כמה דקות.

4. בסיום ההרשמה, לוחצים על הגדרת ההעברה.

5. בדף Create Transfer:

   • בקטע מקור, בוחרים את מקור הנתונים המתאים של הצד השלישי. אתם יכולים ללחוץ על Explore Data Sources כדי לראות את רשימת ספקי הצד השלישי ב-Google Cloud Marketplace.

     

   • בשדה השם המוצג, מזינים שם להעברה, למשל My Transfer. שם ההעברה יכול להיות כל ערך שמאפשר לכם לזהות בקלות את ההעברה אם תצטרכו לשנות אותה מאוחר יותר.

     

   • בשדה Schedule, משאירים את ערך ברירת המחדל (Start now) או לוחצים על Start at a set time.

     • בקטע Repeats, בוחרים באיזו תדירות להפעיל את ההעברה. האפשרויות כוללות:

       • מדי יום (ברירת מחדל)
       • שבועי
       • כל חודש
       • בהתאמה אישית
       • על פי דרישה

       אם בוחרים אפשרות אחרת מלבד Daily, מופיעות אפשרויות נוספות. לדוגמה, אם בוחרים באפשרות "מדי שבוע", מופיעה אפשרות לבחור את היום בשבוע.

     • בשדה Start date and run time, מזינים את התאריך והשעה שבהם רוצים להתחיל את ההעברה. אם בוחרים באפשרות התחלה עכשיו, האפשרות הזו מושבתת.

       

   • בקטע Destination dataset, בוחרים את מערך הנתונים שיצרתם כדי לאחסן את הנתונים.

     

   • (אופציונלי) בקטע Notification options:

     • לוחצים על המתג כדי להפעיל את ההתראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל כשהרצת ההעברה נכשלת.
     • בקטע Select a Pub/Sub topic, בוחרים את שם הנושא או לוחצים על Create a topic כדי ליצור נושא חדש. האפשרות הזו מגדירה התראות על הפעלת Pub/Sub להעברה.

6. לוחצים על קישור של מקור.

   הערה: אם לא בחרתם קבוצת נתונים של יעד, לחיצה על Connect Source תגרום לשגיאה הבאה: A selected destination dataset is required before connecting to the source.

7. כשמופיעה בקשה, לוחצים על Accept כדי לתת לשירות העברת הנתונים ל-BigQuery הרשאה להתחבר למקור הנתונים ולנהל את הנתונים ב-BigQuery.

8. פועלים לפי ההוראות בדפים הבאים כדי להגדיר את החיבור למקור הנתונים החיצוני.

9. אחרי שמסיימים את שלבי ההגדרה, לוחצים על שמירה.

פתרון בעיות בהגדרה של העברה מצד שלישי

אם נתקלתם בבעיות בהגדרת ההעברה, פנו לספק הצד השלישי המתאים. הפרטים ליצירת קשר מופיעים בדף התיעוד של ההעברה ב-Google Cloud Marketplace.

שליחת שאילתות לגבי הנתונים

כשמעבירים את הנתונים ל-BigQuery, הם נכתבים בטבלאות שמחולקות למחיצות (Partitions) לפי זמני כתיבת הנתונים. למידע נוסף, קראו את המאמר מבוא לטבלאות מחולקות למחיצות.

אם אתם שולחים שאילתות ישירות לטבלאות במקום להשתמש בתצוגות שנוצרו אוטומטית, אתם צריכים להשתמש בעמודה המדומה _PARTITIONTIME בשאילתה. למידע נוסף, קראו את המאמר שליחת שאילתות לטבלאות מחולקות למחיצות.

המאמרים הבאים

• לסקירה כללית על שירות העברת הנתונים ל-BigQuery, קראו את המאמר מבוא לשירות העברת הנתונים ל-BigQuery.
• במאמר עבודה עם העברות מוסבר איך משתמשים בהעברות, כולל איך מקבלים מידע על הגדרת העברה, איך מציגים רשימה של הגדרות העברה ואיך מציגים את היסטוריית ההרצה של העברה.