שימוש בהעברות של צד שלישי

התכונה 'העברות מצד שלישי' בשירות העברת הנתונים ל-BigQuery מאפשרת לתזמן ולנהל באופן אוטומטי משימות טעינה חוזרות למקורות נתונים חיצוניים כמו Salesforce CRM,‏ Adobe Analytics ו-Facebook Ads.

לפני שמתחילים

לפני שיוצרים העברת נתונים לצד שלישי:

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שנדרשות ליצירת העברת נתונים באמצעות שירות העברת נתונים ל-BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקיד BigQuery Admin ‏ (roles/bigquery.admin) ב-IAM בפרויקט. להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת נתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:

  • הרשאות של שירות העברת נתונים ל-BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • הרשאות ב-BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף מופיע במאמר בנושא מתן גישה ל-bigquery.admin.

מגבלות

העברות לצד שלישי כפופות למגבלות הבאות:

  • צריך ליצור או לעדכן העברה לצד שלישי באמצעותGoogle Cloud המסוף.
  • אי אפשר להגדיר או לעדכן העברות של צד שלישי באמצעות כלי שורת הפקודה של BigQuery.

הגדרת העברת נתונים מצד שלישי

כדי ליצור העברת נתונים מצד שלישי באמצעות מסוף Google Cloud :

  1. נכנסים אל Google Cloud Marketplace.

    כניסה אל Google Cloud Marketplace

  2. לוחצים על ספק הצד השלישי המתאים.

  3. בדף התיעוד של ספק הצד השלישי, לוחצים על הצטרפות. תהליך ההרשמה עשוי להימשך כמה דקות.

  4. בסיום ההרשמה, לוחצים על הגדרת העברה.

  5. בדף Create Transfer:

    • בקטע מקור, בוחרים את מקור הנתונים המתאים של צד שלישי. אפשר ללחוץ על Explore Data Sources (עיון במקורות נתונים) כדי לראות את רשימת ספקי הצד השלישי ב-Google Cloud Marketplace.

      מקור ההעברה

    • בשדה Display name, מזינים שם להעברה, למשל My Transfer. שם ההעברה יכול להיות כל ערך שיאפשר לכם לזהות בקלות את ההעברה אם תצטרכו לשנות אותה בהמשך.

      שם ההעברה

    • בקטע תזמון, משאירים את ערך ברירת המחדל (התחלת הפגישה) או לוחצים על התחלת הפגישה בשעה מסוימת.

      • בקטע חזרות, בוחרים את תדירות ההפעלה של ההעברה. האפשרויות כוללות:

        • יומי (ברירת מחדל)
        • שבועי
        • כל חודש
        • בהתאמה אישית
        • על פי דרישה

        אם בוחרים באפשרות אחרת מלבד 'יומי', מוצגות אפשרויות נוספות. לדוגמה, אם בוחרים באפשרות 'מדי שבוע', מופיעה אפשרות לבחור את היום בשבוע.

      • בשדה תאריך התחלה ושעת הפעלה, מזינים את התאריך והשעה שבהם רוצים להתחיל את ההעברה. אם בוחרים באפשרות Start now (התחלה מיידית), האפשרות הזו מושבתת.

        לוח זמנים להעברה

    • בשדה Destination dataset (מערך נתונים של היעד), בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.

      העברת מערך נתונים

    • (אופציונלי) בקטע אפשרויות להתראות:

      • לוחצים על המתג כדי להפעיל התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל אם ההעברה נכשלת.
      • בקטע Select a Pub/Sub topic, בוחרים את שם הנושא או לוחצים על Create a topic כדי ליצור נושא. באמצעות האפשרות הזו מגדירים התראות על הפעלת Pub/Sub להעברה.

  6. לוחצים על קישור של מקור.

  7. כשמוצגת בקשה, לוחצים על אישור כדי לתת לשירות העברת הנתונים ל-BigQuery הרשאה להתחבר למקור הנתונים ולנהל את הנתונים ב-BigQuery.

  8. פועלים לפי ההוראות בדפים הבאים כדי להגדיר את החיבור למקור הנתונים החיצוני.

  9. אחרי שמסיימים את שלבי ההגדרה, לוחצים על שמירה.

פתרון בעיות בהגדרת העברה לצד שלישי

אם נתקלתם בבעיות בהגדרת ההעברה, מומלץ לפנות לספק הצד השלישי המתאים. הפרטים ליצירת קשר זמינים בדף התיעוד של ההעברה ב-Google Cloud Marketplace.

שאילתות על הנתונים

כשמעבירים את הנתונים ל-BigQuery, הם נכתבים בטבלאות עם חלוקה למחיצות בזמן ההטמעה. מידע נוסף זמין במאמר מבוא לטבלאות עם מחיצות.

אם אתם שולחים שאילתות ישירות לטבלאות במקום להשתמש בתצוגות שנוצרו אוטומטית, אתם צריכים להשתמש בעמודה הווירטואלית _PARTITIONTIME בשאילתה. מידע נוסף זמין במאמר בנושא שליחת שאילתות לטבלאות מחולקות.

המאמרים הבאים