טעינת נתונים מ-Salesforce ל-BigQuery

אפשר לטעון נתונים מ-Salesforce Sales Cloud ל-BigQuery באמצעות מחבר שירות העברת הנתונים ל-BigQuery ל-Salesforce. באמצעות שירות העברת הנתונים ל-BigQuery, אתם יכולים לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים מ-Salesforce Sales Cloud ל-BigQuery.

מגבלות

העברות נתונים מ-Salesforce כפופות למגבלות הבאות:

  • מחבר Salesforce תומך רק בהעברות מ-Salesforce Sales Cloud.
  • מחבר Salesforce תומך רק בשדות שנכללים ב-Salesforce Bulk API V1 גרסה 64.0. יכול להיות שחלק מהשדות שנכללו בגרסאות קודמות של Salesforce Bulk API לא נתמכים. מידע נוסף על השינויים האלה בחיבור Salesforce זמין במאמר בנושא Salesforce Bulk API.
  • המחבר של Salesforce משתמש ב-Salesforce Bulk API V1 כדי להתחבר לנקודת הקצה של Salesforce Sales Cloud ולאחזר נתונים.
    • המחבר של Salesforce תומך רק ב-Salesforce Bulk API V1 כדי להתחבר למופע Salesforce, ותומך רק בהעברה של ישויות שנתמכות על ידי Salesforce Bulk API. מידע נוסף על הישויות הנתמכות זמין במאמר השגיאה'הישות לא נתמכת על ידי Bulk API'.
  • מחבר Salesforce לא תומך בהעברה של האובייקטים הבאים שיש להם שדות בינאריים.
    • Attachment
    • ContentVersion
    • Document
    • StaticResource
    • Scontrol
    • EmailCapture
    • MailMergeTemplate
  • מרווח הזמן המינימלי בין העברות נתונים חוזרות הוא 15 דקות. מרווח ברירת המחדל להעברה חוזרת הוא 24 שעות.
  • בגלל מגבלות העיבוד של Salesforce, תזמון של יותר מדי העברות נתונים בו-זמנית עלול לגרום לעיכובים או לכשלים. מומלץ להגביל את העברות הנתונים של Salesforce לפעולות הבאות:
    • אפשר לכלול עד 10 נכסים בכל הגדרת העברה.
    • בכל ההגדרות השונות של ההעברה, לא יכולות להיות יותר מ-10 העברות בו-זמניות בכל פעם.
  • כל הגדרה של העברת נתונים יכולה לתמוך רק בהרצה אחת של העברת נתונים בכל זמן נתון. אם מתוכננת העברת נתונים שנייה לפני שההעברה הראשונה מסתיימת, רק ההעברה הראשונה תושלם. כל העברת נתונים אחרת שחופפת להעברה הראשונה תדלג.
    • כדי להימנע מדילוג על העברות במסגרת הגדרת העברה יחידה, מומלץ להגדיר את תדירות החזרה כדי להגדיל את משך הזמן בין העברות של נתונים בכמות גדולה.
  • אם אתם משתמשים בצירופי רשת להעברת הנתונים, אתם צריכים להגדיר תרגום כתובות רשת (NAT) ציבורי עם כתובת IP סטטית. מידע נוסף מופיע במאמר הגדרת רשימת כתובות IP להעברות ב-Salesforce.
  • אם המכונה הווירטואלית (VM) והחיבור לרשת שהגדרתם נמצאים באזורים שונים, יכול להיות שתהיה תנועה של נתונים בין אזורים כשמעבירים נתונים מ-Salesforce.

מגבלות על העברות מצטברות

העברות מצטברות מ-Salesforce כפופות למגבלות הבאות:

  • אפשר לבחור רק TIMESTAMP עמודות כעמודות של סימן מים.
  • הטמעה מצטברת נתמכת רק בנכסים עם עמודות סימן מים תקינות.
  • הערכים בעמודה של סימן המים חייבים להיות בסדר עולה.
  • העברות מצטברות לא יכולות לסנכרן פעולות מחיקה בטבלת המקור.
  • הגדרת העברה אחת יכולה לתמוך רק בהעברה מצטברת או בהעברה מלאה.
  • אי אפשר לעדכן אובייקטים ברשימה asset אחרי ההפעלה הראשונה של ההעברה המצטברת.
  • אי אפשר לשנות את מצב הכתיבה בהגדרת העברה אחרי ההפעלה הראשונה של הטמעת נתונים מצטברת.
  • אי אפשר לשנות את העמודה של סימן המים או את המפתח הראשי אחרי ההרצה הראשונה של הטמעת נתונים מצטברת.
  • כשמעדכנים הגדרת העברה קיימת למצב של קליטת נתונים מצטברת, בהרצת העברת הנתונים הראשונה אחרי העדכון יאוחזרו כל הנתונים הזמינים ממקור הנתונים, והנתונים בטבלת היעד ב-BigQuery יימחקו ויוחלפו בנתונים החדשים. כל הפעלה עוקבת של העברה מצטברת תאחזר רק את השורות החדשות והמעודכנות ממקור הנתונים.

אפשרויות להטמעת נתונים

בקטעים הבאים מוסבר בהרחבה על האפשרויות להעברת נתונים כשמגדירים העברת נתונים מ-Salesforce.

העברות מלאות או מצטברות

כשמגדירים העברה מ-Salesforce, אפשר לציין איך הנתונים ייטענו ל-BigQuery על ידי בחירה באפשרות Full (מלאה) או Incremental (מצטברת) בהעדפות הכתיבה בהגדרות ההעברה. העברות מצטברות נתמכות בגרסת Preview.

אפשר לבחור באפשרות מלאה כדי להעביר את כל הנתונים ממערכי הנתונים של Salesforce בכל העברת נתונים.

לחלופין, אפשר לבחור באפשרות מצטבר (תצוגה מקדימה) כדי להעביר רק את הנתונים שהשתנו מאז העברת הנתונים האחרונה, במקום לטעון את מערך הנתונים כולו בכל העברת נתונים. אם בוחרים באפשרות מצטבר להעברת הנתונים, צריך לציין את מצבי הכתיבה הוספה או עדכון והוספה כדי להגדיר איך הנתונים ייכתבו ל-BigQuery במהלך העברת נתונים מצטברת. בקטעים הבאים מתוארים מצבי הכתיבה הזמינים.

מצב כתיבה Append

מצב הכתיבה Append מוסיף רק שורות חדשות לטבלת היעד. האפשרות הזו מוסיפה את הנתונים שהועברו בלי לבדוק אם קיימות רשומות, ולכן המצב הזה עלול לגרום לשכפול נתונים בטבלת היעד.

כשבוחרים במצב Append (הוספה), צריך לבחור עמודה של סימן מים. כדי שהמחבר של Salesforce יוכל לעקוב אחרי שינויים בטבלת המקור, צריך להוסיף עמודה של סימן מים.

במקרה של העברות מ-Salesforce, מומלץ לבחור עמודה שמתעדכנת רק כשהרשומה נוצרה, ולא תשתנה בעדכונים הבאים. לדוגמה, העמודה CreatedDate.

מצב כתיבה Upsert

מצב הכתיבה Upsert מעדכן שורה או מוסיף שורה חדשה בטבלת היעד על ידי בדיקה של מפתח ראשי. אתם יכולים לציין מפתח ראשי כדי שהמחבר של Salesforce יוכל לקבוע אילו שינויים צריך לבצע כדי שהטבלה של היעד תישאר מעודכנת בהתאם לטבלה של המקור. אם המפתח הראשי שצוין קיים בטבלה ב-BigQuery במהלך העברת נתונים, המחבר של Salesforce מעדכן את השורה הזו בנתונים חדשים מטבלת המקור. אם מפתח ראשי לא קיים במהלך העברת נתונים, המחבר של Salesforce מוסיף שורה חדשה.

כשבוחרים במצב Upsert, צריך לבחור עמודה של סימן מים ומפתח ראשי:

  • כדי שהמחבר של Salesforce יוכל לעקוב אחרי שינויים בטבלת המקור, צריך להוסיף עמודה של סימן מים.
    • בוחרים עמודה של סימן מים שמתעדכנת בכל פעם שמשנים שורה. מומלץ להשתמש בעמודה SystemModstamp או LastModifiedDate.
  • המפתח הראשי יכול להיות עמודה אחת או יותר בטבלה שנדרשות למחבר Salesforce כדי לקבוע אם צריך להוסיף או לעדכן שורה.
    • בוחרים עמודות שמכילות ערכים שאינם null, ושייחודיים לכל השורות בטבלה. מומלץ להשתמש בעמודות שכוללות מזהים שנוצרו על ידי המערכת, קודי הפניה ייחודיים (למשל מזהים עם הגדלה אוטומטית) או מזהים של רצפים שאי אפשר לשנות שמבוססים על זמן.
    • כדי למנוע אובדן נתונים או פגם בנתונים, בעמודות של המפתח הראשי שבוחרים צריכים להיות ערכים ייחודיים. אם יש לכם ספק לגבי הייחודיות של העמודה שבחרתם כמפתח ראשי, מומלץ להשתמש במקום זאת במצב הכתיבה הוספה.

לפני שמתחילים

בקטעים הבאים מתוארים השלבים שצריך לבצע לפני שיוצרים העברת נתונים של Salesforce.

יצירת אפליקציה מקושרת של Salesforce

צריך ליצור אפליקציה מקושרת ב-Salesforce עם ההגדרות הנדרשות הבאות:

  • מגדירים את הפרטים הבסיסיים באפליקציה המקושרת. השדות Connected App Name ו-Contact Email נדרשים להעברה ב-Salesforce.
  • הפעלת הגדרות OAuth עם ההגדרות הבאות:
    • מסמנים את התיבה Enable OAuth Settings (הפעלת הגדרות OAuth).
    • בשדה כתובת URL לקריאה חוזרת (callback), מזינים את הערך הבא:
      • בסביבת ייצור, מזינים https://login.salesforce.com/services/oauth2/token.
      • לסביבת ארגז חול, מזינים https://test.salesforce.com/services/oauth2/token.
    • מוודאים שתיבת הסימון הנפקת אסימוני גישה מבוססי JSON Web Token‏(JWT) למשתמשים עם שם לא מסומנת.
  • בקטע Selected OAuth Scopes (היקפי הרשאות נבחרים של OAuth), בוחרים באפשרות Manage user data via APIs (api) (ניהול נתוני משתמשים באמצעות ממשקי API).
  • מבטלים את הסימון של התיבה Required Proof Key for Code Exchange (PKCE) Extension for Supported Authorization Flows (נדרש מפתח הוכחה לתוסף החלפת קוד (PKCE) לזרימות הרשאה נתמכות).
  • בוחרים באפשרות Enable Client Credentials Flow (הפעלת תהליך הרשאת פרטי לקוח) ולוחצים על OK בהודעה שמופיעה.

אחרי שמגדירים את האפליקציה המקושרת עם ההגדרות הנדרשות, לוחצים על שמירה. תועברו לדף הפרטים של האפליקציה המקושרת החדשה שיצרתם.

אחרי שיוצרים את האפליקציה המקושרת, צריך גם להגדיר את תהליך העבודה של פרטי הכניסה של הלקוח. לשם כך:

  1. לוחצים על הגדרה.
  2. בסרגל החיפוש, מחפשים את אפליקציות מקושרות.
  3. לוחצים על ניהול אפליקציות > אפליקציות מקושרות. אם אתם משתמשים ב-Salesforce Lightning Experience, לוחצים על ניהול אפליקציות מקושרות.
  4. באפליקציה המקושרת שיצרתם, לוחצים על עריכה.
  5. יופיע הדף App details (פרטי האפליקציה). בקטע Client Credentials Flow, מזינים את שם המשתמש בשדה Run As. כדי לוודא שבחרתם את המשתמש הנכון, אתם יכולים להשתמש בכלי החיפוש בשדה הזה.
  6. לוחצים על Save.

הפרטים הנדרשים ב-Salesforce

כשיוצרים העברת נתונים מ-Salesforce, צריך להזין את הפרטים הבאים של Salesforce:

שם הפרמטר תיאור
myDomain הדומיין שלי ב-Salesforce.
clientId מפתח הצרכן של האפליקציה המקושרת של Salesforce.
clientSecret

סוד הלקוח ב-OAuth או סוד הצרכן של האפליקציה המקושרת ב-Salesforce.

כדי לקבל את הערכים myDomain, clientID ו-clientSecret, בוחרים באחת מהאפשרויות הבאות:

‫Salesforce Classic

אחזור הפרטים של myDomain

כדי למצוא את myDomain, מבצעים את הפעולות הבאות:

  1. נכנסים לפלטפורמת Salesforce.
  2. לוחצים על הגדרה.
  3. בסרגל החיפוש, מחפשים את הדומיין שלי.
  4. בתוצאות החיפוש, לוחצים על ניהול דומיין > הדומיין שלי.

בקטע פרטי הדומיין שלי, הקידומת myDomain מופיעה בכתובת ה-URL הנוכחית של הדומיין שלי. לדוגמה, אם כתובת ה-URL של הדומיין שלי היא example.my.salesforce.com, הערך של myDomain הוא example.

אחזור פרטים של ClientId ושל ClientSecret

כדי למצוא את הערכים של ClientId ו-ClientSecret:

  1. נכנסים לפלטפורמת Salesforce.
  2. לוחצים על הגדרה.
  3. בסרגל החיפוש, מחפשים את אפליקציות.
  4. בקטע Build (יצירה) בתוצאות החיפוש, לוחצים על Create (יצירה) > Apps (אפליקציות).
  5. לוחצים על שם האפליקציה המקושרת.
  6. בדף הפרטים של אפליקציות מקושרות, לוחצים על ניהול פרטי הצרכן.
  7. מאמתים את הזהות באחת מהשיטות הרשומות. אפשר לראות את דף הפרטים של הצרכן למשך חמש דקות לכל היותר לפני שתתבקשו לאמת שוב את הזהות שלכם.
  8. בדף Consumer Details (פרטי צרכן), הערך של Consumer Key (טוקן צרכן) הוא ClientId. ‫Customer Secret הוא הערך ClientSecret.

‫Salesforce Lightning Experience

אחזור הפרטים של myDomain

כדי למצוא את myDomain, מבצעים את הפעולות הבאות:

  1. נכנסים לפלטפורמת Salesforce.
  2. לוחצים על הגדרה.

פותחים את דף ההגדרה בפלטפורמת Salesforce.

  1. בסרגל החיפוש, מחפשים את הדומיין שלי.
  2. בתוצאות החיפוש, לוחצים על הגדרות החברה > הדומיין שלי.

בקטע פרטי הדומיין שלי, הקידומת myDomain מופיעה בכתובת ה-URL הנוכחית של הדומיין שלי. לדוגמה, אם כתובת ה-URL של הדומיין שלי היא example.my.salesforce.com, הערך של myDomain הוא example.

אחזור הפרטים של ClientId ושל ClientSecret

  1. נכנסים לפלטפורמת Salesforce.
  2. לוחצים על הגדרה.
  3. בסרגל החיפוש, מחפשים את אפליקציות.
  4. בתוצאות החיפוש, לוחצים על אפליקציות > המרכז לניהול אפליקציות.
  5. מחפשים אפליקציה מקושרת ולוחצים על הצגה.
  6. לוחצים על ניהול פרטי הצרכן.
  7. מאמתים את הזהות באחת מהשיטות הרשומות. אפשר לראות את דף הפרטים של הצרכן למשך חמש דקות לכל היותר לפני שתתבקשו לאמת שוב את הזהות שלכם.
  8. בדף Consumer Details (פרטי צרכן), הערך של Consumer Key (טוקן צרכן) הוא ClientId. הערך של Customer Secret הוא ClientSecret.

הגדרת רשימת היתרים של כתובות IP להעברות ב-Salesforce

כדי להעביר נתונים, צריך להגדיר את סביבת Google Cloud העבודה ואת חשבון Salesforce ולהוסיף כתובות IP ספציפיות לרשימת ההיתרים. כך מוודאים ש-Salesforce מקבלת רק חיבורים מכתובת IP סטטית מהימנה. השלב הזה נדרש אם אתם משתמשים בקבצים מצורפים ברשת בהעברות הנתונים.

כדי לעשות את זה, קודם צריך להגדיר את רשת Google Cloud כך שתשתמש בכתובת IP סטטית:

  1. הגדרה של תרגום כתובות רשת (NAT) ציבורי עם כתובת IP סטטית ברשת הענן הווירטואלי הפרטי (VPC). צריך להגדיר את CloudNAT באותו אזור שבו נמצא מערך נתוני היעד להעברת הנתונים הזו.
  2. הגדרת רכיב Network Attachment באותה רשת VPC. המשאב הזה משמש את שירות העברת הנתונים ל-BigQuery כדי לגשת לשירותים פרטיים.

בשלב הבא, צריך להגדיר את טווחי כתובות ה-IP המהימנים ב-Salesforce. כשמוסיפים את טווח כתובות ה-IP, משתמשים בכתובת ה-IP הסטטית מ-Google Cloud NAT ציבורי גם לכתובת ה-IP ההתחלתית וגם לכתובת ה-IP הסופית של טווח כתובות ה-IP.

אחרי שמגדירים את טווחי כתובות ה-IP, אפשר לציין את כתובת ה-IP הסטטית כשמגדירים את תצורת ההעברה. לשם כך, בוחרים את קובץ הרשת בשדה Network attachment (קובץ רשת מצורף).

דרישות מוקדמות ל-BigQuery

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שנדרשות ליצירת העברת נתונים באמצעות שירות העברת נתונים ל-BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקיד BigQuery Admin ‏ (roles/bigquery.admin) ב-IAM בפרויקט. להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת נתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:

  • הרשאות של שירות העברת נתונים ל-BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • הרשאות ב-BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף מופיע במאמר בנושא מתן גישה ל-bigquery.admin.

הגדרת העברת נתונים מ-Salesforce

כדי להוסיף נתונים מ-Salesforce ל-BigQuery, צריך להגדיר העברה באמצעות אחת מהאפשרויות הבאות:

המסוף

  1. עוברים לדף 'העברות נתונים' במסוף Google Cloud .

    מעבר אל "העברות נתונים"

  2. לוחצים על Create transfer (יצירת העברה).

  3. בקטע סוג מקור, בשדה מקור, בוחרים באפשרות Salesforce.

  4. בקטע Data source details (פרטים של מקור הנתונים):

    • בקטע Network attachment (צירוף לרשת), בוחרים צירוף לרשת מהרשימה. כדי להשתמש בצירוף רשת להעברת הנתונים, צריך להגדיר את ה-NAT הציבורי ולהגדיר את רשימת כתובות ה-IP המותרות.
    • בקטע הדומיין שלי, מזינים את הדומיין שלי ב-Salesforce.
    • בשדה Client ID, מזינים את מפתח הצרכן של האפליקציה המקושרת של Salesforce.
    • בקטע Client secret (סוד לקוח), מזינים את סוד הלקוח של אפליקציית הצרכן ב-Salesforce.
    • בקטע סוג ההעברה, בוחרים באפשרות מלאה או מצטברת.
    • כדי להעביר אובייקטים של Salesforce, לוחצים על עיון:
      • בוחרים את האובייקטים שרוצים להעביר למערך הנתונים של היעד ב-BigQuery. אפשר גם להזין באופן ידני את כל האובייקטים שרוצים לכלול בהעברת הנתונים בשדה הזה.
      • אם בחרתם באפשרות הוספה כמצב הכתיבה המצטבר, אתם חייבים לבחור עמודה כעמודת סימן המים.
      • אם בחרתם באפשרות Upsert כמצב הכתיבה המצטברת, אתם צריכים לבחור עמודה כעמודת סימן המים, ואז לבחור עמודה אחת או יותר כמפתח הראשי.

  5. בקטע הגדרות יעד, בשדה מערך נתונים, בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.

  6. בקטע Transfer config name, בשדה Display name, מזינים שם להעברת הנתונים.

  7. בקטע אפשרויות תזמון:

    • ברשימה תדירות החזרה, בוחרים אפשרות כדי לציין באיזו תדירות יתבצע העברת הנתונים. כדי לציין תדירות חזרה מותאמת אישית, בוחרים באפשרות בהתאמה אישית. אם בוחרים באפשרות על פי דרישה, ההעברה הזו תתבצע כשמפעילים אותה באופן ידני.
    • אם רלוונטי, בוחרים באפשרות התחלה מיידית או התחלה בשעה שנקבעה, ומזינים תאריך התחלה ומשך זמן הפעלה.

  8. אופציונלי: בקטע אפשרויות התראות, מבצעים את הפעולות הבאות:

    • כדי להפעיל התראות באימייל, לוחצים על המתג התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל הודעה באימייל אם ההעברה נכשלת.
    • כדי להפעיל התראות על הפעלת העברה ב-Pub/Sub להעברה הזו, לוחצים על המתג התראות Pub/Sub. אפשר לבחור את שם הנושא או ללחוץ על יצירת נושא כדי ליצור נושא.

  9. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומספקים את דגל יצירת ההעברה --transfer_config:

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

כאשר:

  • ‫PROJECT_ID (אופציונלי): מזהה הפרויקט ב- Google Cloud . אם לא מציינים את --project_id כדי לציין פרויקט מסוים, המערכת משתמשת בפרויקט ברירת המחדל.
  • ‫DATA_SOURCE: מקור הנתונים – salesforce.
  • ‫NAME: השם המוצג של הגדרת העברת הנתונים. שם ההעברה יכול להיות כל ערך שיעזור לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
  • ‫DATASET: מערך הנתונים היעד להגדרת ההעברה.

  • ‫PARAMETERS: הפרמטרים של הגדרת ההעברה שנוצרה בפורמט JSON. לדוגמה: --params='{"param":"param_value"}'. אלה הפרמטרים להעברת נתונים מ-Salesforce:

    • ‫connector.authentication.oauth.clientId: מפתח הצרכן של האפליקציה המקושרת של Salesforce.
    • ‫connector.authentication.oauth.clientSecret: סוד הלקוח ב-OAuth או סוד הצרכן של האפליקציה המקושרת ב-Salesforce.
    • ‫connector.authentication.oauth.myDomain: הדומיין שלי ב-Salesforce. לדוגמה, אם כתובת ה-URL של הדומיין היא example.my.salesforce.com, אז הערך הוא example.
    • ‫ingestionType: מציינים FULL או INCREMENTAL. העברות מצטברות נתמכות בגרסת טרום-השקה. מידע נוסף זמין במאמר בנושא העברות מלאות או מצטברות.
    • ‫writeMode: מציינים WRITE_MODE_APPEND או WRITE_MODE_UPSERT.
    • ‫watermarkColumns: מציינים עמודות בטבלה כעמודות של סימן מים. השדה הזה נדרש להעברות מצטברות.
    • ‫primaryKeys: ציון עמודות בטבלה כמפתחות ראשיים. השדה הזה נדרש להעברות מצטברות.
    • ‫assets: הנתיב לאובייקטים של Salesforce שיועברו ל-BigQuery.

כשמציינים כמה נכסים במהלך העברה מצטברת, הערכים בשדות watermarkColumns ו-primaryKeys תואמים למיקום הערכים בשדה assets. בדוגמה הבאה, Id תואם לטבלה Account, ו-master_label ו-type תואמים לטבלה CaseHistory.

      "primaryKeys":[['Id'], ['master_label','type']],
      "assets":["Account","CaseHistory"],

הפקודה הבאה יוצרת העברת נתונים מצטברת מ-Salesforce בפרויקט שמוגדר כברירת מחדל, ומשתמשת במצב הכתיבה APPEND.

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=salesforce
    --display_name='My Transfer'
    --params='{"assets": ["Account", "CaseHistory"]
        "connector.authentication.oauth.clientId": "1234567890",
        "connector.authentication.oauth.clientSecret":"ABC12345",
        "connector.authentication.oauth.myDomain":"MyDomainName",
        "connector.authentication.username":"user1@force.com",
        "connector.authentication.password":"abcdef1234",
        "ingestionType":"incremental",
        "writeMode":"WRITE_MODE_UPSERT",
        "watermarkColumns":["SystemModstamp","CreatedDate"]
        "primaryKeys":[['Id'], ['master_label','type']]}'

API

משתמשים בשיטה projects.locations.transferConfigs.create ומספקים מופע של המשאב TransferConfig.

כששומרים את הגדרת ההעברה, מחבר Salesforce מפעיל באופן אוטומטי העברה לפי אפשרות התזמון שהגדרתם. בכל הפעלה של העברה, המחבר של Salesforce מעביר את כל הנתונים הזמינים מ-Salesforce אל BigQuery.

כדי להפעיל העברת נתונים ידנית מחוץ ללוח הזמנים הרגיל, אפשר להתחיל הפעלה של מילוי חוסרים.

מיפוי סוגי נתונים

בטבלה הבאה מפורטים סוגי הנתונים ב-Salesforce וסוגי הנתונים התואמים ב-BigQuery:

סוג הנתונים ב-Salesforce סוג נתונים ב-BigQuery
_bool BOOLEAN
_int INTEGER
_long INTEGER
_double FLOAT
currency FLOAT
percent FLOAT
geolocation (latitude) FLOAT
geolocation (longitude) FLOAT
date DATE
datetime TIMESTAMP
time TIME
picklist STRING
multipicklist STRING
combobox STRING
reference STRING
base64 STRING
textarea STRING
phone STRING
id STRING
url STRING
email STRING
encryptedstring STRING
datacategorygroupreference STRING
location STRING
address STRING
anyType STRING

תמחור

מידע על התמחור של העברות מ-Salesforce זמין במאמר בנושא תמחור של שירות העברת נתונים.

פתרון בעיות בהגדרת ההעברה

אם נתקלתם בבעיות בהגדרת העברת הנתונים, כדאי לעיין במאמר בעיות בהעברה מ-Salesforce.

המאמרים הבאים