שילוב עם Salesforce Marketing Cloud

בדף הזה מוסבר על ההגדרות הנדרשות לייבוא נתונים מ-Salesforce Marketing Cloud ‏ (SFMC) כמקור נתונים של עומס העבודה השיווקי של Cortex Framework Data Foundation.

‫SFMC היא פלטפורמה לאוטומציה של שיווק דיגיטלי שמסופקת על ידי Salesforce. הפלטפורמה מספקת לעסקים חבילה מקיפה של כלים לניהול ולאוטומציה של פעילויות שיווקיות שונות בכמה ערוצים. ‫Cortex Framework הוא מנוע לניתוח נתונים ול-AI שעוזר לכם להבין את התוצאות, לזהות תחומים לשיפור ולבצע אופטימיזציה של אסטרטגיית השיווק כדי להשיג תוצאות טובות יותר.

בתרשים הבא מתואר איך נתוני SFMC זמינים דרך עומס העבודה השיווקי של Cortex Framework Data Foundation:

מקור נתונים של SFMC

איור 1. מקור נתונים של SFMC.

קובץ תצורה

קובץ config.json מגדיר את ההגדרות שנדרשות כדי להתחבר למקורות נתונים להעברת נתונים מעומסי עבודה שונים. הקובץ הזה מכיל את הפרמטרים הבאים של SFMC:

   "marketing": {
        "deploySFMC": true,
        "SFMC": {
            "deployCDC": true,
            "fileTransferBucket": "",
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_SFMC"
            }
        }
    }

בטבלה הבאה מתואר הערך של כל פרמטר שיווקי:

פרמטר משמעות ערך ברירת המחדל תיאור
marketing.deploySFMC פריסת SFMC true מריצים את הפריסה של מקור הנתונים SFMC.
marketing.SFMC.deployCDC פריסת סקריפטים של CDC ב-SFMC true יצירת סקריפטים לעיבוד CDC ב-Salesforce Marketing Cloud ‏ (SFMC) להפעלה כ-DAG ב-Managed Airflow.
marketing.SFMC.fileTransferBucket מאגר עם קבצים של חילוץ נתונים - קטגוריה שבה מאוחסנים קבצים של נתוני חילוץ מ-Salesforce Marketing Cloud ‏ (SFMC) Automation Studio.
marketing.SFMC.datasets.cdc מערך נתוני CDC ל-SFMC קבוצת נתונים של CDC ל-Salesforce Marketing Cloud ‏ (SFMC).
marketing.SFMC.datasets.raw מערך נתונים גולמי ל-SFMC קבוצת נתונים גולמית של Salesforce Marketing Cloud ‏ (SFMC).
marketing.SFMC.datasets.reporting מערך נתונים לדיווח ב-SFMC "REPORTING_SFMC" קבוצת נתונים לדיווח ב-Salesforce Marketing Cloud‏ (SFMC).

מודל נתונים

בקטע הזה מתואר מודל הנתונים של Salesforce Marketing Cloud ‏ (SFMC) באמצעות דיאגרמת קשר בין ישויות (ERD).

תרשים קשרים בין ישויות ב-SFMC

איור 2. ‫Salesforce Marketing Cloud ‏ (SFMC): דיאגרמת קשר בין ישויות.

תצוגות בסיסיות

אלה האובייקטים הכחולים ב-ERD, והם תצוגות בטבלאות CDC ללא טרנספורמציות, מלבד כינויים מסוימים של שמות עמודות. אפשר לראות תסריטים ב-src/marketing/src/SFMC/src/reporting/ddls.

תצוגות של דוחות

אלה האובייקטים הירוקים ב-ERD, והם תצוגות דיווח שמכילות מדדים מצטברים. אפשר לראות תסריטים ב-src/marketing/src/SFMC/src/reporting/ddls.

שליפת נתונים באמצעות Automation Studio

SFMC Automation Studio מאפשר ללקוחות של SFMC לייצא את נתוני SFMC למערכות אחסון שונות. התכונה Cortex Framework Data Foundation מחפשת קבוצה של קבצים שנוצרו באמצעות Automation Studio בקטגוריה של Cloud Storage. במהלך התהליך הזה, תצטרכו גם להשתמש ב-SFMC Email Studio.

כדי להגדיר את תהליכי חילוץ הנתונים והייצוא שלהם, פועלים לפי השלבים הבאים:

  1. מגדירים קטגוריה של Cloud Storage. בדלי הזה מאוחסנים קבצים שיוצאו מ-SFMC. נותנים לבאקט את השם marketing.SFMC.fileTransferBucket config parameter. הוראות מפורטות מופיעות במסמכי התיעוד של Salesforce.

  2. יוצרים תוספים לנתונים. לכל ישות שרוצים לחלץ ממנה נתונים, צריך ליצור תוסף נתונים ב-Email Studio. הפעולה הזו נדרשת כדי לזהות את מקורות הנתונים ממסד הנתונים הפנימי של SFMC.

    • תפרט את כל השדות שמוגדרים ב-src/SFMC/config/table_schema עבור הישות. אם אתם צריכים להתאים אישית את הפעולה הזו כדי לחלץ יותר או פחות שדות, ודאו שרשימת השדות תואמת לשלבים האלה וגם לקובצי סכימת הטבלה. לדוגמה:
      Entity: unsubscribe
  Fields:
  AccountID
  OYBAccountID
  JobID
  ListID
  BatchID
  SubscriberID
  SubscriberKey
  EventDate
  IsUnique
  Domain

  3. יצירת פעילויות של שאילתות SQL. לכל ישות, יוצרים פעילות של שאילתת SQL. הפעילות הזו מקושרת לתוסף הנתונים התואם שנוצר קודם. הוראות מפורטות זמינות במאמר הזה במרכז העזרה של Salesforce .

    1. מגדירים שאילתת SQL עם כל השדות הרלוונטיים. בשליחת השאילתה צריך לבחור את כל השדות שרלוונטיים לישות שהוגדרה בתוסף הנתונים בשלב הקודם.
    2. בוחרים את יעד ההרחבה הנכון של הנתונים.
    3. בוחרים באפשרות החלפה כפעולת הנתונים.
    4. לדוגמה, השאילתה הבאה:
      SELECT
    AccountID,
    OYBAccountID,
    JobID,
    ListID,
    BatchID,
    SubscriberID,
    SubscriberKey,
    EventDate,
    IsUnique,
    Domain
  FROM
    _Unsubscribe

  4. יצירת פעילויות לחילוץ נתונים במסמכי התיעוד של Salesforce מוסבר איך ליצור פעילות של חילוץ נתונים לכל ישות. הפעילות הזו מקבלת את הנתונים מ-Salesforce Data Extension ומחלצת אותם לקובץ CSV. בשלב הזה:

    1. משתמשים בתבנית השמות הנכונה. היא צריכה להתאים לתבנית שמוגדרת בהגדרות. לדוגמה, עבור ישות Unsubscribe, שם הקובץ יכול להיות unsubscribe_%%Year%%_%%Month%%_%%Day%% %%Hour%%.csv.
    2. מגדירים את Extract Type (סוג החילוץ) לערך Data Extension Extract.
    3. בוחרים באפשרויות יש כותרות עמודות וטקסט עם גרשיים.

  5. יוצרים פעילויות להמרת קבצים כדי להמיר את הפורמט מ-UTF-16 ל-UTF-8. כברירת מחדל, Salesforce מייצאת קובצי CSV בפורמט UTF-16. בשלב הזה ממירים אותו לפורמט UTF-8. לכל ישות, יוצרים עוד פעילות חילוץ נתונים להמרת קובץ. בשלב הזה:

    • משתמשים באותו דפוס של שם הקובץ שבו השתמשתם בשלב הקודם של פעילות חילוץ הנתונים.
    • מגדירים את Extract Type (סוג החילוץ) לערך File Convert.
    • בוחרים באפשרות UTF8 בתפריט הנפתח ב-Convert To.

  6. יצירת פעילויות של העברת קבצים. יוצרים פעילות העברת קבצים לכל ישות. הפעילויות האלה מעבירות את קובצי ה-CSV שחולצו מ-Salesforce Safehouse לקטגוריות של Cloud Storage. בשלב הזה:

    • משתמשים באותו דפוס של שם הקובץ שבו השתמשתם בשלבים הקודמים.
    • בוחרים קטגוריה של Cloud Storage שהוגדרה קודם בתהליך כיעד.

  7. מתזמנים את ההפעלה. אחרי שכל הפעילויות מסתיימות, מגדירים לוחות זמנים אוטומטיים להרצת הפעילויות.

עדכניות הנתונים והעיכובים

ככלל, עדכניות הנתונים במקורות נתונים של Cortex Framework מוגבלת על ידי מה שמאפשר חיבור במעלה הזרם, וגם על ידי התדירות של הרצת DAG. משנים את תדירות ההפעלה של ה-DAG בהתאם לתדירות של מקור הנתונים, למגבלות המשאבים ולצרכים העסקיים.

ב-SFMC Automation Studio, העיכוב בעדכניות הנתונים תלוי בעיכוב בתזמון שהוגדר לייצוא הנתונים.

הרשאות לחיבורים ב-Managed Service for Apache Airflow

יוצרים את החיבורים הבאים ב-Managed Airflow. פרטים נוספים זמינים במאמר בנושא ניהול חיבורים ב-Airflow.

שם החיבור מטרה
sfmc_raw_dataflow ב-SFMC Extracted files > BigQueryRaw dataset.
sfmc_cdc_bq לגבי מערך נתונים גולמי > העברת מערך נתונים של CDC.
sfmc_reporting_bq למערך נתונים של CDC > העברה של מערך נתונים של דיווח.

הרשאות של חשבון שירות ב-Managed Airflow

לחשבון השירות שבו נעשה שימוש ב-Managed Airflow (כפי שהוגדר בחיבור sfmc_raw_dataflow) צריכות להיות הרשאות שקשורות ל-Dataflow. הוראות מפורטות זמינות במאמרי העזרה של Dataflow

הגדרות הטמעה

אפשר לשלוט בצינורות הנתונים של Source to Raw ושל Raw to CDC דרך ההגדרות בקובץ src/SFMC/config/ingestion_settings.yaml . בקטע הזה מתוארים הפרמטרים של כל צינור נתונים.

מקור לטבלאות גולמיות

בקטע הזה יש רשומות שקובעות איך נעשה שימוש בקבצים שחולצו מ-Automation Studio. כל רשומה תואמת לישות אחת ב-SFMC. על סמך ההגדרה הזו, Cortex Framework יוצר DAG של Airflow שמריץ צינורות Dataflow כדי לטעון נתונים מקבצים מיוצאים לטבלאות BigQuery במערך נתונים גולמי.

הספרייה src/SFMC/config/table_schema מכילה קובץ סכימה לכל ישות שמחולצת מ-SFMC. בכל קובץ מוסבר איך לקרוא את קובצי ה-CSV שחולצו מ-Automaton Studio כדי לטעון אותם בהצלחה למערך הנתונים BigQueryraw.

כל קובץ סכימה מכיל שלוש עמודות:

  • ‫SourceField: שם השדה בקובץ ה-CSV.
  • TargetField: שם העמודה בטבלה הגולמית של הישות הזו.
  • DataType: סוג הנתונים של כל שדה בטבלת הנתונים הגולמיים.

הפרמטרים הבאים שולטים בהגדרות של Source to Raw לכל רשומה:

פרמטר תיאור
base_table שם הטבלה הגולמית שבה נטען נתונים שחולצו מישות SFMC.
load_frequency התדירות שבה DAG של הישות הזו פועל כדי לטעון נתונים מקבצים שחולצו. מידע נוסף על הערכים האפשריים מופיע במסמכי התיעוד של Airflow.
file_pattern תבנית של קובץ לטבלה הזו שמיוצאת מ-Automation Studio לקטגוריה של Cloud Storage. משנים את השם רק אם בחרתם שם אחר מהשמות המוצעים לקבצים שחולצו.
partition_details איך הטבלה הגולמית מחולקת למחיצות לשיפור הביצועים. מידע נוסף זמין במאמר בנושא חלוקת טבלה למחיצות.
cluster_details אופציונלי: אם רוצים שהטבלה הגולמית תהיה מקובצת כדי לשפר את הביצועים. מידע נוסף זמין במאמר הגדרות אשכול.

טבלאות Raw לטבלאות CDC

בקטע הזה מוסבר אילו רשומות קובעות איך הנתונים מועברים מטבלאות גולמיות לטבלאות CDC. כל רשומה תואמת לטבלה גולמית.

הפרמטרים הבאים שולטים בהגדרות של Raw to CDC לכל רשומה:

פרמטר תיאור
base_table טבלה במערך נתונים של CDC שבה מאוחסנים הנתונים הגולמיים אחרי טרנספורמציית CDC.
load_frequency התדירות שבה DAG של הישות הזו מופעל כדי לאכלס את טבלת ה-CDC. מידע נוסף על הערכים האפשריים זמין במאמרי העזרה בנושא Airflow.
raw_table טבלת מקור ממערך נתונים גולמי.
row_identifiers עמודות (מופרדות בפסיקים) שיוצרות רשומה ייחודית בטבלה הזו.
partition_details איך מחלקים את טבלת ה-CDC למחיצות לשיפור הביצועים. מידע נוסף זמין במאמר בנושא חלוקת טבלה למחיצות.
cluster_details אופציונלי: אם רוצים שהטבלה הזו תהיה מקובצת כדי לשפר את הביצועים. מידע נוסף זמין במאמר הגדרות אשכול.

הגדרות דיווח

אתם יכולים להגדיר ולשלוט באופן שבו Cortex Framework יוצר נתונים עבור שכבת הדיווח הסופית של SFMC באמצעות קובץ הגדרות הדיווח (src/SFMC/config/reporting_settings.yaml). הקובץ הזה קובע איך נוצרים אובייקטים של BigQuery בשכבת הדיווח (טבלאות, תצוגות,פונקציות או פרוצדורות מאוחסנות). מידע נוסף זמין במאמר בנושא התאמה אישית של קובץ הגדרות הדיווח.

מה השלב הבא?