שילוב עם Campaign Manager 360

בדף הזה מוסבר על ההגדרות הנדרשות כדי להשתמש בנתונים מ-Campaign Manager 360 כמקור נתונים של עומס העבודה השיווקי ב-Cortex Framework Data Foundation.

‫Campaign Manager 360‏ (CM360) היא פלטפורמה מבוססת-אינטרנט לניהול פרסום שמוצעת על ידי Google ומיועדת במיוחד למפרסמים ולסוכנויות. הוא משמש כמרכז לניהול ולאופטימיזציה של כל הקמפיינים לפרסום דיגיטלי בערוצים שונים. המסגרת של Cortex מספקת את הכלים והפלטפורמה לניתוח נתונים של CM360, לשילוב שלהם עם נתונים מערוצי שיווק אחרים ולשימוש ב-AI כדי לקבל תובנות מעמיקות יותר ולבצע אופטימיזציה של אסטרטגיית השיווק הכוללת.

בתרשים הבא מתואר איך נתוני CM360 זמינים דרך עומס העבודה השיווקי של Cortex Framework Data Foundation:

מקור נתונים של CM360

איור 1. מקור נתונים של CM360.

קובץ תצורה

קובץ config.json מגדיר את ההגדרות שנדרשות כדי להתחבר למקורות נתונים להעברת נתונים ממגוון עומסי עבודה. הקובץ הזה מכיל את הפרמטרים הבאים של CM360:

   "marketing": {
        "deployCM360": true,
        }

        "CM360": {
            "deployCDC": true,
            "dataTransferBucket": "",
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_CM360"
            }
        }

בטבלה הבאה מתואר הערך של כל פרמטר שיווקי:

פרמטר משמעות ערך ברירת המחדל תיאור
marketing.deployCM360 פריסת CM360 true מבצעים את הפריסה של מקור הנתונים ב-CM360.
marketing.CM360.deployCDC פריסת סקריפטים של CDC ל-CM360 true יצירת סקריפטים לעיבוד נתוני CDC ב-CM360 להפעלה כ-DAG ב-Managed Service for Apache Airflow.
marketing.CM360.dataTransferBucket מאגר עם תוצאות של השירות להעברת נתונים - מאגר שבו מאוחסנים קבצים של DTv2.
marketing.CM360.datasets.cdc מערך נתונים של CDC ל-CM360 מערך נתונים של CDC ל-CM360.
marketing.CM360.datasets.raw קבוצת נתונים גולמית ל-CM360 קבוצת נתונים גולמית של CM360.
marketing.CM360.datasets.reporting מערך נתונים לדיווח ב-CM360 "REPORTING_CM360" מערך נתונים לדיווח ב-CM360.

מודל נתונים

בקטע הזה מתואר מודל הנתונים של CM360 באמצעות דיאגרמת קשר בין ישויות (ERD).

תרשים קשרים בין ישויות ב-CM360

איור 2. ‫CM360: תרשים קשרים בין ישויות.

תצוגות בסיסיות

אלה האובייקטים הכחולים ב-ERD, והם תצוגות בטבלאות CDC ללא טרנספורמציות, מלבד כינויים מסוימים של שמות עמודות. אפשר לראות תסריטים ב-src/marketing/src/CM360/src/reporting/ddls.

תצוגות של דוחות

אלה האובייקטים הירוקים ב-ERD, והם תצוגות דיווח שמכילות מדדים מצטברים. אפשר לראות תסריטים ב-src/marketing/src/CM360/src/reporting/ddls.

אחסון קבצים ב-DTv2

קובצי DTv2 (העברת נתונים גרסה 2) הם פורמט ספציפי שמשמש את CM360 להעברת נתוני ביצועים ברמת הקמפיין. כדי להשתמש ב-CM360 עם Cortex Framework, צריך להגדיר את תהליך העברת הנתונים לפי ההוראות במאמר בנושא העברת נתונים גרסה 2.0.

יוצרים או מוסיפים קטגוריה של Cloud Storage לאחסון קובצי DTv2 מ-CM360. מוודאים שחשבון השירות שמריץ DAG ב-Managed Airflow יכול לקרוא את הקבצים בקטגוריה. מידע נוסף זמין במאמר בנושא יצירת קטגוריות אחסון.

עדכניות הנתונים והעיכובים

באופן כללי, רמת העדכניות של הנתונים במקורות הנתונים של Cortex Framework מוגבלת על ידי מה שמאפשר החיבור במעלה הזרם, וגם על ידי התדירות של הפעלת ה-DAG. משנים את תדירות ההפעלה של ה-DAG בהתאם לתדירות של מקור הנתונים, למגבלות המשאבים ולצרכים העסקיים.

בהעברת נתונים גרסה 2 של CM360, נתוני החשיפות והקליקים מועברים 24 פעמים ביום (כל שעה). זמן העיבוד עשוי להשתנות בהתאם לקובץ, ולכן יכול להיות שהקבצים יופיעו בסדר לא נכון. קבצים של פעילות נשלחים מדי יום.

חיבורים ל-Managed Airflow

יוצרים את החיבורים הבאים ב-Managed Airflow. פרטים נוספים זמינים במאמר בנושא ניהול חיבורים ב-Airflow.

שם החיבור מטרה
cm360_raw_dataflow קובצי CM360 DTv2 > BigQuery מערך נתונים גולמי
cm360_cdc_bq למערך נתונים גולמי > העברת מערך נתונים של CDC
cm360_reporting_bq העברה של מערך נתונים של CDC > מערך נתונים של דיווח

הרשאות לחשבון השירות של Managed Service for Apache Airflow

נותנים הרשאות Dataflow לחשבון השירות שבו נעשה שימוש ב-Managed Airflow (כפי שהוגדר בחיבור cm360_raw_dataflow). הוראות מפורטות זמינות במסמכי התיעוד של Dataflow.

הגדרות הטמעה

אפשר לשלוט בצינורות הנתונים של Source to Raw ושל Raw to CDC דרך ההגדרות בקובץ src/CM360/config/ingestion_settings.yaml. בקטע הזה מתוארים הפרמטרים של כל צינור נתונים.

מקור לטבלאות גולמיות

בקטע הזה מוסבר איך המערכת מעבדת רשומות שקובעות אילו קבצים מ-DTv2 יעברו עיבוד. כל רשומה תואמת לקבצים שמשויכים לישות אחת. על סמך ההגדרה הזו, Cortex Framework יוצרת DAG של Airflow שמריצים צינורות Dataflow לעיבוד נתונים מקובצי DTv2.

הפרמטרים הבאים שולטים בהגדרות של Source to Raw לכל רשומה:

פרמטר תיאור
base_table טבלה במערך הנתונים הגולמי שבה מאוחסנים הנתונים של ישות מסוימת (לדוגמה, נתוני קליקים).
load_frequency התדירות שבה DAG של הישות הזו פועל כדי לאכלס את טבלת ה-CDC. מידע נוסף על הערכים האפשריים זמין במאמרי העזרה בנושא Airflow.
file_pattern תבניות של שמות קבצים שמתאימות לישות.
schema_file קובץ סכימה בספרייה src/table_schema שממפה שדות של DTv2 לשמות עמודות ולסוגי נתונים של טבלת היעד.
partition_details אופציונלי: אם רוצים לחלק את הטבלה למחיצות כדי לשפר את הביצועים. מידע נוסף זמין במאמר בנושא חלוקת טבלה למחיצות.
cluster_details אופציונלי: אם רוצים שהטבלה הזו תהיה מקובצת כדי לשפר את הביצועים. מידע נוסף זמין במאמר הגדרות אשכול.

טבלאות Raw לטבלאות CDC

בקטע הזה יש רשומות שקובעות איך הנתונים מועברים מטבלאות גולמיות לטבלאות CDC. כל רשומה מתאימה לטבלה גולמית (שמתאימה לישות DTv2 כפי שצוין למעלה).

הפרמטרים הבאים שולטים בהגדרות של Raw to CDC לכל רשומה:

פרמטר תיאור
base_table טבלה במערך נתוני CDC שבה מאוחסנים הנתונים הגולמיים אחרי טרנספורמציה של CDC (לדוגמה, customer).
load_frequency התדירות שבה DAG של הישות הזו פועל כדי לאכלס את טבלת ה-CDC. מידע נוסף על הערכים האפשריים זמין במאמרי העזרה בנושא Airflow.
row_identifiers רשימה של עמודות (מופרדות בפסיק) שיוצרות רשומה ייחודית לטבלה הזו.
partition_details אופציונלי: אם רוצים לחלק את הטבלה למחיצות כדי לשפר את הביצועים. מידע נוסף זמין במאמר בנושא חלוקת טבלה למחיצות.
cluster_details אופציונלי: אם רוצים שהטבלה הזו תהיה מקובצת כדי לשפר את הביצועים. מידע נוסף מופיע במאמר בנושא הגדרות אשכול.
הגדרות דיווח

אתם יכולים להגדיר ולשלוט באופן שבו Cortex Framework יוצר נתונים בשכבת הדיווח הסופית של CM360 באמצעות קובץ הגדרות הדיווח (src/CM360/config/reporting_settings.yaml). הקובץ הזה קובע איך נוצרים אובייקטים של BigQuery בשכבת הדיווח (טבלאות, תצוגות, פונקציות או פרוצדורות מאוחסנות).

מידע נוסף זמין במאמר בנושא התאמה אישית של קובץ הגדרות הדיווח.

מה השלב הבא?