שילוב עם YouTube‏ (DV360)

בדף הזה מוסבר איך להגדיר את התצורות הנדרשות כדי להשתמש בנתונים מ-YouTube עם Display & Video 360 ‏ (DV360) כמקור נתונים של עומס העבודה השיווקי של Cortex Framework Data Foundation.

‫DV360 היא פלטפורמת פרסום של Google לניהול פרסום ב-YouTube לצד ערוצים דיגיטליים אחרים. הפלטפורמה מציעה למפרסמים שליטה ויעילות רבה יותר במאמצי השיווק שלהם.

בתרשים הבא מתואר איך הנתונים של DV360 זמינים דרך עומס העבודה השיווקי של Cortex Framework Data Foundation:

איור 1. מקור נתונים ב-DV360.

הערה: כדי לגשת לקובצי הגדרות, לתצוגות ולמודלים אנליטיים של מקור הנתונים של DV360, אפשר לעיין בספריית מקורות הנתונים.

קובץ תצורה

קובץ config.json מגדיר את ההגדרות שנדרשות כדי להתחבר למקורות נתונים להעברת נתונים ממגוון עומסי עבודה. הקובץ הזה מכיל את הפרמטרים הבאים של DV360:

   "marketing": {
        "deployDV360": true,
        "DV360": {
            "deployCDC": true,
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_DV360"
            }
        }
   }

בטבלה הבאה מתואר הערך של כל פרמטר שיווקי:

פרמטר	משמעות	ערך ברירת המחדל	תיאור
marketing.deployDV360	פריסת DV360	true	מריצים את הפריסה של מקור הנתונים ב-DV360.
marketing.DV360.deployCDC	פריסת סקריפטים של CDC ב-DV360	true	יצירת סקריפטים לעיבוד נתוני CDC ב-DV360 להרצה כ-DAG ב-Managed Service for Apache Airflow.
marketing.DV360.datasets.cdc	מערך נתונים של CDC ל-DV360	-	מערך נתונים של CDC ל-DV360.
marketing.DV360.datasets.raw	מערך נתונים גולמי ל-DV360	-	מערך נתונים גולמי ל-DV360.
marketing.DV360.datasets.reporting	מערך נתונים לדיווח ב-DV360	REPORTING_DV360	מערך נתונים לדיווח ב-DV360.

מודל נתונים

בקטע הזה מתואר מודל הנתונים של YouTube (עם DV360) באמצעות דיאגרמת קשר בין ישויות (ERD).

איור 2. ‫YouTube (עם DV360): דיאגרמת קשר בין ישויות.

תצוגות של דוחות

האובייקטים הכחולים בתרשים ERD מייצגים תצוגות של דוחות שמכילות מדדים מצטברים. אפשר לראות תסריטים ב-src/marketing/src/DV360/src/reporting/ddls.

הגדרה של חילוץ נתונים גולמיים מ-DV360

המסגרת של Cortex משתלבת עם DV360 באמצעות תכונת הדיווח המיידי שלה. דיווח מיידי היא תכונה אמינה וזולה של DV360 שזמינה לשימוש מיידי. התכונה מאפשרת לשמור, לתזמן ולהוריד דוחות גדולים ומורכבים לקבצים ולמיקומים שונים. כל דוח יוצר מעת לעת טבלאות של נתונים מיוצאים ב-BigQuery עם אותו קידומת של שם הטבלה שהוגדרה, שמכילות נתונים לטווח התאריכים שנבחר, בתדירות שנבחרה.

הערה: החל מיולי 2024, Google מעבירה את כל הדוחות של Offline Reporting ל-Instant Reporting. התכונה ייצוא אל BigQuery פועלת באותו אופן בשני סוגי הדוחות. אתם אחראים לניהול של כל הדוחות של דיווח מיידי. Cortex Framework לא מגדיר את ההתנהגות שלו ולא שולט בה.

הרשאות

כדי לייצא בהצלחה נתונים גולמיים מ-DV360 באמצעות דיווח מיידי, נדרשות הרשאות לאנשים עם ההרשאות הבאות:

• ‫DV360:
  • הרשאת גישה רגילה לשותפים או למפרסמים שנבחרו.
• Google Cloud:
  • תפקיד BigQuery User שמוקצה לחשבון השירות של DV360.
  • תפקיד BigQuery Data Editor שמוקצה לחשבון השירות של DV360.

הגדרה

כדי להגדיר ייצוא של טבלה לא מעובדת מ-DV360:

1. כדי לזהות את חשבון השירות שנדרש לייצוא נתונים מ-DV360 ל-BigQuery, צריך לעיין בקטע 'פרטי ההרשאה' שמופיע בקישור 'ייצוא נתונים מ-BigQuery'. למידע נוסף, אפשר לעיין באיור 2.
   איור 2. זיהוי חשבון השירות בקישור חשבון BigQuery Exporter
2. קבלת Google Cloud הרשאות אדם עם התפקיד BigQuery Administrator צריך להקצות את התפקידים BigQuery User ו-BigQuery Data Editor לחשבון השירות של DV360 שזוהה בשלב הקודם.
3. מקשרים את BigQuery ל-DV360 ומציינים את מערך הנתונים הגולמי שבו רוצים להשתמש בתהליך. פועלים לפי ההוראות שבקטע דיווח אופליין > הפעלת BigQuery.

4. נכנסים אל דיווח מיידי ויוצרים דוח אחד לכל שורה בטבלה הבאה, עם העמודות בדיוק כמו שמוצג. מידע נוסף על הגדרות מפורטות של סכימת עמודות בקבצים בתיקייה src/DV360/config/table_schema זמין בקטע סכימת טבלה של נתונים גולמיים ל-CDC.

   1. צריך להוסיף לפחות מסנן אחד של שותף או מפרסם. צריך לוודא שההרשאות האלה תואמות להרשאות של הקישור ל-BigQuery בשלב 3.
   הערה: יכול להיות שתצטרכו להגדיר כמה דוחות או ייצואים אם אתם מייצאים כמה שותפים או מפרסמים.
   1. בוחרים באפשרות אזור הזמן של המפרסם כהגדרה של אזור הזמן בדוח. מידע נוסף מופיע בקטע שיקולים נוספים.
   הערה: אם לחשבון או לקישור ל-BigQuery יש רק גישה למפרסם, אי אפשר לכלול מסנן שותף. אחרת, האפשרות ייצוא ל-BigQuery תושבת עד להסרת המסנן 'שותף'.

   קידומת של טבלה	שדות שצריך לכלול
   lineitem_details	תאריך מזהה פריט פריט קוד זיהוי קמפיין מסע פרסום סוג פריט תאריך התחלה של פריט תאריך סיום של פריט	הופעות
   lineitem_insights	תאריך מזהה פריט סוג המכשיר דפדפן סביבה מדינה מספר השותף שותף המטבע המוגדר בפרופיל השותף מזהה המפרסם מפרסם המטבע של המפרסם קוד זיהוי קמפיין מסע פרסום מזהה הזמנת הקמפיין הזמנת קמפיין פריט סוג פריט תאריך התחלה של פריט תאריך סיום של פריט	הופעות קליקים הכנסה (USD) מעורבות הכנסה (סוג המטבע של השותף) הכנסה (המטבע של המפרסם) ‫TrueView: צפיות
   adgroup_insights_by_age_gender	תאריך מזהה של קבוצת מודעות YouTube גיל (YouTube) מגדר מזהה פריט מספר השותף שותף המטבע המוגדר בפרופיל השותף AdvertiserID מפרסם המטבע של המפרסם מזהה הזמנת הקמפיין הזמנת קמפיין פריט קבוצת מודעות YouTube	הכנסה (USD) הופעות קליקים אינטראקציות ראשוניות (YouTube) הכנסה (סוג המטבע של השותף) הכנסה (המטבע של המפרסם) ‫TrueView: צפיות
   adgroup_insights_by_audience	תאריך מזהה של קבוצת מודעות YouTube פלח של קהל היעד סוג הפלח של קהל היעד מזהה פריט מספר השותף שותף PartnerCurrency מזהה המפרסם מפרסם המטבע של המפרסם מזהה הזמנת הקמפיין הזמנת קמפיין פריט	הופעות קליקים קבוצת מודעות YouTube הכנסה (USD) אינטראקציות ראשוניות (YouTube) הכנסה (סוג המטבע של השותף) הכנסה (המטבע של המפרסם) ‫TrueView: צפיות
   adgroup_insights_by_adformat	תאריך מזהה של קבוצת מודעות YouTube פורמט של מודעות YouTube מזהה פריט מספר השותף שותף המטבע המוגדר בפרופיל השותף מזהה המפרסם מפרסם המטבע של המפרסם מזהה הזמנת הקמפיין הזמנת קמפיין פריט	הופעות קליקים קבוצת מודעות YouTube הכנסה (USD) אינטראקציות ראשוניות (YouTube) הכנסה (סוג המטבע של השותף) הכנסה (המטבע של המפרסם) ‫TrueView: צפיות
   adgroup_insights_by_placement	תאריך מזהה של קבוצת מודעות YouTube מיקום מודעה (כל ערוצי YouTube) שם של מיקום מודעה (כל ערוצי YouTube) מזהה פריט PartnerID שותף המטבע המוגדר בפרופיל השותף מזהה המפרסם מפרסם המטבע של המפרסם מזהה הזמנת הקמפיין הזמנת קמפיין פריט	הופעות קבוצת מודעות YouTube הכנסה (USD) אינטראקציות ראשוניות (YouTube) הכנסה (סוג המטבע של השותף) הכנסה (המטבע של המפרסם) ‫TrueView: צפיות
   adgroup_insights_by_adtype	תאריך מזהה של קבוצת מודעות YouTube סוג מודעה ב-YouTube מזהה פריט מספר השותף שותף המטבע המוגדר בפרופיל השותף מזהה המפרסם מפרסם המטבע של המפרסם מזהה הזמנת הקמפיין הזמנת קמפיין פריט	הופעות קליקים קבוצת מודעות YouTube הכנסה (USD) אינטראקציות ראשוניות (YouTube) הכנסה (סוג המטבע של השותף) הכנסה (המטבע של המפרסם) ‫TrueView: צפיות
   ad_insights	תאריך מזהה של מודעת YouTube מזהה פריט מספר השותף שותף המטבע המוגדר בפרופיל השותף מזהה המפרסם מפרסם AdvertiserCurrency מזהה הזמנת הקמפיין הזמנת קמפיין פריט מזהה של קבוצת מודעות YouTube קבוצת מודעות YouTube מודעת YouTube	הופעות קליקים הכנסה (USD) אינטראקציות ראשוניות (YouTube) הכנסה (סוג המטבע של השותף) הכנסה (מטבע המפרסם) ‫TrueView: צפיות

5. מגדירים את לוח הזמנים וממלאים נתונים היסטוריים. חשוב להשתמש באותו קישור ל-BigQuery שהגדרתם בשלב 1, וגם בקידומת הטבלה בדיוק כמו שהיא מופיעה בטבלה הקודמת. מידע נוסף זמין בקטע שיקולים נוספים.

6. • מפעילים ידנית הרצה של מילוי חוסרים או מחכים שהייצוא המתוזמן יתחיל. בכל מקרה, הנתונים שלכם מגיעים אוטומטית למערך הנתונים Raw שהוגדר לקישור BigQuery.

שיקולים נוספים

לגבי בחירת אזור זמן:

• בסוגי דוחות מסוימים, אפשר לבחור את אזור הזמן של המפרסם או את אזור הזמן UTC לתאריכים בזמן הגדרת הייצוא. עם זאת, דוחות שקשורים ל-YouTube תומכים רק באזור הזמן של המפרסם. לכן, כשמגדירים את הייצוא, חשוב לבחור את הגדרת אזור הזמן של המפרסם.

• מכיוון שהייצוא של הדוח הוא ברמת צבירה מראש ליום, Cortex Framework משתמש בתאריך שסופק ישירות ללא המרות של אזור זמן. באחריותכם לפרש את פרטי אזור הזמן שמופיעים בדוחות.

לגבי תזמון ומילוי חוסרים (backfill) בנתונים היסטוריים:

• מומלץ לבחור באפשרות 7 הימים האחרונים כטווח התאריכים לייצוא ובאפשרות יומי כתדירות הייצוא. כדי לאזן בין דיוק הנתונים לבין עלות האחסון, צריך לבחור טווח תאריכים לייצוא ותדירות ייצוא. עם זאת, כל הגדרה תפעל עם תהליך ה-CDC שלנו.

• כשמייצאים נתונים ל-BigQuery, אפשר לייצא עד 14 ימים של נתונים באמצעות דיווח מיידי. עם זאת, יכול להיות שמדי פעם יבוצעו ב-DV360 עדכונים קלים בנתונים, עד 31 ימים אחרי תאריך הדוח. אם מגדירים ייצוא למספר מפרסמים, התאריך של כל מפרסם יהיה באזור הזמן שלו.

• אם נדרשים נתונים היסטוריים, אפשר לייצא באמצעות 'דיווח מיידי' עד שנתיים של נתונים ישירות לטבלאות ב-BigQuery, כייצוא חד-פעמי שלא מתוזמן. חשוב לבצע את הפעולה הזו לפחות פעם אחת, באופן ידני בממשק המשתמש של DV360.

עדכניות הנתונים והעיכובים

באופן כללי, רמת העדכניות של הנתונים במקורות הנתונים של Cortex Framework מוגבלת על ידי מה שמאפשר החיבור במעלה הזרם, וגם על ידי התדירות של הפעלת ה-DAG. משנים את תדירות ההפעלה של ה-DAG בהתאם לתדירות של מקור הנתונים, למגבלות המשאבים ולצרכים העסקיים.

בדיווח מיידי ב-DV360, עדכניות הנתונים תלויה בהגדרת תדירות הייצוא כשמגדירים את BigQuery Export. התדירות יכולה להיות יומית, שבועית או חודשית.

הגדרות אישיות

בקטע הזה מוסבר על ההגדרות של תהליך הנתונים.

חיבורים ל-Managed Service for Apache Airflow

יוצרים את החיבורים הבאים ב-Managed Airflow. פרטים נוספים זמינים במסמכי התיעוד בנושא Managed Airflow.

שם החיבור	מטרה
dv360_cdc_bq	לגבי מערך נתונים גולמי > העברת מערך נתונים של CDC.
dv360_reporting_bq	להעברה של מערך נתונים של CDC > מערך נתונים של דיווח.

סכמת טבלה של נתונים גולמיים ל-CDC

הספרייה src/DV360/config/table_schema מכילה קובץ סכימה אחד לכל קבוצת טבלאות (שמזוהה על ידי אותה קידומת) שמיוצאת מ-DV360. כל קובץ סכימה מכיל שתי עמודות: ColumnName ו-ColumnDataType.

הערה: אם תרחיש השימוש שלכם כלל עמודות נוספות בייצוא של הדוחות המיידיים, הקפידו לכלול אותן גם בקובצי הסכימה המתאימים.

הגדרות הטמעה

הקובץ src/DV360/config/ingestion_settings.yaml מכיל הגדרות נוספות ששולטות בצינורות הנתונים של מקור ל-CDC.

מקור לטבלאות של CDC

בקטע הזה יש רשומות שקובעות איך מתבצעת ההטמעה של טבלאות שיוצאו מ-DV360, ואיך מתנהג תהליך ה-CDC הרלוונטי. כל רשומה תואמת לדוח אחד של דיווח מיידי, שמזוהה על ידי קידומת הייצוא.

הפרמטרים הבאים שולטים בהגדרות של Source to CDC לכל רשומה:

פרמטר	תיאור
base_table	טבלה במערך נתוני CDC שבה מאוחסנים הנתונים הגולמיים אחרי שינוי CDC (לדוגמה, customer).
load_frequency	התדירות שבה DAG של הישות הזו מופעל כדי לאכלס את טבלת ה-CDC. מידע נוסף על הערכים האפשריים זמין במאמרי העזרה בנושא Airflow.
raw_table_prefix	הקידומת שבה נעשה שימוש בדוח התואם של דיווח מיידי כדי להגדיר את BigQuery Export.
row_identifiers	עמודות (מופרדות בפסיק) שיוצרות רשומה ייחודית בטבלה הזו.
partition_details	אופציונלי: אם רוצים לחלק את הטבלה למחיצות כדי לשפר את הביצועים. מידע נוסף זמין במאמר בנושא חלוקת טבלה למחיצות.
cluster_details	אופציונלי: אם רוצים שהטבלה הזו תהיה מקובצת כדי לשפר את הביצועים, אפשר לקרוא מידע נוסף במאמר בנושא הגדרות אשכול.

הגדרות דיווח

אתם יכולים להגדיר ולשלוט באופן שבו Cortex Framework יוצר נתונים עבור שכבת הדיווח הסופית של DV360 באמצעות קובץ הגדרות הדיווח src/DV360/config/reporting_settings.yaml. הקובץ הזה קובע איך נוצרים אובייקטים של BigQuery בשכבת הדיווח (טבלאות, תצוגות מפורטות,פונקציות או פרוצדורות מאוחסנות).

מידע נוסף זמין במאמר בנושא התאמה אישית של קובץ הגדרות הדיווח.

מה השלב הבא?

• מידע נוסף על מקורות נתונים ועומסי עבודה אחרים זמין במאמר מקורות נתונים ועומסי עבודה.
• מידע נוסף על השלבים לפריסה בסביבות ייצור זמין במאמר דרישות מוקדמות לפריסת Cortex Framework Data Foundation.