טעינת נתונים מ-Display & Video 360 ל-BigQuery

אתם יכולים לטעון נתונים מ-Display & Video 360 ל-BigQuery באמצעות המחבר של שירות העברת הנתונים ל-BigQuery ב-Display & Video 360. בעזרת שירות העברת הנתונים ל-BigQuery, אתם יכולים לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים מ-Display & Video 360 ל-BigQuery.

סקירה כללית על המחבר

שירות העברת הנתונים ל-BigQuery עבור המחבר של Display & Video 360 תומך באפשרויות הבאות להעברת נתונים.

אפשרויות להעברת נתונים תמיכה
דוחות נתמכים המחבר של Display & Video 360 תומך בהעברת נתונים מהדוחות בקובצי Data Transfer v2‏ (Display & Video DTv2).

במאמר טרנספורמציה של דוחות Display & Video 360 מוסבר איך הדוחות של Display & Video 360 הופכים לטבלאות ב-BigQuery ולתצוגות.
תדירות החזרה המחבר של Display & Video 360 תומך בהעברות נתונים יומיות.

כברירת מחדל, העברות הנתונים מתוזמנות למועד שבו הן נוצרות. אפשר להגדיר את זמן העברת הנתונים כשמגדירים את העברת הנתונים.
רענון החלון המחבר של Display & Video 360 מאחזר נתונים מ-Display & Video 360 מטווח של עד יומיים בזמן שהעברת הנתונים פועלת. אי אפשר להגדיר את חלון הרענון של המחבר הזה.

מידע נוסף זמין במאמר חלונות רענון.
זמינות הנתונים למילוי חוסרים להפעיל השלמת חוסר בנתונים (data backfill) כדי לאחזר נתונים מחוץ להעברת הנתונים המתוזמנת. אתם יכולים לאחזר נתונים עד למועד שמאפשרת מדיניות שמירת הנתונים במקור הנתונים שלכם.

מידע על מדיניות שמירת הנתונים של Display & Video 360 זמין במאמר דיווח על עדכניות הנתונים והזמינות שלהם.

נתוני הגדרה נתמכים

בנוסף לנתוני הדיווח, שירות העברת הנתונים ל-BigQuery מעביר גם את נתוני ההגדרות הבאים מ-Display & Video 360. נתוני ההגדרות מאוחזרים מ-Display & Video 360 API v3.

למידע נוסף על כל סוג של נתוני הגדרה, אפשר לעיין בקישורים הבאים:

הטמעת נתונים מהעברות של Display & Video 360

כשמעבירים נתונים מ-Display & Video 360 ל-BigQuery, הנתונים נטענים בטבלאות ב-BigQuery שמחולקות למחיצות לפי תאריך. המחיצה בטבלה שאליה נטענים הנתונים תואמת לתאריך ממקור הנתונים. אם תזמנתם כמה העברות לאותו תאריך, שירות העברת הנתונים ל-BigQuery יחליף את המחיצה של התאריך הספציפי הזה בנתונים העדכניים ביותר. אם מבצעים כמה העברות באותו יום או מפעילים מילויים חוזרים, הנתונים לא משוכפלים והמחיצות של תאריכים אחרים לא מושפעות.

רענון החלונות

חלון הרענון הוא מספר הימים שבהם העברת הנתונים מאחזרת נתונים כשהיא מתרחשת. לדוגמה, אם חלון הרענון הוא שלושה ימים ומתבצעת העברה יומית, שירות העברת הנתונים ל-BigQuery מאחזר את כל הנתונים מטבלת המקור משלושת הימים האחרונים. בדוגמה הזו, כשמתבצעת העברה יומית, שירות העברת הנתונים ל-BigQuery יוצר מחיצה חדשה בטבלת היעד ב-BigQuery עם עותק של נתוני טבלת המקור מהיום הנוכחי, ואז מפעיל באופן אוטומטי הרצות של מילוי חוסרים כדי לעדכן את המחיצות בטבלת היעד ב-BigQuery עם נתוני טבלת המקור מהיומיים האחרונים. הפעלות מילוי החוסרים שמופעלות באופן אוטומטי יחליפו את טבלת היעד ב-BigQuery או יעדכנו אותה באופן מצטבר, בהתאם לתמיכה בעדכונים מצטברים במחבר של שירות העברת הנתונים ל-BigQuery.

כשמפעילים העברת נתונים בפעם הראשונה, המערכת מאחזרת את כל נתוני המקור שזמינים בחלון הרענון. לדוגמה, אם חלון הרענון הוא שלושה ימים ואתם מפעילים את העברת הנתונים בפעם הראשונה, שירות העברת הנתונים ל-BigQuery מאחזר את כל נתוני המקור בתוך שלושה ימים.

כדי לאחזר נתונים מחוץ לחלון הרענון, כמו נתונים היסטוריים, או כדי לשחזר נתונים מהפסקות זמניות בשירות או מפערים בהעברה, אתם יכולים להפעיל או לתזמן הרצה למילוי חוסרים.

לפני שמתחילים

לפני שיוצרים העברת נתונים מ-Display & Video 360, חשוב לעיין בדרישות המוקדמות ובמידע הבאים.

דרישות מוקדמות

  • מוודאים שביצעתם את כל הפעולות הנדרשות כדי להפעיל את שירות העברת הנתונים ל-BigQuery.
  • יוצרים מערך נתונים ב-BigQuery כדי לאחסן את הנתונים מ-Display & Video 360.
  • מוודאים שיש לכם את מזהה השותף או את מזהה המפרסם ב-Display & Video 360. מזהה השותף הוא ההורה בהיררכיה.
  • מוודאים שיש לכם הרשאות קריאה כדי לגשת לנתוני השותף או המפרסם מ-Display and Video API.

  • לוודא שלארגון יש גישה לקובצי Display & Video 360 Data Transfer v2 ‏ (Display & Video 360 DTv2). הקבצים האלה נשלחים על ידי צוות Display & Video 360 לקטגוריה של Cloud Storage. האופן שבו מבקשים גישה לקובצי DTv2 של Display & Video 360 תלוי בשאלה אם יש לכם חוזה ישיר עם Display & Video 360. בשני המקרים, יכול להיות שתצטרכו לשלם חיובים נוספים.

    • אם יש לכם חוזה עם Display & Video 360, פנו לתמיכה של Display & Video 360 כדי להגדיר קובצי DTv2 ב-Display & Video 360.
    • אם אין לכם חוזה עם Display & Video 360, פנו לסוכנות שלכם כדי לקבל גישה לקובצי Display & Video 360 DTv2.
    • אחרי שתשלימו את השלב הזה, תקבלו את אחד מהשמות הבאים של קטגוריית Cloud Storage, בהתאם להגדרה שלכם כשותף או כמפרסם:
      • gs://dcdt_-dbm_partnerPARTNER_ID
      • gs://dcdt_-dbm_advertiserADVERTISER_ID

  • כדי להגדיר התראות על הפעלת העברות ב-Pub/Sub, צריך את ההרשאות של pubsub.topics.setIamPolicy. מידע נוסף זמין במאמר התראות על הפעלות של שירות העברת הנתונים ל-BigQuery.

איך מוצאים את מספר החשבון ב-Display & Video 360

כדי לאחזר את המזהה של Display & Video 360, נכנסים לדף Buckets של Cloud Storage במסוף Google Cloud ובודקים את הקבצים בקטגוריה של Cloud Storage להעברת נתונים של Display & Video 360. המזהה של Display & Video 360 משמש להתאמת קבצים בקטגוריה שצוינה ב-Cloud Storage. המזהה מוטמע בשם הקובץ, ולא בשם הקטגוריה של Cloud Storage. לדוגמה:

  • בקובץ בשם dbm_partner123_activity_*, המזהה הוא 123.
  • בקובץ בשם dbm_advertiser567_activity_*, המזהה הוא 567.

איך מוצאים את התחילית של שם הקובץ

במקרים מסוימים, יכול להיות שלקבצים בקטגוריה של Cloud Storage יהיו שמות מותאמים אישית ולא סטנדרטיים, שהוגדרו על ידי צוות השירותים של Google Marketing Platform. לדוגמה:

בקובץ בשם dbm_partner123456custom_activity_*, התחילית היא dbm_partner123456custom.

לקבלת עזרה בנוגע לתחיליות של שמות קבצים, אפשר לפנות אל התמיכה של Display & Video 360.

הגדרת העברת נתונים מ-Display & Video 360

בוחרים באחת מהאפשרויות הבאות:

המסוף

  1. נכנסים לדף Data transfers במסוף Google Cloud .

    מעבר אל "העברות נתונים"

  2. ‫לוחצים על Create transfer.

  3. בדף Create transfer, מבצעים את הפעולות הבאות:

    • בקטע Source type, בוחרים באפשרות Display & Video 360 בשדה Source.
    • בקטע Transfer config name, בשדה Display name, נותנים שם להעברת הנתונים. שם ההעברה יכול להיות כל ערך שמאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.

  4. בקטע אפשרויות תזמון:

    • בוחרים באפשרות התחלה עכשיו או התחלה בזמן מוגדר, ואז מציינים תאריך התחלה וזמן הרצה.
    • בקטע Repeats, בוחרים באיזו תדירות להפעיל את העברת הנתונים. אם בוחרים באפשרות ימים, צריך לציין שעה תקינה ב-UTC.

  5. בקטע Destination settings, בתפריט Destination dataset, בוחרים את מערך הנתונים שיצרתם לאחסון הנתונים.

  6. בקטע פרטי מקור הנתונים:

    • בשדה DV360 DTV2 Cloud Storage bucket, מזינים את הקטגוריה של Cloud Storage שמכילה את קובצי ה-DTv2 של Display & Video 360. אם אתם צריכים להגדיר את הקטגוריה הזו, פנו לתמיכה של Display & Video 360.
    • בשדה DV360 Partner/Advertiser ID, מזינים את מזהה השותף או את מזהה המפרסם.
    • אופציונלי: בקטע אפשרויות של התראות:
      • לוחצים על המתג כדי להפעיל את ההתראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל אם הרצת ההעברה נכשלת.
      • לוחצים על המתג כדי להפעיל את ההתראות של Pub/Sub. בקטע Select a Cloud Pub/Sub topic, בוחרים את שם הנושא או לוחצים על Create a topic. האפשרות הזו מגדירה התראות על הפעלת Pub/Sub להעברה.

  7. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומציינים את הדגל ליצירת העברה – --transfer_config. צריך להשתמש בדגלים הבאים:

  • --data_source
  • --target_dataset
  • --display_name
  • --params
  bq mk --transfer_config \
  --project_id=PROJECT_ID \
  --target_dataset=DATASET \
  --display_name=NAME \
  --params='PARAMETERS' \
  --data_source=DATA_SOURCE

כאשר:

  • PROJECT_ID: מזהה הפרויקט.
  • ‫DATASET: מערך הנתונים המטורגט להגדרת העברת הנתונים.
  • ‫NAME: השם המוצג של הגדרת העברת הנתונים. שם ההעברה יכול להיות כל ערך שיאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
  • ‫PARAMETERS: הפרמטרים של הגדרת העברת הנתונים שנוצרה, בפורמט JSON. לדוגמה, --params='{"param":"param_value"}'. בהעברות של Display & Video 360, הפרמטרים bucket ו-displayvideo_id נדרשים. הפרמטר file_name_prefix הוא אופציונלי ומשמש רק לשמות קבצים נדירים בהתאמה אישית.
  • DATA_SOURCE: מקור הנתונים – displayvideo.

לדוגמה, הפקודה הבאה יוצרת העברת נתונים של Display & Video 360 בשם My Transfer באמצעות מזהה Display & Video 360‏ 123456, קטגוריה של Cloud Storage‏ dcdt_-dbm_partner123456 ומערך נתונים של היעד mydataset.

העברת הנתונים נוצרת בפרויקט ברירת המחדל:

  bq mk --transfer_config \
  --target_dataset=mydataset \
  --display_name='My Transfer' \
  --params='{"bucket":"dcdt_-dbm_partner123456","displayvideo_id": "123456","file_name_prefix":"YYY"}' \
  --data_source=displayvideo

אחרי הרצת הפקודה, תתקבל הודעה כמו זו:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

פועלים לפי ההוראות שבהודעה ומדביקים את קוד האימות בשורת הפקודה.

API

משתמשים ב-method‏ projects.locations.transferConfigs.create ומספקים מופע של המשאב TransferConfig.

שליחת שאילתות לגבי הנתונים

כשהנתונים מועברים ל-BigQuery, הם נכתבים בטבלאות שמחולקות למחיצות (Partitions) לפי זמני כתיבת הנתונים. מידע נוסף זמין במאמר מבוא לטבלאות מחולקות למחיצות.

מומלץ לשלוח שאילתות לתצוגות שנוצרו אוטומטית במקום לשלוח שאילתות ישירות לטבלאות. עם זאת, אם רוצים לשלוח שאילתות ישירות לטבלאות, צריך להשתמש בעמודה המדומה _PARTITIONTIME בשאילתה. למידע נוסף, קראו את המאמר שליחת שאילתות לטבלאות מחולקות למחיצות.