טעינת נתונים מ-Display & Video 360 ל-BigQuery

אפשר לטעון נתונים מ-Display & Video 360 ל-BigQuery באמצעות המחבר של שירות העברת הנתונים ל-BigQuery ב-Display & Video 360. שירות העברת הנתונים ל-BigQuery מאפשר לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים מ-Display & Video 360 ל-BigQuery.

סקירה כללית של מחברים

שירות העברת הנתונים ל-BigQuery עבור המחבר של Display & Video 360 תומך באפשרויות הבאות להעברת נתונים.

אפשרויות להעברת נתונים תמיכה
דוחות נתמכים מחבר Display & Video 360 תומך בהעברת נתונים מהדוחות בקבצים של העברת נתונים גרסה 2 (Display & Video DTv2).

מידע על האופן שבו דוחות של Display & Video 360 הופכים לטבלאות ולתצוגות ב-BigQuery זמין במאמר המרת דוחות של Display & Video 360.
תדירות החזרה מחבר Display & Video 360 תומך בהעברות נתונים יומיות.

כברירת מחדל, העברות נתונים מתוזמנות לזמן שבו נוצרת העברת הנתונים. אפשר להגדיר את השעה של העברת הנתונים כשמגדירים את העברת הנתונים.
רענון החלון המחבר של Display & Video 360 מאחזר נתונים מ-Display & Video 360 עד יומיים לפני מועד ההפעלה של העברת הנתונים. אי אפשר להגדיר את חלון הרענון למחבר הזה.

מידע נוסף זמין במאמר בנושא חלונות רענון.
זמינות של נתונים להשלמת חוסר (data backfill) מריצים השלמת חוסר בנתונים כדי לאחזר נתונים שלא נכללים בהעברת הנתונים המתוזמנת. אפשר לאחזר נתונים עד לתקופה שמוגדרת במדיניות שמירת הנתונים במקור הנתונים.

מידע על מדיניות שמירת נתונים ב-Display & Video 360 זמין במאמר עדכניות הנתונים וזמינותם בדוחות.

נתוני ההגדרה הנתמכים

בנוסף לנתוני הדיווח, שירות העברת הנתונים ל-BigQuery מעביר גם את נתוני ההגדרה הבאים מ-Display & Video 360. נתוני ההגדרה מאוחזרים מ-Display & Video 360 API v3.

מידע נוסף על כל סוג של נתוני הגדרה זמין בקישורים הבאים:

העברת נתונים מ-Display & Video 360

כשמעבירים נתונים מ-Display & Video 360 אל BigQuery, הנתונים נטענים לטבלאות BigQuery שמחולקות למחיצות לפי תאריך. מחיצת הטבלה שאליה נטען הנתון תואמת לתאריך ממקור הנתונים. אם מתזמנים כמה העברות לאותו תאריך, שירות העברת הנתונים ל-BigQuery מחליף את המחיצה של התאריך הספציפי הזה בנתונים העדכניים ביותר. העברות מרובות באותו יום או הרצות של מילוי חוסרים לא גורמות לשכפול נתונים, והמחיצות של תאריכים אחרים לא מושפעות.

רענון חלונות

חלון הרענון הוא מספר הימים שבהם מתבצעת העברת נתונים, שבמהלכם מתבצעת אחזור נתונים. לדוגמה, אם חלון הרענון הוא שלושה ימים וההעברה מתבצעת מדי יום, שירות העברת הנתונים ל-BigQuery מאחזר את כל הנתונים מטבלת המקור מ-3 הימים האחרונים. בדוגמה הזו, כשמתבצעת העברה יומית, שירות העברת הנתונים ל-BigQuery יוצר מחיצה חדשה בטבלת היעד ב-BigQuery עם עותק של נתוני טבלת המקור מהיום הנוכחי, ואז מפעיל אוטומטית מילוי חוסרים כדי לעדכן את המחיצות בטבלת היעד ב-BigQuery עם נתוני טבלת המקור מיומיים קודמים. הפעלות של מילוי חוסרים שמופעלות אוטומטית יחליפו או יעודכנו באופן מצטבר את טבלת היעד ב-BigQuery, בהתאם לשאלה אם יש תמיכה בעדכונים מצטברים במחבר של שירות העברת הנתונים ל-BigQuery.

כשמריצים העברת נתונים בפעם הראשונה, העברת הנתונים מאחזרת את כל נתוני המקור שזמינים בחלון הרענון. לדוגמה, אם חלון הרענון הוא שלושה ימים ואתם מריצים את העברת הנתונים בפעם הראשונה, שירות העברת הנתונים ל-BigQuery מאחזר את כל נתוני המקור תוך שלושה ימים.

כדי לאחזר נתונים מחוץ לחלון העדכון, כמו נתונים היסטוריים, או כדי לשחזר נתונים מהפסקות זמניות בשירות או מפערים בהעברה, אפשר להתחיל או לתזמן השלמת חוסר בנתונים.

לפני שמתחילים

לפני שיוצרים העברת נתונים מ-Display & Video 360, כדאי לעיין בדרישות המוקדמות ובמידע הבא.

דרישות מוקדמות

  • מוודאים שביצעתם את כל הפעולות שנדרשות כדי להפעיל את שירות העברת נתונים ל-BigQuery.
  • יוצרים מערך נתונים ב-BigQuery כדי לאחסן את הנתונים של Display & Video 360.
  • מוודאים שיש לכם את מזהה השותף או את מזהה המפרסם ב-Display & Video 360. מזהה השותף הוא ההורה בהיררכיה.
  • צריך לוודא שיש לכם הרשאות קריאה כדי לגשת לנתוני שותפים או מפרסמים מ-Display and Video API.

  • מוודאים שיש לארגון גישה לקבצים של Display & Video 360 Data Transfer v2‏ (Display & Video 360 DTv2). הקבצים האלה מועברים על ידי צוות Display & Video 360 בקטגוריה של Cloud Storage. האפשרות לבקש גישה לקבצים של Display & Video 360 DTv2 תלויה בשאלה אם יש לכם חוזה ישיר עם Display & Video 360. בשני המקרים, יכול להיות שיחולו חיובים נוספים.

    • אם יש לכם חוזה עם Display & Video 360, עליכם לפנות לתמיכה של Display & Video 360 כדי להגדיר קבצים של Display & Video 360 DTv2.
    • אם אין לכם חוזה עם Display & Video 360, תוכלו לפנות לסוכנות שלכם כדי לקבל גישה לקבצים של Display & Video 360 DTv2.
    • אחרי שתשלימו את השלב הזה, תקבלו את שם הקטגוריה של Cloud Storage, בהתאם להגדרה שלכם – שותף או מפרסם:
      • gs://dcdt_-dbm_partnerPARTNER_ID
      • gs://dcdt_-dbm_advertiserADVERTISER_ID

  • כדי להגדיר התראות על הפעלת העברה ב-Pub/Sub, אתם צריכים הרשאות pubsub.topics.setIamPolicy. מידע נוסף זמין במאמר התראות על הפעלת שירות העברת נתונים ל-BigQuery.

איפה אפשר למצוא את המזהה ב-Display & Video 360

כדי לאחזר את המזהה שלכם ב-Display & Video 360, עוברים לדף Buckets ב-Cloud Storage במסוף Google Cloud ובודקים את הקבצים בקטגוריה של Cloud Storage להעברת נתונים מ-Display & Video 360. המזהה של Display & Video 360 משמש להתאמת קבצים בקטגוריה של Cloud Storage שצוינה. המזהה מוטמע בשם הקובץ, ולא בשם הקטגוריה של Cloud Storage. לדוגמה:

  • בקובץ בשם dbm_partner123_activity_*, המזהה הוא 123.
  • בקובץ בשם dbm_advertiser567_activity_*, המזהה הוא 567.

איך מוצאים את הקידומת של שם הקובץ

במקרים מסוימים, יכול להיות שלקבצים בקטגוריה של Cloud Storage יש שמות קבצים מותאמים אישית ולא סטנדרטיים שהוגדרו בשבילכם על ידי צוות השירותים של Google Marketing Platform. לדוגמה:

בקובץ בשם dbm_partner123456custom_activity_*, התחילית היא dbm_partner123456custom.

לקבלת עזרה בנושא קידומות של שמות קבצים, אפשר לפנות לתמיכה של Display & Video 360.

הגדרת העברת נתונים מ-Display & Video 360

בוחרים באחת מהאפשרויות הבאות:

המסוף

  1. עוברים לדף 'העברות נתונים' במסוף Google Cloud .

    מעבר אל "העברות נתונים"

  2. לוחצים על Create transfer (יצירת העברה).

  3. בדף Create transfer, מבצעים את הפעולות הבאות:

    • בקטע סוג המקור, בשדה מקור, בוחרים באפשרות Display & Video 360.
    • בקטע Transfer config name, בשדה Display name, מזינים שם להעברת הנתונים. שם ההעברה יכול להיות כל ערך שיאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.

  4. בקטע אפשרויות תזמון:

    • בוחרים באפשרות Start now (התחלה מיידית) או באפשרות Start at set time (התחלה בשעה מוגדרת), ואז מציינים תאריך התחלה וזמן הפעלה.
    • בקטע חזרה, בוחרים את התדירות שבה רוצים להפעיל את העברת הנתונים. אם בוחרים באפשרות ימים, צריך לציין שעה תקינה לפי שעון UTC.

  5. בקטע הגדרות יעד, בתפריט מערך נתונים של היעד, בוחרים את מערך הנתונים שיצרתם כדי לאחסן את הנתונים.

  6. בקטע פרטי מקור הנתונים:

    • בשדה DV360 DTV2 Cloud Storage bucket (קטגוריית Cloud Storage של DTV2 ב-DV360), מזינים את קטגוריית Cloud Storage שמכילה את קובצי DTV2 של Display & Video 360. אם אתם צריכים להגדיר את מאגר הנתונים הזה, אתם יכולים לפנות אל התמיכה של Display & Video 360.
    • בשדה מזהה שותף או מפרסם ב-DV360 מזינים את מזהה השותף או את מזהה המפרסם.
    • אופציונלי: בקטע אפשרויות ההתראות:
      • לוחצים על המתג כדי להפעיל התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל אם ההעברה נכשלת.
      • לוחצים על המתג כדי להפעיל התראות Pub/Sub. בקטע Select a Cloud Pub/Sub topic, בוחרים את שם הנושא או לוחצים על Create a topic. באמצעות האפשרות הזו מגדירים התראות על הפעלת Pub/Sub להעברה.

  7. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומספקים את האפשרות ליצירת העברה – --transfer_config. נדרשים הדגלים הבאים:

  • --data_source
  • --target_dataset
  • --display_name
  • --params
  bq mk --transfer_config \
  --project_id=PROJECT_ID \
  --target_dataset=DATASET \
  --display_name=NAME \
  --params='PARAMETERS' \
  --data_source=DATA_SOURCE

כאשר:

  • PROJECT_ID: מזהה הפרויקט.
  • ‫DATASET: מערך הנתונים של היעד להגדרת העברת הנתונים.
  • ‫NAME: השם המוצג של הגדרות העברת הנתונים. שם ההעברה יכול להיות כל ערך שיעזור לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
  • ‫PARAMETERS: הפרמטרים של הגדרת העברת הנתונים שנוצרה בפורמט JSON. לדוגמה – --params='{"param":"param_value"}'. להעברות של Display & Video 360, הפרמטרים bucket ו-displayvideo_id נדרשים. הפרמטר file_name_prefix הוא אופציונלי ומשמש רק לשמות קבצים מותאמים אישית נדירים.
  • ‫DATA_SOURCE: מקור הנתונים – displayvideo.

לדוגמה, הפקודה הבאה יוצרת העברת נתונים של Display & Video 360 בשם My Transfer באמצעות מזהה Display & Video 360‏ 123456, מאגר Cloud Storage‏ dcdt_-dbm_partner123456 ומערך נתונים של יעד mydataset.

העברת הנתונים נוצרת בפרויקט ברירת המחדל:

  bq mk --transfer_config \
  --target_dataset=mydataset \
  --display_name='My Transfer' \
  --params='{"bucket":"dcdt_-dbm_partner123456","displayvideo_id": "123456","file_name_prefix":"YYY"}' \
  --data_source=displayvideo

אחרי הרצת הפקודה, תקבלו הודעה כמו זו:

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

פועלים לפי ההוראות בהודעה ומדביקים את קוד האימות בשורת הפקודה.

API

משתמשים בשיטה projects.locations.transferConfigs.create ומספקים מופע של המשאב TransferConfig.

שאילתות על הנתונים

כשמעבירים את הנתונים ל-BigQuery, הנתונים נכתבים בטבלאות עם חלוקה למחיצות לפי זמן ההטמעה. מידע נוסף זמין במאמר מבוא לטבלאות עם מחיצות.

מומלץ לשלוח שאילתות לתצוגות המפורטות שנוצרו באופן אוטומטי במקום לשלוח שאילתות ישירות לטבלאות. עם זאת, אם רוצים לשלוח שאילתה ישירות לטבלאות, צריך להשתמש בעמודה הווירטואלית _PARTITIONTIME בשאילתה. מידע נוסף מופיע במאמר בנושא שליחת שאילתות לטבלאות מחולקות.