טעינת נתונים מ-Google Analytics 4 ל-BigQuery

אפשר לטעון נתונים מ-Google Analytics 4 ל-BigQuery באמצעות המחבר של שירות העברת הנתונים ל-BigQuery ל-Google Analytics 4. שירות העברת הנתונים ל-BigQuery מאפשר לתזמן משימות העברה חוזרות שמוסיפות את הנתונים העדכניים מ-Google Analytics 4 ל-BigQuery.

סקירה כללית של מחברים

שירות העברת הנתונים ל-BigQuery עבור המחבר של Google Analytics תומך באפשרויות הבאות להעברת הנתונים.

אפשרויות להעברת נתונים תמיכה
דוחות נתמכים המחבר של Google Analytics תומך בהעברת נתוני דיווח מ-Google Analytics Data API v1.

במאמר שינוי דוחות של Google Analytics מוסבר איך דוחות של Google Analytics הופכים לטבלאות ולתצוגות ב-BigQuery.
תדירות החזרה המחבר של Google Analytics תומך בהעברות יומיות של נתונים.

כברירת מחדל, העברות נתונים מתוזמנות לזמן שבו נוצרת העברת הנתונים. אפשר להגדיר את השעה של העברת הנתונים כשמגדירים את העברת הנתונים.
רענון החלון אתם יכולים לתזמן את העברות הנתונים כדי לאחזר נתונים מ-Google Analytics מפרק זמן של עד 30 יום בזמן הפעלת העברת הנתונים. אתם יכולים להגדיר את משך חלון הרענון כשמגדירים את העברת הנתונים.

כברירת מחדל, חלון הרענון של מחבר Google Analytics הוא 4 ימים.

מידע נוסף זמין במאמר בנושא חלונות של רענון.
זמינות של נתונים להשלמת חוסר (data backfill) מריצים השלמת חוסר בנתונים כדי לאחזר נתונים שלא נכללים בהעברת הנתונים המתוזמנת. אפשר לאחזר נתונים עד לתקופה שמוגדרת במדיניות שמירת הנתונים במקור הנתונים.

מידע על מדיניות שמירת הנתונים ב-Google Analytics זמין במאמר מדיניות שמירת הנתונים ב-Google Analytics.

העברת נתונים מ-Google Analytics 4

כשמעבירים נתונים מ-Google Analytics 4 ל-BigQuery, הנתונים נטענים לטבלאות BigQuery שמחולקות למחיצות לפי תאריך. מחיצת הטבלה שאליה נטען הנתון תואמת לתאריך ממקור הנתונים. אם מתזמנים כמה העברות לאותו תאריך, שירות העברת הנתונים ל-BigQuery מחליף את המחיצה של התאריך הספציפי הזה בנתונים העדכניים ביותר. העברות מרובות באותו יום או הרצות של מילוי חוסרים לא גורמות לשכפול נתונים, והמחיצות של תאריכים אחרים לא מושפעות.

רענון חלונות

חלון הרענון הוא מספר הימים שבהם מתבצעת העברת נתונים, שבמהלכם מתבצעת אחזור נתונים. לדוגמה, אם חלון הרענון הוא שלושה ימים וההעברה מתבצעת מדי יום, שירות העברת הנתונים ל-BigQuery מאחזר את כל הנתונים מטבלת המקור מ-3 הימים האחרונים. בדוגמה הזו, כשמתבצעת העברה יומית, שירות העברת הנתונים ל-BigQuery יוצר מחיצה חדשה בטבלת היעד ב-BigQuery עם עותק של נתוני טבלת המקור מהיום הנוכחי, ואז מפעיל אוטומטית מילוי חוסרים כדי לעדכן את המחיצות בטבלת היעד ב-BigQuery עם נתוני טבלת המקור מיומיים קודמים. הפעלות של מילוי חוסרים שמופעלות אוטומטית יחליפו או יעודכנו באופן מצטבר את טבלת היעד ב-BigQuery, בהתאם לשאלה אם יש תמיכה בעדכונים מצטברים במחבר של שירות העברת הנתונים ל-BigQuery.

כשמריצים העברת נתונים בפעם הראשונה, העברת הנתונים מאחזרת את כל נתוני המקור שזמינים בחלון הרענון. לדוגמה, אם חלון הרענון הוא שלושה ימים ואתם מריצים את העברת הנתונים בפעם הראשונה, שירות העברת הנתונים ל-BigQuery מאחזר את כל נתוני המקור תוך שלושה ימים.

כדי לאחזר נתונים מחוץ לחלון העדכון, כמו נתונים היסטוריים, או כדי לשחזר נתונים מהפסקות זמניות בשירות או מפערים בהעברה, אפשר להתחיל או לתזמן השלמת חוסר בנתונים.

לפני שמתחילים

לפני שיוצרים העברת נתונים ב-Google Analytics 4, כדאי לעיין בדרישות המוקדמות ובמידע הבאים.

דרישות מוקדמות

התפקידים הנדרשים ב-BigQuery

כדי לקבל את ההרשאות שנדרשות ליצירת העברת נתונים באמצעות שירות העברת נתונים ל-BigQuery, צריך לבקש מהאדמין להקצות לכם את תפקיד BigQuery Admin ‏ (roles/bigquery.admin) ב-IAM בפרויקט. להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאות שנדרשות ליצירת העברת נתונים בשירות העברת נתונים ל-BigQuery. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור העברת נתונים באמצעות שירות העברת הנתונים ל-BigQuery, נדרשות ההרשאות הבאות:

  • הרשאות של שירות העברת נתונים ל-BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • הרשאות ב-BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מידע נוסף מופיע במאמר בנושא מתן גישה ל-bigquery.admin.

דוחות מותאמים אישית

מחבר שירות העברת הנתונים ל-BigQuery עבור Google Analytics תומך בשימוש בדוחות בהתאמה אישית על ידי ציון מאפיינים ומדדים בהגדרת ההעברה של Google Analytics. הנתונים בדוחות המותאמים אישית האלה מגיעים מ-Google Analytics Data API בגרסה שנתמכת על ידי שירות העברת הנתונים ל-BigQuery.

אפשר לציין דוח בהתאמה אישית כשיוצרים העברה של נתונים מ-Google Analytics.

מגבלות על דוחות בהתאמה אישית

  • אפשר להשתמש רק בדוח אחד בהתאמה אישית לכל הגדרת העברה.
  • אפשר להוסיף לכל דוח מותאם אישית עד 9 מאפיינים ו-10 מדדים.
  • לא כל המאפיינים והמדדים תואמים זה לזה. לפני שיוצרים את ההעברה, כדאי להשתמש בכלי סייר המאפיינים והמדדים של GA4 כדי לוודא שהמאפיינים והמדדים המותאמים אישית בדוח תקינים.

הגדרה של העברת נתונים ב-Google Analytics 4

בוחרים באחת מהאפשרויות הבאות:

המסוף

  1. עוברים לדף Data transfers במסוף Google Cloud .

    מעבר אל "העברות נתונים"

  2. לוחצים על Create transfer (יצירת העברה).

  3. בדף Create transfer, מבצעים את הפעולות הבאות:

    • בקטע סוג המקור, באפשרות מקור, בוחרים באפשרות Google Analytics 4.

  4. בקטע פרטי מקור הנתונים:

    • בשדה Property ID (מזהה הנכס), מזינים מזהה נכס.
    • אופציונלי: בשדה Table Filter (מסנן טבלאות), מזינים רשימה מופרדת בפסיקים של טבלאות שרוצים לכלול. לדוגמה, Audiences, Events. כדי להחריג טבלאות מסוימות, צריך להוסיף את התו - לפני הרשימה, למשל -Audiences, Events. כל הטבלאות נכללות כברירת מחדל.
    • אופציונלי: כדי להטמיע דוחות בהתאמה אישית במקום הדוחות הרגילים, מבצעים את הפעולות הבאות:
      • בשדה שם טבלת הדוחות המותאמים אישית, מזינים את שם טבלת הפלט של הדוח המותאם אישית. מידע נוסף על שמות תקינים של טבלאות זמין במאמר שמות של טבלאות.
      • בשדה מאפיינים בדוח בהתאמה אישית, מזינים את המאפיינים של הדוח בהתאמה אישית. מידע נוסף זמין במאמר בנושא דוחות בהתאמה אישית.
      • בשדה מדדים בדוח בהתאמה אישית, מזינים את המדדים של הדוח בהתאמה אישית. מידע נוסף זמין במאמר בנושא דוחות בהתאמה אישית.
    • אופציונלי: בשדה חלון הרענון, מזינים את משך חלון הרענון בימים. ערך ברירת המחדל של חלון הרענון הוא ארבעה ימים, ואפשר להגדיר אותו לערך של עד 30 ימים.

  5. בקטע הגדרות יעד, בתפריט מערך נתונים של היעד, בוחרים את מערך הנתונים שיצרתם כדי לאחסן את הנתונים.

  6. בקטע Transfer config name, בשדה Display name, מזינים שם להעברת הנתונים. שם ההעברה יכול להיות כל ערך שיאפשר לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.

  7. בקטע אפשרויות תזמון:

    • בוחרים באפשרות Start now (התחלה מיידית) או באפשרות Start at set time (התחלה בשעה מוגדרת), ואז מציינים תאריך התחלה וזמן הפעלה.
    • בקטע חזרה, בוחרים את התדירות שבה רוצים להפעיל את העברת הנתונים. אם בוחרים באפשרות ימים, צריך לציין שעה תקינה לפי שעון UTC.

  8. אופציונלי: בתפריט Service Account, בוחרים חשבון שירות מתוך חשבונות השירות שמשויכים לפרויקט Google Cloud . לחשבון השירות שנבחר צריכים להיות התפקידים הנדרשים כדי להריץ את העברת הנתונים הזו.

    אם נכנסתם באמצעות זהות מאוחדת, תצטרכו חשבון שירות כדי ליצור העברת נתונים. אם נכנסתם באמצעות חשבון Google, חשבון שירות להעברת הנתונים הוא אופציונלי. מידע נוסף על שימוש בחשבונות שירות בהעברות נתונים זמין במאמר שימוש בחשבונות שירות.

  9. אופציונלי: בקטע אפשרויות להתראות:

    • לוחצים על המתג כדי להפעיל התראות באימייל. כשמפעילים את האפשרות הזו, האדמין של ההעברה מקבל התראה באימייל אם ההעברה נכשלת.
    • לוחצים על המתג כדי להפעיל התראות Pub/Sub. בקטע Select a Cloud Pub/Sub topic, בוחרים את שם הנושא או לוחצים על Create a topic. באמצעות האפשרות הזו מגדירים התראות על הפעלת Pub/Sub להעברה.

  10. אופציונלי: אם אתם משתמשים בCMEK, בקטע Advanced options בוחרים באפשרות Customer-managed key. תוצג רשימה של מפתחות CMEK זמינים לבחירה. מידע על אופן הפעולה של CMEK עם שירות העברת הנתונים ל-BigQuery זמין במאמר ציון מפתח הצפנה בהעברות.

  11. לוחצים על Save.

BQ

מזינים את הפקודה bq mk ומספקים את האפשרות ליצירת העברה – --transfer_config. נדרשים הדגלים הבאים:

  • --data_source
  • --target_dataset
  • --display_name
  • --params
  bq mk --transfer_config \
  --project_id=PROJECT_ID \
  --target_dataset=DATASET \
  --display_name=NAME \
  --params='PARAMETERS' \
  --data_source=DATA_SOURCE

כאשר:

  • PROJECT_ID: מזהה הפרויקט. אם לא מציינים את --project_id, נעשה שימוש בפרויקט שמוגדר כברירת מחדל.
  • ‫DATASET: מערך הנתונים של היעד להגדרת העברת הנתונים.
  • ‫NAME: השם המוצג של הגדרות העברת הנתונים. שם ההעברה יכול להיות כל ערך שיעזור לכם לזהות את ההעברה אם תצטרכו לשנות אותה בהמשך.
  • ‫PARAMETERS: הפרמטרים של הגדרת העברת הנתונים שנוצרה בפורמט JSON, לדוגמה, --params='{"param":"param_value"}'. להעברות ל-Google Analytics 4, נדרש הפרמטר property_id.
  • ‫DATA_SOURCE: מקור הנתונים – ga4.

לדוגמה, הפקודה הבאה יוצרת העברת נתונים של Google Analytics 4 בשם My Transfer באמצעות מזהה הנכס 468039345, עם מערך הנתונים של היעד mydataset.

העברת הנתונים נוצרת בפרויקט ברירת המחדל:

  bq mk --transfer_config
  --project_id=your_project
  --target_dataset=mydataset
  --display_name=My Transfer
  --params='{"property_id":"468039345"}'
  --data_source=ga4

API

משתמשים בשיטה projects.locations.transferConfigs.create ומספקים מופע של המשאב TransferConfig.

מגבלות

  • יכול להיות שהסכומים המצטברים של מדדי משתמשים וסשנים ייחודיים לא יהיו מדויקים, ולא יהיו זהים לערכים ב-Google Analytics.

הגדרת מפתח הצפנה להעברות

אפשר לציין מפתחות הצפנה בניהול הלקוח (CMEK) כדי להצפין נתונים להרצת העברה. אפשר להשתמש ב-CMEK כדי לתמוך בהעברות מ-Google Analytics 4.

כשמציינים CMEK בהעברה, שירות העברת הנתונים ל-BigQuery מחיל את ה-CMEK על כל מטמון ביניים בדיסק של נתונים שהועברו, כך שכל תהליך העבודה של העברת הנתונים תואם ל-CMEK.

אי אפשר לעדכן העברה קיימת כדי להוסיף CMEK אם ההעברה לא נוצרה במקור עם CMEK. לדוגמה, אי אפשר לשנות טבלת יעד שהוצפנה במקור בהצפנה שמוגדרת כברירת מחדל, כך שהיא תוצפן עכשיו באמצעות CMEK. באופן דומה, אי אפשר לשנות טבלת יעד מוצפנת באמצעות CMEK כך שתהיה לה הצפנה מסוג אחר.

אפשר לעדכן CMEK להעברה אם הגדרת ההעברה נוצרה במקור עם הצפנת CMEK. כשמעדכנים את ה-CMEK בהגדרות של העברה, שירות העברת הנתונים ל-BigQuery מעביר את ה-CMEK לטבלאות היעד בהפעלה הבאה של ההעברה. במהלך ההפעלה, שירות העברת הנתונים ל-BigQuery מחליף את כל ה-CMEK שהתיישנו ב-CMEK החדש. מידע נוסף זמין במאמר בנושא עדכון העברה.

אפשר גם להשתמש במפתחות ברירת המחדל של הפרויקט. כשמציינים מפתח ברירת מחדל של פרויקט בהעברה, שירות העברת הנתונים ל-BigQuery משתמש במפתח ברירת המחדל של הפרויקט כמפתח ברירת המחדל לכל הגדרה חדשה של העברה.

תמחור

העברה של נכס Google Analytics 4 לא כרוכה בעלות.

אחרי שהנתונים מועברים ל-BigQuery, חלים תעריפי האחסון והשאילתות הרגילים של BigQuery.

מכסה

ההעברות ב-Google Analytics 4 כפופות למכסות של נכסי Analytics כפי שהן נאכפות על ידי Google Analytics 4. כדי להגדיל את המכסה לכל נכס, אפשר לשדרג ל-Google Analytics 360.