מבוא לשירות העברת הנתונים ל-BigQuery
שירות העברת הנתונים ל-BigQuery מאפשר לבצע אוטומציה של העברות נתונים מתוזמנות ומנוהלות ל-BigQuery. אחרי שמגדירים העברת נתונים, שירות העברת הנתונים ל-BigQuery טוען נתונים אוטומטית ב-BigQuery באופן קבוע. אפשר גם להשלים חוסר בנתונים (data backfill) כדי לפצות על הפסקות זמניות בשירות או על פערים, לבצע העתקות של מערכי נתונים ולהריץ שאילתות מתוזמנות. אי אפשר להשתמש בשירות העברת הנתונים ל-BigQuery כדי להעביר נתונים מחוץ ל-BigQuery.
כדי להגדיר ולנהל העברות, אתם יכולים להשתמש במסוףGoogle Cloud , בכלי שורת הפקודה של BigQuery או ב-API של שירות העברת נתונים ל-BigQuery. בדף Pipelines & Connections יש גם תהליך עבודה יעיל (גרסת טרום-השקה (Preview)) ליצירת העברות. כדי לקבל עדכונים על השירות, אתם יכולים להירשם לקבוצת ההודעות של BigQuery DTS.
מקורות נתונים נתמכים
שירות העברת הנתונים ל-BigQuery תומך בטעינת נתונים ממקורות הנתונים הבאים:
- פלטפורמות SaaS:
- פלטפורמות שיווק:
- Facebook Ads
- HubSpot (גרסת טרום-השקה (Preview))
- Klaviyo (גרסת טרום-השקה (Preview))
- Mailchimp (גרסת טרום-השקה (Preview))
- פלטפורמות תשלומים:
- PayPal (גרסת טרום-השקה (Preview))
- Stripe (גרסת טרום-השקה (Preview))
- Shopify (גרסת טרום-השקה (Preview))
- מסדי נתונים ומחסני נתונים:
- Amazon Redshift
- Apache Hive Metastore
- Microsoft SQL Server (גרסת טרום-השקה (Preview))
- MySQL
- Oracle
- PostgreSQL
- Snowflake
- Teradata
- אחסון בענן:
- שירותי Google:
- Campaign Manager
- CSS Center (שירות להשוואת מחירים) (גרסת טרום-השקה (Preview))
- Display & Video 360
- Google Ads
- Google Ad Manager
- Google Analytics 4
- Google Merchant Center (גרסת טרום-השקה (Preview))
- Search Ads 360
- Google Play
- ערוץ YouTube
- בעלי התוכן ב-YouTube
- משימות של שאילתות באמצעות
QUERY - טעינת משימות באמצעות
PIPELINE - כדי ללמוד איך ליצור העברה, עיינו במסמכי התיעוד של מקור הנתונים שלכם.
שיקולים בנוגע ל-SLO של העברת נתונים
יעד ה-SLO של העברת נתונים חל על העברות נתונים שמתוזמנות באופן אוטומטי באמצעות שירות העברת הנתונים ל-BigQuery, ממקורות בתוך Google Cloud.
בהעברות נתונים שכוללות מקורות של צד שלישי או מקורות שהם לא שלGoogle Cloud , הפסקות בשירות של המקורות האלה יכולות להשפיע על הביצועים של שירות העברת הנתונים ל-BigQuery. לכן, יעדי ה-SLO של העברת הנתונים לא חלים על העברות נתונים של שירות העברת הנתונים ל-BigQuery ממקורות שאינם שלGoogle Cloud .
אזורים נתמכים
כמו BigQuery, שירות העברת הנתונים ל-BigQuery הוא משאב במספר אזורים, עם הרבה אזורים בודדים נוספים זמינים.
המיקום של מערך הנתונים ב-BigQuery מצוין כשיוצרים מערך נתונים של יעד לאחסון הנתונים שמועברים על ידי שירות העברת הנתונים ל-BigQuery. כשמגדירים העברה, הגדרת ההעברה עצמה נקבעת לאותו מיקום כמו מערך הנתונים של היעד. שירות העברת הנתונים ל-BigQuery מעבד ומכין את הנתונים באותו מיקום של מערך הנתונים ביעד.
שירות העברת הנתונים ל-BigQuery תומך בהעברות נתונים מכל אזור שבו הנתונים מאוחסנים לכל מיקום שבו נמצא מערך הנתונים של היעד.
מידע מפורט על העברות ותאימות לאזורים של שירות העברת הנתונים ל-BigQuery זמין במאמר מיקומים והעברות של מערכי נתונים. במאמר מיקומים של מערכי נתונים מפורטים האזורים הנתמכים ב-BigQuery.
שימוש במשבצות להזמנה עם העברות נתונים
משימות שמופעלות על ידי שירות העברת הנתונים ל-BigQuery משתמשות במשבצות של הזמנה רק אם הפרויקט, התיקייה או הארגון מוקצים להזמנה עם אחד מסוגי העבודה הבאים:
תמחור
למידע על התמחור של שירות העברת הנתונים ל-BigQuery, קראו את הדף תמחור.
אחרי שהנתונים מועברים ל-BigQuery, חלים התמחורים הרגילים של BigQuery לאחסון ולשאילתות.
מכסות
למידע על המכסות של שירות העברת הנתונים ל-BigQuery, קראו את הדף מכסות ומגבלות.
פתרון בעיות בהגדרות ההעברה
במאמר פתרון בעיות בהגדרות של העברות מוסבר איך לפתור בעיות בשירות העברת הנתונים ל-BigQuery.