מהו שירות העברת נתונים ל-BigQuery?
באמצעות שירות העברת הנתונים ל-BigQuery אפשר לבצע אוטומציה של העברת נתונים ל-BigQuery באופן מתוזמן ומנוהל. צוות הניתוח שלכם יכול להניח את היסודות למחסן נתונים של BigQuery בלי לכתוב שורת קוד אחת.
אפשר לגשת לשירות העברת הנתונים ל-BigQuery באמצעות:
אחרי שמגדירים העברת נתונים, שירות העברת הנתונים ל-BigQuery טוען נתונים אוטומטית ב-BigQuery באופן קבוע. קיימת גם אפשרות להשלמת חוסר בנתונים (data backfill) לפיצוי על הפסקות זמניות בשירות או על פערים. אי אפשר להשתמש בשירות העברת הנתונים ל-BigQuery כדי להעביר נתונים מ-BigQuery.
בנוסף לטעינת נתונים ב-BigQuery, שירות העברת הנתונים ל-BigQuery משמש לשתי פעולות ב-BigQuery: העתקות של מערכי נתונים ושאילתות מתוזמנות.
מקורות נתונים נתמכים
שירות העברת הנתונים ל-BigQuery תומך בטעינת נתונים ממקורות הנתונים הבאים:
- Amazon S3
- Amazon Redshift
- Apache Hive (תצוגה מקדימה)
- Azure Blob Storage
- Campaign Manager
- Cloud Storage
- Comparison Shopping Service (CSS) Center (תצוגה מקדימה)
- Display & Video 360
- Facebook Ads
- Google Ad Manager
- Google Ads
- Google Analytics 4
- Google Merchant Center (תצוגה מקדימה)
- Google Play
- HubSpot (תצוגה מקדימה)
- Klaviyo (תצוגה מקדימה)
- Mailchimp (תצוגה מקדימה)
- Microsoft SQL Server (תצוגה מקדימה)
- MySQL
- PayPal (תצוגה מקדימה)
- Oracle
- PostgreSQL
- Salesforce
- Salesforce Marketing Cloud
- Search Ads 360
- ServiceNow
- Shopify (תצוגה מקדימה)
- Snowflake (תצוגה מקדימה)
- Stripe (תצוגה מקדימה)
- Teradata
- ערוץ YouTube
- בעלי התוכן ב-YouTube
שיקולים לגבי הסכם רמת שירות (SLO) למסירת נתונים
הסכם רמת השירות (SLO) בנושא מסירת נתונים חל על העברות נתונים מתוזמנות אוטומטית באמצעות שירות העברת הנתונים ל-BigQuery ממקורות בתוך Google Cloud.
בהעברות נתונים שכוללות מקורות צד שלישי או מקורות שאינם שלGoogle Cloud , הפסקות שירות במקורות האלה יכולות להשפיע על הביצועים של שירות העברת הנתונים ל-BigQuery. לכן, ה-SLO של העברת נתונים לא חל על העברות נתונים של שירות העברת הנתונים ל-BigQuery ממקורות שאינםGoogle Cloud .
אזורים נתמכים
בדומה ל-BigQuery, שירות העברת הנתונים ל-BigQuery הוא משאב רב-אזורי, ויש בו אזורים יחידים נוספים רבים.
כשיוצרים מערך נתונים ליעד לאחסון הנתונים שמועברים באמצעות שירות העברת הנתונים ל-BigQuery, מציינים את המיקום של מערך הנתונים ב-BigQuery. כשמגדירים העברה, הגדרת ההעברה עצמה מוגדרת לאותו מיקום כמו מערך הנתונים של היעד. שירות העברת הנתונים ל-BigQuery מעבד את הנתונים ומכין אותם להעברה באותו מיקום של מערך הנתונים של היעד.
שירות העברת הנתונים ל-BigQuery תומך בהעברת נתונים מכל אזור שבו הנתונים מאוחסנים לכל מיקום שבו נמצא מערך הנתונים של היעד.
למידע מפורט על העברות ותאימות אזורית בשירות העברת נתונים ל-BigQuery, אפשר לעיין במאמר בנושא מיקומי מערכי נתונים והעברות. אפשר לעיין במיקומים של מערכי נתונים כדי לראות אילו אזורים נתמכים ב-BigQuery.
שימוש במשבצות זמן להזמנה עם העברות נתונים
עבודות שמופעלות על ידי שירות העברת הנתונים ל-BigQuery משתמשות במשבצות בהזמנה רק אם הפרויקט, התיקייה או הארגון משויכים להזמנה עם אחד מסוגי העבודות הבאים:
- משימות של שאילתות באמצעות
QUERY - טעינת משרות באמצעות
PIPELINE
ג'ובים של העתקת מערכי נתונים לא משתמשים במשבצות של הקצאת נפח.
תמחור
מידע על התמחור של שירות העברת נתונים ל-BigQuery זמין בדף תמחור.
אחרי שהנתונים מועברים ל-BigQuery, חלים תעריפי האחסון והשאילתות הרגילים של BigQuery.
מכסות
מידע על המכסות של שירות העברת נתונים ל-BigQuery זמין בדף מכסות ומגבלות.
המאמרים הבאים
במסמכי התיעוד של מקור הנתונים שלכם מוסבר איך ליצור העברה.