מהו שירות העברת נתונים ל-BigQuery?

שירות העברת הנתונים ל-BigQuery מבצע אוטומציה של העברת נתונים ל-BigQuery באופן מתוזמן ומנוהל. צוות הניתוח שלכם יכול להניח את היסודות למחסן נתונים של BigQuery בלי לכתוב שורת קוד אחת.

אפשר לגשת לשירות העברת הנתונים ל-BigQuery באמצעות:

• ‫Google Cloud console
• כלי שורת הפקודה של BigQuery
• BigQuery Data Transfer Service API

כדאי לדעת: אפשר גם להשתמש בדף צינורות וחיבורים כדי ליצור העברה באמצעות תהליך עבודה יעיל. התכונה הזו נמצאת בגרסת טרום-השקה.

אחרי הגדרה של העברת נתונים, שירות העברת הנתונים ל-BigQuery יטען נתונים אוטומטית ב-BigQuery באופן קבוע. קיימת גם אפשרות להשלמת חוסר בנתונים (data backfill) לפיצוי על הפסקות זמניות בשירות או על פערים. אי אפשר להשתמש בשירות העברת הנתונים ל-BigQuery כדי להעביר נתונים מ-BigQuery.

בנוסף לטעינת נתונים ב-BigQuery, שירות העברת הנתונים ל-BigQuery משמש לשתי פעולות ב-BigQuery: העתקות של מערכי נתונים ושאילתות מתוזמנות.

הערה: כדי לקבל הודעות שקשורות לשירות העברת הנתונים ל-BigQuery, אפשר להירשם לקבוצת הדיונים בנושא הודעות על שירות העברת נתונים ל-BigQuery.

מקורות נתונים נתמכים

שירות העברת הנתונים ל-BigQuery תומך בטעינת נתונים ממקורות הנתונים הבאים:

• פלטפורמות SaaS:
• Salesforce
• ‫Salesforce Marketing Cloud
• ServiceNow
• פלטפורמות שיווק:
• Facebook Ads
• ‫HubSpot (תצוגה מקדימה)
• ‫Klaviyo (תצוגה מקדימה)
• ‫Mailchimp (תצוגה מקדימה)
• פלטפורמות תשלומים:
• ‫PayPal (תצוגה מקדימה)
• ‫Stripe (תצוגה מקדימה)
• ‫Shopify (תצוגה מקדימה)
• מסדי נתונים ומחסני נתונים:
• Amazon Redshift
• Apache Hive Metastore
• ‫Microsoft SQL Server (תצוגה מקדימה)
• MySQL
• Oracle
• PostgreSQL
• ‫Snowflake (תצוגה מקדימה)
• Teradata
• אחסון בענן:
• Cloud Storage
• ‫Amazon Simple Storage Service‏ (Amazon S3)
• ‫Azure Blob Storage
• שירותי Google:
• Campaign Manager
• ‫Comparison Shopping Service (CSS) Center (גרסת Preview)
• Display & Video 360
• Google Ads
• Google Ad Manager
• ‫Google Analytics 4
• ‫Google Merchant Center (תצוגה מקדימה)
• ‫Search Ads 360
• Google Play
• ערוץ YouTube
• בעלי התוכן ב-YouTube

שיקולים לגבי הסכם רמת שירות (SLO) למסירת נתונים

הסכם רמת השירות (SLO) בנושא מסירת נתונים חל על העברות נתונים מתוזמנות אוטומטית באמצעות שירות העברת הנתונים ל-BigQuery ממקורות בתוך Google Cloud.

בהעברות נתונים שכוללות מקורות צד שלישי או מקורות שאינם שלGoogle Cloud , הפסקות שירות במקורות האלה יכולות להשפיע על הביצועים של שירות העברת הנתונים ל-BigQuery. לכן, ה-SLO של העברת נתונים לא חל על העברות נתונים משירות העברת הנתונים ל-BigQuery ממקורות שאינםGoogle Cloud .

אזורים נתמכים

בדומה ל-BigQuery, שירות העברת הנתונים ל-BigQuery הוא משאב רב-אזורי, ויש עוד הרבה אזורים יחידים שזמינים בו.

כשיוצרים מערך נתונים ליעד לאחסון הנתונים שמועברים באמצעות שירות העברת הנתונים ל-BigQuery, מציינים את המיקום של מערך הנתונים ב-BigQuery. כשמגדירים העברה, הגדרת ההעברה עצמה מוגדרת לאותו מיקום כמו מערך הנתונים של היעד. שירות העברת הנתונים ל-BigQuery מעבד את הנתונים ומכין אותם להעברה באותו מיקום של מערך הנתונים של היעד.

שירות העברת הנתונים ל-BigQuery תומך בהעברת נתונים מכל אזור שבו הנתונים מאוחסנים לכל מיקום שבו נמצא מערך הנתונים של היעד.

למידע מפורט על העברות ותאימות אזורית בשירות העברת נתונים ל-BigQuery, אפשר לעיין במאמר בנושא מיקומי מערכי נתונים והעברות. אפשר לעיין במיקומים של מערכי נתונים כדי לראות אילו אזורים נתמכים ב-BigQuery.

שימוש במשבצות זמן להזמנה בהעברות נתונים

עבודות שמופעלות על ידי שירות העברת הנתונים ל-BigQuery משתמשות במשבצות הזמנה רק אם הפרויקט, התיקייה או הארגון משויכים להזמנה עם אחד מסוגי העבודות הבאים:

• משימות של שאילתה באמצעות QUERY
• טעינת משרות באמצעות PIPELINE
משימות של העתקת קבוצות נתונים לא משתמשות במשבצות הזמנה.

תמחור

מידע על התמחור של שירות העברת נתונים ל-BigQuery זמין בדף תמחור.

אחרי שהנתונים מועברים ל-BigQuery, חלים תעריפי האחסון והשאילתות הרגילים של BigQuery.

מכסות

מידע על המכסות של שירות העברת נתונים ל-BigQuery זמין בדף מכסות ומגבלות.

המאמרים הבאים

במסמכי התיעוד של מקור הנתונים שלכם מוסבר איך ליצור העברה.