מבוא לטעינת נתונים

במאמר הזה מוסבר איך אפשר לטעון נתונים ל-BigQuery. שתי הגישות הנפוצות לשילוב נתונים הן חילוץ, טעינה וטרנספורמציה (ELT) או חילוץ, טרנספורמציה וטעינה (ETL).

לסקירה כללית של גישות ELT ו-ETL, קראו את המאמר מבוא לטעינה, טרנספורמציה וייצוא של נתונים.

שיטות לטעינת נתונים חיצוניים או לגישה אליהם

בדף BigQuery, בתיבת הדו-שיח Add data, אפשר לראות את כל השיטות הזמינות לטעינת נתונים ל-BigQuery או לגישה לנתונים מ-BigQuery. בוחרים אחת מהאפשרויות הבאות בהתאם לתרחיש לדוגמה ולמקורות הנתונים:

שיטת הטעינה תיאור
טעינה באצווה השיטה הזו מתאימה לטעינה באצווה של כמויות גדולות של נתונים ממגוון מקורות.

כדי לטעון נתונים מ-Cloud Storage וממקורות נתונים נתמכים אחרים, ב-batch או באופן מצטבר, מומלץ להשתמש בשירות העברת הנתונים ל-BigQuery.

באמצעות שירות העברת הנתונים ל-BigQuery, כדי להפוך את צינורות עיבוד הנתונים של טעינת הנתונים ל-BigQuery לאוטומטיים, אתם יכולים לתזמן משימות טעינה. אפשר לתזמן העברות נתונים חד-פעמיות או העברות נתונים באצווה במרווחי זמן קבועים (לדוגמה, מדי יום או מדי חודש). כדי לוודא שהנתונים ב-BigQuery תמיד עדכניים, אתם יכולים לעקוב אחרי ההעברות ולתעד אותן ביומן.

רשימה של מקורות הנתונים שנתמכים בשירות העברת הנתונים ל-BigQuery מופיעה במאמר מקורות נתונים נתמכים.
טעינה בסטרימינג השיטה הזו מאפשרת לטעון נתונים כמעט בזמן אמת ממערכות להעברת הודעות.

כדי להעביר נתונים בסטרימינג ל-BigQuery, אתם יכולים להשתמש במינוי ל-BigQuery ב-Pub/Sub. ‫Pub/Sub יכול לטפל בנפח גבוה של טעינת נתונים ל-BigQuery. הוא תומך בסטרימינג של נתונים בזמן אמת, וטוען נתונים תוך כדי שהם נוצרים. למידע נוסף, קראו את המאמר מינויים ל-BigQuery.
סימון נתונים שהשתנו (CDC) השיטה הזו מאפשרת לשכפל נתונים ממסדי נתונים ל-BigQuery כמעט בזמן אמת.

Datastream יכול להעביר נתונים ממסדי נתונים ל-BigQuery באמצעות שכפול כמעט בזמן אמת. ‫Datastream משתמש ביכולות של CDC כדי לעקוב אחרי שינויים ברמת השורה ממקורות הנתונים ולשכפל אותם.

לרשימה של מקורות הנתונים שנתמכים ב-Datastream, ראו מקורות.
איחוד למקורות נתונים חיצוניים השיטה הזו מאפשרת גישה לנתונים חיצוניים בלי לטעון אותם ל-BigQuery.

ב-BigQuery אפשר לגשת למקורות נתונים חיצוניים נבחרים דרך Cloud Storage ושאילתות לכמה מסדי נתונים. היתרון של השיטה הזו הוא שלא צריך לטעון את הנתונים לפני שמשנים אותם לשימוש הבא. כדי לבצע את הטרנספורמציה, אפשר להריץ הצהרות SELECT על הנתונים החיצוניים.

אפשר גם להשתמש בשיטות הפרוגרמטיות הבאות כדי לטעון את הנתונים:

שיטת הטעינה תיאור
טעינה באצווה אפשר לטעון נתונים מ-Cloud Storage או מקובץ מקומי על ידי יצירת משימת טעינה.

אם נתוני המקור משתנים לעיתים רחוקות, או אם אתם לא צריכים תוצאות שמתעדכנות באופן רציף, משימות טעינה יכולות להיות דרך זולה יותר ופחות עתירת משאבים לטעון את הנתונים ל-BigQuery.

הנתונים שנטענים יכולים להיות בפורמט Avro,‏ CSV,‏ JSON,‏ ORC או Parquet. כדי ליצור את משימת הטעינה, אפשר גם להשתמש בהצהרת ה-SQL‏ LOAD DATA.

מערכות פופולריות בקוד פתוח, כמו Spark ושותפי ETL שונים, תומכות גם בטעינת נתונים באצוות ל-BigQuery.

כדי לבצע אופטימיזציה של טעינת אצווה לטבלאות, כדי להימנע מהגעה למגבלת הטעינה היומית, קראו את המאמר אופטימיזציה של משימות טעינה.
טעינה בסטרימינג אם אתם צריכים לתמוך במקורות נתונים מותאמים אישית בסטרימינג, או לעבד מראש נתונים לפני הסטרימינג שלהם עם תפוקה גדולה ל-BigQuery, השתמשו ב-Dataflow.

למידע נוסף על טעינה מ-Dataflow ל-BigQuery, קראו את המאמר כתיבה מ-Dataflow ל-BigQuery.

אפשר גם להשתמש ישירות ב-BigQuery Storage Write API (gRPC).

כדי לבצע אופטימיזציה של סטרימינג לטבלאות ולהימנע מהגעה למגבלת הטעינה היומית, קראו את המאמר אופטימיזציה של משימות טעינה.

‫Cloud Data Fusion יכול לעזור לכם בתהליך ה-ETL. ב-BigQuery אפשר גם לעבוד עם שותפי צד שלישי שמשנים נתונים וטוענים אותם ל-BigQuery.

ב-BigQuery אפשר ליצור חיבורים חיצוניים כדי לשלוח שאילתות על נתונים שמאוחסנים מחוץ ל-BigQuery בשירותי Google Cloud כמו Cloud Storage או Spanner, או במקורות של צד שלישי כמו Amazon Web Services ‏ (AWS) או Microsoft Azure. החיבורים החיצוניים האלה משתמשים ב-BigQuery Connection API. מידע נוסף זמין במאמר מבוא לחיבורים.

דרכים אחרות לאיסוף נתונים

אתם יכולים להריץ שאילתות על נתונים בלי לטעון אותם בעצמכם ל-BigQuery. בקטעים הבאים מתוארות כמה חלופות.

ברשימה הבאה מתוארות כמה מהאפשרויות החלופיות:

הרצת שאילתות על נתונים ציבוריים

מערכי נתונים ציבוריים הם מערכי נתונים שמאוחסנים ב-BigQuery ומשותפים עם הציבור. למידע נוסף, קראו את המאמר מערכי נתונים ציבוריים של BigQuery.

הרצת שאילתות על נתונים משותפים

כדי להריץ שאילתות על מערך נתונים ב-BigQuery שמישהו שיתף איתכם, קראו את המאמר מבוא ל-BigQuery sharing (לשעבר Analytics Hub). שיתוף הוא פלטפורמה להחלפת נתונים שמאפשרת לשתף נתונים.

הרצת שאילתות עם נתוני יומנים

אתם יכולים להריץ שאילתות על יומנים בלי ליצור משימות טעינה נוספות:

המאמרים הבאים