טעינת נתונים בטבלאות מחולקות למחיצות

במאמר הזה מוסבר איך לטעון נתונים לטבלאות עם חלוקה למחיצות.

כתיבת נתונים למחיצה ספציפית

אפשר לטעון נתונים למחיצה ספציפית באמצעות הפקודה bq load עם קישוט מחיצה. בדוגמה הבאה, הנתונים מצורפים למחיצה 20160501 (1 במאי 2016) של טבלה קיימת, בהנחה שהטבלה כבר חולקה למחיצות לפי תאריך:

bq load --source_format=CSV 'my_dataset.my_table$20160501' data.csv

אפשר גם לכתוב את התוצאות של שאילתה למחיצה ספציפית:

bq query \
  --use_legacy_sql=false  \
  --destination_table='my_table$20160501' \
  --append_table=true \
  'SELECT * FROM my_dataset.another_table'

באמצעות חלוקה למחיצות בזמן ההטמעה, אפשר להשתמש בטכניקה הזו כדי לטעון נתונים ישנים למחיצה שתואמת לזמן שבו הנתונים נוצרו במקור.

אפשר להשתמש בטכניקה הזו גם כדי להתאים את אזורי הזמן. כברירת מחדל, מחיצות של זמן ההטמעה מבוססות על שעון UTC. אם רוצים שהשעה של המחיצה תתאים לאזור זמן מסוים, אפשר להשתמש במאפייני קישוט של מחיצות כדי להוסיף היסט לשעת ההוספה של הנתונים ב-UTC. לדוגמה, אם אתם נמצאים באזור זמן PST (שעון החוף המערבי של ארה"ב), אתם יכולים לטעון נתונים שנוצרו ב-1 במאי 2016 בשעה 23:30 לפי שעון PST למחיצה של התאריך הזה באמצעות מעצב המחיצות המפורש המתאים, $2016050123. אם לא השתמשתם במעצב הזה, המערכת תטען את הערך במקום זאת לתוך $2016050207 (2 במאי, 07:00 UTC).

בטבלאות עם חלוקה למחיצות לפי עמודה של יחידת זמן ולפי טווח של מספרים שלמים, מזהה המחיצה שצוין ב-decorator חייב להיות זהה לנתונים שנכתבים. לדוגמה, אם הטבלה מחולקת למחיצות בעמודה DATE, הערך של הקישוט צריך להיות זהה לערך בעמודה הזו. אחרת, תתרחש שגיאה. עם זאת, אם אתם יודעים מראש שהנתונים שלכם נמצאים במחיצה אחת, ציון של מעצב המחיצה יכול לשפר את ביצועי הכתיבה.

בדוגמה הקודמת, הנתונים מצורפים למחיצה. כדי להחליף נתונים במחיצה, צריך לכלול דגלים שונים לכל פקודה, כלומר bq load --replace=true ... ו-bq query --append_table=false .... מידע נוסף על הדגלים בפקודות האלה זמין במאמרים bq load וbq query.

מידע נוסף על טעינת נתונים זמין במאמר מבוא לטעינת נתונים ל-BigQuery.

הזרמת נתונים לטבלאות מחולקות למחיצות

מידע על סטרימינג של נתונים לטבלה עם מחיצות באמצעות BigQuery Storage Write API זמין במאמר בנושא סטרימינג לטבלאות עם מחיצות.

המאמרים הבאים

מידע נוסף על עבודה עם טבלאות מחולקות:

• יצירת טבלאות עם חלוקה למחיצות
• ניהול טבלאות עם חלוקה למחיצות
• הרצת שאילתות על טבלאות מחולקות למחיצות