מבוא למערכי נתונים
בדף הזה יש סקירה כללית של מערכי נתונים ב-BigQuery.
מערכי נתונים
מערך נתונים נמצא בתוך פרויקט ספציפי. מערכי נתונים הם קונטיינרים ברמה העליונה שמשמשים לארגון ולשליטה על הגישה לטבלאות ולתצוגות (Views). טבלה או תצוגה צריכות להשתייך למערך נתונים, לכן אתם צריכים ליצור לפחות מערך נתונים אחד לפני העלאת הנתונים ל-BigQuery.
כשמשתמשים ב-GoogleSQL, צריך להשתמש בפורמט projectname.datasetname כדי לציין שם של מערך נתונים באופן מלא. כשמשתמשים בכלי שורת הפקודה של BigQuery, צריך להשתמש בפורמט projectname:datasetname כדי לציין שם של מערך נתונים באופן מלא.
מיקום
כשיוצרים מערך נתונים, מציינים מיקום לאחסון הנתונים ב-BigQuery. רשימת המיקומים של מערכי נתונים ב-BigQuery זמינה במאמר בנושא מיקומים ב-BigQuery. אחרי שיוצרים את מערך הנתונים, אי אפשר לשנות את המיקום שלו, אבל אפשר להעתיק מערכי נתונים למיקומים שונים או להעביר ידנית את מערך הנתונים למיקום אחר (ליצור אותו מחדש).
מערכת BigQuery מעבדת שאילתות באותו מיקום שבו נמצא מערך הנתונים שמכיל את הטבלאות שאתם מריצים עליהן שאילתות. הנתונים שלכם נשמרים ב-BigQuery במיקום שנבחרבהתאם לתנאים הספציפיים לשירות.
שמירת נתונים
במערכי נתונים נעשה שימוש בחזרה בזמן בשילוב עם תקופת ההמתנה למקרה של כשל כדי לשמור נתונים שנמחקו או ששונו למשך זמן קצר, למקרה שתצטרכו לשחזר אותם. מידע נוסף זמין במאמר בנושא שמירת נתונים באמצעות תכונות Time Travel ו-Fail-safe.
מודלים לחיוב על אחסון
יכול להיות שתחויבו על אחסון נתונים ב-BigQuery בבייטים לוגיים או בבייטים פיזיים (דחוסים), או בשילוב של שניהם. מודל החיוב על האחסון שבוחרים קובע את תמחור האחסון. מודל החיוב של נפח האחסון שתבחרו לא משפיע על הביצועים של BigQuery. לא משנה באיזה מודל חיוב תבחרו, הנתונים שלכם מאוחסנים כבייטים פיזיים.
מודל החיוב על אחסון מוגדר ברמת מערך הנתונים. אם לא מציינים מודל חיוב לאחסון כשיוצרים מערך נתונים, ברירת המחדל היא חיוב על אחסון לוגי. עם זאת, אפשר לשנות את מודל החיוב של האחסון של מערך נתונים אחרי שיוצרים אותו. אם משנים את מודל החיוב של האחסון של מערך נתונים, צריך לחכות 14 ימים לפני שאפשר לשנות שוב את מודל החיוב של האחסון.
כשמשנים את מודל החיוב של מערך נתונים, חולפות 24 שעות עד שהשינוי נכנס לתוקף. אם משנים את מודל החיוב של מערך נתונים, טבלאות או מחיצות של טבלאות באחסון לטווח ארוך לא מאופסות לאחסון פעיל. שינוי מודל החיוב של מערך נתונים לא משפיע על ביצועי השאילתה ועל זמן האחזור של השאילתה.
במערכי נתונים נעשה שימוש במסע בזמן ובאחסון בטוח מפני כשלים לצורך שימור נתונים. כשמשתמשים בחיוב על אחסון פיזי, החיוב על אחסון בטוח ועל אחזור נתונים מנקודת זמן מסוימת מתבצע בנפרד לפי תעריפי אחסון פעיל. כשמשתמשים בחיוב על אחסון לוגי, החיוב על התכונות האלה כלול בתעריף הבסיסי. כדי לאזן בין עלויות האחסון הפיזי לבין שמירת הנתונים, אפשר לשנות את חלון הזמן של Time Travel שמשמש למערך נתונים. אי אפשר לשנות את חלון ההגנה מפני כשל. מידע נוסף על שמירת נתונים במערך נתונים זמין במאמר שמירת נתונים באמצעות Time Travel ו-Fail-safe. מידע נוסף על תחזית העלויות של אחסון זמין במאמר תחזית החיובים על אחסון.
אי אפשר לרשום מערך נתונים לחיוב על אחסון פיזי אם לארגון יש התחייבויות קיימות למשבצות במחיר קבוע מדור קודם שנמצאות באותו אזור כמו מערך הנתונים. ההנחה הזו לא חלה על התחייבויות לרכישה של מהדורות BigQuery.
מערכי נתונים חיצוניים
בנוסף למערכי נתונים ב-BigQuery, אפשר ליצור מערכי נתונים חיצוניים, שהם קישורים למקורות נתונים חיצוניים:
מערכי נתונים חיצוניים נקראים גם מערכי נתונים מאוחדים, ושני המונחים משמשים לסירוגין.
אחרי שיוצרים מערכי נתונים חיצוניים, הם מכילים טבלאות ממקור נתונים חיצוני שמפנים אליו. הנתונים מהטבלאות האלה לא מועתקים ל-BigQuery, אלא מתבצעת שאילתה בכל פעם שמשתמשים בהם. מידע נוסף זמין במאמר בנושא שאילתות מאוחדות ב-Spanner.
מגבלות
מערכי נתונים ב-BigQuery כפופים למגבלות הבאות:
- אפשר להגדיר את המיקום של מערך הנתונים רק בזמן היצירה. אחרי שיוצרים את מערך הנתונים, אי אפשר לשנות את המיקום שלו.
- כל הטבלאות שאליהן מתבצעת הפניה בשאילתה צריכות להיות מאוחסנות במערכי נתונים באותו מיקום.
מערכי נתונים חיצוניים לא תומכים בתפוגת טבלה, בעותקים משוכפלים, בשיחזור נתונים לנקודת זמן מסוימת, בהשוואה (collation) של ברירת מחדל, במצב עיגול של ברירת מחדל או באפשרות להפעיל או להשבית שמות טבלאות שלא תלויים באותיות רישיות.
כשמעתיקים טבלה, מערכי הנתונים שמכילים את טבלת המקור ואת טבלת היעד צריכים להיות באותו מיקום.
שמות מערכי הנתונים חייבים להיות ייחודיים לכל פרויקט.
אם משנים את מודל החיוב על האחסון של מערך נתונים, צריך לחכות 14 ימים לפני שאפשר לשנות שוב את מודל החיוב על האחסון.
אי אפשר לרשום מערך נתונים לחיוב על אחסון פיזי אם יש לכם התחייבויות קיימות לשימוש במשבצות במחיר קבוע מדור קודם שנמצאות באותו אזור כמו מערך הנתונים.
מכסות
מידע נוסף על מכסות ומגבלות של מערכי נתונים זמין במאמר מכסות ומגבלות.
תמחור
לא נגבה תשלום על יצירה, עדכון או מחיקה של מערך נתונים.
מידע נוסף על התמחור של BigQuery זמין במאמר תמחור.
אבטחה
מידע על בקרת גישה למערכי נתונים ב-BigQuery זמין במאמר בקרת גישה למערכי נתונים. מידע על הצפנת נתונים זמין במאמר הצפנה במנוחה.
המאמרים הבאים
- מידע נוסף על יצירת מערכי נתונים זמין במאמר יצירת מערכי נתונים.
- מידע נוסף על הקצאת אמצעי בקרת גישה למערכי נתונים זמין במאמר שליטה בגישה למערכי נתונים.