מבוא למערכי נתונים

מערכי נתונים ב-BigQuery מאפשרים לארגן את הטבלאות והתצוגות ולשלוט בגישה אליהן. אתם יכולים גם להשתמש במערכי נתונים כדי לציין מיקומי אחסון, לנהל מדיניות שמירת נתונים ולהתחבר למקורות נתונים חיצוניים.

מערכי נתונים

כל מערך נתונים נמצא בפרויקט ספציפי. מערכי נתונים הם קונטיינרים ברמה העליונה שמשמשים לארגון ולשליטה על הגישה לטבלאות ולתצוגות (Views). טבלה או תצוגה צריכות להשתייך למערך נתונים, לכן אתם צריכים ליצור לפחות מערך נתונים אחד לפני העלאת הנתונים ל-BigQuery. כשמשתמשים ב-GoogleSQL, צריך להשתמש בפורמט projectname.datasetname כדי להגדיר במלואו את שם מערך הנתונים. כשמשתמשים בכלי שורת הפקודה של bq, צריך להשתמש בפורמט projectname:datasetname כדי להגדיר במלואו את שם מערך הנתונים.

מיקום

כשיוצרים מערך נתונים, מציינים מיקום לאחסון הנתונים ב-BigQuery. כאן תוכלו למצוא רשימה של מיקומי מערכי נתונים ב-BigQuery. הנתונים נשמרים ב-BigQuery במיקום שנבחר, בהתאם לתנאים הספציפיים לשירות. לדוגמה, אם בוחרים ב-EU או באזור באיחוד האירופי כמיקום של מערך הנתונים, נתוני הלקוחות ב-Core BigQuery נמצאים באיחוד האירופי.

אחרי שיוצרים את מערך הנתונים אי אפשר לשנות את המיקום, אבל אפשר להעתיק מערכי נתונים למיקומים שונים או להעביר ידנית את מערך הנתונים למיקום אחר (ליצור אותו מחדש).

אם לא מציינים מיקום באופן מפורש, המיקום נקבע באחת מהדרכים הבאות:

  • המיקום של מערכי הנתונים שאליהם מתייחסת הבקשה. לדוגמה, אם שאילתה מפנה לטבלה או לתצוגה בקבוצת נתונים שמאוחסנת באזור asia-northeast1, משימת השאילתה תרוץ ב-asia-northeast1.
  • האזור שצוין לחיבור שאליו מתייחסת הבקשה.
  • המיקום של טבלת היעד.

אם המיקום לא צוין במפורש, ואי אפשר לקבוע אותו מהמשאבים בבקשה, המערכת משתמשת במיקום ברירת המחדל. אם לא מוגדר מיקום ברירת מחדל, המשימה תפעל במספר האזורים US.

שמירת נתונים

במערכי נתונים נעשה שימוש במסע בזמן בשילוב עם תקופת Fail-safe כדי לשמור נתונים שנמחקו או שונו למשך זמן קצר, למקרה שתצטרכו לשחזר אותם. מידע נוסף זמין במאמר שמירת נתונים באמצעות Time Travel ו-Fail-safe.

מודלים של חיוב על אחסון

ב-BigQuery יש שני מודלים לחיוב על אחסון: לוגי (לא דחוס) ופיזי (דחוס).

שינוי מודל החיוב על האחסון משנה רק את הגדרת המדידה. הוא לא כולל העברת נתונים, המרה של פורמט קבצים או שינויים בתשתית. הנתונים תמיד מאוחסנים באותו פורמט פיזי דחוס. שינוי ההגדרה הזו לא משפיע על ביצועי השאילתות, זמן האחזור או השילוב עם אפליקציות אחרות, כמו Looker.

המודל שתבחרו קובע רק איך נמדדים הבייטים המאוחסנים ואיך הם מתומחרים לפי תמחור האחסון:

  • חיוב לוגי: החיוב מבוסס על הגודל של הנתונים הלא דחוסים. זהו מודל ברירת המחדל.
  • חיוב פיזי: החיוב מבוסס על הגודל הדחוס של הנתונים בדיסק.

לא משנה באיזה מודל חיוב תבחרו, הנתונים שלכם מאוחסנים כבייטים פיזיים.

אתם מגדירים את מודל החיוב על אחסון ברמת מערך הנתונים. אם לא מציינים מודל חיוב על אחסון כשיוצרים מערך נתונים, כברירת מחדל המערכת משתמשת בחיוב על אחסון לוגי. עם זאת, אחרי שיוצרים מערך נתונים אפשר לשנות את מודל החיוב על האחסון שלו. אם משנים את מודל החיוב על אחסון של מערך נתונים, צריך להמתין 14 ימים לפני שאפשר לשנות שוב את מודל החיוב על אחסון.

כשמשנים את מודל החיוב של מערך נתונים, השינוי נכנס לתוקף תוך 24 שעות. טבלאות או מחיצות של טבלאות באחסון לטווח ארוך לא מאופסות לאחסון פעיל כשמשנים את מודל החיוב של מערך נתונים. שינוי מודל החיוב של מערך נתונים לא משפיע על ביצועי השאילתות ועל זמן האחזור של השאילתות.

במערכי נתונים נעשה שימוש באחסון Time Travel ו-Fail-safe לשמירת נתונים. כשמשתמשים בחיוב על נפח אחסון פיזי, החיוב על Time Travel ועל אחסון ב-Fail-safe מתבצע בנפרד לפי התעריפים של אחסון פעיל. לעומת זאת, כשמשתמשים בחיוב על נפח אחסון לוגי, החיוב על Time Travel ועל אחסון ב-Fail-safe כלול בתעריף הבסיס. כדי לאזן בין עלויות האחסון הפיזי לבין שמירת הנתונים, אתם יכולים לשנות את חלון הזמן של המסע בזמן שאתם משתמשים בו למערך נתונים. אי אפשר לשנות את חלון ההמרות למקרה של כשל. למידע נוסף על שמירת נתונים של מערך נתונים, ראו שמירת נתונים באמצעות Time Travel ו-Fail-safe. איך יוצרים תחזית של החיובים על אחסון

אי אפשר לרשום מערך נתונים לחיוב על אחסון פיזי אם לארגון יש התחייבויות קיימות מדור קודם למשבצות בתעריף אחיד שנמצאות באותו אזור של מערך הנתונים. ההנחה לא חלה על התחייבויות שנרכשו עם מהדורת BigQuery.

מערכי נתונים חיצוניים

בנוסף למערכי נתונים ב-BigQuery, אתם יכולים ליצור מערכי נתונים חיצוניים, שהם קישורים למקורות נתונים חיצוניים:

מערכי נתונים חיצוניים נקראים גם מערכי נתונים מאוחדים. שני המונחים משמשים לסירוגין.

אחרי שיוצרים מערכי נתונים חיצוניים, הם מכילים טבלאות ממקור נתונים חיצוני שאליו הם מפנים. הנתונים מהטבלאות האלה לא מועתקים ל-BigQuery, אלא נשלחים בשאילתה בכל פעם שמשתמשים בהם. מידע נוסף זמין במאמר שאילתות מאוחדות של Spanner.

מגבלות

מערכי נתונים ב-BigQuery כפופים למגבלות הבאות:

  • אפשר להגדיר את המיקום של קבוצת הנתונים רק כשיוצרים אותה. אי אפשר לשנות את המיקום של מערך הנתונים אחרי שיוצרים אותו.
  • כל הטבלאות שמוזכרות בשאילתה צריכות להיות מאוחסנות במערכי נתונים באותו מיקום.

  • מערכי נתונים חיצוניים לא תומכים בתפוגת תוקף של טבלאות, ברפליקות, ב-Time Travel, בברירת מחדל של איסוף נתונים, בברירת מחדל של מצב עיגול או באפשרות להפעיל או להשבית שמות של טבלאות ללא תלות ברישיות.

  • כשמעתיקים טבלה, מערכי הנתונים שמכילים את טבלת המקור ואת טבלת היעד צריכים להיות באותו מיקום.

  • שמות מערכי הנתונים צריכים להיות ייחודיים לכל פרויקט.

  • אם משנים את מודל החיוב על אחסון של מערך נתונים, צריך להמתין 14 ימים לפני שאפשר לשנות שוב את מודל החיוב על אחסון.

  • אי אפשר לרשום מערך נתונים לחיוב על נפח אחסון פיזי אם יש לכם התחייבויות קיימות מדור קודם ל-slots בתעריף קבוע באותו אזור שבו נמצא מערך הנתונים.

מכסות

מידע נוסף על מכסות ומגבלות של מערכי נתונים זמין במאמר מכסות ומגבלות.

תמחור

לא תחויבו על יצירה, עדכון או מחיקה של מערך נתונים.

מידע נוסף על התמחור ב-BigQuery

אבטחה

במאמר שליטה בגישה למערכי נתונים מוסבר איך שולטים בגישה למערכי נתונים ב-BigQuery. מידע על הצפנת נתונים זמין במאמר הצפנה במנוחה.

המאמרים הבאים