מבוא לניהול BigQuery

בעזרת ניהול BigQuery אתם יכולים להגדיר, לאבטח ולנטר את משאבי הנתונים ואת עומסי העבודה של המחשוב בארגון. אתם יכולים להשתמש ביכולות האלה כדי להקצות קיבולת מחשוב, לשפר את ביצועי השאילתות, לשלוט בעלויות ולאכוף מדיניות גישה.

כדי לראות סיור של תכונות ניהול הנתונים של BigQuery ישירות במסוף Google Cloud , לוחצים על Take the tour.

להתחלת הסיור

כלים

ב-BigQuery יש כמה ממשקים שאפשר להשתמש בהם למשימות ניהול. במקרים רבים אפשר לבצע משימה מסוימת באמצעות כמה כלים, כך שאתם יכולים לבחור את הכלי שהכי מתאים לכם. לדוגמה, אפשר ליצור טבלה באמצעות החלונית Explorer במסוףGoogle Cloud , פקודת bq mk --table או הצהרת SQL של CREATE TABLE.

  • Google Cloud console. במסוף Google Cloud יש כמה דפים שמיועדים לניהול BigQuery. איך משתמשים במסוף Google Cloud ?

  • הצהרות SQL. בדף BigQuery במסוףGoogle Cloud יש עורך שאילתות שבו אפשר לבצע משימות ניהוליות באמצעות הצהרות DDL ו-DCL. מידע נוסף זמין במאמרים שפת הגדרת נתונים (DDL) ושפת בקרת נתונים (DCL).

    אתם יכולים להשתמש בפרוצדורות מאוחסנות כדי להפוך משימות ניהול שמשתמשות בהצהרות SQL לאוטומטיות. מידע נוסף מופיע במאמר עבודה עם פרוצדורות מאוחסנות.

  • פקודות bq. כלי שורת הפקודה של BigQuery מאפשר לבצע הרבה משימות ניהוליות באמצעות פקודות bq. אתם יכולים להשתמש בכלי שורת הפקודה של BigQuery כדי לבצע משימות שלא נתמכות במסוף Google Cloud , כדי ליצור אב טיפוס של יכולות לפני הקידוד שלהן בשאילתות או בשיטות API, או אם אתם מעדיפים לעבוד בממשק שורת פקודה. מידע נוסף זמין במאמר שימוש בכלי שורת הפקודה של BigQuery.

ניהול משאבים

המשאבים של BigQuery כוללים ארגונים, תיקיות, פרויקטים, מערכי נתונים וטבלאות. בקטע הזה מוסבר איך לנהל את המשאבים של הארגון.

למידע על ארגון המשאבים של BigQuery, קראו את המאמר מבוא להיררכיית המשאבים. באופן ספציפי, אתם יכולים ליצור משאב ארגון שמאפשר לבצע משימות מסוימות, כמו הגדרת בקרות גישה, ברמת הארגון.

ניהול מערכי נתונים

מערכי נתונים הם קונטיינרים של טבלאות. אפשר ליצור טבלאות במערך נתונים ולנהל אותן כקבוצה. לדוגמה, אפשר להגדיר את זמן התפוגה של טבלה כברירת מחדל במערך נתונים, והוא יחול על כל הטבלאות במערך הנתונים, אלא אם תבטלו אותו. אפשר להעתיק קבוצה של טבלאות על ידי יצירת עותק של מערך הנתונים שלהן, ואפשר לשלוט בגישה לטבלאות ברמת מערך הנתונים.

עיין במאמרי העזרה הבאים לקבלת מידע נוסף על ניהול קבוצות נתונים:

ניהול טבלאות

ב-BigQuery, הנתונים מאוחסנים בטבלאות, שבהן אפשר לשלוח שאילתות. אתם יכולים ליצור טבלאות, לטעון נתונים לטבלאות ממקורות שונים ובפורמטים שונים, לחלק טבלאות למחיצות על סמך עמודה ספציפית או לפי זמן הטמעת הנתונים, לארגן טבלאות באשכולות, לעדכן מאפייני טבלאות ולייצא נתוני טבלאות.

במסמכים הבאים מוסבר איך לנהל טבלאות:

מקורות מידע שקשורים לתוויות

כדי לארגן את המשאבים ב-BigQuery, אתם יכולים להוסיף תוויות למערכי הנתונים, לטבלאות ולתצוגות. תוויות הן צמדי מפתח/ערך שאפשר לצרף למשאב. אחרי שמוסיפים תוויות למשאבים, אפשר לחפש אותם לפי ערכי התוויות. לדוגמה, אפשר להשתמש בתוויות כדי לקבץ מערכי נתונים לפי מחלקה, על ידי הוספת תוויות כמו dept:sales, dept:marketing או dept:analytics. לאחר מכן תוכלו לפרק את החיובים לפי מחלקה באמצעות התוויות.

מידע נוסף זמין במאמר מבוא לתוויות.

קבלת מידע על משאבים

כדי לקבל מידע על המשאבים שלכם ב-BigQuery, אתם יכולים לשלוח שאילתות לתצוגות של INFORMATION_SCHEMA. ב-BigQuery יש תצוגות לכל סוג משאב. לדוגמה, התצוגה INFORMATION_SCHEMA.TABLES מכילה מידע על הטבלאות.

הנה כמה דוגמאות למידע שאפשר לקבל באמצעות שאילתות בתצוגות של INFORMATION_SCHEMA:

  • לראות מתי הטבלה נוצרה.
  • קבלת השמות וסוגי הנתונים של כל עמודה בטבלה.
  • למצוא את כל המשימות שפועלות בפרויקט.
  • קבלת רשימה של קובצי ה-snapshot של הטבלה שנוצרו ממסד נתונים טבלאי.
  • לקבל את הצהרת ה-DDL שאפשר להשתמש בה כדי ליצור את המשאב, עבור מערך נתונים, טבלה, תצוגה או שגרת משנה.
  • קבלת האפשרויות ששימשו ליצירת טבלה (לדוגמה, תפוגת תוקף של טבלה).
  • למצוא את עמודות החלוקה למחיצות והקיבוץ לאשכולות בטבלה.
  • קבלת המקום השמור שהוקצה לפרויקט וקיבולת ה-slots שלו.

למידע נוסף, קראו את המאמר מבוא ל-BigQuery INFORMATION_SCHEMA.

העתקת הנתונים

יכול להיות שתרצו ליצור עותקים של הנתונים מסיבות שונות, כמו הגנה מפני טעויות אנוש או שמירת נתונים להשוואה בעתיד. ב-BigQuery יש כמה אפשרויות להעתקת נתונים של טבלה מנקודת זמן מסוימת.

  • מסע בזמן. יכול להיות שתצטרכו לגשת למצב של טבלה כפי שהיה בשבוע האחרון, למשל אם הנתונים נפגמו בגלל טעות אנוש. ב-BigQuery, הנתונים ההיסטוריים של הטבלאות נשמרים למשך שבעה ימים. אפשר לגשת לנתונים ההיסטוריים האחרונים של טבלה באמצעות התכונה "מסע בזמן".

    למידע נוסף, קראו את המאמר גישה לנתונים היסטוריים באמצעות מסע בזמן.

  • תמונות מצב של טבלאות. אם אתם רוצים שתהיה לכם גישה למצב של טבלה מלפני יותר משבוע, כדאי ליצור תמונות מצב של הטבלה מדי פעם. תמונות מצב של טבלאות הן עותקים קלים לקריאה בלבד, שמאפשרים לשמור את מצב הטבלאות ללא הגבלת זמן. לדוגמה, באמצעות קובצי snapshot של טבלאות אפשר להשוות בין הנתונים הנוכחיים של הטבלה לבין הנתונים מתחילת השנה, דבר שלא ניתן לעשות באמצעות Time Travel. החיוב הוא רק על אחסון הנתונים ששונים בין מסד הנתונים הטבלאי לבין קובץ ה-snapshot של הטבלה.

    מידע נוסף זמין במאמר מבוא לתמונות מצב של טבלאות.

  • שכפולי טבלאות. אם אתם רוצים ליצור עותק קל משקל של טבלה שניתן לכתוב בו, אתם יכולים להשתמש בשיבוטי טבלאות. אתם משלמים רק על אחסון הנתונים ששונים בין מסד נתונים טבלאי לבין השכפול הטבלאי שלו. לדוגמה, אתם יכולים ליצור שיבוטי טבלאות בסביבת בדיקה כדי להתנסות בעותקים של נתוני ייצור בלי להשפיע על נתוני הייצור ובלי לשלם על אחסון של עותקים מלאים של הטבלאות.

    מידע נוסף זמין במאמר מבוא לשיבוטי טבלאות.

מעקב אחרי שושלת נתונים

שושלת נתונים היא תכונה של Knowledge Catalog שמאפשרת לעקוב אחרי תנועת הנתונים במערכות: מאיפה הם מגיעים, לאן הם מועברים ואילו טרנספורמציות מוחלות עליהם. למידע נוסף על האופן שבו שושלת נתונים יכולה לעזור לכם לעקוב אחרי תנועת הנתונים בפרויקט, קראו את המאמר מידע על שושלת נתונים ב-Knowledge Catalog.

משאבים מאובטחים

האבטחה ב-BigQuery מבוססת על Google Cloud ניהול זהויות והרשאות גישה (IAM). ב-BigQuery אפשר לשלוט בגישה למשאבים ברמות רבות, כולל גישה לארגון, לתיקיות, לפרויקטים, למערכי נתונים, לטבלאות, לעמודות בטבלאות ולשורות בטבלאות.

למידע על בקרת הגישה למשאבים של BigQuery, קראו את הסקירה הכללית על אבטחת מידע ומשילות.

ניהול עומסי עבודה

‫BigQuery מבצע הרבה משימות בשביל המשתמשים, כולל הטמעה, שליחת שאילתות וייצוא של נתונים. כל משימה מבוצעת על ידי משימה ב-BigQuery. בקטע הזה מוסבר איך לעקוב אחרי המשימות של הארגון ולנהל אותן.

ניהול משרות

משימות הן פעולות ש-BigQuery מריץ בשם המשתמש כדי לטעון, לייצא, להעתיק או להריץ שאילתות על נתונים. כשמשתמש מתחיל אחת מהמשימות האלה באמצעות מסוףGoogle Cloud , כלי שורת הפקודה של BigQuery, הצהרת SQL או קריאה ל-API, המערכת של BigQuery יוצרת באופן אוטומטי משימה לביצוע הפעולה.

אדמינים ב-BigQuery יכולים לעקוב אחרי המשימות של הארגון, לנהל אותן ולפתור בהן בעיות כדי לוודא שהן פועלות בצורה חלקה.

מידע נוסף זמין במאמר ניהול משימות.

ניהול ההזמנות

כשמריצים שאילתות ב-BigQuery, המערכת משתמשת ביחידות מחשוב שנקראות משבצות. ‫BigQuery מחשב כמה משבצות נדרשות כדי להריץ כל שאילתה, בהתאם לגודל ולמורכבות של השאילתה.

ב-BigQuery יש שני מודלים לתמחור החיוב על המשבצות שבהן מריצים את השאילתות:

  • חיוב על פי דרישה. השאילתות שלכם משתמשות במאגר משותף של משבצות, ואתם מחויבים על מספר הבייטים שהשאילתות מעבדות. למידע נוסף על מגבלות החיוב על פי דרישה, ראו משימות של שאילתות.
  • חיוב לפי קיבולת. אתם מקצים הזמנה או התחייבות לקיבולת למהדורה, שלכל אחת מהן יש קבוצת תכונות ומחיר משלה, כדי לספק לכם את סביבת העבודה הטובה ביותר.

מודלי התמחור האלה חלים על כל פרויקט בנפרד, כך שחלק מהפרויקטים יכולים להשתמש בחיוב על פי דרישה וחלק מהפרויקטים יכולים להשתמש בחיוב מבוסס-קיבולת.

בחיוב על פי דרישה, אחרי שמנצלים את השימוש החינמי החודשי, מחויבים על מספר הבייטים שכל שאילתה מעבדת. התפוקה מוגבלת למכסת משבצות מוגדרת מראש, שמשותפת בין השאילתות שפועלות בפרויקט.

בחיוב לפי מהדורות BigQuery, אתם מקצים יחידות קיבולת לארגון באמצעות הזמנות עם התאמה אוטומטית לעומס, וגם התחייבויות אופציונליות וזולות יותר לקיבולת. לכל מהדורה יש מחיר משלה, והיא מציעה קבוצה משלה של תכונות. למידע נוסף על מהדורות BigQuery והתכונות שמשויכות אליהן, קראו את המאמר מבוא למהדורות BigQuery.

במסמכים הבאים מוסבר איך לנהל את קיבולת המחשוב לעיבוד השאילתות:

מעקב אחרי משאבים

ב-Google Cloud אפשר לעקוב אחרי המשאבים שלכם, כולל משאבי BigQuery. בקטע הזה מתוארותGoogle Cloud יכולות המעקב והביקורת שרלוונטיות ל-BigQuery.

למידע נוסף, קראו את המאמר מבוא למעקב ב-BigQuery.

לוח הבקרה של Cloud Monitoring

ב-Cloud Monitoring יש לוח בקרה למעקב אחרי BigQuery. אתם יכולים להשתמש במרכז הבקרה הזה כדי לראות מידע על אירועים, מערכי נתונים, טבלאות, פרויקטים, זמני שאילתות וניצול משבצות ב-BigQuery.

למידע נוסף, ראו הצגת לוח הבקרה של Monitoring.

תרשימים והתראות של ניהול

אתם יכולים להשתמש ב-Cloud Monitoring כדי ליצור תרשימים בהתאמה אישית על סמך המשאבים, המדדים וכל צבירה שתציינו.

למידע נוסף, ראו מרכזי בקרה ותרשימים.

אתם יכולים גם ליצור מדיניות התראות כדי לקבל התראה אם ההתראה שהגדרתם מופעלת. לדוגמה, אתם יכולים ליצור התראה ששולחת אימייל לכתובת אימייל מסוימת אם זמן הביצוע של שאילתה חורג ממגבלה מסוימת.

מידע נוסף זמין במאמר יצירת התראה.

מעקב אחרי הזמנות

אפשר לעקוב אחרי השימוש ב-slots בדף Workload management במסוףGoogle Cloud . אתם יכולים לראות את ההתחייבויות לקיבולת ואת המקומות שבהם הוקצו הזמנות ה-slots. אתם יכולים גם להשתמש בכלי להערכת משבצות (גרסת טרום-השקה (Preview)) כדי להעריך את דרישות הקיבולת של הארגון על סמך מדדי ביצועים היסטוריים.

למידע נוסף, קראו את המאמר מעקב אחרי הזמנות ב-BigQuery.

מכסות

ב-Google Cloud יש מגבלות על השימוש במשאבים, כולל משאבי BigQuery, כדי להבטיח שימוש הוגן במשאבים משותפים ולהגן עליכם מפני עלויות בלתי נשלטות. במסוף Google Cloud אתם יכולים לראות את השימוש במשאבי BigQuery שיש להם מכסות, ולבקש להגדיל את המכסה במקרה הצורך.

למידע נוסף, קראו את המאמר מכסות ומגבלות ב-BigQuery.

יומני ביקורת

יומני הביקורת של Cloud מתעדים את האירועים ב- Google Cloud , כולל אירועים ב-BigQuery. אתם יכולים להשתמש בLogs Explorer כדי לשלוח שאילתות על היומנים לגבי אירועים שקשורים למשימות, למערכי נתונים, להעברות ועוד ב-BigQuery. בלוח הבקרה של היומנים מוצג מידע על שגיאות שהתרחשו לאחרונה, ואפשר להשתמש במדדים מבוססי-יומנים כדי לספור את הרשומות ביומן שתואמות למסנן נתון.

מידע נוסף זמין במאמרי העזרה בנושא רישום ביומן ב-Google Cloud .

אופטימיזציה של עומסי העבודה (workloads)

אתם יכולים לשנות את ההגדרות של BigQuery כדי לשלוט בעלויות האחסון ובעלויות של עיבוד השאילתות.

הנחיות בנושא אמינות

במסמך הזה מוסבר על האמינות של BigQuery, כולל תובנות לגבי זמינות, עמידות, עקביות של נתונים, עקביות של ביצועים ושחזור נתונים ב-BigQuery, וגם סקירה של שיקולים לטיפול בשגיאות. מידע נוסף על אמינות ותכנון התאוששות מאסון זמין במאמר הסבר על אמינות.

פתרון בעיות

בנוסף לתכונות שמתוארות במאמר הזה למעקב ולניהול של מערכת BigQuery בארגון, המשאבים הבאים זמינים לפתרון בעיות שעלולות לצוץ:

אם אתם צריכים עזרה נוספת, תוכלו לפנות לתמיכה.

המאמרים הבאים