מעקב אחרי תקינות, ניצול משאבים ועבודות
אדמינים ב-BigQuery יכולים לעקוב אחרי התקינות של הארגון, השימוש במשבצות והביצועים של העבודות לאורך זמן באמצעות תרשימים של תקינות תפעולית וניצול משאבים. BigQuery מספק תרשימים שניתנים להגדרה כדי לעזור לכם:
מעקב אחרי תקינות התפעול של BigQuery. ניטור תקינות תפעולית בזמן אמת של BigQuery הוא מערכת ניטור מרכזית שמאפשרת לכם לעקוב אחרי השימוש ב-BigQuery בארגון בכמה מיקומים.
איך צופים בניצול משאבים ב-BigQuery אפשר להשתמש בנתונים היסטוריים כדי לבצע ניתוח שורש הבעיה, לתכנן את הקיבולת ולאבחן שינויים בביצועים.
לפני שמתחילים
- כדי לראות את תקינות הפעולה, צריך להשתמש בהזמנות שאפשר לגשת אליהן באמצעות פרויקט ניהול. הדבר הזה לא נדרש כדי לצפות בתרשימי ניצול המשאבים.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות בשביל לראות את כל הנתונים בתרשימים של תקינות תפעולית וניצול משאבים, אתם צריכים לבקש מהאדמין לתת לכם את תפקידי ה-IAM הבאים בארגון:
-
BigQuery Resource Viewer (
roles/bigquery.resourceViewer) -
BigQuery Metadata Viewer (
roles/bigquery.metadataViewer)
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי להציג את כל הנתונים בתרשימים של תקינות תפעולית וניצול משאבים. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי לראות את כל הנתונים בתרשימים של תקינות תפעולית וניצול משאבים, נדרשות ההרשאות הבאות:
-
כדי לראות את כל הנתונים בתרשימים של התקינות התפעולית וניצול המשאבים בארגון:
-
bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAllבארגון -
bigquery.reservationAssignments.listבפרויקט הניהול ששימש ליצירת ההזמנות -
bigquery.capacityCommitments.listבפרויקט הניהול ששימש ליצירת ההזמנות
-
-
כמשתמשים לפי דרישה, כדי לראות את כל הנתונים בתרשימים של ניצול המשאבים בארגון:
bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAllבארגון -
כדי לראות נתוני סיכום של תקינות תפעולית של אחסון טבלאות ב-BigQuery:
bigquery.tables.get or bigquery.tables.listבארגון -
כדי לראות את התרשימים של תקינות תפעולית וניצול משאבים ברמת ההזמנה:
-
bigquery.reservations.listבפרויקט הניהול ששימש ליצירת ההזמנות -
bigquery.reservationAssignments.listבפרויקט הניהול ששימש ליצירת ההזמנות
-
-
כדי לראות תרשימים של ניצול משאבים ברמת הפרויקט:
bigquery.jobs.listAllבפרויקט
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
מעקב אחר תקינות תפעולית בארגון
לוח הבקרה של תקינות התפעול מציג מדדי מפתח של הארגון וההזמנות שלו בכל המיקומים שבהם יש לכם הזמנות. אפשר להשתמש בלוח הבקרה הזה כדי לעקוב אחרי המדדים הבאים:
- שימוש ביחידת קיבולת (Slot)
- שימוש בהצגה בסדר אקראי
- בו-זמניות של משימות
- שגיאות
- משך העבודה
- בייטים שעובדו
- סה"כ נפח אחסון
הצגת תרשימים של תקינות תפעולית
כדי לראות מידע על תקינות הפעילות של הארגון, פועלים לפי השלבים הבאים:
במסוף Google Cloud , עוברים לדף Monitoring של BigQuery.
בוחרים את פרויקט הניהול שבו השתמשתם כדי לרכוש משבצות וליצור הזמנות.
בדף Monitoring, עוברים לכרטיסייה Operational health כדי לראות סיכום של המדדים העיקריים של הארגון לגבי כל המיקומים וההזמנות.
אופציונלי: כדי לראות מדדים בזמן אמת, שבהם השאילתות מורצות על נתונים עדכניים כל חמש דקות, לוחצים על המתג נתונים בזמן אמת. כברירת מחדל, ההגדרה הזו מושבתת והנתונים לא מעודכנים במשך שעה לכל היותר.
כדי לסנן את המדדים, מגדירים את השדות הבאים:
- ברשימה Select location (בחירת מיקום), בוחרים אזור למעקב.
- ברשימה Select reservation, בוחרים את ההזמנה.
- בוחרים את הפרויקט מהרשימה Select project.
- ברשימה Time range, בוחרים טווח זמן.
אופציונלי: כדי לראות פרטים נוספים על תקינות תפעולית באמצעות תרשים של ניצול משאבים או כלי לבדיקת משימות, לוחצים על מידע נוסף.
מערכת BigQuery אוספת את המדדים על ידי שליחת שאילתות לתצוגות הבאות של INFORMATION_SCHEMA:
INFORMATION_SCHEMA.JOBSINFORMATION_SCHEMA.JOBS_TIMELINEINFORMATION_SCHEMA.RESERVATIONSINFORMATION_SCHEMA.TABLE_STORAGE
תצוגות
בכרטיסייה Operational health מוצגים הסיכום ותצוגות מפורטות של הנתונים הבאים.
תצוגת סיכום
בתצוגת הסיכום אפשר לראות את התקינות של מערכות המשנה בארגון, כולל הזמנות ואזורים, ב-30 הדקות האחרונות.
כדי להציג את תצוגת הסיכום:
- בכרטיסייה Operational health, ברשימה Select location, בוחרים באפשרות All locations.
תצוגה מפורטת
בתצוגה המפורטת מוצגים תרשימי ציר זמן מפורטים של מדדים שונים ברמת המיקום או ההזמנה.
כדי להציג את התצוגה המפורטת:
- בכרטיסייה Operational health, ברשימה Select location, בוחרים את האזור או המהדורה.
אפשר לצמצם את הנתונים שמוצגים בתצוגה המפורטת באמצעות המסננים האופציונליים הבאים:
- ברשימה Select reservation, בוחרים את שם ההזמנה.
- בוחרים את הפרויקט מהרשימה Select project.
תרשימים
ב-BigQuery יש אפשרויות לטבלאות ולתרשימים שמאפשרות לכם לבחון את מדדי התקינות התפעולית בפירוט.
טבלת סיכום
בטבלאות הסיכום מוצגים המדדים הבאים:
- שימוש ביחידת קיבולת (Slot). השימוש הממוצע ביחידות קיבולת. הקיבולת הכוללת של המשבצות שווה לקיבולת הבסיסית ולקיבולת המקסימלית שמתרחבת באופן אוטומטי.
- הפעלה אקראית של השירים הערך המקסימלי של כל יחסי השימוש הממוצעים בהזמנות.
- בו-זמניות. המספר המקסימלי של משימות שפועלות בו-זמנית.
- בייטים שעובדו. מספר הבייטים הכולל שעובד על ידי משימות שהושלמו.
- משך העבודה זמן הריצה הממוצע של העבודות שהושלמו, שמחושב מהזמן שבו העבודה נוצרה ועד הזמן שבו העבודה הסתיימה.
- נפח אחסון כולל. המספר הכולל של בייטים לוגיים פעילים בזמן העדכון האחרון.
בתצוגה מוצגות שתי טבלאות סיכום: סיכום מיקום וסיכום הזמנה. כל שורה בטבלה מייצגת שימוש במיקום אחד או בהזמנה אחת.
בטבלאות מוצגים מדדים ל-30 הדקות שלפני העדכון האחרון. אם האפשרות נתונים בזמן אמת מופעלת, הנתונים שנשלחו בשאילתה מתעדכנים כל חמש דקות. אם האפשרות נתונים בזמן אמת מושבתת, מידת העדכניות המקסימלית של הנתונים היא כשעה.
תא הטבלה מסומן בצבע אם ערך המדד גבוה מסף מוגדר מראש, ואם יש מספר מוגדל של תובנות לגבי ביצועים עבור משימות חוזרות:
- אם ערך המדד ב-30 הדקות שלפני העדכון האחרון גדול מערך P99 של השימוש בשבוע שעבר באותו היום, התא בטבלה מסומן ברקע כחול כהה.
- אם ערך המדד ב-30 הדקות האחרונות הוא בין ערכי P95 ל-P99 של השימוש בשבוע האחרון באותו יום, התא בטבלה יסומן ברקע כחול בהיר.
כל ערכי הסף מוגדרים מראש ואי אפשר להתאים אותם אישית. כדי לבדוק את ערך הסף, לוחצים על מידע מידע.
סינון נתונים
אפשר לסנן את הנתונים בתרשימים לפי הערכים הבאים:
- מיקום אפשר לראות את האזורים שבהם הייתה פעילות בארגון ב-30 הימים האחרונים. בתצוגת הסיכום מוצגת טבלה עם סיכום השימוש בכל האזורים הפעילים.
- הזמנה. השדה הזה זמין רק בתצוגה המפורטת. כל ההזמנות שבבעלות פרויקט האדמין זמינות. אפשר לבחור רק הזמנה אחת.
- פרויקט. השדה הזה זמין רק בתצוגה המפורטת. כל הפרויקטים שיש בהם תנועה בארגון זמינים. אפשר לבחור רק פרויקט אחד.
- טווח תאריכים. השדה הזה זמין רק בתצוגה המפורטת. היא משפיעה על תרשימי ציר הזמן של המדדים ועל תרשים הטבעת של השגיאות בתצוגה המפורטת. הקנה מידה של הנתונים בתרשימי ציר הזמן של המדדים מותאם באופן אוטומטי בהתאם לטווח הזמן שנבחר.
תרשים של השאילתות הפעילות המובילות
בתרשים הזה מוצגים עשרת הג'ובים המובילים עם משאבים פעילים, בסדר יורד. בתפריט הנפתח, אפשר לבחור אפשרות מיון לפי השימוש במשבצות או משך העבודה. מזהה המשימה ומספר השימוש הרלוונטי במשאבים מוצגים בתרשים העמודות. כדי לראות פרטים נוספים בכלי לבדיקת משימות, לוחצים על עולם תוכן מורחב או על מזהה המשימה בתרשים העליון של השאילתות הפעילות. כאן אפשר לקרוא מידע נוסף על פרטי הביצוע ועל אבחון בעיות בביצועים של משימות BigQuery.
תרשים טבעת עם שגיאה
בתרשים הזה מוצג החלק היחסי של הסיבות העיקריות לכישלון בתקופת הזמן שנבחרה. בתצוגת הסיכום, ברירת המחדל היא 30 הדקות האחרונות. בתצוגה המפורטת, הכיסוי נקבע לפי הכלי לבחירת טווח התאריכים. אפשר לקבץ את השגיאות לפי סוג, פרויקט בעלים או הזמנה. מספר העבודות שנכשלו מוצג בתרשים הטבעת.
תרשימי ציר זמן של מדדים
בתרשימים מוצגת סקירה כללית של מדדים נתמכים לפרק זמן של עד 30 יום. תקופת ברירת המחדל היא שעה אחת. ככל שפרק הזמן שנבחר משתנה, רמת הפירוט של כל נקודה על הגרף משתנה באופן אוטומטי.
בתרשימים האלה מוצג ערך מצטבר של אזור או הזמנה. אין תמיכה בהצגת נתונים של כמה אזורים או כמה הזמנות.
תרשימי ציר הזמן של המדדים תומכים במדדים הבאים:
- שימוש ביחידת קיבולת (Slot). השימוש הממוצע במשבצות הזמן בתקופת הזמן שנבחרה. הוא מציג את השימוש הכולל במשבצות מכל העבודות, ואת העבודות שנכשלו בנפרד.
- הרצת משימות במקביל. המספר המקסימלי של משימות שפועלות בו-זמנית בתקופת הזמן שנבחרה. הוא מציג את מספר המשימות הפעילות ומספר המשימות בהמתנה בנפרד, ומוצג כתרשים עמודות מוערם.
- בייטים שנסרקו. המספר הכולל של הבייטים שעובדו על ידי משימות שהושלמו בתקופת הזמן שנבחרה.
- הפעלה אקראית. הערך המקסימלי של כל יחסי השימוש הממוצעים בהזמנות בתקופת הזמן שנבחרה.
- משך העבודה זמן הריצה הממוצע של משימות שהושלמו בתקופת הזמן שנבחרה, שמחושב מזמן יצירת המשימה ועד זמן סיום המשימה.
- שגיאות לפי סוג. בתרשים הטבעת של השגיאות מוצג היחס בין הסיבות השונות לכשל בתקופת הזמן שנבחרה.
בנוסף למגמות של המדדים, בתרשימים מוצגים קווי ייחוס של ערכי המדדים P95 ו-P99 של השימוש בשבוע האחרון באותו יום. בתרשים Job concurrency מוצג הסף של סכום המשימות בהמתנה והמשימות הפעילות. הערכים האלה משמשים כסף הצבעים בטבלת הסיכום.
כדי לקבל מידע נוסף על התרשים, לוחצים על עולם תוכן מורחב. תועברו לכרטיסייה Resource utilization (ניצול משאבים).
טבלת התובנות
בטבלה הזו מוצגים נתונים מצטברים של שגיאות שקשורות למכסת השימוש, שגיאות שקשורות לסירוב גישה ותובנות לגבי הביצועים שנאספו במהלך הרצת המשימות בפרק הזמן שנבחר. התובנות נצברות ברמת ההזמנה. כל שורה מספקת מידע על סוג התובנה, המיקום, ההזמנה, פרטי התובנה ומזהי משרות לדוגמה. לוחצים על מזהי המשימות כדי לראות פרטים נוספים על המשימות בכלי לבדיקת משימות. בתצוגת הסיכום, מסגרת הזמן של התצפית שמוגדרת כברירת מחדל היא 30 הדקות האחרונות. בתצוגה המפורטת, בורר טווח הזמן קובע את התקופה הספציפית שבה מוצגים נתוני התצפית.
מעקב אחר תקינות תפעולית של פרויקט יחיד
לוח הבקרה של תקינות הפרויקט הוא תצוגת ברירת המחדל שמוצגת לכם אם אין לכם גישה לארגון כולו, או אם הפרויקט שלכם לא כולל הזמנה. התצוגה הזו יכולה לעזור לאנליסטים של פרויקטים לעקוב אחרי תקינות המערכת בפרויקטים שלהם, בדומה ללוח הבקרה של התקינות התפעולית ברמת הארגון, אבל היא מציגה רק נתונים ברמת הפרויקט בתרשימים ובמסננים שלה.
צפייה בניצול משאבים ב-BigQuery
תרשימי משאבים של BigQuery עוזרים לעקוב אחרי השימוש במשאבים בעבר כדי לתכנן את הצרכים העתידיים ולפתור בעיות בביצועים.
התרשימים אוספים מדדים על ידי שליחת שאילתות לתצוגות הבאות של INFORMATION_SCHEMA:
אפשר לעדכן את הנתונים בזמן אמת, עד 30 ימים אחורה.
כשמציגים את ניצול המשאבים, אפשר להגדיר את האפשרויות הבאות:
בתרשים ציר הזמן של האירועים מוצגת סקירה כללית של הנתונים על פני תקופה של עד 30 יום. ברירת המחדל היא 6 שעות.
בתרשים הראשי מוצגים מדדים נבחרים, כמו שימוש במשבצות זמן או בבייטים שעברו עיבוד, לאורך זמן עבור הארגון או פרויקט הניהול. במקרא של התרשים מופיעים פרטים נוספים על הנתונים שמוצגים.
בחלונית הגדרת התרשים אפשר לבחור תצוגות מוגדרות מראש של המדדים או להתאים אישית את המדדים לתצוגות.
תרשים ניצול המשאבים כולל את הרכיבים הבאים:
- בכרטיסייה 'ניצול משאבים', מחזיקים את הסמן מעל צ'יפ הסטטוס בחלק העליון של התרשים כדי להציג מידע נוסף על מדד מסוים.
בצ'יפים של הסטטוס מוצגים גם הפרטים הבאים:
- אם המדד עדיין בטעינה, מוצג סמל טעינה.
- אם המדד מתבסס על נתונים לא עדכניים, מוצג סמל של שעון.
- אם אי אפשר לטעון את המדד בגלל מסננים ברמת הדף שלא נתמכים, המדד מסומן בקו חוצה.
- אם המדד לא נטען, צ'יפ הסטטוס מודגש.
הצגה והגדרה של תרשימי ניצול משאבים
כדי לראות את תרשימי ניצול המשאבים ולהגדיר אותם:
במסוף Google Cloud , עוברים לדף Monitoring של BigQuery.
בוחרים את הפרויקט. אדמינים שמנטרים את השימוש במשאבי הזמנה צריכים לבחור את פרויקט הניהול ששימש לקניית משבצות וליצירת הזמנות. אם אתם אנליסטים של נתונים שרוצים לעקוב אחרי השימוש במשאבי משימות, בוחרים את הפרויקט המתאים.
בדף Monitoring, עוברים לכרטיסייה Resource utilization כדי לראות סיכום של השימוש במשאבים, עם פירוט לפי מיקום.
בוחרים פרק זמן למדדים בתצוגה הזו, למשל יום אחד. כדי לראות מדדים בזמן אמת, שבהם השאילתות מורצות על נתונים עדכניים, לוחצים על המתג נתונים בזמן אמת. ההגדרה הזו מושבתת כברירת מחדל כדי לשפר את הביצועים, והנתונים לא מתעדכנים במשך שעה לכל היותר.
בחלונית הגדרת התרשים, מגדירים את השדות הבאים:
- בשדה תצוגת מדדים, בוחרים אחת מהתצוגות.
- בשדה מדדים, בוחרים מדד להצגה. אפשר להוסיף או לערוך מדד.
- בשדה Group by, בוחרים איך לקבץ את הנתונים.
- בשדה Filters, בוחרים איך לסנן את הנתונים.
כדי לשמור את השינויים שביצעתם בהגדרות התרשים, לוחצים על החלה.
תצוגת מדדים
BigQuery מספק תצוגות מוגדרות מראש של מדדי ניצול המשאבים. בקטעים הבאים מפורטים המדדים שאפשר להגדיר בתצוגות האלה.
שימוש ביחידות קיבולת (Slot) להזמנה
בתצוגה הזו מוצגים מדדים לגבי פירוט השימוש במשבצות בהזמנות בפרויקט הניהולי. לכל מדד יש את הגדרות ברירת המחדל הבאות, שאפשר לערוך בחלונית הגדרת התרשים בלחיצה על שם המדד:
- נתוני השימוש שמוצגים כברירת מחדל הם מהמשאבים של ההזמנה.
- ההיקף שמוגדר כברירת מחדל הוא הפרויקט.
- צבירת הנתונים מתבצעת כברירת מחדל לפי השימוש הממוצע בתקופת הזמן שנבחרה.
| שם המדד | תיאור |
|---|---|
| הזמנה – שימוש ביחידת קיבולת (Slot) | מעקב אחרי השימוש הכולל במשבצות במהלך תקופת הזמן שנבחרה. |
| Reservation - Idle slot usage | מנטר את השימוש ביחידות הקיבולת מעבר לקיבולת של המקום השמור במהלך תקופת הזמן שנבחרה. המדד הזה מאפשר לכם לעקוב אחרי משבצות זמן פנויות שהושאלו מהזמנות או מהתחייבויות אחרות, או אחרי אי דיוקים בעיגול בנתוני השימוש. האחרון עשוי לגרום למדד זה להיות בעל ערך שאינו אפס, גם אם שיתוף משבצות זמן פנויות מושבת.
השימוש ביחידות קיבולת (Slots) לא פעילות הוא ערך משוער שמחושב על סמך שימוש ביחידות קיבולת, יחידות קיבולת בהתחייבות ויחידות קיבולת בהתאמה אוטומטית. אם ערך השימוש במשבצות חורג מקיבולת ההתחייבות וממשבצות בהתאמה אוטומטית, התרשים מקבץ את המשבצות שנותרו כמשבצות לא פעילות. |
| הזמנה – משבצות זמן בסיסיות שהיו בשימוש | מעקב אחרי יחידות הקיבולת (Slot) שנעשה בהן שימוש מתוך בסיס ההזמנה. |
| הזמנה – משבצות שנעשה בהן שימוש עם שינוי גודל אוטומטי | מעקב אחר משבצות שנעשה בהן שימוש מתוך משבצות שנוספו אוטומטית להזמנה. |
סקירה כללית על השימוש במהדורה
בתצוגה הזו מוצגים מדדים לגבי השימוש במשבצות והקיבולת של משאבי המהדורה בפרויקט הניהולי. לכל מדד יש הגדרות ברירת מחדל שמופיעות בחלונית הגדרת התרשים. כדי לערוך אותן, לוחצים על שם המדד.
- נתוני השימוש שמוצגים כברירת מחדל הם מהמשאב של ההזמנה, ונתוני הקיבולת הם מהמשאב של המהדורה.
- ההיקף שמוגדר כברירת מחדל הוא הפרויקט.
| שם המדד | תיאור |
|---|---|
| הזמנה – שימוש ביחידת קיבולת (Slot) | מעקב אחר השימוש במיקומים לתקופת הזמן שנבחרה. הצבירה שמוגדרת כברירת מחדל היא לפי השימוש במשבצת p99 בתקופת הזמן שנבחרה. |
| Reservation - Idle slot usage | מנטר את השימוש ביחידות הקיבולת מעבר לקיבולת של המקום השמור במהלך תקופת הזמן שנבחרה. המדד הזה מאפשר לכם לעקוב אחרי משבצות זמן פנויות שהושאלו מהזמנות או מהתחייבויות אחרות, או אחרי אי דיוקים בעיגול בנתוני השימוש. האפשרות השנייה יכולה לגרום למדד הזה לקבל ערך שונה מאפס, גם אם שיתוף משבצות זמן פנויות מושבת.
השימוש ביחידות קיבולת לא פעילות הוא ערך משוער שמחושב על סמך שימוש ביחידות קיבולת, יחידות קיבולת בהתחייבות ויחידות קיבולת בהתאמה אוטומטית. אם ערך השימוש במשבצות חורג מקיבולת ההתחייבות וממשבצות בהתאמה אוטומטית, התרשים מקבץ את המשבצות שנותרו כמשבצות לא פעילות. ברירת המחדל של הצבירה היא לפי השימוש במשאבים ב-p99 בתקופת הזמן שנבחרה. |
| מהדורה – קיבולת בסיסית | עוקב אחרי גודל הבסיס של ההזמנות בפרויקט הניהול הזה. |
| מהדורה – קיבולת מקסימלית | המדד הזה עוקב אחרי המספר המקסימלי של משבצות שזמינות במסגרת הזמן שנבחרה. המדד הוא סכום הקיבולת של ההתחייבות, קיבולת הבסיס וקיבולת ההתאמה האוטומטית. ברירת המחדל של הצבירה היא לפי השימוש המקסימלי במשאבים בתקופת הזמן שנבחרה. |
| מהדורה – קיבולת שהוקצתה | המדד הזה עוקב אחרי מספר המשבצות בפועל שהוקצו למשאבי המהדורה שלכם במהלך תקופת הזמן שנבחרה. ברירת המחדל של הצבירה היא לפי השימוש המקסימלי במשאבים בתקופת הזמן שנבחרה. |
סקירה כללית של הפרויקט הנוכחי
בתצוגה הזו מוצגים מדדים לגבי משאבי עבודה בפרויקט שבו אתם מריצים שאילתות. לכל מדד יש את הגדרות ברירת המחדל הבאות, שאפשר לערוך בחלונית Chart configuration (הגדרות התרשים) בלחיצה על שם המדד:
- משאב ברירת המחדל הוא משאב העבודה.
- ההיקף שמוגדר כברירת מחדל הוא הפרויקט.
| שם המדד | תיאור |
|---|---|
| Job - Project - Slot usage | מעקב אחר השימוש במיקומים לתקופת הזמן שנבחרה. ברירת המחדל של הצבירה היא לפי השימוש המקסימלי במשאבים בתקופת הזמן שנבחרה. |
| Job - Project - Bytes processed | המדד הזה עוקב אחרי מספר הבייטים הכולל שעובד על ידי משימות שהושלמו בתקופת הזמן שנבחרה. ברירת המחדל של הצבירה היא לפי סכום הבייטים שעברו עיבוד בתקופת הזמן שנבחרה. |
| Job - Project - Job concurrency | מעקב אחרי מספר המשימות שפועלות בו-זמנית בתקופת הזמן שנבחרה. ברירת המחדל של הצבירה היא לפי השימוש המקסימלי במשאבים בתקופת הזמן שנבחרה. |
| משך העבודה – משך הפרויקט – משך העבודה | מעקב אחרי זמן הריצה של משימות שהושלמו בתקופת הזמן שנבחרה. מדדים של זמן ריצה מציגים את הזמן שחלף מיצירת העבודה ועד להשלמתה. ברירת המחדל של הצבירה היא לפי זמן הריצה הממוצע בתקופת הזמן שנבחרה. |
סקירה כללית של הזמנות בבעלותכם
בתצוגה הזו מוצגים מדדים לגבי פעילות של משימות עם משאבי הזמנה בפרויקט הניהולי. לכל מדד יש את הגדרות ברירת המחדל הבאות, שאפשר לערוך בחלונית הגדרות התרשים בלחיצה על שם המדד:
- משאב ברירת המחדל הוא משאב ההזמנה.
- ההיקף שמוגדר כברירת מחדל הוא הפרויקט.
| שם המדד | תיאור |
|---|---|
| הזמנה – שימוש ביחידת קיבולת (Slot) | מעקב אחר השימוש במיקומים לתקופת הזמן שנבחרה. ברירת המחדל של הצבירה היא לפי השימוש המקסימלי במשאבים בתקופת הזמן שנבחרה. |
| הזמנה – בייטים שעובדו | המדד הזה עוקב אחרי מספר הבייטים הכולל שעובד על ידי משימות שהושלמו בתקופת הזמן שנבחרה. ברירת המחדל של הצבירה היא לפי סכום הבייטים שעברו עיבוד בתקופת הזמן שנבחרה. |
| הזמנה – הרצת משימות במקביל | מעקב אחרי מספר המשימות שפועלות בו-זמנית בתקופת הזמן שנבחרה. ברירת המחדל של הצבירה היא לפי השימוש המקסימלי במשאבים בתקופת הזמן שנבחרה. |
| הזמנה – משך העבודה | מעקב אחרי זמן הריצה של משימות שהושלמו בתקופת הזמן שנבחרה. זמן הריצה הוא הזמן שחל מרגע יצירת העבודה ועד להשלמתה. הוא כולל הוספה לתור וניסיונות חוזרים. צבירת הנתונים מתבצעת כברירת מחדל לפי זמן הריצה הממוצע בתקופת הזמן שנבחרה. |
| הזמנה – שימוש בהזמנה גמישה | מעקב אחר יחס השימוש בהפעלה אקראית בטווח הזמן שנבחר. צבירת הנתונים מתבצעת כברירת מחדל לפי השימוש הממוצע בתקופת הזמן שנבחרה. |
תצוגה בהתאמה אישית
כדי ליצור תצוגת מדדים מותאמת אישית, אפשר להוסיף מדדים מאפס או להתחיל עם אחת מתצוגות המדדים שהוגדרו מראש (לדוגמה, תצוגת המדדים סקירה כללית של הזמנות) ולהתאים אישית את המדדים שבה.
אפשר לשמור תצוגות בהתאמה אישית לשימוש עתידי. התצוגות השמורות שומרות את המדד, את ההגדרות של group by ואת הגדרות הסינון, למעט הסינון לפי כתובת האימייל של המשתמש. התצוגות השמורות מאוחסנות ברמת המשתמש. אתם יכולים ליצור, לעדכן, לשנות את השם ולמחוק את התצוגות השמורות.
מדדים
כשמגדירים תרשים, אפשר להוסיף, לערוך או למחוק את מדדי ניצול המשאבים שהוא עוקב אחריהם.
כדי להגדיר מדדים לתרשים של ניצול המשאבים:
במסוף Google Cloud , מעיינים בתרשימים של ניצול משאבי BigQuery.
בחלונית הגדרת התרשים, מגדירים את השדה מדדים:
- לוחצים על הוספת פריט > בחירת מדד.
בתיבת הדו-שיח בחירת מדד, בוחרים באפשרויות הבאות:
- סוג המשאב למעקב: Job, Reservation או Edition.
- ההיקף למעקב. לדוגמה, כדי לעקוב אחרי מדדים של משימות בפרויקט הנוכחי, בוחרים בהיקף Project.
- בוחרים מדד למעקב. לדוגמה, כדי לעקוב אחרי השימוש במשבצות של משימות, בוחרים באפשרות Slot usage (שימוש במשבצות).
לוחצים על אישור.
בתיבת הדו-שיח פריט חדש, בוחרים את הצבירה. לדוגמה, כדי לעקוב אחרי השימוש המקסימלי במשבצות מעבר לקיבולת של ההזמנה בתקופת הזמן שנבחרה, בוחרים באפשרות מקסימום.
לוחצים על סיום כדי לשמור את המדד.
אופציונלי: כדי לשנות מדד קיים, לוחצים על שם המדד ועורכים את ההגדרות שלו או מוחקים אותו.
סוגי המשאבים וההיקפים הנתמכים של מדדים
מדדי ניצול המשאבים מסווגים לפי סוג המשאב וההיקף.
סוגי משאבים
אפשר לעקוב אחרי סוגי המשאבים הבאים:
| משאב | תיאור |
|---|---|
| משימה | מדדים לגבי פרטי משימות ב-BigQuery עבור היקף ופרק זמן נתונים. |
| הזמנה | מדדים לגבי השימוש בהזמנות ב-BigQuery עבור היקף ופרק זמן נתונים. המדדים האלה כוללים פרטים מצטברים על משרות לפי הזמנה. אם יש לכם גישה חלקית בלבד לנתונים ברמת ההזמנה, תוכלו לראות מדדים נצברים של השימוש בהזמנה, בלי גישה לפרטים ברמת העבודה. |
| מהדורה | מדדים לגבי קיבולת מהדורת BigQuery עבור היקף ופרק זמן נתונים. |
סוגי היקף
אחרי שבוחרים משאב למדד, בוחרים היקף.
- ברירת המחדל של משאבי ההזמנה והמהדורה היא רמת הפרויקט.
- אפשר להגדיר את משאב העבודה בהיקפים של פרויקט, תיקייה או ארגון. כדי להשתמש בהיקפים גדולים יותר, צריך הרשאות נוספות.
קיבוץ לפי
כדי לקבץ נתונים בתרשים של ניצול המשאבים, פועלים לפי השלבים הבאים:
במסוף Google Cloud , מעיינים בתרשימים של ניצול משאבי BigQuery.
בחלונית הגדרת התרשים, מגדירים את השדה קיבוץ לפי על ידי בחירה באחת מהאפשרויות הבאות:
- None: האפשרות הזו מספקת סקירה כללית של המדדים שנבחרו, לאורך זמן, בכל הארגון.
- Project: האפשרות הזו מקבצת את המדדים שנבחרו לפי פרויקט. אם יש יותר מ-50 פרויקטים, מוצגים רק 50 הפרויקטים המובילים עם השימוש הגבוה ביותר במשבצות.
- כל שאר האפשרויות של Group by: האפשרויות האלה דומות לתצוגת הפרויקט, והנתונים מקובצים לפי המאפיין המתאים. אם אפשרות הקיבוץ לפי לא נתמכת עבור כל המדדים שנבחרו, אי אפשר לבחור באפשרות הזו.
מסנן
כשמגדירים את תרשים ניצול המשאבים, אפשר להחיל מסננים על הנתונים, למשל להציג את השימוש במשאבים במהדורת Enterprise או לפי מזהה משאב.
כדי לסנן את נתוני התרשים, מפעילים מסננים בחלונית המסננים. אפשר לבחור מסנן רק אם יש תמיכה במדדים שבחרתם. כדי לראות את ההרשאות הנדרשות, לוחצים על התפריט Filter (סינון).
הצגת נתוני ניצול משאבים ברמת הפרויקט
אפשר לנתח את ניצול המשאבים ברמת הפרויקט באמצעות אותם שלבי הגדרה שבהם משתמשים כדי להציג נתונים ברמת הארגון. בתרשימים מוצגים רק נתונים ברמת הפרויקט ואפשרויות הגדרה (האפשרויות ברמת הארגון מוצגות באפור). ההיקף הזה ברמת הפרויקט מציג את ניצול המשאבים הכולל, בלי קשר למצב החיוב בפרויקט ההקשרי.
מגבלות על תרשים ניצול המשאבים
- בתרשים ובטבלה שבאמצע הדף מוצגים מדדים שרלוונטיים לתקופה ולרמת הפירוט שנבחרו.
- מדדים עם אותה יחידה חולקים את אותו קנה מידה. התרשים תומך בעד שני קנה מידה שונים.
מעבר לממשק המשתמש הקודם
כברירת מחדל, יש לכם גישה לתרשימי משאבים של מהדורות כשאתם עוברים מפרויקט ניהול ההזמנה. אפשר לעבור בין תרשימי המשאבים על פי דרישה לבין תרשימי המשאבים של המהדורה מתוך פרויקט הניהול של השמורה (תצוגה מקדימה).
כדי לראות תרשימים של משאבים:
- עוברים לדף BigQuery.
כניסה ל-BigQuery - בתפריט הפרויקטים, בוחרים את פרויקט הניהול שבו השתמשתם כדי לרכוש משבצות וליצור הזמנות.
- בתפריט הניווט, לוחצים על Monitoring (מעקב).
- בקטע אפשרויות תרשים > היקף, אפשר לבחור את מודל החיוב מהרשימה, שכוללת שלושה סוגים של מהדורות וחיוב לפי דרישה. כברירת מחדל, מודל החיוב מוגדר למהדורת Enterprise.
- בקטע Chart options > Chart Configurations, מבצעים את הפעולות הבאות:
- מהרשימה תרשים בוחרים את סוג התרשים. מידע על אפשרויות שונות של תרשימים זמין במאמר אפשרויות של תרשימים.
- מהרשימה מדדים בוחרים את סוג המדדים הזמין.
- ברשימה קיבוץ לפי, בוחרים את המאפיין שלפיו רוצים לקבץ את הנתונים בתרשים. מידע על מאפיינים שונים זמין במאמר אפשרויות של קיבוץ לפי.
- ברשימה Filters (מסננים), בוחרים את אפשרויות הסינון הזמינות. מידע על מסננים שונים זמין במאמר מסננים וחיפוש.
- מגדירים את מסגרת הזמן שבה רוצים להציג את הנתונים בתרשים.
הגדרות תרשים
אתם יכולים לשנות את התצוגה של תרשימי המשאבים באמצעות שינוי של אפשרויות ההגדרה הבאות של התרשים.
אפשרויות לתרשים
ב-BigQuery יש את סוגי המדדים הבאים שאפשר להציג בתרשימים:
- שימוש ביחידת קיבולת (Slot). השימוש הממוצע ביחידת קיבולת (Slot). אם האפשרות קיבוץ לפי מוגדרת ל-Overall, או אם מסננים מוגדרים ל-None או להזמנה אחת, מוצגים גם מדדי הקיבולת והשימוש במשבצות מושאלות.
- השימוש הכולל. השימוש הממוצע במשבצות בתקופת הזמן שנבחרה.
- שימוש ביחידת קיבולת (Slot) מושאלת. השימוש הממוצע חורג מהקיבולת של ההזמנה. בדרך כלל מדובר במשבצות זמן פנויות שנלקחו מהזמנות והתחייבויות אחרות, או בחוסר דיוק בעיגול בנתוני השימוש. משבצות זמן פנויות נוספות מופיעות בתרשים של ניצול המשאבים, גם אם שיתוף משבצות זמן פנויות מושבת. השימוש ביחידות קיבולת (Slot) במצב המתנה הוא ערך משוער שמחושב על סמך השימוש ביחידות קיבולת (Slot), יחידות קיבולת (Slot) בהתחייבות ויחידות קיבולת (Slot) בהתאמת גודל אוטומטית. אם ערך השימוש במשבצת חורג מקיבולת ההתחייבות, המשבצות יקובצו בתרשים כמשבצות לא פעילות.
- קיבולת התחייבות. גודל ההתחייבות למהדורה.
- קיבולת בסיסית. גודל הבסיס של ההזמנה.
- שינוי אוטומטי של הקיבולת. גודל המשבצת שנקבע על ידי שינוי גודל אוטומטי.
- קיבולת מקסימלית. מספר המקומות המקסימלי שהמשתמש יכול לגשת אליהם.
- בו-זמניות משימות. המספר המקסימלי של משימות שפועלות בו-זמנית בתקופת הזמן שנבחרה.
- ביצועים בעבודה. זמן הריצה הממוצע של עבודות שהושלמו, שמחושב מזמן יצירת העבודה ועד זמן סיום העבודה.
- משימות שנכשלו. השימוש הממוצע במשבצות בתקופת הזמן שנבחרה, מתוך משימות שנכשלו.
- בייטים שעובדו. המספר הכולל של הבייטים שעברו עיבוד על ידי משימות שהושלמו בתקופת הזמן שנבחרה.
- שימוש בהפעלה אקראית. יחס השימוש הממוצע בהפעלה אקראית בתקופת הזמן שנבחרה (תצוגה מקדימה).
רכיב הטבלה
בטבלה מוצגים מדדים שרלוונטיים לתקופה ולמאפיין שבחרתם בתרשים המשאבים.
בתרשים Slot Usage (שימוש במשבצות) מוצג Average slot usage (ממוצע השימוש במשבצות) של כל המשימות שרצות במהלך התקופה שנבחרה. משרות שלא הסתיימו במהלך התקופה שנבחרה כוללות רק משבצות זמן שהיו בשימוש במהלך התקופה.
בטבלת הרכיבים של התרשים ביצועי המשרה מוצגים המדדים הבאים:
- מספר המשימות. מספר העבודות שהופעלו או שהופעלו באופן חלקי בתקופת הזמן שנבחרה.
- משך העבודה הממוצע משך העבודה הממוצע של עבודות שהושלמו, שחלקן לפחות בוצעו בטווח הזמן שנבחר.
- משך העבודה החציוני. החציון של משך הזמן של משימות שהושלמו ושחלקן לפחות הופעלו בתקופת הזמן שנבחרה.
- משך הזמן המינימלי של העבודה משך העבודה המינימלי של משימות שהושלמו, שהופעלו לפחות באופן חלקי בתקופת הזמן שנבחרה. העמודה הזו מוסתרת כברירת מחדל, אבל אפשר להציג אותה באפשרויות להצגת עמודות.
- משך הזמן המקסימלי של העבודה. משך העבודה המקסימלי של עבודות שהושלמו שפעלו לפחות באופן חלקי בפרק הזמן שנבחר. העמודה הזו מוסתרת כברירת מחדל, אבל אפשר להציג אותה באפשרויות להצגת עמודות.
בטבלה שמתחת לתרשים משימות שנכשלו מוצגים הנתונים הבאים:
- השימוש הממוצע ביחידות קיבולת. זהה לתרשים Slot Usage, אבל רק למשימות שנכשלו.
- סך הכול משימות שנכשלו. מספר המשימות שנכשלו בתקופת הזמן שנבחרה.
אפשרויות של קיבוץ לפי
בהתאם לסוג התרשים, אפשר לקבץ את הנתונים בתצוגת התרשים לפי כמה מאפיינים:
- באופן כללי. התצוגה הכוללת היא סקירה כללית של המדד שנבחר, לאורך זמן, בכל הארגון. בכרטיס 'ניצול משבצות' מוצגים נתונים על הקיבולת והשימוש באותו תרשים, כדי לתת מושג על ניצול המשבצות הכולל לאורך זמן.
- פרויקט. בתצוגת הפרויקט מוצג המדד שנבחר, מקובץ לפי פרויקט. אם בארגון יש יותר מ-10 פרויקטים, יוצגו רק 10 הפרויקטים המובילים עם השימוש הכי גבוה במשבצות, מספר העבודות המקבילות, משך העבודה או העבודות שנכשלו בתקופת הזמן שנבחרה. בנוגע לשימוש במשבצות, כל הפרויקטים האחרים מקובצים בקטגוריה Other (אחר) בתחתית התרשים, כדי שיהיה קל יותר להשוות אותם לקיבולת הכוללת.
- כל שאר התצוגות של הקיבוץ דומות לתצוגת הפרויקט, והנתונים מקובצים לפי המאפיין הרלוונטי.
אפשרות של לוח זמנים
אפשר לשנות את התקופה בדרכים הבאות:
- בוחרים את התקופה וגוררים אותה לתרשים ציר הזמן של האירוע.
- בוחרים את תקופת הזמן וגוררים אותה לתרשים הראשי.
תקופת ההשוואה מתעדכנת אוטומטית כשהמסגרת הזמן שנבחרה משתנה. ככל שתקופת ההתאמה קצרה יותר, כך התצוגה מפורטת יותר. כדי לראות טוב יותר משאבים שמשתנים לעיתים קרובות, למשל האפשרות Slot Usage, כדאי לקצר את תקופת ההתאמה.
סינון וחיפוש
כדי לצמצם את הנתונים בתרשים, אפשר להחיל מסננים בחלונית המסננים. חלק מהמסננים זמינים רק לתרשימים מסוימים. המסננים Reservations, Folders, Projects ו-Users מאוכלסים במשאבים המתאימים שצרכו משבצות זמן בפרק הזמן שנבחר. לדוגמה, אם לא נעשה שימוש בפרויקט ב-30 הימים האחרונים, הוא לא יופיע ברשימת המסננים של הפרויקט.
התרשים מתרענן אחרי שמחילים עליו מסננים, כדי להציג את הנתונים לפי הפרמטרים שנבחרו.
מעקב אחרי התאמה אוטומטית לעומס
כשעוקבים אחרי השימוש במשבצות באמצעות תרשימים של משאבים אדמיניסטרטיביים, יכול להיות שתראו הרבה יותר משבצות מותאמות מאשר השימוש במשבצות, כי התרשימים מחליקים את מספר המשבצות שהיו בשימוש במהלך תקופת ההתאמה. כדי לראות פרטים מדויקים יותר על השימוש במשבצות של שינוי גודל אוטומטי, כדאי לצמצם את טווח הזמן. העדכון הזה משנה באופן אוטומטי את תקופת ההתאמה לפרק זמן קצר יותר.
בדוגמה הבאה, בתרשים מוצגים הרבה יותר משבצות זמן מותאמות מאשר נדרש לעומס העבודה.

עם זאת, אם תקצרו את מסגרת הזמן כך שתקופת ההתאמה תהיה שתי שניות, תוכלו לראות שהמערכת האוטומטית לשינוי גודל משנה את הגודל בהתאם לדרישות העומס ומציגה נתונים מדויקים יותר. אפשר לשנות את מסגרת הזמן על ידי גרירת טווח ההתחלה וטווח הסיום של מסגרת הזמן. כדי להציג את נתוני הביקוש של עומס העבודה בצורה הכי מדויקת, בוחרים באפשרות p99 מתוך הרשימה Metric (מדד).

כדי לקבל תצוגה מדויקת ככל האפשר של השימוש בהתאמת קנה מידה אוטומטית, מומלץ להשתמש בתקופת התאמה של 1 עד 15 שניות.
במאמר הצגת תרשימים של משאבים אדמיניסטרטיביים מוסבר איך לראות את השימוש בחריצים.
מעקב אחר ביצועי המשרה
כדי למנוע עלויות גבוהות יותר, יכול להיות שתצטרכו לשנות את ההגדרות של התאמה אוטומטית לעומס max_slots. השאילתה הבאה מספקת הקשר לגבי ביצועי העבודה, כדי שתוכלו לבחור את המספר הנכון של משבצות התאמה אוטומטית לעומס של קיבולת העבודה.
השאילתה הבאה מספקת פרטים על הביצועים של ההזמנות הקודמות שלכם:
SELECT AVG(TIMESTAMP_DIFF(end_time, creation_time, MILLISECOND)) as avg_latency_ms, SUM(total_bytes_processed) as total_bytes, COUNT(*) as query_numbers, FROM `PROJECT_ID.region-REGION_NAME`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION WHERE creation_time >= START_TIME AND creation_time < END_TIME AND (statement_type != "SCRIPT" OR statement_type IS NULL) AND reservation_id = RESERVATION_ID
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט -
REGION_NAME: האזור של הפרויקט -
START_TIME: שעת היצירה שרוצים להתחיל לצפות בנתונים -
END_TIME: שעת היצירה שרוצים להפסיק להציג את הנתונים -
RESERVATION_ID: מזהה השריון
הדוגמה הבאה ממחישה איך להציג את פרטי המשרה לתקופה של חמישה ימים:
SELECT AVG(TIMESTAMP_DIFF(end_time, creation_time, MILLISECOND)) as avg_latency_ms, SUM(total_bytes_processed) as total_bytes, COUNT(*) as query_numbers, FROM `myproject.region-us`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION WHERE creation_time >= '2024-06-25 00:00:00-07' AND creation_time < '2024-06-30 00:00:00-07' AND (statement_type != "SCRIPT" OR statement_type IS NULL) AND reservation_id = reservationID
פתרון בעיות שקשורות למצב 'אין מספיק יחידות קיבולת (slots)'
התחרות על משבצות יכולה לקרות כשאין מספיק משבצות להרצת כל העבודות, מה שגורם לבעיות בביצועים. כדי לפתור בעיות שקשורות לתחרות על משבצות, אפשר לפעול לפי השלבים הבאים וליישם את השיטות המומלצות.
אם ניסיתם את השיטות המומלצות האלה ועדיין נתקלתם בבעיות בביצועים של העבודות, אתם יכולים לשלוח בקשת תמיכה.
עלייה חדה במספר המשרות שמופעלות בו-זמנית
כדי לבדוק אם יש עלייה פתאומית בהפעלות של משימות, שבהן יש עליות חדות בו-זמניות בשימוש במשבצות, אפשר להשתמש בתצוגה מפורטת. יכול להיות שזה מעיד על כך שיש יותר מדי משימות שמתחרות על משבצות שמוגבלות על ידי מגבלת ההזמנה.
- שיטה מומלצת: כדאי לשקול אופטימיזציה של שאילתות שצורכות הרבה משאבים או של קיבולת המשבצות בהזמנה. מידע נוסף על אופטימיזציה של ביצועי שאילתות זמין במאמר בנושא שיפור חישוב השאילתות.
שימוש גבוה ביחידות קיבולת
כדאי להשתמש בתצוגה המפורטת כדי לבדוק אם משך העבודות התארך, במיוחד אם יש עבודות שחורגות מהקיבולת המקסימלית של ההזמנה. שימוש גבוה ועקבי במשבצות יכול להעיד על תחרות מתמשכת על משבצות.
- שיטה מומלצת: כדאי לבדוק את השאילתות באמצעות המסנן slot contention בכלי לבדיקת משימות כדי לזהות את השאילתות שצורכות הכי הרבה משבצות ולבצע בהן אופטימיזציה.
משך עבודה ארוך
אם העבודות נמשכות הרבה יותר זמן מהרגיל, כדאי לבדוק את התצוגה המפורטת. עלייה חדה בשימוש במשבצות ובמקביל במספר גבוה של משימות יכולה להצביע על תחרות על משבצות.
- שיטה מומלצת: כדי לבודד משימות קריטיות, אפשר להשהות באופן זמני משימות פחות חשובות או להקטין את קצב שליחת המשימות הכולל.
הודעות על מחלוקת לגבי יחידות קיבולת
בטבלת התובנות יכולות להופיע הודעות כמו There were NUMBER jobs detected with
slot_contention in the reservation. שמציינות בעיות שקשורות לתחרות על משבצות.
כדאי לבדוק את jobs explorer כדי לעיין בפרטים של המשימות הספציפיות שסומנו בהודעות האלה.
- שיטה מומלצת: כדאי לבצע אופטימיזציה של השאילתות שזוהו או להתאים את הקצאת המשבצות בהזמנה.
המאמרים הבאים
- מידע על הזמנות
- מידע נוסף על רכישת משבצות
- איך מעריכים את דרישות הקיבולת של המשבצות
- איך רואים המלצות לגבי מיקומי מודעות ותובנות