מעקב אחרי התקינות וניצול המשאבים
אדמינים ב-BigQuery יכולים לעקוב אחרי התקינות של הארגון, השימוש ב-slots וביצועי המשימות לאורך זמן, באמצעות תרשימים של תקינות תפעולית וניצול משאבים. ב-BigQuery יש תרשימים שאפשר להגדיר כדי:
מעקב אחרי התקינות התפעולית של BigQuery מעקב בזמן אמת אחרי תקינות התפעול של BigQuery הוא מערכת מעקב מרכזית שמאפשרת לכם לבחון את השימוש ב-BigQuery בארגון בכמה מיקומים.
איך בודקים את ניצול המשאבים ב-BigQuery להשתמש בנתונים היסטוריים כדי לבצע ניתוח של שורש הבעיה, לתכנן את הקיבולת ולאבחן שינויים בביצועים.
כדי לעקוב אחרי משימות שאילתה ספציפיות או משימות מצטברות לפי בעלים, פרויקט או הזמנה, ולפתור בהן בעיות, קראו את המאמר מעקב אחרי משימות.
לפני שמתחילים
- כדי לראות את תקינות הפעילות, צריך להשתמש בהזמנות שאפשר לגשת אליהן באמצעות פרויקט ניהול. לא צריך להגדיר את זה כדי לצפות בתרשימים של ניצול המשאבים.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות לצפייה בכל הנתונים בתרשימים של תקינות תפעולית וניצול משאבים, אתם צריכים לבקש מהאדמין לתת לכם את התפקידים הבאים ב-IAM ברמת הארגון:
- צפייה במשאבים של BigQuery (
roles/bigquery.resourceViewer) - BigQuery Metadata Viewer (
roles/bigquery.metadataViewer)
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי לראות את כל הנתונים בתרשימים של תקינות תפעולית וניצול משאבים. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי לראות את כל הנתונים בתרשימים של תקינות תפעולית וניצול משאבים, נדרשות ההרשאות הבאות:
-
כדי לראות את כל הנתונים בתרשימים של התקינות התפעולית וניצול המשאבים של הארגון:
-
bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAllבארגון -
bigquery.reservationAssignments.listבפרויקט הניהול ששימש ליצירת ההזמנות -
bigquery.capacityCommitments.listבפרויקט הניהול ששימש ליצירת ההזמנות
-
-
כמשתמשים על פי דרישה, כדי לראות את כל הנתונים בתרשימי ניצול המשאבים של הארגון:
bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAllבארגון -
כדי לראות את סיכום הנתונים של התקינות התפעולית של האחסון בטבלאות BigQuery:
bigquery.tables.get or bigquery.tables.listבארגון -
כדי לראות את התרשימים של התקינות התפעולית וניצול המשאבים ברמת ההזמנה:
-
bigquery.reservations.listבפרויקט הניהול ששימש ליצירת ההזמנות -
bigquery.reservationAssignments.listבפרויקט הניהול ששימש ליצירת ההזמנות
-
-
כדי להציג תרשימים של ניצול משאבים ברמת הפרויקט:
bigquery.jobs.listAllבפרויקט
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
מעקב אחרי התקינות התפעולית בארגון
בלוח הבקרה של התקינות התפעולית מוצגים מדדים מרכזיים של הארגון וההזמנות שלו בכל המיקומים שבהם יש לכם הזמנות. אתם יכולים להשתמש במרכז הבקרה הזה כדי לעקוב אחרי המדדים הבאים:
- שימוש ביחידת קיבולת (Slot)
- שימוש ב-Shuffle
- הפעלת משימות בו-זמנית
- שגיאות
- משך המשימה
- בייטים שעובדו
- סה"כ נפח אחסון
הצגת תרשימים של תקינות תפעולית
כדי לראות מידע על התקינות התפעולית של הארגון:
נכנסים לדף Monitoring של BigQuery במסוף Google Cloud .
בוחרים את פרויקט הניהול שבו השתמשתם כדי לרכוש משבצות וליצור הזמנות.
בדף Monitoring, עוברים לכרטיסייה Operational health כדי לראות סיכום של מדדי המפתח של הארגון בכל המיקומים וההזמנות.
אופציונלי: כדי לראות מדדים בזמן אמת, שבהם השאילתות פועלות על נתונים עדכניים כל חמש דקות, לוחצים על המתג נתונים בזמן אמת. כברירת מחדל, ההגדרה הזו מושבתת ומשך הזמן המקסימלי של חוסר העדכניות של הנתונים הוא כשעה.
כדי לסנן את המדדים, מגדירים את השדות הבאים:
- ברשימה Select location, בוחרים את האזור שרוצים לעקוב אחריו.
- ברשימה Select reservation, בוחרים את ההזמנה.
- ברשימה Select project, בוחרים את הפרויקט.
- ברשימה טווח תאריכים, בוחרים טווח תאריכים.
אופציונלי: כדי לראות פרטים נוספים על התקינות התפעולית באמצעות תרשים ניצול המשאבים או הכלי לניתוח משימות, לוחצים על Explore more.
BigQuery אוסף את המדדים באמצעות שליחת שאילתות לתצוגות הבאות של INFORMATION_SCHEMA:
INFORMATION_SCHEMA.JOBSINFORMATION_SCHEMA.JOBS_TIMELINEINFORMATION_SCHEMA.RESERVATIONSINFORMATION_SCHEMA.TABLE_STORAGE
במאמר התאמת התנהגות השימוש במשבצות מתרשימי משאבים ניהוליים תוכלו למצוא דוגמה לשאילתה שמשכפלת את תרשים ציר הזמן של השימוש במשבצות, שנמצא בתרשימי משאבים ניהוליים.
תצוגות
בכרטיסייה Operational health מוצגות תצוגות הסיכום והתצוגות המפורטות הבאות.
תצוגת סיכום
בתצוגת הסיכום מוצג המצב של תת-המערכות של הארגון, כולל הזמנות ואזורים, ב-30 הדקות האחרונות.
כדי לראות את תצוגת הסיכום:
- בכרטיסייה Operational health, ברשימה Select location בוחרים באפשרות All locations.
תצוגה מפורטת
בתצוגה המפורטת מוצגים תרשימי ציר זמן מפורטים של מדדים שונים ברמת המיקום או ההזמנה.
כדי לפתוח את התצוגה המפורטת:
- בכרטיסייה Operational health, ברשימה Select location בוחרים את האזור או המהדורה.
אפשר לצמצם את הנתונים שמוצגים בתצוגה המפורטת באמצעות המסננים האופציונליים הבאים:
- ברשימה Select reservation, בוחרים את שם ההזמנה.
- ברשימה Select project, בוחרים את הפרויקט.
תרשימים
ב-BigQuery יש את האפשרויות הבאות לטבלאות ולתרשימים, שמאפשרות לכם לבחון לעומק את מדדי התקינות התפעולית.
טבלת סיכום
בטבלאות הסיכום מוצגים המדדים הבאים:
- שימוש ביחידת קיבולת (Slot). הניצול הממוצע של משבצות. קיבולת ה-slots הכוללת שווה לקיבולת הבסיסית ולקיבולת המקסימלית של ההתאמה האוטומטית לעומס.
- שימוש בהפעלה אקראית. הערך המקסימלי של כל יחסי השימוש הממוצעים ב-Shuffle בהזמנה.
- בו-זמניות (concurrency). המספר המקסימלי של משימות שפועלות בו-זמנית.
- בייטים שעובדו. סה"כ הבייטים שעובדו במשימות שהושלמו.
- משך העבודה. זמן הריצה הממוצע של המשימות שהושלמו, שמחושב מהזמן שבו המשימה נוצרה ועד לזמן שבו היא הסתיימה.
- נפח האחסון הכולל. מספר הבייטים הלוגיים הפעילים הכולל בזמן העדכון האחרון.
בתצוגה מופיעות שתי טבלאות סיכום: Location summary ו-Reservation summary. כל שורה בטבלה מייצגת שימוש במיקום אחד או בהזמנה אחת.
בטבלאות מוצגים מדדים ל-30 הדקות שלפני העדכון האחרון. אם האפשרות Live data מופעלת, הנתונים שמתקבלים מהשאילתה מתרעננים כל חמש דקות. אם האפשרות Live data מושבתת, הנתונים מתעדכנים בערך פעם בשעה.
תא הטבלה מקודד בצבע אם המדד גדול מהסף שהוגדר מראש, ואם יש מספר גדול יותר של תובנות לגבי הביצועים של משימות חוזרות:
- אם ערך המדד ב-30 הדקות שלפני העדכון האחרון גדול מערך האחוזון ה-99 של השימוש בשבוע האחרון באותו יום, התא בטבלה מסומן ברקע כחול כהה.
- אם ערך המדד ב-30 הדקות הוא בין הערך P95 לערך P99 של השימוש בשבוע האחרון באותו יום, הרקע של התא בטבלה מסומן בכחול בהיר.
כל ערכי הסף מוגדרים מראש ואי אפשר להתאים אותם אישית. כדי לבדוק את הסף, לוחצים על סמל המידע מידע.
סינון נתונים
אפשר לסנן נתונים בתרשימים לפי הערכים הבאים:
- מיקום. אפשר לבחור אזורים שבהם הייתה פעילות בארגון ב-30 הימים האחרונים. בתצוגת הסיכום מוצגת טבלה שמסכמת את השימוש בכל האזורים הפעילים.
- הזמנה. השדה הזה זמין רק בתצוגה המפורטת. כל ההזמנות שבבעלות פרויקט הניהול זמינות. אפשר לבחור רק הזמנה אחת.
- פרויקט. השדה הזה זמין רק בתצוגה המפורטת. כל הפרויקטים בארגון שיש בהם תנועה זמינים. אפשר לבחור רק פרויקט אחד.
- טווח תאריכים. השדה הזה זמין רק בתצוגה המפורטת. הוא משפיע על תרשימי ציר הזמן של המדדים ועל תרשים העוגה של השגיאות בתצוגה המפורטת. קנה המידה של הנתונים בתרשימי ציר הזמן של המדדים מותאם אוטומטית לפי טווח התאריכים שנבחר.
תרשים השאילתות הפעילות המובילות
בתרשים הזה מוצגות עשר המשימות המובילות עם משאבים פעילים, בסדר יורד. בתפריט הנפתח, אתם יכולים לבחור אפשרות מיון לפי שימוש ב-slot או משך המשימה. מזהה המשימה ומספר השימוש הרלוונטי במשאבים מוצגים בתרשים העמודות. כדי לראות פרטים נוספים בסייר המשימות, לוחצים על עולם תוכן מורחב או על מזהה המשימה בתרשים השאילתות הפעילות המובילות. כדי לקבל מידע נוסף על פרטי ההרצה ולאבחן בעיות בביצועים של משימות BigQuery, ראו איך מקבלים תובנות לגבי ביצועי שאילתות.
תרשים טבעת של שגיאות
בתרשים הזה מוצג היחס בין הסיבות העיקריות לכשלים בתקופה שנבחרה. בתצוגת הסיכום, כברירת מחדל מוצגים נתונים מ-30 הדקות האחרונות. בתצוגה המפורטת, הבורר של טווח התאריכים שולט בכיסוי שלו. אפשר לקבץ את השגיאות לפי סוג, פרויקט בעלים או הזמנה. מספר המשימות שנכשלו מוצג בתרשים הטבעת.
תרשימי ציר זמן של מדדים
התרשימים מציגים סקירה כללית של המדדים הנתמכים בטווח של עד 30 ימים. תקופת ברירת המחדל היא שעה אחת. כשמשנים את תקופת הזמן שנבחרה, רמת הפירוט של כל נקודה על הגרף משתנה באופן אוטומטי.
בתרשימים האלה מוצג ערך נצבר של אזור או של הזמנה. אי אפשר להציג נתונים של כמה אזורים או כמה הזמנות.
אפשר להציג בתרשימי ציר הזמן של המדדים את המדדים הבאים:
- שימוש ביחידת קיבולת (Slot). השימוש הממוצע במשבצות בתקופה שנבחרה. הוא מציג את השימוש הכולל במשבצות מכל המשימות, ואת המשימות שנכשלו בנפרד.
- בו-זמניות (concurrency) של משימות. המספר המקסימלי של משימות שפועלות בו-זמנית בתקופה שנבחרה. הוא מוצג כתרשים עמודות אופקי מוערם, ומראה בנפרד את מספר המשימות שפועלות ואת מספר המשימות בהמתנה.
- בייטים שנסרקו. מספר הבייטים הכולל שעובדו במשימות שהושלמו בתקופה שנבחרה.
- הפעלה אקראית. הערך המקסימלי של כל יחסי השימוש הממוצעים ב-shuffle של ההזמנה בתקופה שנבחרה.
- משך העבודה. זמן הריצה הממוצע של משימות שהושלמו בתקופה שנבחרה, מחושב מזמן יצירת המשימה ועד לזמן סיום המשימה.
- שגיאה לפי סוג. תרשים העוגה של השגיאות מציג את החלק היחסי של הסיבות השונות לכשלים בתקופה שנבחרה.
בנוסף למגמות של המדדים, בתרשימים מוצגים קווי ייחוס של ערכי המדדים P95 ו-P99 של השימוש בשבוע האחרון באותו יום. בתרשים Job concurrency מוצג הסף של סכום המשימות בהמתנה והמשימות שפועלות. הערכים האלה משמשים כספי הקידוד לפי צבעים בטבלת הסיכום.
כדי לקבל מידע נוסף על התרשים, לוחצים על עולם תוכן מורחב. תועברו לכרטיסייה Resource utilization.
טבלת התובנות
הטבלה הזו צוברת שגיאות מכסה, שגיאות של דחיית גישה ותובנות לגבי הביצועים שנאספו במהלך ביצוע המשימות בתקופת הזמן שנבחרה. התובנות נצברות ברמת ההזמנה. כל שורה מספקת מידע על סוג התובנה, המיקום, ההזמנה, פרטי התובנה ומזהי משימות לדוגמה. לוחצים על מזהי המשימות כדי לראות פרטים נוספים על המשימות ב-Jobs Explorer. בתצוגת הסיכום, מסגרת הזמן שמוגדרת כברירת מחדל לתצפית היא 30 הדקות האחרונות. בתצוגה המפורטת, בורר טווח התאריכים שולט בתקופה הספציפית שבה מוצגים נתוני התצפית.
מעקב אחרי התקינות התפעולית של פרויקט אחד
לוח הבקרה של תקינות הפעילות בפרויקט הוא תצוגת ברירת המחדל שמוצגת אם אין לכם גישה לארגון כולו, או אם לפרויקט שלכם אין בעלות על הזמנה כלשהי. התצוגה הזו יכולה לעזור למנתחי פרויקטים לעקוב אחרי תקינות המערכת בפרויקטים שלהם, בדומה למרכז הבקרה של התקינות התפעולית ברמת הארגון, אבל היא מציגה רק נתונים ברמת הפרויקט בתרשימים ובמסננים שלה.
הצגת ניצול המשאבים ב-BigQuery
תרשימי המשאבים של BigQuery עוזרים לכם לעקוב אחרי השימוש במשאבים בעבר כדי לתכנן את הצרכים העתידיים ולפתור בעיות בביצועים.
התרשימים אוספים מדדים באמצעות שליחת שאילתות לתצוגות הבאות של INFORMATION_SCHEMA:
אפשר לעדכן את הנתונים בזמן אמת, עד 30 ימים אחורה.
במאמר התאמת התנהגות השימוש במשבצות מתרשימי משאבים ניהוליים תוכלו למצוא דוגמה לשאילתה שמשכפלת את תרשים ציר הזמן של השימוש במשבצות, שנמצא בתרשימי משאבים ניהוליים.
כשאתם צופים בניצול המשאבים, אתם יכולים להגדיר את האפשרויות הבאות:
בתרשים ציר הזמן של האירועים מוצגת סקירה כללית של הנתונים בטווח של עד 30 ימים. ברירת המחדל היא 6 שעות.
בתרשים הראשי מוצגים מדדים נבחרים, כמו שימוש ב-slots או בייטים שעובדו, לאורך זמן בארגון או בפרויקט הניהול. במקרא של התרשים מופיעים פרטים נוספים על הנתונים שמוצגים.
בחלונית Chart configuration אפשר לבחור תצוגות מוגדרות מראש של המדדים, או להתאים אישית את המדדים לתצוגות.
בתרשים ניצול המשאבים מופיעים הרכיבים הבאים:
- בכרטיסייה Resource utilization, מעבירים את הסמן מעל צ'יפ הסטטוס בחלק העליון של התרשים כדי להציג מידע נוסף על מדד מסוים.
בצ'יפים של הסטטוסים מופיעים גם הפרטים הבאים:
- אם המדד עדיין נטען, מוצג סמל טעינה.
- אם המדד משתמש בנתונים לא עדכניים, מוצג סמל של שעון.
- אם אי אפשר לטעון את המדד בגלל מסננים ברמת הדף שלא נתמכים, המדד מסומן בקו חוצה.
- אם המדד לא נטען, צ'יפ הסטטוס מודגש.
הצגה והגדרה של תרשימי ניצול משאבים
כדי להציג ולהגדיר תרשימים של ניצול משאבים:
נכנסים לדף Monitoring של BigQuery במסוף Google Cloud .
בוחרים את הפרויקט. כאדמינים שעוקבים אחרי השימוש במשאבים של הזמנות, אתם צריכים לבחור את פרויקט הניהול שמשמש לרכישת משבצות וליצירת הזמנות. כמנתחי נתונים שעוקבים אחרי השימוש במשאבים של משימות, בוחרים את הפרויקט המתאים.
בדף Monitoring, נכנסים לכרטיסייה Resource utilization כדי לראות סיכום של השימוש במשאבים, בחלוקה לפי מיקום.
בוחרים תקופה למדדים בתצוגה הזו, למשל יום אחד. כדי לראות מדדים בזמן אמת, שבהם השאילתות פועלות על נתונים עדכניים, לוחצים על המתג Live data. כדי לשפר את הביצועים, ההגדרה הזו מושבתת כברירת מחדל, והנתונים מתעדכנים בערך פעם בשעה.
בחלונית Chart configuration, מגדירים את השדות הבאים:
- בשדה Metric view, בוחרים אחת מהתצוגות.
- בשדה מדדים, בוחרים את המדד שרוצים לראות. אפשר להוסיף או לערוך מדד.
- בשדה קיבוץ לפי, בוחרים איך לקבץ את הנתונים.
- בשדה Filters בוחרים איך לסנן את הנתונים.
כדי לשמור את השינויים שביצעתם בהגדרות התרשים, לוחצים על Apply.
תצוגת מדדים
ב-BigQuery יש תצוגות מוגדרות מראש של מדדי ניצול המשאבים. בקטעים הבאים מתוארים המדדים שאפשר להגדיר בתצוגות האלה.
שימוש ביחידות קיבולת (Slot) שהוזמנו
בתצוגה הזו מוצגים מדדים לגבי פירוט השימוש ב-slots של ההזמנות בפרויקט הניהולי. לכל מדד יש את הגדרות ברירת המחדל הבאות, שאפשר לערוך בחלונית Chart configuration בלחיצה על שם המדד:
- נתוני השימוש שמוצגים כברירת מחדל הם מהמשאבים שהוקצו.
- היקף ברירת המחדל הוא הפרויקט.
- כברירת מחדל, הנתונים נצברים לפי השימוש הממוצע בתקופה שנבחרה.
| שם המדד | תיאור |
|---|---|
| הזמנה – שימוש ביחידות קיבולת (Slot) | מעקב אחרי השימוש הכולל במשבצות בתקופה שנבחרה. |
| Reservation - Idle slot usage | מעקב אחרי שימוש ב-slots שחורג מהקיבולת של המקום השמור בתקופה שנבחרה. המדד הזה מאפשר לכם לעקוב אחרי משבצות זמן לא פעילות שנשאלו מהזמנות ומהתחייבויות אחרות, או אחרי חוסר הדיוק בעיגול של נתוני השימוש. האפשרות השנייה יכולה לגרום לכך שהערך של המדד הזה לא יהיה אפס, גם אם שיתוף המשבצות הלא פעילות מושבת.
השימוש במשבצות לא פעילות הוא ערך משוער שמחושב על סמך השימוש במשבצות, המשבצות המחויבות והמשבצות בהתאמה לעומס (Autoscale). אם ערך השימוש במשבצות חורג מ-Commitment Capacity ומ-Autoscaled Slots, התרשים מקבץ את המשבצות שנותרו כמשבצות לא פעילות. |
| Reservation - Baseline used slots | מעקב אחרי שימוש ב-slots מההזמנה הבסיסית. |
| Reservation - Autoscaled used slots | מעקב אחרי משבצות שנעשה בהן שימוש מתוך משבצות בהתאמה אוטומטית של משאבים להזמנה. |
סקירה כללית על השימוש במהדורה
בתצוגה הזו מוצגים מדדים לגבי השימוש במשבצות והקיבולת של משאבי המהדורה בפרויקט הניהולי. לכל מדד יש את הגדרות ברירת המחדל הבאות, שאפשר לערוך בחלונית Chart configuration בלחיצה על שם המדד:
- נתוני השימוש שמוצגים כברירת מחדל הם ממשאב ההזמנה, ונתוני הקיבולת הם ממשאב המהדורה.
- היקף ברירת המחדל הוא הפרויקט.
| שם המדד | תיאור |
|---|---|
| הזמנה – שימוש ביחידות קיבולת (Slot) | מעקב אחרי השימוש ב-slots בתקופה שנבחרה. כברירת מחדל, הצבירה מתבצעת לפי השימוש ב-p99 slot בתקופה שנבחרה. |
| Reservation - Idle slot usage | מעקב אחרי שימוש ב-slots שחורג מהקיבולת של המקום השמור בתקופה שנבחרה. המדד הזה מאפשר לכם לעקוב אחרי משבצות זמן לא פעילות שנשאלו מהזמנות ומהתחייבויות אחרות, או אחרי חוסר הדיוק בעיגול של נתוני השימוש. האפשרות השנייה יכולה לגרום לכך שהערך של המדד הזה יהיה שונה מאפס, גם אם שיתוף המשבצות הלא פעילות מושבת.
השימוש ב-idle slot הוא ערך משוער שמחושב על סמך Slot Usage, Committed Slots ו-Autoscaled Slots. אם ערך השימוש במשבצות חורג מ-Commitment Capacity ומ-Autoscaled Slots, התרשים מקבץ את המשבצות שנותרו כמשבצות לא פעילות. כברירת מחדל, הצבירה מתבצעת לפי השימוש במשאבים באחוזון ה-99 בתקופה שנבחרה. |
| מהדורה – קיבולת בסיסית | מעקב אחרי הגודל הבסיסי של ההזמנות בפרויקט הניהול הזה. |
| מהדורה – קיבולת מקסימלית | מעקב אחרי המספר המקסימלי של משבצות שזמינות בתקופה שנבחרה. המדד הוא הסכום של קיבולת ההתחייבות, קיבולת הבסיס והקיבולת בהתאמה לעומס. כברירת מחדל, הצבירה היא לפי השימוש המקסימלי במשאבים בתקופת הזמן שנבחרה. |
| מהדורה – קיבולת שהוקצתה | מעקב אחרי המספר בפועל של המשבצות שהוקצו למשאבים של המהדורה בתקופה שנבחרה. הצבירה שמוגדרת כברירת מחדל היא לפי השימוש המקסימלי במשאבים בתקופה שנבחרה. |
סקירה כללית של הפרויקט הנוכחי
בתצוגה הזו מוצגים מדדים לגבי משאבי משימות בפרויקט שבו אתם מריצים שאילתות. לכל מדד יש את הגדרות ברירת המחדל הבאות, שאפשר לערוך בחלונית Chart configuration בלחיצה על שם המדד:
- משאב ברירת המחדל הוא משאב המשימה.
- היקף ברירת המחדל הוא הפרויקט.
| שם המדד | תיאור |
|---|---|
| משימה – פרויקט – שימוש ב-slot | מעקב אחרי השימוש ב-slots בתקופה שנבחרה. כברירת מחדל, הצבירה היא לפי השימוש המקסימלי במשאבים בתקופת הזמן שנבחרה. |
| Job - Project - Bytes processed | מעקב אחרי מספר הבייטים הכולל שעובדו במשימות שהושלמו בתקופה שנבחרה. ברירת המחדל היא צבירה לפי סכום הבייטים שעובדו בתקופת הזמן שנבחרה. |
| משימה – פרויקט – משימות בו-זמניות | מעקב אחרי מספר המשימות שפועלות בו-זמנית בתקופה שנבחרה. הצבירה שמוגדרת כברירת מחדל היא לפי השימוש המקסימלי במשאבים בתקופת הזמן שנבחרה. |
| משימה – פרויקט – משך המשימה | מעקב אחרי זמן הריצה של משימות שהושלמו בתקופה שנבחרה. זמן הריצה מודד את הזמן שחולף מרגע יצירת המשימה ועד לסיום שלה. כברירת מחדל, הנתונים נצברים לפי זמן הריצה הממוצע בתקופה שנבחרה. |
סקירה כללית של ההזמנות שבבעלותכם
בתצוגה הזו מוצגים מדדים לגבי פעילות של משימות עם משאבי הזמנות בפרויקט האדמין. לכל מדד יש את הגדרות ברירת המחדל הבאות, שאפשר לערוך בחלונית Chart configuration בלחיצה על שם המדד:
- משאב ברירת המחדל הוא המשאב של ההזמנה.
- היקף ברירת המחדל הוא הפרויקט.
| שם המדד | תיאור |
|---|---|
| הזמנה – שימוש ביחידות קיבולת (Slot) | מעקב אחרי השימוש ב-slots בתקופה שנבחרה. כברירת מחדל, הצבירה היא לפי השימוש המקסימלי במשאבים בתקופת הזמן שנבחרה. |
| הזמנה – בייטים שעובדו | מעקב אחרי מספר הבייטים הכולל שעובדו במשימות שהושלמו בתקופה שנבחרה. ברירת המחדל היא צבירה לפי סכום הבייטים שעובדו בתקופת הזמן שנבחרה. |
| הזמנה – בו-זמניות של משימות | מעקב אחרי מספר המשימות שפועלות בו-זמנית בתקופה שנבחרה. הצבירה שמוגדרת כברירת מחדל היא לפי השימוש המקסימלי במשאבים בתקופת הזמן שנבחרה. |
| הזמנה – משך המשימה | מעקב אחרי זמן הריצה של משימות שהושלמו בתקופה שנבחרה. זמן הריצה מודד את הזמן שבין יצירת המשימה להשלמת המשימה. הוא כולל הוספה לתור וניסיונות חוזרים. כברירת מחדל, הנתונים נצברים לפי זמן הריצה הממוצע בתקופה שנבחרה. |
| הזמנה – שימוש ב-Shuffle | מעקב אחרי יחס השימוש בהפעלה אקראית בתקופה שנבחרה. כברירת מחדל, הנתונים נצברים לפי השימוש הממוצע בתקופה שנבחרה. |
תצוגה בהתאמה אישית
כדי ליצור תצוגת מדדים בהתאמה אישית, אתם יכולים להוסיף מדדים מאפס, או להתחיל באחת מתצוגות המדדים שהוגדרו מראש (לדוגמה, תצוגת המדדים Reservation overview) ולהתאים אישית את המדדים שבה.
אתם יכולים לשמור תצוגות בהתאמה אישית לשימוש עתידי. בתצוגות השמורות נשמרות הגדרות המדדים, הקיבוץ לפי והסינון, חוץ מהמסנן של כתובת האימייל של המשתמש. התצוגות השמורות נשמרות ברמת המשתמש. אתם יכולים ליצור, לעדכן, לשנות את השם ולמחוק את התצוגות השמורות שלכם.
מדדים
כשמגדירים תרשים, אפשר להוסיף, לערוך או למחוק את מדדי ניצול המשאבים שהוא עוקב אחריהם.
כדי להגדיר את המדדים בתרשים ניצול המשאבים:
במסוף Google Cloud , פותחים את התרשימים של ניצול המשאבים ב-BigQuery.
בחלונית Chart configuration, מגדירים את השדה Metrics:
- לוחצים על הוספת פריט > בחירת מדד.
בתיבת הדו-שיח Select a metric, בוחרים את האפשרויות הבאות:
- סוג המשאב למעקב: Job, Reservation או Edition.
- ההיקף למעקב. לדוגמה, כדי לעקוב אחרי מדדי המשימות בפרויקט הנוכחי, בוחרים בהיקף Project.
- בוחרים מדד למעקב. לדוגמה, כדי לעקוב אחרי השימוש במשבצות למשימות, בוחרים באפשרות Slot usage.
לוחצים על אישור.
בתיבת הדו-שיח New item, בוחרים את הצבירה. לדוגמה, כדי לעקוב אחרי השימוש המקסימלי ב-slots מעבר לקיבולת של המאגר בתקופה שנבחרה, בוחרים באפשרות Max.
לוחצים על סיום כדי לשמור את המדד.
אופציונלי: כדי לשנות מדד קיים, לוחצים על שם המדד ועורכים את ההגדרות שלו או מוחקים אותו.
סוגי המשאבים וההיקפים הנתמכים למדדים
מדדי ניצול המשאבים מסווגים לפי סוג המשאב וההיקף שלו.
סוגי משאבים
אפשר לעקוב אחרי סוגי המשאבים הבאים:
| משאב | תיאור |
|---|---|
| משימה | מדדים לגבי פרטי משימות ב-BigQuery בהיקף נתון ובפרק זמן נתון. |
| הזמנה | מדדים לגבי השימוש בהזמנות ב-BigQuery בהיקף ובתקופה נתונים. המדדים האלה צוברים את פרטי המשימות לפי הזמנה. אם יש לכם גישה חלקית לנתונים ברמת ההזמנה, תוכלו לראות את מדדי השימוש המצטברים בהזמנה, אבל לא את הפרטים ברמת המשימה. |
| מהדורה | מדדים לגבי הקיבולת של מהדורת BigQuery בהיקף ובתקופה נתונים. |
סוגי היקפים
אחרי שבוחרים משאב למדד, בוחרים היקף.
- כברירת מחדל, המשאבים של המקום השמור והמהדורה מוגדרים ברמת הפרויקט.
- אפשר להגדיר את משאב המשימה להיקפים ברמת הפרויקט, התיקייה או הארגון. כדי להשתמש בהיקפים רחבים יותר, צריך הרשאות נוספות.
קיבוץ לפי
כדי לקבץ נתונים בתרשים ניצול המשאבים, מבצעים את השלבים הבאים:
במסוף Google Cloud , פותחים את התרשימים של ניצול המשאבים ב-BigQuery.
בחלונית Chart configuration, מגדירים את השדה קיבוץ לפי באחת מהאפשרויות הבאות:
- None: האפשרות הזו נותנת סקירה כללית ברמה גבוהה של המדדים שנבחרו, לאורך זמן, בכל הארגון.
- Project: האפשרות הזו מקבצת את המדדים שנבחרו לפי פרויקט. אם יש יותר מ-50 פרויקטים, יוצגו רק 50 הפרויקטים עם השימוש הגבוה ביותר ב-slots.
- כל שאר האפשרויות של Group by: האפשרויות האלה דומות לתצוגת הפרויקט, והנתונים מקובצים לפי המאפיין המתאים. אם אפשרות מסוימת של "קיבוץ לפי" לא נתמכת בכל המדדים שנבחרו, אי אפשר לבחור בה.
מסנן
כשמגדירים את תרשים ניצול המשאבים, אפשר להחיל מסננים על הנתונים, למשל להציג את השימוש במשאבים של מהדורת Enterprise או לפי מזהה משאב.
כדי לסנן את נתוני התרשים, מפעילים מסננים בחלונית הסינון. אפשר לבחור מסנן רק אם הוא נתמך במדדים שבחרתם. כדי לראות את ההרשאות הנדרשות, לוחצים על התפריט Filter.
הצגת נתוני ניצול המשאבים ברמת הפרויקט
כדי לנתח את ניצול המשאבים ברמת הפרויקט, אתם יכולים להשתמש באותם שלבי הגדרה שבהם אתם משתמשים כדי להציג נתונים ברמת הארגון. בתרשימים מוצגים רק נתונים ואפשרויות הגדרה ברמת הפרויקט (האפשרויות ברמת הארגון מופיעות באפור). ההיקף הזה ברמת הפרויקט מציג את ניצול המשאבים הכולל, בלי קשר למצב החיוב בפרויקט הרלוונטי.
מגבלות בתרשים של ניצול המשאבים
- בתרשים ובטבלה שבאמצע הדף מוצגים מדדים שרלוונטיים לתקופה ולרמת הפירוט שנבחרו.
- מדדים עם אותה יחידה חולקים את אותו קנה מידה. התרשים תומך בעד שני סולמות שונים.
מעבר לממשק המשתמש הישן
כברירת מחדל, יש לכם גישה לתרשימי המשאבים של המהדורות כשאתם מנווטים מפרויקט הניהול של ההזמנות. אתם יכולים לעבור בין תרשימי המשאבים על פי דרישה לבין תרשימי המשאבים של המהדורה, מפרויקט הניהול של ההזמנות (גרסת טרום-השקה (Preview)).
כדי לראות את תרשימי המשאבים:
- נכנסים לדף BigQuery.
כניסה ל-BigQuery - בתפריט הפרויקטים, בוחרים את הפרויקט האדמיניסטרטיבי שבו השתמשתם כדי לרכוש משבצות וליצור הזמנות.
- בתפריט הניווט, לוחצים על Monitoring.
- בקטע Chart options > Scope, אתם יכולים לבחור את מודל החיוב מהרשימה, שכוללת שלושה סוגים של מהדורות וחיוב על פי דרישה. כברירת מחדל, מודל החיוב מוגדר למהדורת Enterprise.
- בקטע Chart options > Chart Configurations:
- ברשימה Chart, בוחרים את סוג התרשים. למידע על אפשרויות שונות של תרשימים, ראו אפשרויות תרשים.
- ברשימה מדדים, בוחרים את סוג המדדים הזמינים.
- ברשימה קיבוץ לפי, בוחרים את המאפיין שלפיו רוצים לקבץ את הנתונים בתרשים. למידע על מאפיינים שונים, קראו את המאמר אפשרויות קיבוץ לפי.
- ברשימה מסננים, בוחרים את אפשרויות הסינון הזמינות. למידע על מסננים שונים, ראו מסננים וחיפוש.
- מגדירים את מסגרת הזמן שרוצים להציג את הנתונים שלה בתרשים.
הגדרות התרשים
אתם יכולים לשנות את התצוגה של תרשימי המשאבים באמצעות האפשרויות הבאות להגדרת התרשים.
אפשרויות של תרשים
אפשר להציג בתרשימים את סוגי המדדים הבאים של BigQuery:
- שימוש ביחידת קיבולת (Slot). שימוש ממוצע ב-slots. אם האפשרות קיבוץ לפי מוגדרת ל-Overall, או אם מסננים מוגדר ל-None או ל-מקום שמור אחת, מוצגים גם מדדי הקיבולת והשימוש ביחידות קיבולת שהושאלו.
- שימוש כולל. השימוש הממוצע במשבצות בתקופה שנבחרה.
- שימוש ב-slot מושאל. שימוש ממוצע שחורג מהקיבולת של ההזמנה. בדרך כלל מדובר במשבצות זמן פנויות שנלקחו מהזמנות ומהתחייבויות אחרות, או בחוסר דיוק בעיגול של נתוני השימוש. משבצות זמן פנויות נוספות מופיעות בתרשים ניצול המשאבים, גם אם השיתוף של משבצות זמן פנויות מושבת. השימוש במשבצות לא פעילות הוא ערך משוער שמחושב על סמך שימוש במשבצות, משבצות מחויבות ומשבצות בהתאמה לעומס (Autoscale). אם ערך השימוש במשבצות חורג מ-Commitment Capacity, התרשים מקבץ אותן כמשבצות לא פעילות.
- קיבולת ההתחייבות. גודל ההתחייבות למהדורה.
- קיבולת בסיסית. גודל הבסיס של ההזמנה.
- Autoscale Capacity. גודל מיקום המודעה שמותאם אוטומטית.
- קיבולת מקסימלית. המספר המקסימלי של משבצות שהמשתמש יכול לגשת אליהן.
- בו-זמניות (concurrency) של משימות. המספר המקסימלי של משימות שפועלות בו-זמנית בתקופה שנבחרה.
- ביצועי העבודה. זמן הריצה הממוצע של משימות שהושלמו, שמחושב מזמן היצירה של המשימה ועד לזמן הסיום שלה.
- משימות שנכשלו. השימוש הממוצע במשבצות בתקופה שנבחרה, במשימות שנכשלו.
- בייטים שעובדו. מספר הבייטים הכולל שעובדו במשימות שהושלמו בתקופה שנבחרה.
- הפעלה אקראית. יחס השימוש הממוצע בערבוב בתקופה שנבחרה (גרסת טרום-השקה (Preview)).
רכיב הטבלה
בטבלה מוצגים מדדים שרלוונטיים לתקופה ולמאפיין שבחרתם בתרשים המשאבים.
בתרשים Slot Usage מוצג Average slot usage לכל המשימות שפועלות במהלך התקופה שנבחרה. משימות שלא הסתיימו בתקופה שנבחרה כוללות רק את ה-slots שנעשה בהם שימוש בתקופה הזו.
בתרשים Job Performance, רכיב הטבלה מציג את המדדים הבאים:
- מספר המשימות. מספר המשימות שהושלמו ורצו באופן מלא או חלקי בפרק הזמן שנבחר.
- משך זמן ממוצע של משימה. משך הזמן הממוצע של משימות שהושלמו, שרצו לפחות באופן חלקי בפרק הזמן שנבחר.
- משך העבודה החציוני. החציון של משך המשימות שהושלמו, שרצו לפחות באופן חלקי בפרק הזמן שנבחר.
- משך זמן מינימלי של המשרה. משך הזמן המינימלי של משימות שהושלמו ורצו לפחות באופן חלקי בתקופה שנבחרה. העמודה הזו מוסתרת כברירת מחדל, אבל אפשר להפעיל אותה ב-Column display options.
- משך הזמן המקסימלי של המשימה. משך הזמן המקסימלי של משימות שהושלמו ורצו לפחות באופן חלקי בתקופה שנבחרה. העמודה הזו מוסתרת כברירת מחדל, אבל אפשר להפעיל אותה ב-Column display options.
בתרשים Failed Jobs, רכיב הטבלה מציג את הנתונים הבאים:
- שימוש ממוצע ביחידות ה-slot. זהה לתרשים Slot Usage, אבל רק למשימות שנכשלו.
- סה"כ המשימות שנכשלו. מספר המשימות שנכשלו בתקופת הזמן שנבחרה.
אפשרויות "קיבוץ לפי"
בהתאם לסוג התרשים, אפשר לקבץ את הנתונים בתצוגת התרשים לפי כמה מאפיינים:
- באופן כללי. התצוגה הכללית היא סקירה כללית ברמה גבוהה של המדד שנבחר, לאורך זמן, בכל הארגון. בתרשים של שימוש במשבצות, הקיבולת והשימוש מוצגים באותו תרשים כדי לתת מושג על השימוש הכולל במשבצות לאורך זמן.
- פרויקט. בתצוגת הפרויקט מוצג המדד שנבחר, מקובץ לפי פרויקט. אם לארגון יש יותר מ-10 פרויקטים, יוצגו רק 10 הפרויקטים המובילים עם השימוש הגבוה ביותר ב-slots, עם מספר המשימות הגבוה ביותר שפועלות בו-זמנית, עם משך המשימות הארוך ביותר או עם מספר המשימות הגבוה ביותר שנכשלו בתקופה שנבחרה. בשימוש במשבצות, כל שאר הפרויקטים מקובצים בקטגוריה Other בתחתית התרשים, כדי שיהיה קל יותר להשוות אותם לקיבולת הכוללת.
- כל שאר התצוגות של "קיבוץ לפי" דומות לתצוגת הפרויקט, והנתונים מקובצים לפי המאפיין המתאים.
אפשרות של לוח זמנים
אתם יכולים לשנות את התקופה בדרכים הבאות:
- בוחרים את התקופה וגוררים אותה לתרשים ציר הזמן של האירועים.
- בוחרים את התקופה וגוררים אותה לתרשים הראשי.
תקופת ההתאמה מתעדכנת באופן אוטומטי כשמסגרת הזמן שנבחרה משתנה. ככל שתקופת ההתאמה קצרה יותר, כך התצוגה מפורטת יותר. כדי לראות טוב יותר משאבים שמשתנים לעיתים קרובות, כמו האפשרות Slot Usage, צריך להקטין את תקופת ההתאמה.
סינון וחיפוש
כדי לצמצם את נתוני התרשים, אפשר להחיל מסננים בחלונית המסננים. חלק מהמסננים זמינים רק בתרשימים מסוימים. המסננים Reservations, Folders, Projects ו-Users מאוכלסים במשאבים המתאימים שצרכו משבצות זמן במסגרת הזמן שנבחרה. לדוגמה, אם לא השתמשתם בפרויקט ב-30 הימים האחרונים, הוא לא יופיע ברשימת המסננים של הפרויקט.
התרשים מתעדכן אחרי שמחילים מסננים כדי להציג נתונים בתוך הפרמטרים שנבחרו.
מעקב אחרי התאמה אוטומטית לעומס (autoscaling)
כשעוקבים אחרי השימוש ב-slots באמצעות תרשימי משאבים ניהוליים, יכול להיות שתראו הרבה יותר slots מותאמים מאשר השימוש ב-slots, כי התרשימים מחליקים את מספר ה-slots שבשימוש במהלך תקופת ההתאמה. כדי לראות את השימוש ב-slots בהתאמה אוטומטית של קנה מידה עם פרטים מדויקים יותר, צריך לצמצם את אפשרות מסגרת הזמן. הפעולה הזו מעדכנת באופן אוטומטי את תקופת ההתאמה למרווח קטן יותר.
בדוגמה הבאה, בתרשים מוצגים הרבה יותר משבצות מותאמות מאשר הדרישות של עומס העבודה.

עם זאת, אם מקצרים את אפשרות מסגרת הזמן כך שתקופת ההתאמה תהיה שתי שניות, אפשר לראות שהמידרוג האוטומטי מתאים את עצמו לדרישות של עומס העבודה ומציג נתונים מדויקים יותר. כדי לשנות את האפשרות של מסגרת הזמן, גוררים את טווחי ההתחלה והסיום של האפשרות. כדי להציג את נתוני הביקוש המדויקים ביותר לעומס העבודה, בוחרים באפשרות p99 מהרשימה Metric.

כדי לקבל את התצוגה המדויקת ביותר של השימוש בהתאמה אוטומטית לעומס, השתמשו בתקופת התאמה של בין שנייה אחת ל-15 שניות.
מעקב אחרי ביצועי המשימות
יכול להיות שתצטרכו לשנות את max_slots של ההתאמה האוטומטית לעומס כדי להימנע מעלויות גבוהות יותר. השאילתה הבאה מספקת הקשר לגבי ביצועי המשימה, כדי שתוכלו לבחור את הכמות הנכונה של משבצות להתאמה אוטומטית לעומס (automatic scaling) בשביל עומס העבודה שלכם.
השאילתה הבאה מספקת פרטים על ביצועי המשימות הקודמות של ההזמנות:
SELECT AVG(TIMESTAMP_DIFF(end_time, creation_time, MILLISECOND)) as avg_latency_ms, SUM(total_bytes_processed) as total_bytes, COUNT(*) as query_numbers, FROM `PROJECT_ID.region-REGION_NAME`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION WHERE creation_time >= START_TIME AND creation_time < END_TIME AND (statement_type != "SCRIPT" OR statement_type IS NULL) AND reservation_id = RESERVATION_ID
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט -
REGION_NAME: האזור של הפרויקט -
START_TIME: זמן היצירה שבו רוצים להתחיל להציג את הנתונים -
END_TIME: זמן היצירה שבו רוצים להפסיק להציג את הנתונים -
RESERVATION_ID: מזהה ההזמנה
בדוגמה הבאה מוצגים פרטי המשימה לאורך תקופה של חמישה ימים:
SELECT AVG(TIMESTAMP_DIFF(end_time, creation_time, MILLISECOND)) as avg_latency_ms, SUM(total_bytes_processed) as total_bytes, COUNT(*) as query_numbers, FROM `myproject.region-us`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION WHERE creation_time >= '2024-06-25 00:00:00-07' AND creation_time < '2024-06-30 00:00:00-07' AND (statement_type != "SCRIPT" OR statement_type IS NULL) AND reservation_id = reservationID
פתרון בעיות שקשורות למחסור ביחידות קיבולת (slots)
תחרות על משבצות יכולה לקרות כשאין מספיק משבצות להרצת כל המשימות, מה שגורם לבעיות בביצועים. כדי לנתח אם הירידה בביצועים נובעת מעומס עבודה מוגבר או משינויים בהגדרות הסביבה, אתם יכולים להשוות בין שני מרווחי זמן של המערכת בהזמנות ובפרויקטים.
כדי לפתור בעיות של תחרות על משבצות, השתמשו בשלבים ובשיטות המומלצות הבאות.
אם ניסיתם את השיטות המומלצות האלה ועדיין יש בעיות בביצועים של המשימות, אתם יכולים לבקש תמיכה.
עלייה חדה במספר המשימות שפועלות בו-זמנית
משתמשים בתצוגה המפורטת בתרשימי המשאבים הניהוליים כדי לבדוק אם יש עלייה פתאומית בהפעלות של משימות, עם עליות חדות בו-זמניות בשימוש ב-slots. העליות החדות האלה יכולות להצביע על כך שיותר מדי משימות מתחרות על המשבצות הזמינות בהזמנה שלכם.
שיטה מומלצת: כדאי לבצע אופטימיזציה של שאילתות שצורכות הרבה משאבים, או להגדיל את קיבולת ה-slots של ההזמנה. למידע נוסף על אופטימיזציה של ביצועי שאילתות, קראו את המאמר שיפור חישוב השאילתות.
שימוש גבוה במשבצות (slots)
השתמשו בתצוגה המפורטת כדי לבדוק אם משך הזמן של המשימות התארך, במיוחד אם יש משימות שחורגות מהקיבולת המקסימלית של המערך שהזמנתם. שימוש גבוה באופן עקבי במשבצות יכול להצביע על תחרות מתמשכת על משבצות.
שיטה מומלצת: בודקים את השאילתות באמצעות מסנן התחרות על ה-slots בסייר המשימות כדי לזהות את השאילתות שצורכות הכי הרבה slots ולבצע להן אופטימיזציה.
משימות ארוכות
אם השלמת המשימות נמשכת זמן רב יותר, כדאי לבדוק את התצוגה המפורטת. אם יש הרבה משימות שפועלות בו-זמנית וקפיצות בשימוש ב-slots, יכול להיות שיש תחרות על ה-slots.
שיטה מומלצת: כדי לבודד משימות קריטיות, אפשר להשהות באופן זמני משימות פחות חשובות או להפחית את קצב שליחת המשימות הכולל.
הודעות על מחסור ביחידות קיבולת (slots)
בטבלת התובנות יכולות להופיע הודעות כמו There were NUMBER jobs detected with
slot_contention in the reservation., שמצביעות על בעיות של תחרות על משבצות.
כדי לבדוק את הפרטים של המשימות הספציפיות שסומנו בהודעות האלה, אפשר להשתמש בכלי לחיפוש משימות.
שיטה מומלצת: בצעו אופטימיזציה של השאילתות שזוהו או התאימו את הקצאת ה-slots של ההזמנה.
המאמרים הבאים
- מידע נוסף על הזמנות
- מידע נוסף על רכישת משבצות
- איך מעריכים את דרישות הקיבולת של חריצי ה-RAM
- איך רואים את ההמלצות והתובנות לגבי משבצות זמן