הערכה של דרישות הקיבולת (Slot)

כשרוכשים משבצות שמורות ב-BigQuery, צריך להעריך את מספר המשבצות המתאים לעומס העבודה הספציפי. הכלי להערכת יחידות הקיבולת של BigQuery עוזר לנהל את יחידות הקיבולת (Slot) על סמך היסטוריית הביצועים.

אתם יכולים להשתמש בכלי להערכת יחידות הקיבולת כדי לבצע את המשימות הבאות עבור מהדורות, הזמנות ועומסי עבודה על פי דרישה:

עבור עומסי העבודה של המהדורה שנבחרה:

• תוכלו לראות את נתוני הקיבולת והניצול של משבצות ל-30 הימים האחרונים, ולזהות תקופות של שיא הניצול שבהן נעשה שימוש ברוב המשבצות.
• אפשר לראות המלצות לאופטימיזציה של עלויות עבור משבצות של התחייבות ושל התאמה אוטומטית לעומס עם ביצועים דומים.
• כדי לראות את הגדרות ההזמנה הנוכחיות של מהדורה ספציפית.

לעומסי עבודה ספציפיים של הזמנות:

• תוכלו לראות את נתוני הקיבולת והניצול של משבצות ל-30 הימים האחרונים, ולזהות תקופות של שיא הניצול שבהן נעשה שימוש ברוב המשבצות.
• אפשר לראות את אחוזוני זמן האחזור של המשימות (P90,‏ P95 וכו') כדי להבין את ביצועי השאילתות.
• מודל שמראה איך הגדלה או הקטנה של מספר המשבצות המקסימלי להזמנה יכולות להשפיע על הביצועים.

עבור עומסי עבודה עם חיוב על פי דרישה:

• צפייה בנתוני השימוש במשבצות על פי דרישה של הארגון כולו או של פרויקט ספציפי ב-30 הימים האחרונים.
• אם תעברו למהדורת Enterprise, תוכלו לראות המלצות אופטימליות מבחינת עלות לגבי התחייבות ומשבצות של התאמה אוטומטית לעומס עם ביצועים דומים.

לקוחות שמשתמשים במהדורת Enterprise, במהדורת Enterprise Plus או בחיוב על פי דרישה יכולים להשתמש בכלי להמלצה על יחידות קיבולת של BigQuery כדי לראות את השימוש ביחידות הקיבולת, לבצע אופטימיזציה של ההתחייבויות ולשפר את הביצועים. מידע נוסף זמין במאמר בנושא הצגת המלצות למשבצות של מהדורות.

מגבלות

• הנתונים מוגבלים ל-30 הימים האחרונים.
• המודלים לא כוללים מטלות ML_EXTERNAL. אם אחוז גבוה מהמקומות שלכם משמש לML_EXTERNAL הקצאות, התוצאות המבוססות על מודלים יהיו פחות מדויקות.

לפני שמתחילים

מקצים תפקידים של ניהול זהויות והרשאות גישה (IAM) שמעניקים למשתמשים את ההרשאות הדרושות לביצוע כל משימה שמופיעה במאמר הזה.

ההרשאות הנדרשות

כדי להשתמש בכלי להערכת מספר המשבצות לנתוני הזמנות, אתם צריכים את הרשאות ה-IAM הבאות בפרויקט הניהול:

• bigquery.reservations.list
• bigquery.reservationAssignments.list
• bigquery.capacityCommitments.list

כל אחד מתפקידי ה-IAM המוגדרים מראש הבאים כולל את ההרשאות שנדרשות לשימוש בכלי להערכת מספר המשבצות:

• roles/bigquery.admin
• roles/bigquery.resourceAdmin
• roles/bigquery.resourceEditor
• roles/bigquery.resourceViewer
• roles/bigquery.user

כדי להשתמש בכלי להערכת ניצול של משבצות לנתוני שימוש לפי דרישה, צריך להפעיל את Reservations API בפרויקט שבו רוצים להשתמש כפרויקט ניהול לניהול הזמנות. בנוסף להרשאות שלמעלה, אתם צריכים גם אחת מההרשאות הבאות ב-IAM בארגון כדי לראות נתונים ברמת הארגון, או בפרויקט כדי לראות נתונים ברמת הפרויקט:

• bigquery.jobs.listExecutionMetadata (אפשר להחיל את ההגדרה רק ברמת הארגון)
• bigquery.jobs.listAll (אפשר להחיל את ההגדרה ברמת הארגון או ברמת הפרויקט)

כל אחד מתפקידי ה-IAM המוגדרים מראש הבאים כולל את ההרשאות שנדרשות לשימוש בכלי להערכת מספר המשבצות:

• roles/bigquery.admin
• roles/bigquery.resourceAdmin
• roles/bigquery.resourceEditor
• roles/bigquery.resourceViewer

כדי לראות את ההמלצות לגבי משבצות להתחייבות, צריך גם את ההרשאות שמתוארות במאמר הצגת המלצות לגבי משבצות של מהדורות.

מידע נוסף על תפקידי IAM ב-BigQuery זמין במאמר תפקידים והרשאות מוגדרים מראש.

צפייה בקיבולת ובניצול של משבצות

כדי לראות את קיבולת המשבצות ואת ניצול הקיבולת לאורך זמן, עוברים לכלי להערכת משבצות:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בוחרים את פרויקט הניהול.

   1. לוחצים על הרשימה הנפתחת Select from בחלק העליון של הדף.
   2. בחלון בחירה מתוך חלון שמופיע, בוחרים את הפרויקט.

3. בתפריט הניווט, לוחצים על ניהול קיבולת.

4. לוחצים על הכרטיסייה הערכת משבצות.

בתרשים השימוש מוצגים הקיבולת והשימוש במשבצות ב-30 הימים האחרונים, והחישוב מתבצע ברמת דיוק של שעה.

בכרטיסייה Usage and utilization by percentage (שימוש וניצול לפי אחוזים) מוצג ניצול המשבצות כאחוז מתוך השימוש במשבצות לפי מספר המשבצות המקסימלי.

בכרטיסייה Usage and utilization by capacity (שימוש וניצול לפי קיבולת) מוצגים נתוני השימוש והקיבולת המקסימלית כערכים מוחלטים.

כדי לראות נתונים סטטיסטיים של היקפים שונים, אפשר לבחור מהתפריט הנפתח מקור מהדורה או אפשרות לפי דרישה. כשבוחרים מהדורה, התפריט הנפתח הזמנה מתמלא בהזמנות רלוונטיות.

אם יש לכם הרשאות ברמת הארגון, תוכלו לבחור פרויקט ספציפי או את כל הארגון מהתפריט הנפתח המלצות לגבי. בדף Slot Estimator מוצג רק מידע ברמת הפרויקט אם יש לכם הרשאות ברמת הפרויקט בלבד.

הנתונים הסטטיסטיים בכרטיסייה Usage and utilization by capacity (שימוש וניצול לפי קיבולת) עשויים להשתנות מעט בהתאם להיקף:

• במקור המהדורה מוצגים מספר המשבצות המקסימלי שזמין למהדורה כולה, משבצות מחויבות, סכום משבצות הבסיס, השימוש הממוצע במשבצות, השימוש במשבצות ב-P99 והשימוש במשבצות ב-P50.
• לגבי הזמנה ספציפית, מוצגים נתוני יחידות הקיבולת המקסימליות שהוזמנו, יחידות הקיבולת הבסיסיות, השימוש הממוצע ביחידות הקיבולת, השימוש ביחידות הקיבולת ב-P99 והשימוש ביחידות הקיבולת ב-P50.
• למקור על פי דרישה, מוצגים נתוני השימוש הממוצע במשבצות, השימוש במשבצות ב-P99 והשימוש במשבצות ב-P50.

ביצועים של משבצות זמן במודל

כשבוחרים הזמנה, אפשר להשתמש בכלי להערכת משבצות כדי לראות נתוני ביצועים של משימות ולבנות מודל של ההשפעה של שינוי מספר המשבצות המקסימלי. הכלי להערכת משבצות מאפשר לכם ליצור מודל של שינויים אפשריים בביצועים ברמות קיבולת שונות, החל מ-80% מהערך המינימלי של גודל המשבצות המקסימלי בתקופת התצפית ועד 150% מהמשבצות המקסימליות הנוכחיות. במילים אחרות, הירידה באפשרויות לא יכולה להיות גדולה מ-20% מהקיבולת המינימלית של מסגרת הזמן של 30 ימים, והעלייה באפשרויות לא יכולה להיות גדולה מ-50% מהקיבולת הנוכחית.

המודלים מניחים שיחזור של דפוס השימוש ב-30 הימים הקודמים, שבו כל הנתונים נשארים זהים מלבד שינוי במשבצות הזמן.

השיפור המשוער בביצועים מבוסס על כמה גורמים. הגורמים החשובים ביותר הם מספר המשבצות במודל, והיחס בין מספר המשימות בכל דלי אחוזון שהופעלו בתקופות שיא לבין מספר המשימות שהופעלו בתקופות רגילות. תקופות השיא מוגדרות כמשכי זמן שבהם נעשה שימוש כמעט בכל המשבצות. העבודות שפועלות בזמנים האלה מושפעות הכי הרבה מהתחרות על משבצות, ולכן הן נהנות הכי הרבה משיפור הביצועים כתוצאה מהוספת משבצות. כתוצאה מכך, יכול להיות שקבוצות שונות של משימות יושפעו באופן שונה מאותו גידול בקיבולת, בהתאם למועד ההפעלה שלהן.

חשוב לדעת: ההשפעה בפועל על ביצועי העבודה עשויה להשתנות בהתאם לשימוש העתידי. המידע המשוער על הביצועים הוא רק לצורך קבלת מושג כללי.

כדי ליצור מודל של ביצועי משבצות:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בוחרים את פרויקט הניהול.

   1. לוחצים על הרשימה הנפתחת Select from בחלק העליון של הדף.
   2. בחלון בחירה מתוך חלון שמופיע, בוחרים את הפרויקט.

3. בתפריט הניווט, לוחצים על ניהול קיבולת.

4. לוחצים על הכרטיסייה הערכת משבצות.

5. בתפריט הנפתח הזמנה, בוחרים הזמנה ספציפית. המודל כולל את מספר המשבצות בלי פעילות שההזמנה הצליחה לשאול בכל זמן נתון.

6. בתפריט הנפתח מודל עם משבצות נוספות על משבצות מקסימליות, בוחרים ערך אחד או יותר של משבצות ליצירת מודל ולוחצים על אישור.

בטבלה שמתחת לשינויים בביצועי המשימות עם חריצים נוספים מוצגים נתונים על ביצועי המשימות מ-30 הימים האחרונים, לצד השינוי המשוער בביצועים כתוצאה מהגדלה או הקטנה של מספר החריצים המקסימלי. הנתונים מקובצים באחוזים לפי משך העבודה של כל המשרות שהופעלו בטווח הזמן שנבחר. העמודה שמסומנת בסמל הנורה מתאימה להמלצה לשיפור הביצועים של ההזמנה שנבחרה.

נתוני הביצועים מפורטים לפי אחוזון. הטבלה מפצלת את הנתונים ל-12 קטגוריות לכל היותר: P10 עד P90, בנוסף ל-P95,‏ P99 ו-P100. הקטגוריה P100 מייצגת את 1% המשרות המובילות שלקח להן הכי הרבה זמן לרוץ. הקטגוריה P99 כוללת את 96% עד 99% המשרות המובילות, הקטגוריה P95 כוללת את 91% עד 95% המשרות המובילות, הקטגוריה P90 כוללת את 81% עד 90% המשרות המובילות וכן הלאה. בהתאם לנתונים, יכול להיות שהנתונים בטבלה יקובצו לפחות קטגוריות. במקרה כזה, הטבלה תכיל פחות שורות.

לכל קבוצת אחוזונים מוצגים בטבלה הפרטים הבאים:

• אחוזון משך העבודה: קבוצת האחוזון של השורה הזו.
• משך העבודה הממוצע: הזמן הממוצע שלקח להריץ את העבודות באחוזון הזה.
• מספר המשרות: מספר המשרות בדלי אחוזון מסוים.
• לכל מודל, משך הזמן הממוצע המשוער של המשימות באחוזון הזה.

בטבלה מופיע גם נתון משוער של 'שינוי ב-30 ימים' לכל מודל. הערך הזה הוא השינוי המשוער במספר הכולל של השעות שנדרשות לעיבוד העבודות בהיסטוריה של 30 ימים, בקיבולות שונות של משבצות זמן.

הסבר על תוצאות המידול באמצעות נתוני השימוש במשבצות

בהזמנות עם קיבולת קבועה, אם שיתוף משבצות זמן פנויות מופעל, משימות בהזמנה זו יכולות לשאול משבצות זמן פנויות מהזמנות אחרות. כתוצאה מכך, יכול להיות שהניצול יעלה על 100% מהמשבצות שהוקצו. אם שמורה מסוימת משתמשת באופן עקבי במשבצות פנויות משמורות אחרות, יכול להיות שצריך להגדיל את הגודל של השמורה. זה חשוב כי הביצועים של עומס העבודה עלולים להיפגע אם זמינות המשבצות הפנויות תפחת בעתיד. מצד שני, אם בדרך כלל לא משתמשים בקיבולת המלאה של המקום השמור, יכול להיות שהמקום השמור גדול מדי.

הזמנות שמשתמשות בהתאמה אוטומטית לעומס (automatic scaling) משתמשות במשבצות ומוסיפות אותן לפי סדר העדיפות הבא:

1. משבצות זמן בסיסיות.
2. שיתוף משבצות זמן פנויות (אם האפשרות מופעלת).
3. שינוי אוטומטי של מספר המיקומים למודעות.

אם הזמנה עם התאמה אוטומטית לעומס ממלאת באופן עקבי את כל המשבצות של התאמה אוטומטית לעומס, יכול להיות שזה סימן שכדאי להגדיל את מספר המשבצות המקסימלי בהזמנה. כאן אפשר לקרוא מידע על הצגת נתוני השימוש במשבצות.

תמחור

אפשר להשתמש בכלי להערכת משבצות ללא תשלום.