הערכה של דרישות הקיבולת (Slot)

כשרוכשים משבצות שמורות ב-BigQuery, צריך להעריך את מספר המשבצות המתאים לעומס העבודה הספציפי. הכלי להערכת יחידות הקיבולת של BigQuery עוזר לכם לנהל את יחידות הקיבולת (Slot) על סמך מדדי ביצועים היסטוריים.

אתם יכולים להשתמש בכלי להערכת יחידות הקיבולת במהדורות, בהזמנות ובעומסי עבודה על פי דרישה כדי לבצע את המשימות הבאות:

עבור עומסי העבודה של המהדורה שנבחרה:

  • אפשר לראות את נתוני הקיבולת והניצול של משבצות ל-30 הימים האחרונים, ולזהות תקופות של שיא הניצול שבהן נעשה שימוש ברוב המשבצות.
  • אפשר לראות המלצות לאופטימיזציה של עלויות לגבי משבצות של התחייבות ושינוי גודל אוטומטי עם ביצועים דומים.
  • כדי לראות את הגדרות ההזמנה הנוכחיות של מהדורה ספציפית.

לעומסי עבודה ספציפיים של הזמנות:

  • אפשר לראות את נתוני הקיבולת והניצול של משבצות ל-30 הימים האחרונים, ולזהות תקופות של שיא הניצול שבהן נעשה שימוש ברוב המשבצות.
  • אפשר לראות את אחוזוני זמן האחזור של המשימות (P90,‏ P95 וכו') כדי להבין את ביצועי השאילתות.
  • מודל שמראה איך הגדלה או הקטנה של מספר המשבצות המקסימלי להזמנה יכולות להשפיע על הביצועים.

עבור עומסי עבודה עם חיוב לפי דרישה:

  • צפייה בנתוני השימוש במשבצות על פי דרישה של הארגון כולו או של פרויקט ספציפי ב-30 הימים האחרונים.
  • אם תעברו למהדורת Enterprise, תוכלו לראות המלצות אופטימליות מבחינת עלות לגבי משבצות של התחייבות ושינוי גודל אוטומטי עם ביצועים דומים.

לקוחות שמשתמשים במהדורת Enterprise, במהדורת Enterprise Plus או בחיוב על פי דרישה יכולים להשתמש בכלי להמלצה על יחידות קיבולת (Slot) ב-BigQuery כדי לראות את השימוש ביחידות הקיבולת, לבצע אופטימיזציה של ההתחייבויות ולשפר את הביצועים. מידע נוסף זמין במאמר בנושא הצגת המלצות לגבי משבצות למהדורות.

מגבלות

  • הנתונים מוגבלים ל-30 הימים האחרונים.
  • המודלים לא כוללים מטלות ML_EXTERNAL. אם אחוז גבוה מהמקומות שלכם משמש לML_EXTERNAL הקצאות, התוצאות המבוססות על מודלים יהיו פחות מדויקות.

לפני שמתחילים

להקצות תפקידים של ניהול זהויות והרשאות גישה (IAM) שנותנים למשתמשים את ההרשאות הדרושות לביצוע כל משימה במסמך הזה.

ההרשאות הנדרשות

כדי להשתמש בכלי להערכת מספר המשבצות לנתוני הזמנות, אתם צריכים את הרשאות ה-IAM הבאות בפרויקט הניהול:

  • bigquery.reservations.list
  • bigquery.reservationAssignments.list
  • bigquery.capacityCommitments.list

כל אחד מתפקידי ה-IAM המוגדרים מראש הבאים כולל את ההרשאות שנדרשות לשימוש בכלי להערכת מספר המשבצות:

  • roles/bigquery.admin
  • roles/bigquery.resourceAdmin
  • roles/bigquery.resourceEditor
  • roles/bigquery.resourceViewer
  • roles/bigquery.user

כדי להשתמש בכלי להערכת מספר המשבצות לנתוני שימוש לפי דרישה, צריך להפעיל את Reservations API בפרויקט שבו אתם מתכוונים להשתמש כפרויקט ניהול לניהול הזמנות. בנוסף להרשאות שלמעלה, אתם צריכים גם אחת מההרשאות הבאות ב-IAM בארגון כדי לראות נתונים ברמת הארגון, או בפרויקט כדי לראות נתונים ברמת הפרויקט:

  • bigquery.jobs.listExecutionMetadata (אפשר להחיל את ההגדרה רק ברמת הארגון)
  • bigquery.jobs.listAll (אפשר להחיל את ההגדרה ברמת הארגון או ברמת הפרויקט)

כל אחד מתפקידי ה-IAM המוגדרים מראש הבאים כולל את ההרשאות שנדרשות לשימוש בכלי להערכת מספר המשבצות:

  • roles/bigquery.admin
  • roles/bigquery.resourceAdmin
  • roles/bigquery.resourceEditor
  • roles/bigquery.resourceViewer

כדי לראות את ההמלצות לגבי משבצות התחייבות, צריך גם את ההרשאות שמתוארות במאמר הצגת המלצות לגבי משבצות מהדורה.

מידע נוסף על תפקידי IAM ב-BigQuery זמין במאמר תפקידים והרשאות מוגדרים מראש.

צפייה בקיבולת ובניצול של משבצות

כדי לראות את קיבולת המשבצות ואת ניצול המשבצות לאורך זמן, עוברים אל כלי הערכת המשבצות:

  1. נכנסים לדף BigQuery במסוף Google Cloud .

    כניסה ל-BigQuery

  2. בוחרים את פרויקט הניהול.

    1. לוחצים על הרשימה הנפתחת Select from בחלק העליון של הדף.
    2. בחלון בחירה מתוך חלון שמופיע, בוחרים את הפרויקט.

  3. בתפריט הניווט, לוחצים על Workload management.

  4. לוחצים על הכרטיסייה הערכת משבצות.

בתרשים השימוש מוצגים הקיבולת והשימוש במשבצות ב-30 הימים האחרונים, והחישוב מתבצע ברמת דיוק של שעה.

בכרטיסייה Usage and utilization by percentage (שימוש וניצול לפי אחוזים) מוצג ניצול המשבצות כאחוז מתוך השימוש במשבצות לפי מספר המשבצות המקסימלי.

אחוז הניצול

בכרטיסייה Usage and utilization by capacity (שימוש וניצול לפי קיבולת) מוצגים מספר המקומות המקסימליים והשימוש כערכים מוחלטים.

שימוש וקיבולת

כדי לראות נתונים סטטיסטיים של היקפים שונים, אפשר לבחור מהתפריט הנפתח מקור מהדורות שונות או אפשרויות לפי דרישה. כשבוחרים מהדורה, התפריט הנפתח הזמנה מתמלא בהזמנות רלוונטיות.

אם יש לכם הרשאות ברמת הארגון, תוכלו לבחור פרויקט ספציפי או את כל הארגון מהתפריט הנפתח המלצות לגבי. בדף Slot Estimator מוצג מידע ברמת הפרויקט רק אם יש לכם הרשאות ברמת הפרויקט בלבד.

אפשרויות של מחשבון יחידות הקיבולת (Slot) על פי דרישה

הנתונים הסטטיסטיים בכרטיסייה Usage and utilization by capacity (שימוש וניצול לפי קיבולת) עשויים להשתנות מעט בהתאם להיקף:

  • במקור המהדורה מוצגים מספר המשבצות המקסימלי שזמינות למהדורה כולה, משבצות מחויבות, סכום משבצות הבסיס, שימוש ממוצע במשבצות, שימוש במשבצות ב-P99 ושימוש במשבצות ב-P50.
  • לכל הזמנה ספציפית מוצגים נתוני יחידות הקיבולת המקסימליות שהוזמנו, יחידות הקיבולת הבסיסיות, השימוש הממוצע ביחידות הקיבולת, השימוש ביחידות הקיבולת באחוזון 99 והשימוש ביחידות הקיבולת באחוזון 50.
  • במקור על פי דרישה, מוצגים נתוני השימוש הממוצע במשבצות, השימוש במשבצות באחוזון 99 והשימוש במשבצות באחוזון 50.

ביצועים של משבצות זמן במודל

כשבוחרים הזמנה, אפשר להשתמש בכלי להערכת משבצות כדי לראות נתוני ביצועים של משימות ולבנות מודל של ההשפעה של שינוי מספר המשבצות המקסימלי. הכלי להערכת זמינות שטחי פרסום מאפשר לכם ליצור מודל של שינויים אפשריים בביצועים ברמות שונות של קיבולת, החל מ-80% מהערך המינימלי של גודל השטח המקסימלי לפרסום בתקופת התצפית ועד 150% מהערך הנוכחי של שטחי הפרסום המקסימליים. במילים אחרות, הירידה באפשרויות לא יכולה להיות גדולה מ-20% מהקיבולת המינימלית של מסגרת הזמן של 30 ימים, והעלייה באפשרויות לא יכולה להיות גדולה מ-50% מהקיבולת הנוכחית.

המודלים מניחים שיחזור של דפוס השימוש ב-30 הימים הקודמים, שבו הכול נשאר זהה מלבד שינוי במשבצות.

השיפור המשוער בביצועים מבוסס על כמה גורמים. הגורמים החשובים ביותר הם מספר המשבצות במודל, והיחס בין מספר המשימות בכל דלי אחוזון שהופעלו בתקופות שיא לבין מספר המשימות שהופעלו בתקופות רגילות. תקופות שיא מוגדרות כמשכי זמן שבהם נעשה שימוש כמעט בכל המשבצות. העבודות שפועלות בזמנים האלה מושפעות הכי הרבה מהתחרות על משבצות, ולכן הן נהנות הכי הרבה משיפור הביצועים כתוצאה מהוספת משבצות. כתוצאה מכך, יכול להיות שקבוצות שונות של משימות יושפעו באופן שונה מאותו גידול בקיבולת, בהתאם למועד ההפעלה שלהן.

כדי ליצור מודל של ביצועי משבצות:

  1. נכנסים לדף BigQuery במסוף Google Cloud .

    כניסה ל-BigQuery

  2. בוחרים את פרויקט הניהול.

    1. לוחצים על הרשימה הנפתחת Select from בחלק העליון של הדף.
    2. בחלון בחירה מתוך חלון שמופיע, בוחרים את הפרויקט.

  3. בתפריט הניווט, לוחצים על Workload management.

  4. לוחצים על הכרטיסייה הערכת משבצות.

  5. בתפריט הנפתח הזמנה, בוחרים הזמנה מסוימת. המודל כולל את מספר המשבצות הפנויות שההזמנה הצליחה לשאול בכל זמן נתון.

  6. בתפריט הנפתח מודל עם משבצות נוספות על משבצות מקסימליות, בוחרים ערך אחד או יותר של משבצות ליצירת מודל ולוחצים על אישור.

בטבלה שמתחת לשינויים בביצועי המשימות עם משבצות נוספות מוצגים נתונים על ביצועי המשימות מ-30 הימים האחרונים, לצד השינוי המשוער בביצועים כתוצאה מהגדלה או הקטנה של מספר המשבצות המקסימלי. הנתונים מקובצים באחוזים לפי משך העבודה של כל המשרות שהופעלו בטווח הזמן שנבחר. העמודה שמסומנת בסמל הנורה מתאימה להמלצה לשיפור הביצועים של ההזמנה שנבחרה.

יצירת מודלים של משבצות

נתוני הביצועים מחולקים לפי אחוזון. הטבלה מפצלת את הנתונים ל-12 קטגוריות לכל היותר: P10 עד P90, בנוסף ל-P95,‏ P99 ו-P100. הקטגוריה P100 מייצגת את 1% המשרות המובילות שנדרש להן הכי הרבה זמן לרוץ. הקטגוריה P99 כוללת את 96% עד 99% המשרות המובילות, הקטגוריה P95 כוללת את 91% עד 95% המשרות המובילות, הקטגוריה P90 כוללת את 81% עד 90% המשרות המובילות וכן הלאה. בהתאם לנתונים, יכול להיות שהטבלה תקבץ את הנתונים לפחות קטגוריות. במקרה כזה, הטבלה מכילה פחות שורות.

לכל קבוצת אחוזונים מוצגים בטבלה הפרטים הבאים:

  • אחוזון משך העבודה: קבוצת האחוזון של השורה הזו.
  • משך ממוצע של עבודות: הזמן הממוצע שלקח להריץ עבודות בטווח האחוזון הזה.
  • מספר המשרות: מספר המשרות בדלי אחוזון מסוים.
  • לכל מודל, משך הזמן הממוצע המשוער של משימות באחוזון הזה.

בטבלה מופיע גם נתון משוער של 'שינוי ב-30 ימים' לכל מודל. הערך הזה הוא השינוי המשוער במספר הכולל של השעות שנדרשות לעיבוד המשימות בהיסטוריה של 30 הימים, בקיבולות שונות של משבצות.

הסבר על תוצאות המידול באמצעות נתוני השימוש במשבצות

בהזמנות עם קיבולת קבועה, אם שיתוף משבצות זמן פנויות מופעל, משימות בהזמנה יכולות לשאול משבצות זמן פנויות מהזמנות אחרות. כתוצאה מכך, יכול להיות שהניצול יעלה על 100% מהמשבצות שהוקצו. אם שמורה מסוימת משתמשת באופן עקבי במשבצות פנויות משמורות אחרות, יכול להיות שצריך להגדיל את הגודל של השמורה. זה חשוב כי הביצועים של עומס העבודה עלולים להיפגע אם זמינות המשבצות הפנויות תפחת בעתיד. מצד שני, אם בדרך כלל לא משתמשים בקיבולת המלאה של המקום השמור, יכול להיות שהמקום השמור גדול מדי.

הזמנות שמשתמשות בשינוי גודל אוטומטי משתמשות במשבצות ומוסיפות אותן לפי סדר העדיפות הבא:

  1. משבצות זמן בסיסיות.
  2. שיתוף משבצות זמן פנויות (אם האפשרות מופעלת).
  3. שינוי גודל אוטומטי של מיקומי מודעות.

אם הזמנה עם שינוי גודל אוטומטי ממלאת באופן עקבי את כל המשבצות של שינוי הגודל האוטומטי, יכול להיות שזה סימן שכדאי להגדיל את מספר המשבצות המקסימלי בהזמנה. כאן אפשר לקרוא מידע על הצגת השימוש במשבצות.

תמחור

אפשר להשתמש בכלי להערכת משבצות ללא תשלום.