יצירת מכסות שאילתות בהתאמה אישית

במאמר הזה מוסבר איך מגדירים או משנים מכסות מותאמות אישית של שאילתות כדי לשלוט בעלויות. במאמר חישוב העלויות ושליטה בהן מוסבר איך אנליסטים של BigQuery יכולים להעריך את העלויות ולשלוט בהן.

אם יש לכם כמה פרויקטים וכמה משתמשים ב-BigQuery, אתם יכולים לנהל את העלויות על ידי שליחת בקשה למכסה בהתאמה אישית שמגדירה מגבלה על כמות הנתונים שעוברים עיבוד בכל יום. המכסות היומיות מתאפסות בחצות לפי שעון החוף המערבי.

מכסה בהתאמה אישית היא פרואקטיבית, ולכן אי אפשר להריץ שאילתה של 11TB אם המכסה היא 10TB. יצירת מכסת נתונים מותאמת אישית על נתונים מעובדים מאפשרת לכם לשלוט בעלויות ברמת הפרויקט או ברמת המשתמש.

כדי להגדיר אמצעי בקרה מותאמים אישית על העלויות, אפשר לעדכן את מכסות השאילתות הבאות:

  • ‫QueryUsagePerDay: מכסות מותאמות אישית ברמת הפרויקט מגבילות את השימוש המצטבר של כל המשתמשים בפרויקט הזה.

  • ‫QueryUsagePerUserPerDay: מכסה מותאמת אישית ברמת המשתמש חלה בנפרד על כל המשתמשים ועל חשבונות השירות בפרויקט. ללא קשר למגבלה לכל משתמש, סך השימוש של כל המשתמשים בפרויקט לא יכול לחרוג מהמגבלה היומית על השימוש בשאילתות.

מגבלת ברירת המחדל של מכסת QueryUsagePerDay היא 200 טביבייט (TiB) של נתונים שעוברים עיבוד לכל פרויקט ביום. מגבלת ברירת המחדל של QueryUsagePerUserPerDay היא ללא הגבלה. כדי לבדוק את המגבלות הנוכחיות, אפשר לעיין בדף המכסות. אפשר לשנות את המגבלות בכל שלב – שינויים בהתאמה אישית מבטלים את המגבלות שמוגדרות כברירת מחדל.

מכסות השימוש בשאילתות חלות רק על מודל התמחור של שאילתות על פי דרישה.

במאמר מכסות ומגבלות יש מידע נוסף על מכסות BigQuery שאפשר להגדיר.

התפקיד הנדרש

כדי לקבל את ההרשאה שנדרשת לשינוי המכסה, צריך לבקש מהאדמין לתת לכם את תפקיד ה-IAM‏ Quota Administrator (role/servicemanagement.quotaAdmin) בפרויקט. להסבר על מתן תפקידים, קראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאה serviceusage.quotas.update, שנדרשת כדי לשנות את המכסה.

יכול להיות שתוכלו לקבל את ההרשאה הזו גם בתפקידים בהתאמה אישית או בתפקידים אחרים שמוגדרים מראש.

הגדרה או שינוי של מכסות מותאמות אישית

אפשר להגדיר מכסה מותאמת אישית או לשנות מכסה מותאמת אישית קיימת לכל מכסה שמוצגת בדף מכסות ומגבלות מערכת במסוף Google Cloud . כשמבקשים להקטין את המכסה, השינוי מתעדכן תוך כמה דקות. אם תבקשו להגדיל את המכסה, הבקשה תעבור תהליך אישור שיכול לקחת יותר זמן. מידע נוסף זמין במאמר בנושא שליחת בקשה לשינוי המכסות.

כדי להגדיר או לעדכן אמצעי בקרה מותאם אישית על העלויות, כמו הגבלת כמות הנתונים ב-BigQuery שאפשר לעבד בכל יום:

  1. במסוף Google Cloud , פותחים את הדף IAM & Admin > Quotas & System Limits:

    כניסה לדף Quotas & System Limits

  2. משתמשים במסנן Service בתיבת החיפוש Filter כדי לסנן לפי BigQuery API.

  3. בוחרים את המכסות שרוצים לשנות. לדוגמה, כדי להגביל את כמות הנתונים שאפשר לשלוח לגביהם שאילתות ביום ברמת הפרויקט וברמת המשתמש, בוחרים באפשרויות Query usage per day (שימוש בשאילתות ביום) ו-Query usage per day per user (שימוש בשאילתות ביום לכל משתמש). יכול להיות שתצטרכו לעבור בין הדפים ברשימה כדי למצוא אותם. אחרי שבוחרים מכסת אחסון, מופיע סרגל כלים.

  4. בסרגל הכלים, לוחצים על עריכה. תיבת הדו-שיח Quota changes תיפתח.

  5. אם נבחרה האפשרות ללא הגבלה, מבטלים את הסימון שלה.

  6. מקלידים את המכסה החדשה הרצויה ב-TiB בשדה New value.

  7. לוחצים על סיום.

  8. לוחצים על Submit request.

איך רואים ומנהלים את המכסות

הודעות השגיאה שהוחזרו

אחרי שמגדירים מכסה בהתאמה אישית, מערכת BigQuery מחזירה שגיאה כשחורגים ממנה:

  • אם חורגים ממכסה מותאמת אישית ברמת הפרויקט, BigQuery מחזיר את השגיאה usageQuotaExceeded:

    Custom quota exceeded: Your usage exceeded the custom quota for
QueryUsagePerDay, which is set by your administrator. For more information,
see https://cloud.google.com/bigquery/cost-controls

  • אם המשתמש חורג ממכסה מותאמת אישית ברמת המשתמש, BigQuery מחזיר שגיאה usageQuotaExceeded עם הודעת שגיאה שונה:

    Custom quota exceeded: Your usage exceeded the custom quota for
QueryUsagePerUserPerDay, which is set by your administrator. For more
information, see https://cloud.google.com/bigquery/cost-controls

אפשר להריץ את השאילתה מפרויקט אחר שיש לו גישה למערכי הנתונים ושלא הוגדרה בו מכסה בהתאמה אישית, או שהשימוש בו לא חרג מהמכסה.

דוגמה

נניח שהגדרתם את המכסות המותאמות אישית הבאות לפרויקט עם 10 משתמשים, שאחד מהם הוא חשבון שירות:

  • ברמת הפרויקט: ‎50 TB ביום
  • ברמת המשתמש: 10TB ביום

מכסות מותאמות אישית ברמת הפרויקט מגבילות את השימוש המצטבר של כל המשתמשים בפרויקט הזה. מכסות מותאמות אישית ברמת המשתמש חלות בנפרד על כל משתמש או חשבון שירות בפרויקט.

בטבלה הבאה מתוארת המכסה שנותרה כש-10 משתמשים מריצים שאילתות במהלך היום.

Usage המכסה שנותרה
כל אחד מ-10 המשתמשים שולח שאילתה של 4TB ברמת הפרויקט: נשארו 10TB.
ברמת המשתמש: נשארים 6TB לכל משתמש, אבל רק עד 10TB בסך הכול.
חשבון השירות שולח שאילתה לגבי עוד 6TB ברמת הפרויקט: נותרו 4TB.
ברמת המשתמש: לחשבון השירות כבר אין אפשרות להשתמש ב-BigQuery. למשתמשים האחרים יישארו 6TB לכל משתמש, אבל רק עד 4TB בסך הכול.
משתמש אחד שולח שאילתה לגבי עוד 4TB ברמת הפרויקט: לא נותרו TB.
ברמת המשתמש: נשארות כמה טרה-בייט, אבל אף אחד לא יכול להשתמש ב-BigQuery כי חרגו מהמכסה ברמת הפרויקט.

אם לא נותרה מכסת אחסון, BigQuery מפסיק לפעול עבור כל המשתמשים בפרויקט.

המאמרים הבאים