יצירת מכסות לשאילתות בהתאמה אישית

במאמר הזה מוסבר איך להגדיר או לשנות מכסות של שאילתות בהתאמה אישית כדי לשלוט בעלויות. במאמר הערכה ובקרה של עלויות מוסבר איך מנתחי נתונים ב-BigQuery יכולים להעריך ולבקר את העלויות.

אם יש לכם כמה פרויקטים ומשתמשים ב-BigQuery, אתם יכולים לנהל את העלויות על ידי בקשה למכסה מותאמת אישית שמגדירה מגבלה על כמות הנתונים שעוברים עיבוד ביום. המכסות היומיות מתאפסות בחצות, לפי שעון החוף המערבי של ארה"ב.

מכסות בהתאמה אישית הן פרואקטיביות, כך שאי אפשר להריץ שאילתה של 11TB אם המכסה היא 10TB. יצירת מכסה מותאמת אישית לנתונים מעובדים מאפשרת לכם לשלוט בעלויות ברמת הפרויקט או ברמת המשתמש.

כדי להגדיר אמצעי בקרה מותאמים אישית על העלויות, אתם יכולים לעדכן אחת ממכסות השאילתות הבאות או את שתיהן:

  • ‫QueryUsagePerDay: מכסות בהתאמה אישית ברמת הפרויקט מגבילות את השימוש המצטבר של כל המשתמשים בפרויקט.

  • ‫QueryUsagePerUserPerDay: מכסה מותאמת אישית ברמת המשתמש חלה בנפרד על כל המשתמשים וחשבונות השירות בפרויקט. בלי קשר למגבלה לכל משתמש, השימוש הכולל של כל המשתמשים בפרויקט לא יכול לחרוג ממגבלת השימוש בשאילתות ליום.

מגבלת ברירת המחדל של המכסה QueryUsagePerDay היא 200 טביבייט (TiB) של נתונים שעובדו בכל פרויקט ביום. מגבלת ברירת המחדל של QueryUsagePerUserPerDay היא ללא הגבלה. כדי לבדוק את המגבלות הנוכחיות, אפשר לעיין בדף Quotas. אתם יכולים לשנות את המגבלות בכל שלב – הגדרות מותאמות אישית מבטלות את מגבלות ברירת המחדל.

מכסות השימוש בשאילתות חלות רק על מודל התמחור של שאילתות על פי דרישה.

למידע נוסף על המכסות שאפשר להגדיר ב-BigQuery, קראו את המאמר מכסות ומגבלות.

התפקיד הנדרש

כדי לקבל את ההרשאה שנדרשת לשינוי המכסה, בקשו מהאדמין להקצות לכם את התפקיד "אדמין של מכסות" (role/servicemanagement.quotaAdmin) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאה serviceusage.quotas.update, שנדרשת כדי לשנות את המכסה.

יכול להיות שתוכלו לקבל את ההרשאה הזו גם בתפקידים בהתאמה אישית או בתפקידים מוגדרים מראש.

הגדרה או שינוי של מכסות בהתאמה אישית

אפשר להגדיר מכסה בהתאמה אישית או לשנות מכסה קיימת בהתאמה אישית לכל מכסה שמוצגת בדף Quotas & System Limits במסוף Google Cloud . כשמבקשים להקטין את המכסה, השינוי נכנס לתוקף תוך כמה דקות. אם תבקשו מכסה גדולה יותר, הבקשה תעבור תהליך אישור שיכול להימשך זמן רב יותר. למידע נוסף, קראו את המאמר איך שולחים בקשה לשינוי המכסות.

כדי להגדיר או לעדכן אמצעי בקרה מותאם אישית על העלויות, כמו הגבלת כמות הנתונים ב-BigQuery שאפשר לעבד בכל יום:

  1. במסוף Google Cloud , פותחים את הדף IAM & Admin > Quotas & System Limits:

    כניסה לדף Quotas & System Limits

  2. בתיבת החיפוש Filter, משתמשים במסנן Service כדי לסנן לפי BigQuery API.

  3. בוחרים את המכסות שרוצים לשנות. לדוגמה, כדי להגביל את כמות הנתונים שאפשר לשלוח בשאילתה ביום ברמת הפרויקט וברמת המשתמש, בוחרים באפשרויות Query usage per day ו-Query usage per day per user. יכול להיות שתצטרכו לדפדף ברשימה כדי למצוא אותם. אחרי שבוחרים מכסה, מופיע סרגל כלים.

  4. בסרגל הכלים, לוחצים על עריכה. תיבת הדו-שיח Quota changes תיפתח.

  5. אם האפשרות ללא הגבלה מסומנת, מבטלים את הסימון שלה.

  6. בשדה New value, מזינים את ערך המכסה הרצוי ב-TiB.

  7. לוחצים על סיום.

  8. לוחצים על Submit request.

איך רואים ומנהלים את המכסות?

הודעות שגיאה שהוחזרו

אחרי שמגדירים מכסה מותאמת אישית, אם חורגים ממנה, BigQuery מחזירה את השגיאה quotaExceeded. בהודעה מצוינת המכסה שחרגתם ממנה: QueryUsagePerDay למכסה מותאמת אישית ברמת הפרויקט, או QueryUsagePerUserPerDay למכסה מותאמת אישית ברמת המשתמש:

  • Custom quota exceeded: Your usage exceeded the custom quota for QueryUsagePerDay, which is set by your administrator.
  • Custom quota exceeded: Your usage exceeded the custom quota for QueryUsagePerUserPerDay, which is set by your administrator.

כדי לנתח ולפתור את השגיאות האלה, קראו את המאמר פתרון בעיות שקשורות לשגיאות במכסות של שאילתות יומיות בהתאמה אישית.

דוגמה

נניח שהגדרתם את המכסות הבאות בהתאמה אישית לפרויקט עם 10 משתמשים, שאחד מהם הוא חשבון שירות:

  • ברמת הפרויקט: 50TB ביום
  • ברמת המשתמש: 10TB ביום

מכסות בהתאמה אישית ברמת הפרויקט מגבילות את השימוש המצטבר של כל המשתמשים באותו פרויקט. מכסות בהתאמה אישית ברמת המשתמש חלות בנפרד על כל משתמש או חשבון שירות בפרויקט.

בטבלה הבאה מתוארת המכסה שנותרה כש-10 המשתמשים מריצים שאילתות במהלך היום.

Usage המכסה שנותרה
כל אחד מ-10 המשתמשים מריץ שאילתות על 4TB ברמת הפרויקט: נשארו 10TB.
ברמת המשתמש: נשארו 6TB לכל משתמש, אבל רק עד 10TB בסך הכול.
חשבון השירות שולח שאילתות על עוד 6TB ברמת הפרויקט: נשארו 4TB.
רמת המשתמש: חשבון השירות לא יכול יותר להשתמש ב-BigQuery. לשאר המשתמשים נשאר נפח אחסון של 6TB לכל משתמש, אבל רק עד לנפח אחסון כולל של 4TB.
משתמש אחד מריץ שאילתות על 4TB נוספים ברמת הפרויקט: נשארו 0TB.
רמת המשתמש: נותרו כמה טרה-בייטים, אבל אף אחד לא יכול להשתמש ב-BigQuery כי חרגתם מהמכסה ברמת הפרויקט.

אם לא נותרה מכסה, BigQuery מפסיק לפעול לכל המשתמשים בפרויקט.

המאמרים הבאים