מעקב אחר השימוש במכסת Data Boost וניהול שלה

מכסות מגבילות את מספר הקריאות המקבילות של ExecuteStreamingSQL ו-StreamingRead שמתבצעות לכל פרויקט ולכל אזור ב-Spanner Data Boost. אם מספר הבקשות בו-זמנית חורג מהמכסה, הבקשות נכשלות עם שגיאות RESOURCE EXHAUSTED.

בדיקת המכסה

כדי לבדוק את מכסת הבו-זמניות בפרויקט:

  1. נכנסים לדף Quotas במסוף Google Cloud .

    לפתיחת הדף Quotas

  2. בשדה מסנן, מזינים databoost. בוחרים אחת מהאפשרויות הבאות מהרשימה:

    • ‫DataBoostQuotaPerProjectPerRegion כדי לראות את מכסת הבקשות המקבילות של Data Boost.
    • ‫DataBoostMilliQuotaPerProjectPerRegion כדי לראות את מכסת הבקשות המקבילות של Data Boost במילי-אופרציות.

  3. בטבלה שמופיעה, מאתרים את האזור שלכם ורואים את המגבלה שחלה עליו.

מעקב אחרי השימוש במכסה

כדי לעקוב אחרי השימוש במכסה:

  1. במסוף Google Cloud , עוברים אל Monitoring.
    כניסה למעקב
  2. אם האפשרות Metrics Explorer מופיעה בתפריט הניווט, בוחרים בה. אחרת, לוחצים על Resources (מקורות מידע) ואז על Metrics Explorer (הכלי לבחירת מדדים).
  3. בחלק העליון של הדף, בוחרים פרק זמן.
  4. ברשימה הנפתחת Metric, בשדה Filter by resource or metric name, מזינים consumer ומקישים על Enter כדי לצמצם את החיפוש.
  5. כדי לראות את מכסת הבקשות בו-זמנית של Data Boost:
    1. ברשימה, בוחרים באפשרות Consumer Quota > Quota > Concurrent Quota usage ולוחצים על Apply.
    2. לוחצים על + הוספת מסנן כדי ליצור מסנן.
    3. בתפריט הנפתח Label 1, בוחרים באפשרות quota_metric.
    4. בשדה הטקסט Value 1 (ערך 1), מזינים או בוחרים באפשרות spanner.googleapis.com/data_boost_quota.

  6. כדי לראות את מכסת הבקשות המקבילות של Data Boost במילי-אופרציות:

    1. ברשימה, בוחרים באפשרות Consumer Quota > Quota > Rate Quota usage (מכסת צרכנים > מכסה > שימוש במכסת קצב), ואז לוחצים על Apply (החלה).
    2. לוחצים על + הוספת מסנן כדי ליצור מסנן.
    3. בתפריט הנפתח Label 1, בוחרים באפשרות quota_metric.
    4. בשדה הטקסט Value 1 (ערך 1), מזינים או בוחרים באפשרות spanner.googleapis.com/data_boost_milli_quota.

    בכלי לבחירת מדדים מוצג תרשים קו של השימוש במכסה לפי אזור.

  7. אופציונלי: בקטע Display, בשדה Widget type, בוחרים באפשרות תרשים עמודות אופקי מוערם.

מעקב אחרי שגיאות ומגבלות שקשורות למכסות

כדי לעקוב אחרי שגיאות שקשורות למכסת הבקשות בו-זמנית של Data Boost, פועלים לפי השלבים הבאים:

  1. ב-Metrics explorer, בוחרים במדד Consumer Quota > Quota > Quota exceeded error.

  2. מוסיפים מסנן ל-quota_metric ששווה ל-spanner.googleapis.com/data_boost_quota.

כדי לעקוב אחרי המגבלה של מכסת המילי-אופרציות של בקשות מקבילות של Data Boost, פועלים לפי השלבים הבאים:

  1. בכלי Metrics explorer, בוחרים במדד Consumer Quota > Quota > Quota limit.

  2. מוסיפים מסנן עבור quota_metric שווה ל-spanner.googleapis.com/data_boost_milli_quota.

הגדרת התראה על השימוש ב-Data Boost

אתם יכולים ליצור מדיניות התראות שתשלח לכם התראה כשהמספר של שאילתות מחולקות בו-זמניות שמבקשות Data Boost (קריאות בו-זמניות של ExecuteStreamingSQL ושל StreamingRead) לכל פרויקט ולכל אזור חורג מסף מסוים. כדי לעשות זאת, מבצעים את השלבים הבאים:

  1. פועלים לפי ההוראות במאמר יצירת כללי מדיניות התראות על סמך סף מדד.
  2. ברשימה הנפתחת Select a metric, בשדה Filter by resource or metric name, מזינים consumer ולוחצים על Enter כדי לצמצם את החיפוש.

  3. כדי להגדיר התראה על השימוש במכסת הבקשות בו-זמנית של Data Boost:

    1. ברשימה Select a metric בוחרים באפשרות Consumer Quota > Quota > Concurrent Quota usage ואז לוחצים על Apply.
    2. בקטע הוספת פילטרים, לוחצים על הוספת פילטר כדי ליצור פילטר.
    3. בתפריט הנפתח Filter, בוחרים באפשרות quota_metric.
    4. בשדה הטקסט Value (ערך), מזינים או בוחרים את הערך spanner.googleapis.com/data_boost_quota ולוחצים על Done (סיום).
    5. ממשיכים ליצור מדיניות התראות ומגדירים את הסף לאחוז מסוים מהמכסה.

    לדוגמה, אם מכסת ברירת המחדל היא 200 ואתם רוצים לקבל התראה כשמספר הבקשות בו-זמנית מגיע ל-80% מהמקסימום, צריך להזין 160 בשדה ערך הסף.

  4. כדי להגדיר התראה על השימוש במכסת המילי-אופרציות של בקשות בו-זמניות של Data Boost:

    1. ברשימה Select a metric בוחרים באפשרות Consumer Quota > Quota > Rate Quota usage ולוחצים על Apply.
    2. בקטע הוספת פילטרים, לוחצים על הוספת פילטר כדי ליצור פילטר.
    3. בתפריט הנפתח Filter, בוחרים באפשרות quota_metric.
    4. בשדה הטקסט Value (ערך), מזינים או בוחרים את הערך spanner.googleapis.com/data_boost_milli_quota ולוחצים על Done (סיום).
    5. ממשיכים ליצור מדיניות התראות ומגדירים את הסף לאחוז מסוים מהמכסה.

    לדוגמה, אם מכסת ברירת המחדל היא 1,000,000 ואתם רוצים לקבל התראה כשמספר המילי-אופרציות של הבקשה יגיע ל-80% מהמכסה, צריך להזין 800,000 בשדה ערך הסף.

טיפול בשגיאות שקשורות למכסות

אם שיעור השגיאות שקשורות לחריגה מהמכסה גבוה כשמשתמשים ב-Dataflow עם Data Boost, מומלץ לשנות את המספר המקסימלי של העובדים בעבודת ה-Dataflow כדי להימנע מחריגה מהמכסה של Data Boost. אפשר גם לבקש מכסה גבוהה יותר. יכול להיות שהעומס שלכם מוגבל בגלל מכסת הבקשות המקבילות של Data Boost או מכסת המילי-אופרציות. יכול להיות שתצטרכו להגדיל את מכסת המילי-אופרציות אחרי שתגדילו את מכסת הבקשות המקבילות.

חסימת גישה של גורם מרכזי למשאבים של Data Boost

אם חשבון משתמש אחד חורג באופן עקבי מכמות המשאבים של Data Boost שהוא יכול לצרוך באופן סביר, אפשר לחסום את חשבון המשתמש משימוש במשאבים של Data Boost על ידי ביטול ההרשאה spanner.databases.useDataBoost Identity and Access Management (IAM) שלו. אפשר להגדיר את ערוץ ההתראות של ההתראה כ-webhook שמפעיל פונקציית Cloud Functions כדי לבטל את ההרשאה באופן אוטומטי. מידע נוסף זמין בנושאים הבאים:

המאמרים הבאים