מעקב אחר השימוש במכסת Data Boost וניהול שלה

‫Spanner Data Boost כפוף למכסות שמגבילות את מספר הקריאות בו-זמנית ל-ExecuteStreamingSQL ול-StreamingRead שמתבצעות בכל פרויקט ובכל אזור. אם מספר הבקשות המקבילות חורג מהמכסה, הבקשות נכשלות ומופיעות שגיאות RESOURCE_EXHAUSTED.

בדיקת המכסה

כדי לבדוק את מכסת הפעולות בו-זמנית בפרויקט:

  1. נכנסים לדף Quotas במסוף Google Cloud .

    לפתיחת הדף Quotas

  2. בשדה Filter, מזינים databoost. בוחרים אחת מהאפשרויות הבאות ברשימה:

    • DataBoostQuotaPerProjectPerRegion כדי לראות את מכסת הבקשות המקבילות של Data Boost.
    • ‫DataBoostMilliQuotaPerProjectPerRegion כדי לראות את המכסה של בקשות מקבילות ב-Data Boost באלפיות פעולות.

  3. בטבלה שמופיעה, מאתרים את האזור שלכם ובודקים את המגבלה שלו.

מעקב אחרי ניצול המכסות

כדי לעקוב אחרי השימוש במכסות:

  1. במסוף Google Cloud , נכנסים לדף Monitoring.
    למעבר אל Monitoring
  2. אם האפשרות Metrics Explorer מופיעה בתפריט הניווט, לוחצים עליה. אחרת, לוחצים על Resources ובוחרים באפשרות Metrics Explorer.
  3. בחלק העליון של הדף, בוחרים מרווח זמן.
  4. ברשימה הנפתחת Metric, בשדה Filter by resource or metric name, מזינים consumer ולוחצים על Enter כדי לצמצם את החיפוש.
  5. כדי לראות את המכסה של בקשות בו-זמניות ב-Data Boost:
    1. ברשימה, בוחרים באפשרות Consumer Quota > Quota > Concurrent Quota usage ולוחצים על Apply.
    2. לוחצים על + הוספת מסנן כדי ליצור מסנן.
    3. ברשימה הנפתחת Label 1, בוחרים באפשרות quota_metric.
    4. בשדה הטקסט Value 1, מזינים או בוחרים את הערך spanner.googleapis.com/data_boost_quota.

  6. כדי לראות את המכסה של בקשות מקבילות ב-Data Boost במילי-פעולות:

    1. ברשימה, בוחרים באפשרות Consumer Quota > Quota > מכסה לקצב הגשת בקשות ולוחצים על Apply.
    2. לוחצים על + הוספת מסנן כדי ליצור מסנן.
    3. ברשימה הנפתחת Label 1, בוחרים באפשרות quota_metric.
    4. בשדה הטקסט Value 1, מזינים או בוחרים את הערך spanner.googleapis.com/data_boost_milli_quota.

    ב-Metrics explorer מוצג תרשים קו של ניצול המכסות לפי אזור.

  7. אופציונלי: בקטע Display, עבור Widget type, בוחרים באפשרות תרשים עמודות אופקי מוערם.

מעקב אחרי שגיאות ומגבלות של מכסות

כדי לעקוב אחרי שגיאות מכסה שקשורות למכסת הבקשות המקבילות ב-Data Boost, פועלים לפי השלבים הבאים:

  1. ב-Metrics explorer, בוחרים את המדד Consumer Quota > Quota > Quota exceeded error.

  2. מוסיפים מסנן ל-quota_metric ששווה ל-spanner.googleapis.com/data_boost_quota.

כדי לעקוב אחרי המגבלה של המכסה "בקשות מקבילות של Data Boost" (באלפיות פעולות):

  1. ב-Metrics explorer, בוחרים את המדד Consumer Quota > Quota > Quota limit.

  2. מוסיפים מסנן ל-quota_metric ששווה ל-spanner.googleapis.com/data_boost_milli_quota.

הגדרת התראה על השימוש ב-Data Boost

אתם יכולים ליצור מדיניות התראות שמודיעה לכם כשמספר השאילתות המפוצלות שמבקשות Data Boost (קריאות בו-זמניות ל-ExecuteStreamingSQL ול-StreamingRead) לכל פרויקט ולכל אזור חורג מסף מסוים. כדי לעשות את זה:

  1. פועלים לפי ההוראות במאמר יצירת מדיניות התראות לפי סף של מדד.
  2. ברשימה הנפתחת Select a metric, בשדה Filter by resource or metric name, כותבים consumer ולוחצים על Enter כדי לצמצם את החיפוש.

  3. כדי להגדיר התראה על השימוש במכסת הבקשות המקבילות ב-Data Boost:

    1. ברשימה Select a metric, בוחרים באפשרות Consumer Quota > Quota > Concurrent Quota usage ולוחצים על Apply.
    2. בקטע הוספת מסננים, לוחצים על הוספת מסנן כדי ליצור מסנן.
    3. ברשימה הנפתחת Filter, בוחרים באפשרות quota_metric.
    4. בשדה הטקסט Value, מזינים או בוחרים את הערך spanner.googleapis.com/data_boost_quota ולוחצים על Done.
    5. ממשיכים ליצור מדיניות התראות ומגדירים את הסף לאחוז מסוים מהמכסה.

    לדוגמה, אם מכסת ברירת המחדל היא 200 ואתם רוצים לקבל התראה כשמספר הבקשות המקבילות מגיע ל-80% מהמקסימום, הזינו 160 בשדה Threshold value.

  4. כדי להגדיר התראה על השימוש במכסת אלפיות הפעולות של בקשות מקבילות ב-Data Boost:

    1. ברשימה Select a metric, בוחרים באפשרות Consumer Quota > Quota > מכסה לקצב הגשת בקשות usage ולוחצים על Apply.
    2. בקטע הוספת מסננים, לוחצים על הוספת מסנן כדי ליצור מסנן.
    3. ברשימה הנפתחת Filter, בוחרים באפשרות quota_metric.
    4. בשדה הטקסט Value, מזינים או בוחרים את הערך spanner.googleapis.com/data_boost_milli_quota ולוחצים על Done.
    5. ממשיכים ליצור מדיניות התראות ומגדירים את הסף לאחוז מסוים מהמכסה.

    לדוגמה, אם מכסת ברירת המחדל היא 1,000,000 ואתם רוצים לקבל התראה כשמספר הבקשות מגיע ל-80% מהמגבלה, הזינו 800,000 בשדה Threshold value.

טיפול בשגיאות שקשורות למכסות

אם שיעור השגיאות של חריגה מהמכסה גבוה, כשמשתמשים ב-Dataflow עם Data Boost, מומלץ לשנות את המספר המקסימלי של ה-workers במשימת Dataflow כדי להימנע מחריגה מהמכסה של Data Boost. אפשר גם להגיש בקשה להגדלת המכסה. יכול להיות שעומס העבודה שלכם מוגבל על ידי מכסת הבקשות בו-זמנית של Data Boost או על ידי מכסת מילי-הפעולות. יכול להיות שתצטרכו להגדיל את המכסה של מילי-פעולות אחרי שתגדילו את המכסה של בקשות מקבילות.

חסימת חשבון משתמש משימוש במשאבי Data Boost

אם חשבון משתמש אחד חורג באופן עקבי מכמות המשאבים של Data Boost שסביר לצפות שיצרוך, אתם יכולים לבטל את הרשאת spanner.databases.useDataBoost לניהול זהויות והרשאות גישה (IAM) של חשבון המשתמש כדי למנוע ממנו להשתמש במשאבים של Data Boost. כדי לבטל את ההרשאה באופן אוטומטי, אתם יכולים להגדיר את ערוץ ההתראות של ההתראה כ-webhook שמפעיל פונקציה של Cloud Functions. למידע נוסף, קראו את המאמרים הבאים:

המאמרים הבאים