אם מספר הבקשות שלכם חורג מהקיבולת שהוקצתה לעיבוד בקשות, יוחזר קוד השגיאה 429. בטבלה הבאה מוצגות הודעות השגיאה שנוצרות על ידי כל אחד מסוגי מסגרות המכסות:
| מסגרת המכסות | הודעה |
|---|---|
| Pay-as-you-go | Resource exhausted, please try again later. |
| הקצאת משאבים לפי התפוקה שנקבעה | Too many requests. Exceeded the Provisioned Throughput. |
עם מינוי ל"הקצאת משאבים לפי התפוקה שנקבעה", אתם יכולים להקצות כמות מסוימת של תפוקה למודלים ספציפיים של AI גנרטיבי. אם אין לכם מינוי ל"הקצאת משאבים לפי התפוקה שנקבעה" ואין משאבים זמינים לאפליקציה, מוחזר קוד השגיאה 429. למרות שאין לכם קיבולת שמורה, אתם יכולים לנסות לשלוח את הבקשה שוב. עם זאת, הבקשה לא נספרת בשיעור השגיאות כפי שמתואר בהסכם רמת השירות (SLA).
בפרויקטים שרכשו הקצאת משאבים לפי התפוקה שנקבעה, Gemini Enterprise Agent Platform מודדת את התפוקה של הפרויקט ושומרת את כמות התפוקה שנרכשה לשימוש בפועל בפרויקט.
במצב רגיל של הקצאת משאבים לפי התפוקה שנקבעה, אם אתם משתמשים בפחות מהכמות שרכשתם, שגיאות שבמצב אחר היו 429 מוחזרות בתור 5XX ונכללות בחישוב של שיעור השגיאות בהסכם רמת השירות. בהקצאת משאבים לפי התפוקה שנקבעה באזור יחיד, אם אתם משתמשים בפחות מהכמות שרכשתם, שגיאות 429 שקשורות לקיבולת מטופלות כמו 5XX אבל לא נספרות בשיעור השגיאות של הסכם רמת השירות. אם חורגים מהכמות שנרכשה, הבקשות הנוספות מעובדות על פי דרישה בתשלום לפי שימוש.
Pay-as-you-go
במסגרת המכסות בתשלום לפי שימוש, יש כמה אפשרויות לפתרון שגיאות 429:
- אם אפשר, השתמשו בנקודת קצה גלובלית במקום בנקודת קצה אזורית.
- מטמיעים אסטרטגיית ניסיון חוזר באמצעות השהיה מעריכית קטועה לפני ניסיון חוזר (truncated exponential backoff).
- אם המודל שלכם משתמש במכסות, אתם יכולים לשלוח בקשה להגדלת המכסה (QIR). אם המודל משתמש בתשלום רגיל לפי שימוש, כדאי להחליק את התנועה ולהפחית את העליות החדות.
- אם בפרויקט שלכם יש עלייה חדה בשימוש, יכול להיות שתיתקלו בשגיאות
429בגלל מגבלות האצה. כדי לא להגיע למגבלות ההאצה, הגבירו את התנועה בהדרגה והקפידו על דפוסי שימוש עקביים. - כדי לקבל רמת שירות עקבית יותר, כדאי להירשם ל-"הקצאת משאבים לפי התפוקה שנקבעה". מידע נוסף זמין במאמר הקצאת משאבים לפי התפוקה שנקבעה.
- כדי לראות באילו שניות ובאילו מודלים התקבלו שגיאות
429, מפעילים את יומני המטא-נתונים של בקשות ההסקה ומריצים את השאילתה של שיעור השגיאות.
הקצאת משאבים לפי התפוקה שנקבעה
כדי לתקן את השגיאה 429 שנוצרה על ידי הקצאת משאבים לפי התפוקה שנקבעה:
- משתמשים בדוגמה של התנהגות ברירת המחדל, שבה לא מוגדרת כותרת בבקשות החיזוי. כל חריגה מעובדת על פי דרישה ומחויבת לפי תשלום על השימוש בפועל.
- מגדילים את מספר ה-GSU במינוי להקצאת משאבים לפי התפוקה שנקבעה.
- כדי לראות באילו שניות ובאילו מודלים התקבלו שגיאות
429, מפעילים את יומני המטא-נתונים של בקשות ההסקה ומריצים את השאילתה של שיעור השגיאות. כדי לראות אילו בקשות חרגו, מריצים את השאילתה "חריגה לפי דקה".
המאמרים הבאים
- מידע נוסף על Standard בתשלום לפי שימוש
- מידע נוסף על הקצאת משאבים לפי התפוקה שנקבעה
- במאמר מכסות ומגבלות המערכת מוסבר על המכסות והמגבלות של AI גנרטיבי ב-Agent Platform.
- מידע נוסף על מכסות ומגבלות מערכת של Google Cloud זמין במסמכי התיעוד של מכסות ב-Cloud.