אם מספר הבקשות חורג מהקיבולת שהוקצתה לעיבוד הבקשות, קוד השגיאה 429 מוחזר. בטבלה הבאה מוצגת הודעת השגיאה שנוצרת על ידי כל סוג של מסגרת מכסות:
| מסגרת המכסות | הודעה |
|---|---|
| Pay-as-you-go | Resource exhausted, please try again later. |
| הקצאת משאבים לפי התפוקה שנקבעה | Too many requests. Exceeded the Provisioned Throughput. |
עם מינוי הקצאת משאבים לפי התפוקה שנקבעה, אתם יכולים לשריין כמות של תפוקה למודלים ספציפיים של AI גנרטיבי. אם אין לכם מינוי הקצאת משאבים לפי התפוקה שנקבעה והמשאבים לא זמינים לאפליקציה שלכם, מוחזר קוד השגיאה 429. למרות שאין לכם קיבולת שמורה, אתם יכולים לנסות לשלוח את הבקשה שוב. עם זאת, הבקשה לא נספרת במסגרת שיעור השגיאות, כפי שמתואר בהסכם רמת השירות (SLA).
בפרויקטים שבהם נרכש הקצאת משאבים לפי התפוקה שנקבעה, Gemini Enterprise Agent Platform מודד את התפוקה של הפרויקט ושומר את כמות התפוקה שנרכשה לשימוש בפועל בפרויקט.
במצב 'הקצאת משאבים לפי התפוקה שנקבעה' רגיל, כשמשתמשים בפחות מהכמות שנרכשה, שגיאות שאחרת היו 429 מוחזרות בתור 5XX ונספרות בשיעור השגיאות בהסכם רמת השירות (SLA). במקרה של Single Zone Provisioned Throughput (הקצאת משאבים לפי התפוקה שנקבעה לאזור יחיד), אם משתמשים בפחות מהכמות שנרכשה, שגיאות שקשורות לקיבולת 429 נחשבות ל-5XX אבל לא נספרות בשיעור השגיאות בהסכם רמת שירות (SLA). אם חורגים מהכמות שנרכשה, הבקשות הנוספות מעובדות על פי דרישה בתשלום לפי שימוש.
Pay-as-you-go
במסגרת מכסת השימוש בתשלום לפי שימוש, יש לכם את האפשרויות הבאות לפתרון שגיאות 429:
- אם אפשר, השתמשו בנקודת הקצה הגלובלית במקום בנקודת קצה אזורית.
- כדאי להטמיע אסטרטגיה לביצוע ניסיונות חוזרים באמצעות השהיה מעריכית קטועה לפני ניסיון חוזר (truncated exponential backoff).
- אם המודל שלכם משתמש במכסות, אתם יכולים לשלוח בקשה להגדלת המכסה (QIR). אם המודל שלכם משתמש בתשלום רגיל לפי שימוש, כדאי להחליק את התנועה ולהפחית את העליות הגדולות.
- כדי לקבל רמת שירות עקבית יותר, אפשר להירשם ל-Provisioned Throughput. מידע נוסף זמין במאמר בנושא הקצאת משאבים לפי התפוקה שנקבעה.
הקצאת משאבים לפי התפוקה שנקבעה
כדי לתקן את השגיאה 429 שנוצרת על ידי הקצאת משאבים לפי התפוקה שנקבעה, צריך לבצע את הפעולות הבאות:
- משתמשים בדוגמה של התנהגות ברירת מחדל, שבה לא מוגדר כותר בבקשות לחיזוי. חריגות מעל המכסה מעובדות על פי דרישה ומחויבות בתשלום לפי שימוש.
- הגדלת מספר יחידות ה-GSU במינוי הקצאת משאבים לפי התפוקה שנקבעה.
המאמרים הבאים
- מידע נוסף על תוכנית Standard pay-as-you-go זמין במאמר בנושא Standard pay-as-you-go.
- מידע נוסף על הקצאת משאבים לפי התפוקה שנקבעה זמין במאמר הקצאת משאבים לפי התפוקה שנקבעה.
- מידע על מכסות ומגבלות של AI גנרטיבי ב-Agent Platform זמין במאמר מכסות ומגבלות מערכת.
- מידע נוסף על מכסות ומגבלות מערכת זמין במאמרי העזרה בנושא מכסות ב-Cloud. Google Cloud