ב-Gemini Enterprise Agent Platform יש מכסות ומגבלות מערכת כדי לשמור על הקצאת משאבים הוגנת, למנוע עומס יתר על השירות ולעזור לכם לנהל את השימוש במשאבים.
מכסות ומגבלות מערכת דומות, אבל יש ביניהן את ההבדלים הבאים:
- המכסות נקבעות כברירת מחדל, אבל בדרך כלל אפשר לבקש לשנות אותן.
- מגבלות המערכת קבועות ואי אפשר לשנות אותן.
המכסות שלGoogle Cloud עוזרות לשמור על הוגנות ולצמצם עליות חדות בשימוש במשאבים ובזמינות שלהם. הן מגבילות את כמות המשאבים שלGoogle Cloud שאפשר להשתמש בהם בפרויקט ב- Google Cloud . המכסות רלוונטיות למגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות. לדוגמה, המכסות יכולות להגביל את מספר הקריאות ל-API בשירות מסוים, את מספר מאזני העומסים שאפשר להשתמש בהם בו-זמנית בפרויקט או את מספר הפרויקטים שאפשר ליצור. בשורה התחתונה, המכסות מגינות על משתמשיGoogle Cloud בכך שהן מונעות עומס יתר על השירותים, אבל גם עוזרות לשלוט על השימוש במשאבי Google Cloud .
מערכת המכסות ב-Cloud:
- עוקבת אחרי השימוש במוצרים ובשירותים של Google Cloud
- מגבילה את השימוש במשאבים האלה
- כוללת כלי שבאמצעותו אפשר לשלוח בקשות לשינוי המכסות ולשנות אותן אוטומטית
ברוב המקרים, כשאתם מנסים להשתמש ביותר משאבים מהמכסה, הגישה למשאב נחסמת ומה שאתם מנסים לעשות נכשל.
בדרך כלל, המכסות ב- Google Cloud הן ברמת הפרויקט. כלומר, השימוש במשאב מסוים בפרויקט כלשהו לא משפיע על המכסה שלכם בפרויקטים אחרים. ברמת הפרויקט ב- Google Cloud , המכסות משותפות לכל האפליקציות וכתובות ה-IP.
מכסות
המכסות הבאות חלות על נציגים שנפרסו ב-Agent Platform לפרויקט נתון בכל אזור:
| תיאור | מכסה | מדד |
|---|---|---|
| יצירה, מחיקה או עדכון של משאבים ב-Agent Platform לדקה | 10 | aiplatform.googleapis.com/reasoning_engine_service_write_requests |
| יצירה, מחיקה או עדכון של משאבים לא אזוריים (גלובליים או בכמה אזורים) ב-Agent Platform לדקה | 10 | aiplatform.googleapis.com/non_regional_reasoning_engine_service_write_requests |
| יצירה, מחיקה או עדכון של סשנים ב-Agent Platform לדקה | 100 | aiplatform.googleapis.com/session_write_requests |
Query או StreamQuery ב-Agent Platform לדקה |
90 | aiplatform.googleapis.com/reasoning_engine_service_query_requests |
| הוספת אירוע לסשנים של Agent Platform בדקה | 300 | aiplatform.googleapis.com/session_event_append_requests |
| יצירה, מחיקה או עדכון של סשנים לא אזוריים (גלובליים או בכמה אזורים) בדקה ב-Agent Platform | 100 | aiplatform.googleapis.com/non_regional_session_write_requests |
| מספר הסשנים לדקה של הוספת אירוע ל-Agent Platform לא אזורי (גלובלי או בכמה אזורים) | 300 | aiplatform.googleapis.com/non_regional_session_event_append_requests |
| המספר המקסימלי של משאבים ב-Agent Platform | 100 | aiplatform.googleapis.com/reasoning_engine_service_entities |
| מספר מקסימלי של משאבים לא אזוריים (גלובליים או בכמה אזורים) של Agent Platform | 100 | aiplatform.googleapis.com/non_regional_reasoning_engine_service_entities |
| יצירה, מחיקה או עדכון של משאבי זיכרון ב-Agent Platform לדקה | 100 | aiplatform.googleapis.com/memory_bank_write_requests |
| קבלת, הצגת או אחזור של נתונים מ-Agent Platform Memory Bank לדקה | 300 | aiplatform.googleapis.com/memory_bank_read_requests |
| יצירה, מחיקה או עדכון של משאבי זיכרון לא אזוריים (גלובליים או בכמה אזורים) של Agent Platform לדקה | 100 | aiplatform.googleapis.com/non_regional_memory_bank_write_requests |
| קבלת, הצגת או אחזור של נתונים מ-Memory Bank של Agent Platform לא אזורי (גלובלי או בכמה אזורים) לדקה | 300 | aiplatform.googleapis.com/non_regional_memory_bank_read_requests |
| בקשות הרצה לדקה בסביבת ארגז חול (הרצת קוד) | 1000 | aiplatform.googleapis.com/sandbox_environment_execute_requests |
| ישויות של סביבת ארגז חול (הרצת קוד) לפי אזור | 1000 | aiplatform.googleapis.com/sandbox_environment_entities |
| בקשות כתיבה לדקה בסביבת ארגז חול (הרצת קוד) | 500 | aiplatform.googleapis.com/sandbox_environment_write_requests |
בקשות POST של סוכן A2A כמו sendMessage ו-cancelTask לדקה |
60 | aiplatform.googleapis.com/a2a_agent_post_requests |
סוכני A2A מקבלים בקשות כמו getTask ו-getCard לדקה |
600 | aiplatform.googleapis.com/a2a_agent_get_requests |
חיבורים דו-כיווניים פעילים בו-זמנית באמצעות BidiStreamQuery API לדקה |
10 | aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests |
| מספר הגרסאות המקסימלי לכל פרויקט בכל אזור | 6,000 | aiplatform.googleapis.com/agent_engine_revisions_per_project_per_region |
| מספר השינויים המקסימלי לכל נציג | 950 | aiplatform.googleapis.com/agent_engine_revisions_per_agent |
ניהול מכסות לעומסי עבודה בסביבת הייצור
ככל שנפח התנועה גדל, סביר להניח שתצטרכו לבקש להגדיל מכסות ספציפיות של Agent Platform API כדי למנוע שגיאות מסוג 429 Resource Exhausted. כדי לשמור על זמן תגובה מהיר, יכולת התרחבות ואמינות של המופע של Agent Runtime בעומס הייצור, אתם יכולים להגדיר את סביבת זמן הריצה ולהגדיל את המכסות.
איך מבצעים אופטימיזציה ומשנים את קנה המידה של הביצועים ב-Agent Runtime
כדי להעריך את דרישות המכסה בשיא, צריך לבצע את השלבים הבאים:
מגדירים את המשתנים:
U: מספר שיא של משתמשים בו-זמנית (לדוגמה, 250).
X: מספר הבקשות הממוצע למשתמש לדקה (לדוגמה, 2).
Y: מספר האירועים הממוצע בסשן שנוצרו לכל בקשה (לדוגמה, 12 לשרשרת מורכבת שכוללת כמה קריאות API לכלי).
חישוב העומס המקסימלי:
מחשבים את המספר המקסימלי של שאילתות לדקה (QPM): U * X
מחשבים את מספר האירועים בסשן בדקה בשיא: Peak QPM * Y
בקשת מכסה עם מאגר: כשאתם מבקשים להגדיל את המכסה, הוסיפו מאגר (לדוגמה, 50%) מעל לשיא המחושב כדי להתמודד עם עליות בלתי צפויות.
בטבלה הבאה מוצגים חישובים של מכסות עיקריות שקשורות לביצועים ב-Agent Platform, באמצעות המשתנים לדוגמה peak concurrent users=250, average requests per user per minute=2 ו-average session events generated
per request=12:
| שם המכסה | תיאור המכסה | חישוב בסיסי (שיא) | הערך המומלץ (עם מאגר של 50%) |
|---|---|---|---|
שאילתה ל-Agent Engine לדקה (aiplatform.googleapis.com/reasoning_engine_service_query_requests) |
מספר השיחות הכולל ב-query או ב-stream_query שהסוכן יכול לקבל בדקה. |
250 users * 2 req/min = 500 QPM |
500 * 1.5 = 750 |
אירועי הוספה לסשן בדקה (aiplatform.googleapis.com/session_event_append_requests) |
מספר הפעולות או האירועים בכל הסשנים הפעילים. שאילתה אחת יכולה ליצור כמה אירועי סשן בשרשרת, לדוגמה:
|
500 QPM * 12 events/req = 6,000 |
6,000 * 1.5 = 9,000 |
כתיבות של סשנים בדקה (aiplatform.googleapis.com/session_write_requests) |
קצב היצירה או העדכון של משאבי סשנים. בדרך כלל, קצב הבקשות קטן מקצב השאילתות או שווה לו. | בדרך כלל <= שיא QPM (500) |
בדרך כלל <= מכסת השאילתות (750) |
איך שולחים בקשה לשינוי המכסות
כדי לשנות את רוב המכסות, משתמשים במסוף Google Cloud . איך שולחים בקשה לשינוי המכסות
מכסות במצב אקספרס ב-Agent Platform
משתמשים במצב אקספרס בתוכנית בחינם של Agent Platform מקבלים את המכסות הבאות לשירותי Agent Platform ללא עלות. מידע נוסף על תוכנית בחינם ומצב אקספרס זמין בסקירה הכללית על Agent Platform במצב אקספרס.
המכסות הבאות חלות על נציגים שנפרסו ב-Agent Platform בפרויקט נתון במצב אקספרס בכל אזור:
| תיאור | מכסה | מדד |
|---|---|---|
| המספר המקסימלי של משאבים ב-Agent Platform | 10 | aiplatform.googleapis.com/reasoning_engine_service_entities |
| יצירה, מחיקה או עדכון של משאבים ב-Agent Platform לדקה | 10 | aiplatform.googleapis.com/reasoning_engine_service_write_requests |
Query או StreamQuery ב-Agent Platform לדקה |
10 | aiplatform.googleapis.com/reasoning_engine_service_query_requests |
חיבורים דו-כיווניים פעילים בו-זמנית באמצעות BidiStreamQuery API לדקה |
1 | aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests |
| יצירה, מחיקה או עדכון של סשנים ב-Agent Platform לדקה | 10 | aiplatform.googleapis.com/session_write_requests |
| הוספת אירוע לסשנים של Agent Platform בדקה | 30 | aiplatform.googleapis.com/session_event_append_requests |
| יצירה, מחיקה או עדכון של משאבי זיכרון ב-Agent Platform לדקה | 10 | aiplatform.googleapis.com/memory_bank_write_requests |
| קבלת, הצגת או אחזור נתונים מ-Memory Bank לדקה | 10 | aiplatform.googleapis.com/memory_bank_read_requests |