מכסות ומגבלות מערכת לסוכנים ב-Agent Platform

במאמר הזה מפורטות המכסות והמגבלות של מערכת Gemini Enterprise Agent Platform.

  • המכסות נקבעות כברירת מחדל, אבל בדרך כלל אפשר לבקש לשנות אותן.
  • מגבלות המערכת קבועות ואי אפשר לשנות אותן.

המכסות שלGoogle Cloud עוזרות לשמור על הוגנות ולצמצם עליות חדות בשימוש במשאבים ובזמינות שלהם. הן מגבילות את כמות המשאבים שלGoogle Cloud שאפשר להשתמש בהם בפרויקט ב- Google Cloud . המכסות רלוונטיות למגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות. לדוגמה, המכסות יכולות להגביל את מספר הקריאות ל-API בשירות מסוים, את מספר מאזני העומסים שאפשר להשתמש בהם בו-זמנית בפרויקט או את מספר הפרויקטים שאפשר ליצור. בשורה התחתונה, המכסות מגינות על משתמשיGoogle Cloud בכך שהן מונעות עומס יתר על השירותים, אבל גם עוזרות לשלוט על השימוש במשאבי Google Cloud .

מערכת המכסות ב-Cloud:

ברוב המקרים, כשאתם מנסים להשתמש ביותר משאבים מהמכסה, הגישה למשאב נחסמת ומה שאתם מנסים לעשות נכשל.

בדרך כלל, המכסות ב- Google Cloud הן ברמת הפרויקט. כלומר, השימוש במשאב מסוים בפרויקט כלשהו לא משפיע על המכסה שלכם בפרויקטים אחרים. ברמת הפרויקט ב- Google Cloud , המכסות משותפות לכל האפליקציות וכתובות ה-IP.

לסקירה כללית על מכסות ב-Cloud

מכסות

המכסות הבאות חלות על סוכנים שנפרסו ב-Agent Platform עבור פרויקט נתון בכל אזור:

תיאור מכסה מדד
יצירה, מחיקה או עדכון של משאבים ב-Agent Platform לדקה 10 aiplatform.googleapis.com/reasoning_engine_service_write_requests
יצירה, מחיקה או עדכון של משאבים לא אזוריים (גלובליים או רב-אזוריים) ב-Agent Platform בכל דקה 10 aiplatform.googleapis.com/non_regional_reasoning_engine_service_write_requests
יצירה, מחיקה או עדכון של סשנים ב-Agent Platform לדקה 100 aiplatform.googleapis.com/session_write_requests
‫Query או StreamQuery Agent Platform לדקה 90 aiplatform.googleapis.com/reasoning_engine_service_query_requests
הוספת אירוע לסשנים בדקה ב-Agent Platform 300 aiplatform.googleapis.com/session_event_append_requests
יצירה, מחיקה או עדכון של סשנים של Agent Platform ללא אזור (גלובליים או רב-אזוריים) לדקה 100 aiplatform.googleapis.com/non_regional_session_write_requests
הוספת אירוע לסשנים של Agent Platform שאינם אזוריים (גלובליים או רב-אזוריים) לדקה 300 aiplatform.googleapis.com/non_regional_session_event_append_requests
המספר המקסימלי של משאבים ב-Agent Platform 100 aiplatform.googleapis.com/reasoning_engine_service_entities
המספר המקסימלי של משאבים לא אזוריים (גלובליים או רב-אזוריים) ב-Agent Platform 100 aiplatform.googleapis.com/non_regional_reasoning_engine_service_entities
יצירה, מחיקה או עדכון של משאבי זיכרון של Agent Platform לדקה 100 aiplatform.googleapis.com/memory_bank_write_requests
קבלת נתונים, הצגת רשימה או אחזור נתונים מ-Agent Platform Memory Bank לדקה 300 aiplatform.googleapis.com/memory_bank_read_requests
יצירה, מחיקה או עדכון של משאבי זיכרון ב-Agent Platform שאינם אזוריים (גלובליים או רב-אזוריים) לדקה 100 aiplatform.googleapis.com/non_regional_memory_bank_write_requests
קבלת נתונים, הצגת רשימה או אחזור נתונים מ-Memory Bank של Agent Platform (לא אזורי, גלובלי או רב-אזורי) לדקה 300 aiplatform.googleapis.com/non_regional_memory_bank_read_requests
סביבת ארגז חול (הפעלת קוד) – בקשות להפעלה לדקה 1000 aiplatform.googleapis.com/sandbox_environment_execute_requests
יחידות Sandbox environment (Code Execution) לכל אזור 1000 aiplatform.googleapis.com/sandbox_environment_entities
בקשות כתיבה לדקה בסביבת ארגז חול (הפעלת קוד) 500 aiplatform.googleapis.com/sandbox_environment_write_requests
בקשות POST של סוכן A2A כמו sendMessage ו-cancelTask לדקה 60 aiplatform.googleapis.com/a2a_agent_post_requests
‫A2A Agent מקבל בקשות כמו getTask ו-getCard לדקה 600 aiplatform.googleapis.com/a2a_agent_get_requests
חיבורים חיים בו-זמניים דו-כיווניים באמצעות BidiStreamQuery API לדקה 10 aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests
מספר הגרסאות המקסימלי לכל פרויקט בכל אזור 6,000 aiplatform.googleapis.com/agent_engine_revisions_per_project_per_region
מספר השינויים המקסימלי לכל סוכן 950 aiplatform.googleapis.com/agent_engine_revisions_per_agent

ניהול מכסות לעומסי ייצור

ככל שהתנועה גדלה, סביר להניח שתצטרכו לבקש הגדלה של מכסות ספציפיות של Agent Platform API כדי להימנע משגיאות 429 Resource Exhausted. כדי לשמור על תגובתיות, על יכולת הרחבה ועל אמינות של מופע Agent Runtime תחת עומס ייצור, מומלץ להגדיר מראש את סביבת זמן הריצה ולהגדיל את המכסות.

מידע על אופטימיזציה והרחבה של הביצועים של Agent Runtime זמין במאמר אופטימיזציה והרחבה של הביצועים של Agent Runtime.

כדי להעריך את דרישות המכסה שלכם בתקופות השיא:

  1. מגדירים את המשתנים:

    • ‫U: מספר השיא של משתמשים בו-זמניים (לדוגמה, 250).

    • ‫X: ממוצע הבקשות לדקה לכל משתמש (לדוגמה, 2).

    • ‫Y: המספר הממוצע של אירועים בסשן שנוצרו לכל בקשה (לדוגמה, 12 עבור שרשרת מורכבת שכוללת כמה קריאות לכלים).

  2. חישוב העומס המרבי:

    • חישוב מספר השאילתות המקסימלי לדקה (QPM): U * X

    • חישוב אירועי השיא בסשן לדקה: שיא QPM כפול Y

  3. בקשה למכסה עם מרווח ביטחון: כשמבקשים להגדיל את המכסה, כדאי להוסיף מרווח ביטחון (לדוגמה, 50%) מעל השיא המחושב כדי להתמודד עם עליות פתאומיות לא צפויות.

בטבלה הבאה מוצגים חישובים של מכסות מרכזיות שקשורות לביצועים ב-Agent Platform, באמצעות משתני הדוגמה peak concurrent users=250, average requests per user per minute=2 ו-average session events generated per request=12:

שם המכסה תיאור המכסה חישוב בסיסי (שיא) הערך המומלץ (עם 50% חיץ)
שאילתות ל-Agent Engine לדקה (aiplatform.googleapis.com/reasoning_engine_service_query_requests) המספר הכולל של שיחות query או stream_query שהסוכן יכול לקבל בדקה. 250 users * 2 req/min = 500 QPM 500 * 1.5 = 750
הוספת אירועים של סשן לדקה (aiplatform.googleapis.com/session_event_append_requests)

מספר הפניות או האירועים בכל הסשנים הפעילים. שאילתה אחת יכולה ליצור כמה אירועים של סשנים בשרשרת, לדוגמה:

  1. קריאה ל-LLM.
  2. תשובת LLM: שימוש בכלי.
  3. מריצים את הכלי.
  4. קוראים ל-LLM עם תגובה של כלי.
  5. מודל ה-LLM נותן את התשובה הסופית.
 500 QPM * 12 events/req = 6,000 6,000 * 1.5 = 9,000
פעולות כתיבה בסשן לדקה (aiplatform.googleapis.com/session_write_requests) הקצב שבו נוצרים או מתעדכנים משאבי סשן. הערך הזה בדרך כלל קטן או שווה לשיעור השאילתות. בדרך כלל <= שיא QPM (500) בדרך כלל <= מכסת שאילתות (750)

איך שולחים בקשה לשינוי המכסות

כדי לשנות את רוב המכסות, משתמשים במסוף Google Cloud . מידע נוסף זמין במאמר בנושא שליחת בקשה לשינוי המכסות.

מכסות במצב אקספרס ב-Agent Platform

למשתמשים במצב אקספרס של Agent Platform בתוכנית בחינם יש את המכסות הבאות לשירותי Agent Platform ללא עלות. מידע נוסף על תוכנית בחינם ומצב אקספרס זמין במאמר סקירה כללית של Agent Platform במצב אקספרס.

המכסות הבאות חלות על סוכנים שפריסתם מתבצעת ב-Agent Platform עבור פרויקט במצב אקספרס באזור מסוים:

תיאור מכסה מדד
המספר המקסימלי של משאבים ב-Agent Platform 10 aiplatform.googleapis.com/reasoning_engine_service_entities
יצירה, מחיקה או עדכון של משאבים ב-Agent Platform לדקה 10 aiplatform.googleapis.com/reasoning_engine_service_write_requests
‫Query או StreamQuery Agent Platform לדקה 10 aiplatform.googleapis.com/reasoning_engine_service_query_requests
חיבורים חיים בו-זמניים דו-כיווניים באמצעות BidiStreamQuery API לדקה 1 aiplatform.googleapis.com/reasoning_engine_service_concurrent_query_requests
יצירה, מחיקה או עדכון של סשנים ב-Agent Platform לדקה 10 aiplatform.googleapis.com/session_write_requests
הוספת אירוע לסשנים בדקה ב-Agent Platform 30 aiplatform.googleapis.com/session_event_append_requests
יצירה, מחיקה או עדכון של משאבי זיכרון של Agent Platform לדקה 10 aiplatform.googleapis.com/memory_bank_write_requests
קבלת נתונים, הצגת רשימה או אחזור מ-Memory Bank לדקה 10 aiplatform.googleapis.com/memory_bank_read_requests