מכסות של Agent Retrieval

המכסות שלGoogle Cloud עוזרות לשמור על הוגנות ולצמצם עליות חדות בשימוש במשאבים ובזמינות שלהם. הן מגבילות את כמות המשאבים שלGoogle Cloud שאפשר להשתמש בהם בפרויקט ב- Google Cloud . המכסות רלוונטיות למגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות. לדוגמה, המכסות יכולות להגביל את מספר הקריאות ל-API בשירות מסוים, את מספר מאזני העומסים שאפשר להשתמש בהם בו-זמנית בפרויקט או את מספר הפרויקטים שאפשר ליצור. בשורה התחתונה, המכסות מגינות על משתמשיGoogle Cloud בכך שהן מונעות עומס יתר על השירותים, אבל גם עוזרות לשלוט על השימוש במשאבי Google Cloud .

מערכת המכסות ב-Cloud:

ברוב המקרים, כשאתם מנסים להשתמש ביותר משאבים מהמכסה, הגישה למשאב נחסמת ומה שאתם מנסים לעשות נכשל.

בדרך כלל, המכסות ב- Google Cloud הן ברמת הפרויקט. כלומר, השימוש במשאב מסוים בפרויקט כלשהו לא משפיע על המכסה שלכם בפרויקטים אחרים. ברמת הפרויקט ב- Google Cloud , המכסות משותפות לכל האפליקציות וכתובות ה-IP.

לסקירה כללית על מכסות ב-Cloud

ב-Agent Retrieval (לשעבר "חיפוש וקטורי 2.0"), המכסות נאכפות כדי להגן על השירות, להבטיח חלוקה הוגנת של הקיבולת בין הפרויקטים ולספק ביצועים ועלויות צפויים יותר. המכסות נמדדות בנפרד בכל אזור. לדוגמה, השימוש ב-us-central לא משפיע על המכסה ב-europe-west4.

מדדים

כל שמות המדדים מתחילים ב-vectorsearch.googleapis.com/.

מכסות לקצב שליחת בקשות (בקשות לדקה ובייטים לדקה)

המכסות לקצב הגשת בקשות מחושבות לדקה, והן חלות על כל פרויקט ועל כל אזור (או מספר אזורים), ואופציונלית על כל אוסף.

כל קריאה ל-API שמתקבלת מגדילה את המונה בבקשה אחת (או ב-N בייטים למכסות בייטים). המונים הם לדקה קלנדרית, והם משתמשים בהערכה של חלון הזזה (אין איפוס קשיח ב-‎ :00).

אתם יכולים להגיע למגבלה באופן רציף בלי לראות אפקט של "מילוי מחדש".

כשהמונה חורג מהמגבלה, בקשות נוספות מחזירות את השגיאה RESOURCE_EXHAUSTED (HTTP 429) עם reason="RATE_LIMIT_EXCEEDED" ושם המדד המדויק בשדה quota_metric.

מכסות לקצב הגשת בקשות במישור הבקרה

המכסות הבאות חלות על מחזור החיים של המשאבים, ועל פעולות קריאה ופירוט של אוספים ואינדקסים בפרויקט ובאזור נתונים.

היקף: לכל פרויקט, לכל אזור

יחידה: 1/min

מגבלות: בקשות לדקה.

מדד מספרים
collection_management_requests collections.create
collections.update
collections.delete
collection_read_requests collections.get
collection_list_requests collections.list
index_management_requests indexes.create
indexes.update
indexes.delete
index_read_requests indexes.get
index_list_requests indexes.list

בקשות לפעולות ממושכות (LRO)

המכסות הבאות חלות על פעולות ארוכות של קריאה, הצגה, ביטול ומחיקה בפרויקט ובאזור נתונים.

היקף: לכל פרויקט, לכל אזור

יחידה: 1/min

מגבלות: בקשות לדקה.

מדד מספרים
lro_requests operations.get
operations.list
operations.cancel
operations.delete

מכסות לקצב הגשת בקשות במישור הנתונים

המכסות הבאות חלות על אובייקטי נתונים, שאילתות ותנועה שמגיעה מרשת החיפוש בפרויקט, באזור ובאוסף נתונים מסוימים.

הערה: המכסות של בקשות החיפוש (search_requests) מנוצלות לחיפוש טקסט ולחיפוש סמנטי.

היקף: לכל פרויקט, לכל אזור, לכל אוסף

יחידה: 1/min

מגבלות: בקשות לדקה, לכל אוסף

מדד מספרים
data_object_writes dataObjects.create
dataObjects.update
dataObjects.delete
כל אובייקט נתונים שכלול ב-
batchCreate
batchUpdate
batchDelete
data_object_writes_us כמו data_object_writes, אבל למספר האזורים us.
data_object_reads dataObjects.get
data_object_reads_us כמו data_object_reads, אבל למספר האזורים us.
query_requests dataObjects.query (שאילתות סינון של מטא-נתונים בלבד)
query_requests_us כמו query_requests, אבל למספר האזורים us.
search_requests ‫dataObjects.search כשמריצים ANN צפופה או דלילה.
search_requests_us כמו search_requests, אבל למספר האזורים us.
knn_search_requests dataObjects.search כשמריצים חיפוש KNN מקיף.
batch_search_requests_us כמו batch_search_requests, אבל למספר האזורים us.
batch_search_requests ‫dataObjects.batchSearch (בקשה אחת, בלי קשר לחיפושי המשנה)
batch_search_requests_us כמו batch_search_requests, אבל למספר האזורים us.

מכסות תפוקה במישור הנתונים

המכסות הבאות חלות על בייטים שנכתבים בדקה לפרויקט, לאזור ולאוסף נתונים.

היקף: לכל פרויקט, לכל אזור, לכל אוסף

יחידה: 1/min

מגבלות: בקשות לדקה, לכל אוסף

מדד מספרים
data_object_write_bytes סכום הבייטים של הנתונים שעברו סריאליזציה והווקטורים שנכתבו על ידי כל הקריאות ל-
create,‏ update,‏ delete,‏ batchCreate,‏ batchUpdate ו-
batchDelete לאוספים, לאובייקטים של נתונים ולאינדקסים.
data_object_write_bytes_us זהה ל-data_object_write_bytes אבל למספר האזורים us.

פעולות באצווה

  • ‫batchCreate, batchUpdate, batchDelete dataObjects: כל אובייקט נתונים בבקשה נספר ככתיבה אחת במכסה data_object_writes, והגודל שלו בבייטים אחרי סריאליזציה נספר במכסה data_object_write_bytes.

  • ‫batchSearch dataObjects: נספרת כבקשה אחת ב-batch_search_requests, בלי קשר למספר החיפושים המשניים שכלולים בה. חיפוש באצווה גורם לכך שגם מכסת החיפושים המשניים נספרת.

מכסות הקצאה (הספירה הנוכחית)

מכסות הקצאה הן ספירה נוכחית.

מונים הם ספירה בזמן אמת של משאבים או פעולות בתהליך שבבעלות הפרויקט.

הספירה עולה כשיוצרים משאב או מתחילים פעולה, ויורדת כשמוחקים משאב או מסיימים פעולה.

כשמגיעים למגבלה, הקריאה הבאה ליצירה מחזירה את הערך RESOURCE_EXHAUSTED. כדי לפנות מקום במכסה, צריך למחוק משאב קיים או לחכות עד שהפעולה הארוכה תסתיים.

מכסות הקצאה במישור הבקרה

המכסות הבאות חלות על מספר המשאבים או הפעולות שבתהליך בפרויקט, באזור מסוים, כולל:

  • אוספים
  • אינדקסים
  • פעולות בו-זמניות של יצירה, ייבוא וייצוא של אוספים, אובייקטים של נתונים ואינדקסים

היקף: לכל פרויקט, לכל אזור

יחידה: 1

מגבלות: ספירות מוחלטות (מכסות מדויקות)

מדד מספרים
collections מספר האוספים שקיימים בפרויקט או באזור.
collections_us כמו collections, אבל למספר האזורים us.
indexes מספר האינדקסים (הסכום של כל האוספים) בפרויקט או באזור.
indexes_us כמו indexes, אבל למספר האזורים us.
concurrent_index_operations פעולות ארוכות טווח (LRO) של אינדקסים בתהליך (יצירה/עדכון/מחיקה).
concurrent_index_operations_us כמו concurrent_index_operations, אבל למספר האזורים us.
concurrent_collection_operations פעולות LRO של אוסף שנמצאות בתהליך (יצירה/עדכון/מחיקה).
concurrent_collection_operations_us כמו concurrent_collection_operations, אבל למספר האזורים us.
concurrent_data_object_imports פעולות LRO מסוג dataObjects.import שמתבצעות.
concurrent_data_object_imports_us כמו concurrent_data_object_imports, אבל למספר האזורים us.
concurrent_data_object_exports פעולות LRO מסוג dataObjects.export שמתבצעות.
concurrent_data_object_exports_us כמו concurrent_data_object_exports, אבל למספר האזורים us.

הטמעה אוטומטית

הטמעה אוטומטית משתמשת ב-Gemini API ב-Gemini Enterprise Agent Platform (aiplatform.googleapis.com). כל בקשת API נספרת במכסות של search_requests או data_object_writes, וכל קריאה להטמעה נספרת במכסות של החיזויים. חשוב לוודא שיש מספיק מקום בשני ממשקי ה-API.

דוגמאות לשימוש

בקטעים הבאים מוסבר איך תרחישי שימוש שונים משפיעים על המכסות.

עומס עבודה מתמשך של כתיבה

אתם מטמיעים מסמכים (נתונים ווקטור צפוף של 768 ממדים, בערך 4KB) באוסף יחיד ב-us-central1. שתי מכסות חלות בו-זמנית:

data_object_writes        (requests per minute, per collection)
data_object_write_bytes   (bytes per minute, per collection)

אתם מוגבלים על ידי התקרה הראשונה שאליה תגיעו. באובייקטים קטנים, בדרך כלל המכסה לקצב הגשת הבקשות היא זו שקובעת. באובייקטים גדולים, מכסת הבייטים היא המגבלה.

כדאי לבדוק את שני המדדים במסוף Google Cloud כדי לדעת איזה מהם הכי קרוב למגבלה.

עומס עבודה שכולל הרבה חיפושים

עומס עבודה של הצגת מודעות ששולח שאילתות ANN לאוסף יחיד צורך search_requests. אם מספר השאילתות לשנייה (QPS) בשיא מתקרב למגבלה של כל אוסף, צריך לבקש הגדלה או לפזר את התנועה בין כמה אוספים באותו אזור.

הרבה אוספים קטנים

אם אתם מתכננים ליצור יותר אוספים מהמגבלה של collections בפרויקט, בקשו להגדיל את המכסה לפני שתתחילו ליצור. אחרת, קריאת היצירה שחורגת מהמגבלה תיכשל עם RESOURCE_EXHAUSTED.

batchSearch שמכיל 10 חיפושי משנה צורך בדיוק אחד batch_search_requests, אבל כל חיפוש משנה עדיין נספר במדד המתאים לכל חיפוש משנה רק ברמת ה-batch החיצוני. תכננו את פיצול האצווה בהתאם.

איך רואים את המכסות?

כדי לראות את המכסות:

  1. פותחים את הדף IAM & Admin > Quotas במסוף Google Cloud .
  2. מסננים לפי השירות Vector Search API.
  3. בעמודה Dimensions (e.g. location) אפשר לסנן לפי אזור ולפי Collection למכסות במישור הנתונים.

המגבלה הנוכחית בפועל לכל מדד מוצגת בדף Quotas במסוף Google Cloud , לצד שם המדד, בסינון לפי אזור, ולפי Collection למכסות במישור הנתונים.

הגדרת התראות על הגעה למכסות

מומלץ להגדיר התראה על 80% ניצול של המכסות שעומס העבודה תלוי בהן. למידע נוסף, קראו את המאמרים הגדרת התראות על הגעה למכסה ושימוש במדדי מכסות במדיניות התראות.

פעולות שנכשלו

בקשה שנדחתה כי היא חרגה מהמכסה לא נספרת במכסה עצמה.

בקשות שנכשלות מסיבות אחרות (INVALID_ARGUMENT, NOT_FOUND וכו') כן נספרות במכסה לקצב הגשת הבקשות, כי השירות עדיין צריך להעריך אותן.

vector_schema נספרים כשלונות באימות. הן נדחות בשכבת ה-API אחרי בדיקת המכסה לקצב הגשת הבקשות.

חריגה מהמכסות

כשהבקשה מוגבלת, ה-API מחזיר:

gRPC:   RESOURCE_EXHAUSTED (8)
HTTP:   429 Too Many Requests

הודעת השגיאה כוללת את המדד המדויק שחרג מהמגבלה.

לדוגמה:

Quota exceeded for quota metric 'vectorsearch.googleapis.com/search_requests'
and limit 'SearchRequestsPerMinutePerProjectPerRegionPerCollection' of service
'vectorsearch.googleapis.com' for consumer 'project_number:123456789012'.

במקרה כזה, אתם יכולים לבקש להגדיל את המכסה.

הלקוחות צריכים:

  • ניסיון חוזר עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff) ורעידות לשגיאות זמניות של הגבלת קצב של יצירת בקשות. מתחילים בשנייה אחת בערך ומגדילים את המרווח עד ל-32 שניות בערך.
  • לא לנסות שוב שגיאות שנגרמו בגלל מכסות הקצאה (לדוגמה, "too many collections"). במקום זאת, מחקו משאב או בקשו להגדיל את המכסה.
  • פיזור פעולות הכתיבה בין אוספים או אזורים, אם אוסף יחיד מגיע למכסות data_object_writes או data_object_write_bytes שלו.
  • חימום מראש. אם אתם יודעים שההשקה תחרוג מהמגבלות הנוכחיות, בקשו להגדיל את המגבלות לפחות כמה ימי עסקים מראש.

בקשה להגדלת המכסה (QIR)

כדי לבקש להגדיל את המכסה:

  1. פותחים את הדף IAM & Admin > Quotas במסוף Google Cloud .
  2. בוחרים את השורות שרוצים להגדיל.
  3. לוחצים על Edit Quotas, מזינים את הערך החדש והצדקה עסקית קצרה ושולחים. מה כן:
    • שם המדד (לדוגמה, vectorsearch.googleapis.com/search_requests).
    • האזור ומזהה האוסף (למישור הנתונים).
    • קצב העברת הנתונים הרצוי ותיאור קצר של עומס העבודה (קבוע לעומת משתנה, שיא צפוי של שאילתות לשנייה, גודל צפוי של מערך הנתונים וכו').

הבקשה מועברת לצוות של Agent Retrieval לבדיקה. רוב הבקשות להגדלה של עד פי 2 מערך ברירת המחדל מאושרות באופן אוטומטי. יכול להיות שיידרשו בדיקות נוספות כדי להגדיל את המכסה עוד יותר.

מידע נוסף