המכסות שלGoogle Cloud עוזרות לשמור על הוגנות ולצמצם עליות חדות בשימוש במשאבים ובזמינות שלהם. הן מגבילות את כמות המשאבים שלGoogle Cloud שאפשר להשתמש בהם בפרויקט ב- Google Cloud . המכסות רלוונטיות למגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות. לדוגמה, המכסות יכולות להגביל את מספר הקריאות ל-API בשירות מסוים, את מספר מאזני העומסים שאפשר להשתמש בהם בו-זמנית בפרויקט או את מספר הפרויקטים שאפשר ליצור. בשורה התחתונה, המכסות מגינות על משתמשיGoogle Cloud בכך שהן מונעות עומס יתר על השירותים, אבל גם עוזרות לשלוט על השימוש במשאבי Google Cloud .
מערכת המכסות ב-Cloud:
- עוקבת אחרי השימוש במוצרים ובשירותים של Google Cloud
- מגבילה את השימוש במשאבים האלה
- כוללת כלי שבאמצעותו אפשר לשלוח בקשות לשינוי המכסות ולשנות אותן אוטומטית
ברוב המקרים, כשאתם מנסים להשתמש ביותר משאבים מהמכסה, הגישה למשאב נחסמת ומה שאתם מנסים לעשות נכשל.
בדרך כלל, המכסות ב- Google Cloud הן ברמת הפרויקט. כלומר, השימוש במשאב מסוים בפרויקט כלשהו לא משפיע על המכסה שלכם בפרויקטים אחרים. ברמת הפרויקט ב- Google Cloud , המכסות משותפות לכל האפליקציות וכתובות ה-IP.
ב-Agent Retrieval (לשעבר "חיפוש וקטורי 2.0"), המכסות נאכפות כדי להגן על השירות, להבטיח חלוקה הוגנת של הקיבולת בין הפרויקטים ולספק ביצועים ועלויות צפויים יותר. המכסות נמדדות בנפרד בכל אזור. לדוגמה, השימוש ב-us-central לא משפיע על המכסה ב-europe-west4.
מדדים
כל שמות המדדים מתחילים ב-vectorsearch.googleapis.com/.
מכסות לקצב שליחת בקשות (בקשות לדקה ובייטים לדקה)
המכסות לקצב הגשת בקשות מחושבות לדקה, והן חלות על כל פרויקט ועל כל אזור (או מספר אזורים), ואופציונלית על כל אוסף.
כל קריאה ל-API שמתקבלת מגדילה את המונה בבקשה אחת (או ב-N בייטים למכסות בייטים). המונים הם לדקה קלנדרית, והם משתמשים בהערכה של חלון הזזה (אין איפוס קשיח ב- :00).
אתם יכולים להגיע למגבלה באופן רציף בלי לראות אפקט של "מילוי מחדש".
כשהמונה חורג מהמגבלה, בקשות נוספות מחזירות את השגיאה RESOURCE_EXHAUSTED (HTTP 429) עם reason="RATE_LIMIT_EXCEEDED" ושם המדד המדויק בשדה quota_metric.
מכסות לקצב הגשת בקשות במישור הבקרה
המכסות הבאות חלות על מחזור החיים של המשאבים, ועל פעולות קריאה ופירוט של אוספים ואינדקסים בפרויקט ובאזור נתונים.
היקף: לכל פרויקט, לכל אזור
יחידה: 1/min
מגבלות: בקשות לדקה.
| מדד | מספרים |
|---|---|
collection_management_requests
|
collections.createcollections.updatecollections.delete |
collection_read_requests |
collections.get |
collection_list_requests |
collections.list |
index_management_requests
|
indexes.createindexes.updateindexes.delete |
index_read_requests |
indexes.get |
index_list_requests |
indexes.list |
בקשות לפעולות ממושכות (LRO)
המכסות הבאות חלות על פעולות ארוכות של קריאה, הצגה, ביטול ומחיקה בפרויקט ובאזור נתונים.
היקף: לכל פרויקט, לכל אזור
יחידה: 1/min
מגבלות: בקשות לדקה.
| מדד | מספרים |
|---|---|
lro_requests
|
operations.getoperations.listoperations.canceloperations.delete |
מכסות לקצב הגשת בקשות במישור הנתונים
המכסות הבאות חלות על אובייקטי נתונים, שאילתות ותנועה שמגיעה מרשת החיפוש בפרויקט, באזור ובאוסף נתונים מסוימים.
הערה: המכסות של בקשות החיפוש (search_requests) מנוצלות לחיפוש טקסט ולחיפוש סמנטי.
היקף: לכל פרויקט, לכל אזור, לכל אוסף
יחידה: 1/min
מגבלות: בקשות לדקה, לכל אוסף
| מדד | מספרים |
|---|---|
data_object_writes
|
dataObjects.createdataObjects.updatedataObjects.delete כל אובייקט נתונים שכלול ב- batchCreatebatchUpdatebatchDelete |
data_object_writes_us
|
כמו data_object_writes, אבל למספר האזורים us. |
data_object_reads |
dataObjects.get |
data_object_reads_us
|
כמו data_object_reads, אבל למספר האזורים us. |
query_requests |
dataObjects.query (שאילתות סינון של מטא-נתונים בלבד) |
query_requests_us
|
כמו query_requests, אבל למספר האזורים us. |
search_requests |
dataObjects.search כשמריצים ANN צפופה או דלילה. |
search_requests_us
|
כמו search_requests, אבל למספר האזורים us. |
knn_search_requests |
dataObjects.search כשמריצים חיפוש KNN מקיף. |
batch_search_requests_us
|
כמו batch_search_requests, אבל למספר האזורים us. |
batch_search_requests |
dataObjects.batchSearch (בקשה אחת, בלי קשר לחיפושי המשנה) |
batch_search_requests_us
|
כמו batch_search_requests, אבל למספר האזורים us. |
מכסות תפוקה במישור הנתונים
המכסות הבאות חלות על בייטים שנכתבים בדקה לפרויקט, לאזור ולאוסף נתונים.
היקף: לכל פרויקט, לכל אזור, לכל אוסף
יחידה: 1/min
מגבלות: בקשות לדקה, לכל אוסף
| מדד | מספרים |
|---|---|
data_object_write_bytes
|
סכום הבייטים של הנתונים שעברו סריאליזציה והווקטורים שנכתבו על ידי כל הקריאות ל-create, update, delete, batchCreate, batchUpdate ו-batchDelete לאוספים, לאובייקטים של נתונים ולאינדקסים. |
data_object_write_bytes_us
|
זהה ל-data_object_write_bytes אבל למספר האזורים us. |
פעולות באצווה
batchCreate, batchUpdate, batchDelete dataObjects: כל אובייקט נתונים בבקשה נספר ככתיבה אחת במכסהdata_object_writes, והגודל שלו בבייטים אחרי סריאליזציה נספר במכסהdata_object_write_bytes.
batchSearch dataObjects: נספרת כבקשה אחת ב-batch_search_requests, בלי קשר למספר החיפושים המשניים שכלולים בה. חיפוש באצווה גורם לכך שגם מכסת החיפושים המשניים נספרת.
מכסות הקצאה (הספירה הנוכחית)
מכסות הקצאה הן ספירה נוכחית.
מונים הם ספירה בזמן אמת של משאבים או פעולות בתהליך שבבעלות הפרויקט.
הספירה עולה כשיוצרים משאב או מתחילים פעולה, ויורדת כשמוחקים משאב או מסיימים פעולה.
כשמגיעים למגבלה, הקריאה הבאה ליצירה מחזירה את הערך RESOURCE_EXHAUSTED.
כדי לפנות מקום במכסה, צריך למחוק משאב קיים או לחכות עד שהפעולה הארוכה תסתיים.
מכסות הקצאה במישור הבקרה
המכסות הבאות חלות על מספר המשאבים או הפעולות שבתהליך בפרויקט, באזור מסוים, כולל:
- אוספים
- אינדקסים
- פעולות בו-זמניות של יצירה, ייבוא וייצוא של אוספים, אובייקטים של נתונים ואינדקסים
היקף: לכל פרויקט, לכל אזור
יחידה: 1
מגבלות: ספירות מוחלטות (מכסות מדויקות)
| מדד | מספרים |
|---|---|
collections |
מספר האוספים שקיימים בפרויקט או באזור. |
collections_us
|
כמו collections, אבל למספר האזורים us. |
indexes |
מספר האינדקסים (הסכום של כל האוספים) בפרויקט או באזור. |
indexes_us
|
כמו indexes, אבל למספר האזורים us. |
concurrent_index_operations |
פעולות ארוכות טווח (LRO) של אינדקסים בתהליך (יצירה/עדכון/מחיקה). |
concurrent_index_operations_us
|
כמו concurrent_index_operations, אבל למספר האזורים us. |
concurrent_collection_operations |
פעולות LRO של אוסף שנמצאות בתהליך (יצירה/עדכון/מחיקה). |
concurrent_collection_operations_us
|
כמו concurrent_collection_operations, אבל למספר האזורים us. |
concurrent_data_object_imports |
פעולות LRO מסוג dataObjects.import שמתבצעות. |
concurrent_data_object_imports_us
|
כמו concurrent_data_object_imports, אבל למספר האזורים us. |
concurrent_data_object_exports |
פעולות LRO מסוג dataObjects.export שמתבצעות. |
concurrent_data_object_exports_us
|
כמו concurrent_data_object_exports, אבל למספר האזורים us. |
הטמעה אוטומטית
הטמעה אוטומטית משתמשת ב-Gemini API ב-Gemini Enterprise Agent Platform (aiplatform.googleapis.com). כל בקשת API נספרת במכסות של search_requests או data_object_writes, וכל קריאה להטמעה נספרת במכסות של החיזויים. חשוב לוודא שיש מספיק מקום בשני ממשקי ה-API.
דוגמאות לשימוש
בקטעים הבאים מוסבר איך תרחישי שימוש שונים משפיעים על המכסות.
עומס עבודה מתמשך של כתיבה
אתם מטמיעים מסמכים (נתונים ווקטור צפוף של 768 ממדים, בערך 4KB) באוסף יחיד ב-us-central1. שתי מכסות חלות בו-זמנית:
data_object_writes (requests per minute, per collection)
data_object_write_bytes (bytes per minute, per collection)
אתם מוגבלים על ידי התקרה הראשונה שאליה תגיעו. באובייקטים קטנים, בדרך כלל המכסה לקצב הגשת הבקשות היא זו שקובעת. באובייקטים גדולים, מכסת הבייטים היא המגבלה.
כדאי לבדוק את שני המדדים במסוף Google Cloud כדי לדעת איזה מהם הכי קרוב למגבלה.
עומס עבודה שכולל הרבה חיפושים
עומס עבודה של הצגת מודעות ששולח שאילתות ANN לאוסף יחיד צורך search_requests. אם מספר השאילתות לשנייה (QPS) בשיא מתקרב למגבלה של כל אוסף, צריך לבקש הגדלה או לפזר את התנועה בין כמה אוספים באותו אזור.
הרבה אוספים קטנים
אם אתם מתכננים ליצור יותר אוספים מהמגבלה של collections בפרויקט, בקשו להגדיל את המכסה לפני שתתחילו ליצור. אחרת, קריאת היצירה שחורגת מהמגבלה תיכשל עם RESOURCE_EXHAUSTED.
חיפוש באצווה
batchSearch שמכיל 10 חיפושי משנה צורך בדיוק אחד
batch_search_requests, אבל כל חיפוש משנה עדיין נספר במדד
המתאים לכל חיפוש משנה רק ברמת ה-batch החיצוני.
תכננו את פיצול האצווה בהתאם.
איך רואים את המכסות?
כדי לראות את המכסות:
- פותחים את הדף IAM & Admin > Quotas במסוף Google Cloud .
- מסננים לפי השירות
Vector Search API. - בעמודה Dimensions (e.g. location) אפשר לסנן לפי אזור ולפי Collection למכסות במישור הנתונים.
המגבלה הנוכחית בפועל לכל מדד מוצגת בדף Quotas במסוף Google Cloud , לצד שם המדד, בסינון לפי אזור, ולפי Collection למכסות במישור הנתונים.
הגדרת התראות על הגעה למכסות
מומלץ להגדיר התראה על 80% ניצול של המכסות שעומס העבודה תלוי בהן. למידע נוסף, קראו את המאמרים הגדרת התראות על הגעה למכסה ושימוש במדדי מכסות במדיניות התראות.
פעולות שנכשלו
בקשה שנדחתה כי היא חרגה מהמכסה לא נספרת במכסה עצמה.
בקשות שנכשלות מסיבות אחרות (INVALID_ARGUMENT, NOT_FOUND וכו') כן נספרות במכסה לקצב הגשת הבקשות, כי השירות עדיין צריך להעריך אותן.
vector_schema נספרים כשלונות באימות. הן נדחות בשכבת ה-API אחרי בדיקת המכסה לקצב הגשת הבקשות.
חריגה מהמכסות
כשהבקשה מוגבלת, ה-API מחזיר:
gRPC: RESOURCE_EXHAUSTED (8)
HTTP: 429 Too Many Requests
הודעת השגיאה כוללת את המדד המדויק שחרג מהמגבלה.
לדוגמה:
Quota exceeded for quota metric 'vectorsearch.googleapis.com/search_requests'
and limit 'SearchRequestsPerMinutePerProjectPerRegionPerCollection' of service
'vectorsearch.googleapis.com' for consumer 'project_number:123456789012'.
במקרה כזה, אתם יכולים לבקש להגדיל את המכסה.
התנהגות מומלצת של הלקוח
הלקוחות צריכים:
- ניסיון חוזר עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff) ורעידות לשגיאות זמניות של הגבלת קצב של יצירת בקשות. מתחילים בשנייה אחת בערך ומגדילים את המרווח עד ל-32 שניות בערך.
- לא לנסות שוב שגיאות שנגרמו בגלל מכסות הקצאה (לדוגמה,
"too many collections"). במקום זאת, מחקו משאב או בקשו להגדיל את המכסה. - פיזור פעולות הכתיבה בין אוספים או אזורים, אם אוסף יחיד מגיע למכסות
data_object_writesאוdata_object_write_bytesשלו. - חימום מראש. אם אתם יודעים שההשקה תחרוג מהמגבלות הנוכחיות, בקשו להגדיל את המגבלות לפחות כמה ימי עסקים מראש.
בקשה להגדלת המכסה (QIR)
כדי לבקש להגדיל את המכסה:
- פותחים את הדף IAM & Admin > Quotas במסוף Google Cloud .
- בוחרים את השורות שרוצים להגדיל.
- לוחצים על Edit Quotas, מזינים את הערך החדש והצדקה עסקית קצרה ושולחים. מה כן:
- שם המדד (לדוגמה,
vectorsearch.googleapis.com/search_requests). - האזור ומזהה האוסף (למישור הנתונים).
- קצב העברת הנתונים הרצוי ותיאור קצר של עומס העבודה (קבוע לעומת משתנה, שיא צפוי של שאילתות לשנייה, גודל צפוי של מערך הנתונים וכו').
- שם המדד (לדוגמה,
הבקשה מועברת לצוות של Agent Retrieval לבדיקה. רוב הבקשות להגדלה של עד פי 2 מערך ברירת המחדל מאושרות באופן אוטומטי. יכול להיות שיידרשו בדיקות נוספות כדי להגדיל את המכסה עוד יותר.
מידע נוסף
- אוספים
- אובייקטים של נתונים
- אינדקסים
- מסמכי התיעוד של מכסות ב-Cloud
- הגדרת התראות על הגעה למכסה ומעקב
- תרשימים ומעקב אחרי מדדי מכסות