מכסות ומגבלות

במאמר הזה מוסבר על מכסות ומגבלות המערכת של BigQuery.

• המכסות נקבעות כברירת מחדל, אבל בדרך כלל אפשר לבקש לשנות אותן.
• מגבלות המערכת קבועות ואי אפשר לשנות אותן.

המכסות שלGoogle Cloud עוזרות לשמור על הוגנות ולצמצם עליות חדות בשימוש במשאבים ובזמינות שלהם. הן מגבילות את כמות המשאבים שלGoogle Cloud שאפשר להשתמש בהם בפרויקט ב- Google Cloud . המכסות רלוונטיות למגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות. לדוגמה, המכסות יכולות להגביל את מספר הקריאות ל-API בשירות מסוים, את מספר מאזני העומסים שאפשר להשתמש בהם בו-זמנית בפרויקט או את מספר הפרויקטים שאפשר ליצור. בשורה התחתונה, המכסות מגינות על משתמשיGoogle Cloud בכך שהן מונעות עומס יתר על השירותים, אבל גם עוזרות לשלוט על השימוש במשאבי Google Cloud .

מערכת המכסות ב-Cloud:

• עוקבת אחרי השימוש במוצרים ובשירותים של Google Cloud
• מגבילה את השימוש במשאבים האלה
• כוללת כלי שבאמצעותו אפשר לשלוח בקשות לשינוי המכסות ולשנות אותן אוטומטית

ברוב המקרים, כשאתם מנסים להשתמש ביותר משאבים מהמכסה, הגישה למשאב נחסמת ומה שאתם מנסים לעשות נכשל.

בדרך כלל, המכסות ב- Google Cloud הן ברמת הפרויקט. כלומר, השימוש במשאב מסוים בפרויקט כלשהו לא משפיע על המכסה שלכם בפרויקטים אחרים. ברמת הפרויקט ב- Google Cloud , המכסות משותפות לכל האפליקציות וכתובות ה-IP.

לסקירה כללית על מכסות ב-Cloud

למשאבי BigQuery יש גם מגבלות מערכת. שאי אפשר לשנות.

בחלק מהודעות השגיאה מצוינות מכסות או מגבלות שאפשר להגדיל, ובחלק מהודעות השגיאה מצוינות מכסות או מגבלות שאי אפשר להגדיל. אם הגעתם למגבלה קשיחה, תצטרכו להטמיע פתרונות זמניים או קבועים, או שיטות מומלצות לעומס העבודה שלכם. מומלץ לעשות זאת, גם במכסות או במגבלות שאפשר להגדיל. למידע נוסף על שני סוגי השגיאות, קראו את המאמר פתרון בעיות שקשורות לשגיאות במכסות ובמגבלות.

חישוב השימוש במכסת ה-slots

בפרויקטים שמשתמשים במודל התמחור שמבוסס על קיבולת, כולל מהדורות BigQuery, העמודה Used במכסה Total number of slots משקפת את הקיבולת הכוללת שהוקצתה באזור ספציפי. הערך הזה כולל את כל המשבצות הבסיסיות שהוגדרו בהזמנות שלכם, וגם את כל ההתחייבויות הפעילות לקיבולת. מכיוון ש-baseline slots הם משאבים זמינים ייעודיים, הם מופיעים כ "בשימוש" במערכת המכסות גם כשהם לא פעילים. למידע נוסף על ההבדל בין המדדים האלה לבין מעקב אחרי ניצול המשאבים במערכת, ראו הסבר על מדדי ה-slots.

כברירת מחדל, המכסות והמגבלות של BigQuery חלות לכל פרויקט. מכסות ומגבלות שחלות על בסיס אחר מצוינות בהתאם, למשל מספר העמודות המקסימלי בטבלה או מספר בקשות ה-API המקסימלי בו-זמנית למשתמש. המדיניות הספציפית משתנה בהתאם לזמינות המשאבים, לפרופיל המשתמש, להיסטוריית השימוש בשירות ולגורמים אחרים, והיא כפופה לשינויים ללא הודעה מוקדמת.

חידוש המכסה

המכסות היומיות מתחדשות במרווחי זמן קבועים במהלך היום, בהתאם למטרה שלהן – להנחות את ההתנהגות של הגבלת קצב של יצירת בקשות. הרענון לסירוגין מתבצע גם כדי למנוע שיבושים ארוכים כשמכסת הרענונים נגמרת. בדרך כלל, מכסה נוספת זמינה תוך כמה דקות, ולא מתחדשת באופן גלובלי פעם ביום.

שליחת בקשה להגדלת המכסה

כדי לשנות את רוב המכסות, משתמשים במסוף Google Cloud . איך שולחים בקשה לשינוי המכסות

כדי לקבל הדרכה מפורטת על תהליך הבקשה להגדלת המכסה במסוף Google Cloud , לחצו על תראו לי איך:

תראו לי איך

הגבלת השימוש במכסה

במאמר יצירת שינוי של מכסה מוסבר איך להגביל את השימוש במשאב מסוים על ידי יצירת שינוי של מכסה.

ההרשאות הנדרשות

כדי להציג ולעדכן את המכסות של BigQuery במסוףGoogle Cloud , אתם צריכים את אותן ההרשאות כמו לכל מכסת Google Cloud. למידע נוסף, קראו על הרשאות למכסות ב-Google Cloud .

פתרון בעיות

במאמר פתרון שגיאות שקשורות למכסות ב-BigQuery מוסבר איך פותרים שגיאות שקשורות למכסות ולמגבלות.

איך מקבלים את שמות המדדים של המכסות ומגבלות המערכת

אתם יכולים להשתמש במסוף Google Cloud או ב-Google Cloud CLI כדי למצוא את שמות המדדים ומזהי המכסות (שנקראים גם שמות המגבלות) של המכסות ומגבלות המערכת ב-BigQuery:

המסוף

1. במסוף Google Cloud , נכנסים לדף Quotas & System Limits.

   כניסה לדף Quotas & System Limits

2. לוחצים על Filter, בוחרים באפשרות Service ואז בוחרים את שירות BigQuery שרוצים לבדוק (לדוגמה, BigQuery API,‏ BigQuery Reservation API או BigQuery Storage API).

3. בכותרת הטבלה, לוחצים על Column display options, בוחרים באפשרויות Metric ו-Limit name ולוחצים על OK.

gcloud

מריצים את הפקודה gcloud beta quotas info list:

gcloud beta quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME \
    --format="table(metric, name, quota_id, dimensions)"

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID_OR_NUMBER: מזהה הפרויקט או מספר הפרויקט ב- Google Cloud .
• ‫SERVICE_NAME: שם השירות של BigQuery שרוצים לבדוק:
• ‫Core BigQuery API: bigquery.googleapis.com
• ‫Storage Read API ו-Storage Write API ‏ (gRPC): bigquerystorage.googleapis.com
• ‫BigQuery Reservation API:‏ bigqueryreservation.googleapis.com
• ‫BigQuery Migration API: bigquerymigration.googleapis.com
• ‫BigQuery Data Transfer Service API: ‏bigquerydatatransfer.googleapis.com
• ‫BigQuery Connection API:‏ bigqueryconnection.googleapis.com
• ‫BigLake API: ‏biglake.googleapis.com
• ‫BigQuery sharing (לשעבר Analytics Hub) API: analyticshub.googleapis.com
• ‫BigQuery Data Policy API: bigquerydatapolicy.googleapis.com

תעסוקה

המכסות והמגבלות חלות על משימות ש-BigQuery מריץ בשבילכם, בין אם הן מופעלות באמצעות מסוף Google Cloud , כלי שורת הפקודה של BigQuery או באופן פרוגרמטי באמצעות API בארכיטקטורת REST או ספריות לקוח.

משימות בהמתנה

המגבלה הבאה חלה על משימות בהמתנה ב-BigQuery:

מגבלת המערכת	ברירת מחדל	הערות
המספר המקסימלי של משימות בהמתנה	‫50,000 משימות לכל פרויקט, לכל אזור	מספר המשימות שיכולות להיות במצב המתנה בו-זמנית. אי אפשר להגדיל את המכסה הזו. מידע נוסף זמין במאמר פתרון בעיות שקשורות לשגיאות במכסות של BigQuery.

משימות של השאילתה

המכסות הבאות חלות על משימות שאילתה שנוצרות באופן אוטומטי על ידי הפעלת שאילתות אינטראקטיביות, שאילתות מתוזמנות ומשימות שנשלחות באמצעות ה-methods של ה-API‏ jobs.query ו-jobs.insert מסוג שאילתה.

למידע על פתרון בעיות, עיינו בדף פתרון הבעיות של BigQuery.

מכסה	מזהה המדד והמכסה	ברירת מחדל	הערות
שימוש בשאילתות ביום	מדד: bigquery.googleapis.com/quota/query/usage מזהה המכסה: QueryUsagePerDay	‫200 טבי-בייט (TiB)	המכסה הזו חלה רק על מודל התמחור של שאילתות על פי דרישה. בפרויקט שלכם אפשר להריץ שאילתות בנפח של עד 200TiB ביום. אפשר לשנות את המגבלה הזו בכל שלב. למידע נוסף על אמצעי בקרה על עלויות, ראו יצירת מכסות לשאילתות בהתאמה אישית.
שימוש בשאילתות ליום לכל משתמש	מדד: bigquery.googleapis.com/quota/query/usage מזהה המכסה: QueryUsagePerUserPerDay	ללא הגבלה	המכסה הזו חלה רק על מודל התמחור של שאילתות על פי דרישה. אין מגבלת ברירת מחדל על מספר ה-TiB בשאילתות שמשתמש יכול להריץ ביום. אפשר להגדיר את המגבלה בכל שלב. בלי קשר למגבלה לכל משתמש, השימוש הכולל של כל המשתמשים בפרויקט לא יכול לחרוג ממגבלת השימוש בשאילתות ליום. למידע נוסף על אמצעי בקרה על עלויות, ראו יצירת מכסות לשאילתות בהתאמה אישית.
בייטים ביום של שאילתות לכמה מסדי נתונים בין אזורים ב-GoogleSQL	מדד: bigquery.googleapis.com/quota/query/cloud_sql_federated_query_cross_region_bytes מזהה המכסה: CloudSqlFederatedQueryCrossRegionBytesPerDay	1TB	אם מיקום העיבוד של השאילתה ב-BigQuery ומיקום המכונה ב-Cloud SQL שונים, השאילתה היא חוצת-אזורים. בפרויקט שלכם אפשר להריץ שאילתות חוצות-אזורים בנפח של עד 1TB ביום. שאילתות מאוחדות ב-Cloud SQL
בייטים שהועברו ב-BigQuery Omni ביום	מדד: bigquery.googleapis.com/quota/query/cross_cloud_transfer_bytes מזהה המכסה: CrossCloudTransferBytesPerDay	‫1TB	אפשר להעביר עד 1TB של נתונים ביום מקטגוריה של Amazon S3 או מ-Azure Blob Storage.
הגודל הכולל של תוצאות השאילתות ביום ב-BigQuery Omni	מדד: bigquery.googleapis.com/quota/query/omni_query_bytes מזהה המכסה: OmniQueriesBytesPerDay	1TB	הגודל הכולל של תוצאות השאילתות לפרויקט הוא 1TB ליום. למידע נוסף, קראו את המאמר המגבלות של BigQuery Omni.

מגבלות המערכת הבאות חלות על משימות שאילתה שנוצרות באופן אוטומטי על ידי הפעלת שאילתות אינטראקטיביות, שאילתות מתוזמנות ומשימות שנשלחות באמצעות ה-methods של ה-API‏ jobs.query ו-jobs.insert מסוג שאילתה:

מגבלת המערכת	ערך	הערות
‫BigQuery Omni: מספר הבייטים שהועברו בכל משימה	‫60GB	גודל ההעברה המקסימלי לכל משימה הוא 60GB כשמריצים הצהרות CREATE TABLE AS SELECT (CTAS) או INSERT INTO SELECT באזורים של BigQuery Omni כדי לסנן נתונים במהלך העברה חוצת-עננים. המגבלה הזו חלה גם על צירופים ב-BigQuery Omni, שמריצים שאילתת Omni CTAS ברקע כדי להעביר נתונים לטבלה זמנית באזור שלכם ב-BigQuery. כדי לבקש הגדלה של המכסה, פנו לתמיכה. מידע נוסף זמין במאמר עלויות של צירוף ב-BigQuery Omni.
בייטים שמועברים על ידי שאילתות עם אחזור נתונים גלובלי ביום לכל צמד אזורים	180 TB	אפשר להעביר עד 180TB של נתונים ביום בין כל זוג אזורים באמצעות שאילתות עם אחזור נתונים גלובלי. כדי לבקש הגדלה של המכסות, פנו לתמיכה.
משימות העתקה של שאילתות עם אחזור נתונים גלובלי לכל פרויקט	10,000	אפשר להריץ עד 10,000 משימות העתקה בכל פרויקט כשמריצים שאילתות עם אחזור נתונים גלובלי שמעתיקות נתונים בין אזורים. שאילתה אחת עם אחזור נתונים גלובלי יכולה להפעיל כמה משימות העתקה. כדי לבקש הגדלה של המכסות, פנו לתמיכה.
בייטים שהועברו על ידי משימת העתקה אחת בשאילתה עם אחזור נתונים גלובלי	100GB	כברירת מחדל, משימת העתקה אחת שהיא חלק משאילתה עם אחזור נתונים גלובלי יכולה להעביר עד 100GB. כדי לבקש הגדלה של המגבלה, פנו לתמיכה.
עדכונים של אפשרויות גלובליות ברמת הפרויקט	5	כשמריצים הצהרת DDL שמשנה את אפשרויות ההגדרה הגלובליות, אפשר להריץ עד חמש הצהרות כל 10 שניות. המגבלה הזו חלה על הצהרות ה-DDL הבאות: ALTER PROJECT SET OPTIONS ALTER ORGANIZATION SET OPTIONS
המספר המקסימלי של שאילתות אינטראקטיביות בתור	‫1,000 שאילתות	בפרויקט שלכם יכולות להיות עד 1,000 שאילתות אינטראקטיביות בתור. שאילתות אינטראקטיביות נוספות שיחרגו מהמגבלה הזו יחזירו שגיאת מכסה. כדי לפתור בעיות אלה, קראו את המאמר איך להימנע ממגבלות על שאילתות אינטראקטיביות בנפח גבוה.
המספר המקסימלי של שאילתות באצווה בתור	‫20,000 שאילתות	בפרויקט שלכם יכולות להיות עד 20,000 שאילתות באצווה בתור. שאילתות אצווה נוספות שחורגות מהמגבלה הזו מחזירות שגיאת מכסה.
מספר מקסימלי של שאילתות אינטראקטיביות בו-זמניות במקורות נתונים חיצוניים של Bigtable	‫16 שאילתות	בפרויקט אפשר להריץ עד 16 שאילתות בו-זמנית על מקור נתונים חיצוני של Bigtable.
המספר המקסימלי של שאילתות בו-זמניות שמכילות פונקציות מרוחקות	‫10 שאילתות	אפשר להריץ עד 10 שאילתות בו-זמנית עם פונקציות מרוחקות בכל פרויקט.
המספר המקסימלי של שאילתות עם כמה הצהרות בו-זמנית	‫1,000 שאילתות עם כמה הצהרות	בפרויקט אפשר להריץ עד 1,000 שאילתות מרובות-הצהרות בו-זמנית. למכסות ולמגבלות אחרות שקשורות לשאילתות עם כמה הצהרות, ראו שאילתות עם כמה הצהרות.
מספר מקסימלי של שאילתות SQL מדור קודם שמכילות פונקציות UDF ופועלות בו-זמנית	‫6 שאילתות	בפרויקט אפשר להריץ עד שש שאילתות SQL מדור קודם בו-זמנית עם פונקציות בהגדרת המשתמש (UDF). המגבלה הזו כוללת גם שאילתות אינטראקטיביות וגם שאילתות אצווה. שאילתות אינטראקטיביות שמכילות פונקציות UDF נכללות גם במגבלת השאילתות האינטראקטיביות בו-זמנית. המגבלה הזו לא חלה על שאילתות GoogleSQL.
מגבלת הגודל היומית של השאילתות	ללא הגבלה	כברירת מחדל, אין מגבלה יומית על גודל השאילתות. עם זאת, אתם יכולים להגביל את כמות הנתונים שהמשתמשים יכולים לשלוח בשאילתות, על ידי יצירת מכסות בהתאמה אישית כדי לשלוט בשימוש בשאילתות ביום או בשימוש בשאילתות ביום לכל משתמש.
המגבלה היומית על עדכון טבלת היעד	למידע נוסף, ראו מספר הפעולות המקסימלי בטבלה ליום.	עדכונים של טבלאות יעד במשימת שאילתה נכללים במגבלה על המספר המקסימלי של פעולות בטבלה ליום בטבלאות היעד. עדכונים של טבלת היעד כוללים פעולות הוספה ודריסה שמבוצעות על ידי שאילתות שאתם מריצים באמצעות מסוף Google Cloud , באמצעות כלי שורת הפקודה של bq או באמצעות קריאה ל-methods של ה-API‏ jobs.query ו-jobs.insert מסוג שאילתה.
מגבלת זמן הביצוע של שאילתה או שאילתה עם כמה הצהרות	6 שעות	שאילתה או שאילתה עם כמה הצהרות יכולות לפעול למשך 6 שעות לכל היותר, ולאחר מכן הן נכשלות. עם זאת, יכול להיות ש-BigQuery ינסה שוב באופן פנימי להריץ משימת שאילתה בגלל בעיות זמניות, כמו הפעלה מחדש של השרת. אפשר לנסות לבצע שאילתה ב-BigQuery עד שלוש פעמים, וכל ניסיון יכול להימשך עד 6 שעות. כתוצאה מכך, יכול להיות שזמן הריצה הכולל של שאילתה יהיה יותר מ-6 שעות (עד 18 שעות). כדי לבדוק אם בוצע ניסיון חוזר להפעיל משימה, אתם יכולים לחפש את האותות הבאים: מסוףGoogle Cloud : ב-Jobs Explorer, משווים בין שני משימות. בקטע Query level analysis, בודקים את השדה Retry בכרטיסייה Metrics. ‫INFORMATION_SCHEMA: בתצוגות INFORMATION_SCHEMA.JOBS, בודקים את העמודה final_execution_duration_ms. אם ההפרש בין start_time ל-end_time גדול משמעותית מ-final_execution_duration_ms, השאילתה נשלחה שוב. ‫BigQuery API: בודקים את השדה finalExecutionDurationMs באובייקט JobStatistics. אם ההפרש בין startTime ל-endTime גדול משמעותית מ-finalExecutionDurationMs, סימן שהשאילתה נשלחה שוב. למידע נוסף, קראו את הקטע משך הביצוע במסמכי התיעוד בנושא פתרון בעיות בשאילתות. זמן הקצוב לתפוגה של משימות ב-CREATE MODEL הוא 24 שעות כברירת מחדל, חוץ ממשימות של סדרות זמנים, AutoML וכוונון היפר-פרמטרים, שבהן הזמן הקצוב לתפוגה הוא 48 שעות.
המספר המקסימלי של מקורות מידע שמאוזכרים בכל שאילתה	‫1,000 משאבים	שאילתה יכולה להפנות לעד 1,000 טבלאות ייחודיות, תצוגות ייחודיות, פונקציות בהגדרת המשתמש (UDF) ייחודיות ופונקציות טבלה ייחודיות אחרי הרחבה מלאה. המגבלה הזו כוללת את הפריטים הבאים: טבלאות, תצוגות, פונקציות UDF ופונקציות טבלה שהשאילתה מפנה אליהן ישירות. טבלאות, תצוגות, פונקציות UDF ופונקציות טבלה שאליהן מפנות תצוגות, פונקציות UDF ופונקציות טבלה אחרות שמופיעות בשאילתה.
אורך מקסימלי של תווים בשאילתת SQL	‫1,024,000 תווים	שאילתת SQL יכולה להכיל עד 1,024,000 תווים. המגבלה הזו כוללת הערות ותווים של רווח לבן. אם השאילתה ארוכה יותר, תופיע השגיאה הבאה: The query is too large.. כדי לא לחרוג מהמגבלה הזו, כדאי להחליף מערכים או רשימות גדולים בפרמטרים של שאילתה, ולפצל שאילתה ארוכה לכמה שאילתות בסשן.
האורך המקסימלי של שאילתת SQL מדור קודם שלא נפתרה	‫256KB	שאילתת SQL מדור קודם שלא נפתרה יכולה להיות באורך של עד 256KB. אם השאילתה ארוכה יותר, תתקבל השגיאה הבאה: The query is too large. כדי לא לחרוג מהמגבלה, כדאי להחליף מערכים או רשימות גדולים בפרמטרים של שאילתה.
האורך המקסימלי של שאילתת GoogleSQL שלא נפתרה	‫1MB	שאילתת GoogleSQL לא פתורה יכולה להיות באורך של עד 1MB. אם השאילתה ארוכה יותר, תתקבל השגיאה הבאה: The query is too large.. כדי לא לחרוג מהמגבלה הזו, כדאי להחליף מערכים או רשימות גדולים בפרמטרים של שאילתה.
האורך המקסימלי של שאילתת GoogleSQL ושאילתה מדור קודם שעובדה	‫12MB	המגבלה על אורך השאילתה המעובדת כוללת את האורך של כל התצוגות וטבלאות התווים הכלליים לחיפוש שאליהן השאילתה מפנה.
מספר הפרמטרים המקסימלי של שאילתת GoogleSQL	‫10,000 פרמטרים	שאילתת GoogleSQL יכולה לכלול עד 10,000 פרמטרים.
גודל הבקשה המקסימלי	‎10MB	גודל הבקשה יכול להיות עד 10MB, כולל מאפיינים נוספים כמו פרמטרים של שאילתה.
גודל התשובה המקסימלי	‫10GB דחוסים	הגדלים משתנים בהתאם ליחסי הדחיסה של הנתונים. גודל התשובה בפועל עשוי להיות גדול משמעותית מ-10GB. אין הגבלה על גודל התגובה המקסימלי כשכותבים תוצאות גדולות של שאילתות בטבלת יעד.
גודל שורה מקסימלי	100 MB	הגודל המקסימלי של השורה הוא משוער, כי המגבלה מבוססת על הייצוג הפנימי של נתוני השורה. המגבלה על הגודל המקסימלי של שורה נאכפת בשלבים מסוימים של ביצוע משימת השאילתה.
מספר העמודות המקסימלי בטבלה, בתוצאת שאילתה או בהגדרה של תצוגה	‫10,000 עמודות	הגדרה של טבלה, תוצאת שאילתה או תצוגה יכולה להכיל עד 10,000 עמודות. זה כולל עמודות מקוננות וחוזרות. עמודות שנמחקו יכולות להמשיך להיכלל במספר העמודות הכולל. אם מחקתם עמודות, יכול להיות שתקבלו שגיאות מכסה עד שהסכום הכולל יתאפס.
מספר מקסימלי של משבצות בו-זמניות לתמחור על פי דרישה	‫2,000 משבצות לכל פרויקט ‫20,000 משבצות לכל ארגון	בתמחור על פי דרישה, בפרויקט יכולים להיות עד 2,000 חריצי זמן בו-זמניים. בנוסף, יש מגבלה של 20,000 משבצות בו-זמנית ברמת הארגון. אם הדרישה הכוללת של פרויקטים בארגון גבוהה מ-20,000 יחידות קיבולת (Slot), המערכת של BigQuery מנסה להקצות את יחידות הקיבולת (Slot) באופן הוגן בין הפרויקטים. יחידות קיבולת של BigQuery משותפות לכל השאילתות בפרויקט אחד. יכול להיות ש-BigQuery יחרוג מהמגבלה הזו כדי להאיץ את השאילתות. הקיבולת תלויה בזמינות. כדי לבדוק בכמה חריצים אתם משתמשים, קראו את המאמר מעקב אחרי BigQuery באמצעות Cloud Monitoring.
השימוש המקסימלי במעבד (CPU) לכל נתונים שנסרקו בתמחור על פי דרישה	‫256 שניות מעבד לכל MiB שנסרק	בתמחור על פי דרישה, השאילתה יכולה להשתמש בעד כ-256 שניות מעבד (CPU) לכל MiB של נתונים שנסרקו. אם השאילתה דורשת יותר מדי משאבי מעבד (CPU) ביחס לכמות הנתונים שמעובדים, השאילתה נכשלת ומופיעה השגיאה billingTierLimitExceeded. למידע נוסף, קראו את המאמר הודעות שגיאה.
מוטציות בטבלת עסקאות עם כמה הצהרות	‫100 טבלאות	עסקה יכולה לשנות נתונים ב-100 טבלאות לכל היותר.
שינויים במחיצות של טרנזקציות עם כמה הצהרות	‫100,000 שינויים במחיצות	טרנזקציה יכולה לבצע עד 100,000 שינויים במחיצות.
הגודל המקסימלי של תוצאות שאילתות ב-BigQuery Omni	‫20GiB לא דחוסים	גודל התוצאה המקסימלי הוא 20GiB בייטים לוגיים כששולחים שאילתה לנתונים של Microsoft Azure או של AWS. אם תוצאת השאילתה גדולה מ-20GiB, כדאי לייצא את התוצאות ל-Amazon S3 או ל-Blob Storage. למידע נוסף, קראו את המאמר המגבלות של BigQuery Omni.
גודל השורה המקסימלי ב-BigQuery Omni	‎10 MiB	גודל השורה המקסימלי הוא 10MiB כששולחים שאילתה לנתונים של Microsoft Azure או של AWS. למידע נוסף, קראו את המאמר המגבלות של BigQuery Omni.
העברת שאילתות עם אחזור נתונים גלובלי	‫2GiB לשנייה	רוחב הפס של ההעברה שמשמש שאילתות עם אחזור נתונים גלובלי, לכל פרויקט, לכל זוג אזורים

למרות ששאילתות מתוזמנות משתמשות בתכונות של שירות העברת הנתונים ל-BigQuery, הן לא נחשבות להעברות ולא כפופות למגבלות על משימות טעינה.

משימות חילוץ

המכסות הבאות חלות על משימות של חילוץ נתונים מ-BigQuery באמצעות כלי שורת הפקודה של BigQuery, מסוף Google Cloud או ה-API של jobs.insert מסוג extract:

מכסה	מזהה המדד והמכסה	ברירת מחדל	הערות
המספר המקסימלי של בייטים שחולצו ביום	מדד: bigquery.googleapis.com/quota/extract/bytes מזהה המכסה: ExtractBytesPerDay	‎50 TiB	המגבלה של 50TiB ליום (ExtractBytesPerDay) היא מגבלה למניעת ניצול לרעה, שחלה רק על משימות חילוץ שמשתמשות במאגר החינמי של משבצות משותפות. אתם יכולים לחלץ עד 50TiB של נתונים ביום מפרויקט, ללא עלות, באמצעות מאגר ה-slots המשותף. אפשר להגדיר מדיניות התראות ב-Cloud Monitoring כדי לקבל התראה על מספר הבייטים שחולצו. משימות חילוץ פטורות מהמגבלה היומית של 50TiB, ואפשר לחרוג ממנה אם מבצעים אחת מהפעולות הבאות: יוצרים הזמנת משבצות או משתמשים בהזמנה קיימת, ואז מקצים את הפרויקט להזמנה עם סוג העבודה PIPELINE. מכיוון שמשימות חילוץ משתמשות בקיבולת משבצות ייעודית או מותאמת אוטומטית במקום במאגר המשותף, הן עוקפות את המכסה היומית של 50TiB. החיוב מתבצע לפי תמחור מבוסס-קיבולת. הצהרות EXPORT DATA לא נתמכות בהזמנות PIPELINE. משתמשים בהצהרת ה-SQL‏ EXPORT DATA. מכיוון שההצהרה פועלת כמשימת שאילתה באמצעות קיבולת השאילתה ולא מאגר החילוץ המשותף, היא פטורה ממכסת הבייטים לחילוץ. החיוב מתבצע לפי תמחור על פי דרישה או תמחור מבוסס-קיבולת, בהתאם להגדרות הפרויקט. משתמשים ב-Storage Read API. מכיוון שקריאות בסטרימינג מתבצעות ישירות מהאחסון ב-BigQuery, הן עוקפות את המכסות של משימות החילוץ. החיוב מתבצע לפי המחיר של קריאות בסטרימינג. זמן התפוגה מובטח להיות לפחות 6 שעות מזמן יצירת הסשן.
מספר מקסימלי של משימות חילוץ ביום	מדד: bigquery.googleapis.com/quota/extract/count מזהה המכסה: ExtractJobsPerDay	‫100,000 משימות חילוץ	המגבלה של 100,000 משימות חילוץ ביום נועדה למנוע ניצול לרעה, והיא חלה רק על משימות חילוץ שמשתמשות במאגר המשבצות המשותף בחינם. אתם יכולים להריץ עד 100,000 משימות חילוץ ביום בפרויקט ללא עלות, באמצעות מאגר ה-slots המשותף. משימות חילוץ פטורות מהמגבלה של 100,000 משימות ביום, ואפשר לחרוג ממנה אם מבצעים אחת מהפעולות הבאות: יוצרים הזמנת משבצות או משתמשים בהזמנה קיימת, ואז מקצים את הפרויקט להזמנה עם סוג העבודה PIPELINE. מכיוון שמשימות חילוץ משתמשות בקיבולת ייעודית או בקיבולת בהתאמה אוטומטית לעומס במקום במאגר המשותף, הן עוקפות לחלוטין את המגבלה היומית של משימות חילוץ. החיוב מתבצע לפי תמחור מבוסס-קיבולת. משתמשים בהצהרת ה-SQL‏ EXPORT DATA. מכיוון שההצהרה פועלת כמשימת שאילתה, היא פטורה ממגבלות יומיות של משימות חילוץ. החיוב מתבצע לפי תמחור על פי דרישה או תמחור מבוסס-קיבולת, בהתאם להגדרות הפרויקט. להשתמש ב-Storage Read API. מכיוון שקריאות בסטרימינג מתבצעות ישירות מהאחסון של BigQuery, הן עוקפות את המכסות של משימות החילוץ. החיוב מתבצע לפי המחיר של קריאות בסטרימינג. זמן התפוגה מובטח להיות לפחות 6 שעות מזמן יצירת הסשן.

מגבלות המערכת הבאות חלות על משימות חילוץ:

מגבלת המערכת	ערך	הערות
גודל הטבלה המקסימלי שאפשר לחלץ לקובץ אחד	‎1GB	אפשר לחלץ עד 1GB של נתוני טבלה לקובץ אחד. כדי לחלץ יותר מ-1GB של נתונים, צריך להשתמש ב תו כללי לחיפוש כדי לחלץ את הנתונים לכמה קבצים. כשמחלצים נתונים לכמה קבצים, הגודל של הקבצים משתנה. במקרים מסוימים, גודל קובצי הפלט הוא יותר מ-1GB.
מזהי URI עם תווים כלליים לחיפוש לכל משימת חילוץ	‫500 מזהי URI	משימת חילוץ יכולה לכלול עד 500 מזהי URI עם תווים כלליים לחיפוש.

למידע נוסף על הצגת השימוש הנוכחי במכסת משימות החילוץ, ראו הצגת השימוש הנוכחי במכסה. למידע על פתרון בעיות, ראו פתרון בעיות בייצוא.

משימות טעינה

המגבלות הבאות חלות כשטוענים נתונים ל-BigQuery באמצעות מסוףGoogle Cloud , כלי שורת הפקודה של BigQuery או ה-method של ה-API מסוג load-type jobs.insert.

מגבלת המערכת	ברירת מחדל	הערות
משימות טעינה לכל טבלה ביום	‫1,500 משרות	משימות טעינה, כולל משימות טעינה שנכשלו, נכללות במגבלה על מספר הפעולות בטבלה ליום בטבלת היעד. למידע על מגבלות מספר הפעולות בטבלה ביום, בטבלאות רגילות ובטבלאות מחולקות למחיצות, ראו טבלאות.
משימות טעינה ביום	‫100,000 משימות	המכסה של הפרויקט מתחדשת כל 24 שעות, עד למקסימום של 100,000 משימות טעינה. משימות טעינה שנכשלו נכללות במגבלה הזו. במקרים מסוימים, אפשר להריץ יותר מ-100,000 משימות טעינה ב-24 שעות אם המכסה של היום הקודם לא נוצלה במלואה.
מספר העמודות המקסימלי בכל טבלה	‫10,000 עמודות	טבלה יכולה להכיל עד 10,000 עמודות. זה כולל עמודות בתוך עמודות ועמודות חוזרות.
הגודל המקסימלי לכל משימת טעינה	‫15TB	הגודל הכולל של כל קובצי הקלט בפורמטים CSV,‏ JSON,‏ Avro,‏ Parquet ו-ORC יכול להיות עד 15TB. המגבלה הזו לא חלה על משימות עם הזמנה.
המספר המקסימלי של מזהי URI של מקורות בהגדרת המשימה	‫10,000 מזהי URI	בהגדרת משימה יכולים להיות עד 10,000 מזהי URI של מקורות.
מספר הקבצים המקסימלי לכל משימת טעינה	‫10,000,000 קבצים	משימת טעינה יכולה לכלול עד 10 מיליון קבצים בסך הכול, כולל כל הקבצים שתואמים לכל מזהי ה-URI עם התווים הכלליים לחיפוש.
מספר הקבצים המקסימלי בקטגוריה של Cloud Storage במקור	בערך 60,000,000 קבצים	משימת טעינה יכולה לקרוא מקטגוריה של Cloud Storage שמכילה עד כ-60,000,000 קבצים.
מגבלת זמן הביצוע של משימת טעינה	6 שעות	משימת טעינה נכשלת אם היא פועלת במשך יותר משש שעות.
‫Avro: הגודל המקסימלי של בלוקי נתונים בקובץ	16 MB	גודל הקובץ המקסימלי של בלוקי נתונים בקובצי Avro הוא 16MB.
‫CSV: גודל תא מקסימלי	100 MB	הגודל של תאי CSV יכול להיות עד 100MB.
‫CSV: גודל שורה מקסימלי	100 MB	הגודל של שורות בקובץ CSV יכול להיות עד 100MB.
‫CSV: גודל קובץ מקסימלי – דחוס	4 GB	מגבלת הגודל של קובץ CSV דחוס היא 4GB.
‫CSV: גודל קובץ מקסימלי – לא דחוס	5TB	מגבלת הגודל של קובץ CSV לא דחוס היא 5TB.
‫JSON מופרד בתו שורה חדשה (ndJSON): גודל שורה מקסימלי	100 MB	הגודל המקסימלי של שורות ndJSON הוא 100MB.
‫ndJSON: גודל קובץ מקסימלי – דחוס	4 GB	גודל הקובץ המקסימלי של קובץ ndJSON דחוס הוא 4GB.
‫ndJSON: גודל קובץ מקסימלי – לא דחוס	5TB	מגבלת הגודל של קובץ ndJSON לא דחוס היא 5TB.

אם אתם חורגים באופן קבוע ממגבלות משימות הטעינה בגלל עדכונים תכופים, כדאי לשקול להעביר נתונים בסטרימינג ל-BigQuery.

במאמר הצגת השימוש הנוכחי במכסה מוסבר איך בודקים את השימוש הנוכחי במכסת משימות הטעינה.

שיקולים לגבי מכסות של משימות טעינה בשירות העברת הנתונים ל-BigQuery

משימות טעינה שנוצרו על ידי העברות של שירות העברת הנתונים ל-BigQuery נכללות במכסות של BigQuery למשימות טעינה. חשוב להביא בחשבון את מספר ההעברות שאתם מפעילים בכל פרויקט, כדי למנוע שגיאות quotaExceeded בהעברות ובמשימות טעינה אחרות.

כדי להעריך כמה משימות טעינה נדרשות להעברות, אפשר להשתמש במשוואה הבאה:

Number of daily jobs = Number of transfers x Number of tables x Schedule frequency x Refresh window

כאשר:

• ‫Number of transfers הוא מספר הגדרות ההעברה שהפעלתם בפרויקט.

• ‫Number of tables הוא מספר הטבלאות שנוצרו על ידי כל סוג העברה ספציפי. מספר הטבלאות משתנה בהתאם לסוג ההעברה:

  • העברות מ-Campaign Manager יוצרות כ-25 טבלאות.
  • העברות מ-Google Ads יוצרות כ-60 טבלאות.
  • העברות מ-Google Ad Manager יוצרות כ-40 טבלאות.
  • העברות מ-Google Play יוצרות כ-25 טבלאות.
  • העברות מ-Search Ads 360 יוצרות כ-50 טבלאות.
  • העברות מ-YouTube יוצרות כ-50 טבלאות.

• Schedule frequency מתאר את תדירות ההפעלה של ההעברה. לכל סוג העברה יש לוחות זמנים להפעלת העברות:

  • Campaign Manager
  • Google Ads
  • Google Ad Manager
  • Google Merchant Center (בטא)
  • Google Play
  • Search Ads 360 (בטא)
  • ערוץ YouTube
  • בעלי התוכן ב-YouTube

• ‫Refresh window הוא מספר הימים שייכללו בהעברת הנתונים. אם מזינים 1, לא מתבצע מילוי יומי.

משימות העתקה

המגבלות הבאות חלות על משימות ב-BigQuery להעתקת טבלאות, כולל משימות שיוצרות עותק, שכפול או תמונת מצב של טבלה רגילה, טבלה משוכפלת או תמונת מצב של טבלה. המגבלות חלות על משימות שנוצרו באמצעות מסוף Google Cloud , כלי שורת הפקודה של BigQuery או ה-method‏ jobs.insert שמציינת את השדה copy בהגדרת המשימה. משימות העתקה נכללות במגבלות האלה, גם אם הן מצליחות וגם אם הן נכשלות.

מגבלת המערכת	ברירת מחדל	הערות
טבלת משימות העתקה לכל יעד ביום		למידע נוסף, ראו פעולות בטבלה ליום.
משימות העתקה ביום	‫100,000 משימות	בפרויקט אפשר להריץ עד 100,000 משימות העתקה ביום.
משימות העתקה בין אזורים לכל טבלת יעד ביום	100 משימות	בפרויקט אפשר להריץ עד 100 משימות העתקה בין אזורים לטבלת יעד ביום.
משימות העתקה בין אזורים ביום	‫2,000 משימות	בפרויקט אפשר להריץ עד 2,000 משימות העתקה בין אזורים ביום.
מספר טבלאות המקור להעתקה	‫1,200 טבלאות מקור	אפשר להעתיק מעד 1,200 טבלאות מקור בכל משימת העתקה.

למידע על הצגת השימוש הנוכחי במשימות העתקה, ראו משימות העתקה – הצגת השימוש הנוכחי במכסה. למידע על פתרון בעיות במשימות העתקה, קראו את המאמר שגיאות הקשורות למכסה של המספר המקסימלי של משימות העתקה ליום לכל פרויקט.

המגבלות הבאות חלות על העתקת מערכי נתונים:

מגבלת המערכת	ברירת מחדל	הערות
מספר הטבלאות המקסימלי במערך הנתונים של המקור	‫25,000 טבלאות	קבוצת נתונים של מקור יכולה להכיל עד 25,000 טבלאות.
מספר הטבלאות המקסימלי שאפשר להעתיק בכל הפעלה למערך נתונים של יעד באותו אזור	‫20,000 טבלאות	בכל הפעלה של הפרויקט אפשר להעתיק עד 20,000 טבלאות למערך נתונים של יעד באותו אזור. אם מערך נתונים של מקור מכיל יותר מ-20,000 טבלאות, שירות העברת הנתונים ל-BigQuery מתזמן הפעלות רציפות, שכל אחת מהן מעתיקה עד 20,000 טבלאות, עד שכל הטבלאות מועתקות. ההפעלות האלה מופרדות במרווח זמן של 24 שעות כברירת מחדל, והמשתמשים יכולים להתאים אותו אישית עד למינימום של 12 שעות.
המספר המקסימלי של טבלאות שאפשר להעתיק בכל הרצה למערך נתונים ביעד שנמצא באזור אחר	‫1,000 טבלאות	בכל הפעלה של הפרויקט אפשר להעתיק עד 1,000 טבלאות למערך נתונים של יעד באזור אחר. אם מערך נתונים של מקור מכיל יותר מ-1,000 טבלאות, שירות העברת הנתונים ל-BigQuery מתזמן הפעלות רציפות, שכל אחת מהן מעתיקה עד 1,000 טבלאות, עד שכל הטבלאות מועתקות. ההרצות האלה מופרדות במרווח זמן של 24 שעות כברירת מחדל, והמשתמשים יכולים להתאים אותו אישית עד למינימום של 12 שעות.

הזמנות

המכסות הבאות חלות על הזמנות:

מכסה	מזהה המדד והמכסה	ברירת מחדל	הערות
המספר הכולל של משבצות באזור האיחוד האירופי	מדד: bigqueryreservation.googleapis.com/total_slots_eu מזהה המכסה: TotalSlotsPerProjectEU	‫5,000 משבצות	מספר המקסימלי של יחידות קיבולת של BigQuery שאפשר לרכוש במספר אזורים באיחוד האירופי באמצעות מסוף Google Cloud .
המספר הכולל של משבצות באזור ארה"ב	מדד: bigqueryreservation.googleapis.com/total_slots_us מזהה המכסה: TotalSlotsPerProjectUS	‫10,000 משבצות	מספר המקסימלי של יחידות הקיבולת של BigQuery שאפשר לרכוש במספר אזורים בארה"ב באמצעות מסוף Google Cloud .
המספר הכולל של משבצות באזור us-east1	מדד: bigqueryreservation.googleapis.com/total_slots מזהה המכסה: TotalSlotsPerProject	‫4,000 משבצות	המספר המקסימלי של יחידות קיבולת של BigQuery שאפשר לרכוש באזור שמופיע ברשימה באמצעות מסוף Google Cloud .
מספר המשבצות הכולל באזורים הבאים: asia-south1, asia-southeast1, europe-west2, us-central1, us-west1	מדד: bigqueryreservation.googleapis.com/total_slots מזהה המכסה: TotalSlotsPerProject	‫2,000 משבצות	המספר המקסימלי של יחידות הקיבולת של BigQuery שאפשר לרכוש בכל אחד מהאזורים שברשימה באמצעות מסוף Google Cloud .
המספר הכולל של משבצות לאזורים הבאים: asia-east1, asia-northeast1, asia-northeast3, asia-southeast2, australia-southeast1, europe-north1, europe-west1, europe-west3, europe-west4, northamerica-northeast1, us-east4, southamerica-east1	מדד: bigqueryreservation.googleapis.com/total_slots מזהה המכסה: TotalSlotsPerProject	‫1,000 משבצות	המספר המקסימלי של יחידות קיבולת של BigQuery שאפשר לרכוש בכל אחד מהאזורים שמופיעים ברשימה באמצעות המסוף Google Cloud .
המספר הכולל של משבצות לאזורים של BigQuery Omni	Metric: bigqueryreservation.googleapis.com/totalslotsOMNI_REGION (לדוגמה, bigqueryreservation.googleapis.com/total_slots_aws-us-east-1) Quota ID: TotalSlotsPerProjectOMNI_REGION (לדוגמה, TotalSlotsPerProjectAwsUSEast1)	‫100 משבצות	מספר המקסימלי של יחידות קיבולת של BigQuery שאתם יכולים לרכוש באזורי BigQuery Omni באמצעות מסוף Google Cloud .
המספר הכולל של משבצות בכל שאר האזורים	מדד: bigqueryreservation.googleapis.com/total_slots מזהה המכסה: TotalSlotsPerProject	500 משבצות	המספר המקסימלי של יחידות קיבולת של BigQuery שאפשר לרכוש בכל אזור אחר באמצעות מסוף Google Cloud .
מספר פרויקטי הניהול להזמנות של משבצות	מדד: bigqueryreservation.googleapis.com/total_admin_projects מזהה המכסה: TotalAdminProjectsPerOrganization	‫10 פרויקטים לכל ארגון	המספר המקסימלי של פרויקטים לניהול בארגון שיכולים להכיל הזמנה או התחייבות פעילה ל-slots במיקום או באזור נתון.

מגבלות המערכת הבאות חלות על הזמנות:

מגבלת המערכת	ערך	הערות
מספר מקסימלי של הזמנות במהדורה הרגילה	‫10 הזמנות לכל פרויקט	המספר המקסימלי של הזמנות במהדורת Standard לכל פרויקט ניהול בארגון, במיקום או באזור נתון.
מספר מקסימלי של הזמנות במהדורת Enterprise או Enterprise Plus	‫200 הזמנות לכל פרויקט	המספר המקסימלי של הזמנות במהדורת Enterprise או Enterprise Plus לכל פרויקט ניהול בארגון, במיקום או באזור נתון.
המספר המקסימלי של משבצות בהזמנה שמשויכת להקצאת משאבים עם סוג העבודה CONTINUOUS.	500 משבצות	כשרוצים ליצור הקצאת הזמנה עם סוג העבודה CONTINUOUS, בהזמנה המשויכת לא יכולים להיות יותר מ-500 משבצות.

מערכי נתונים

המגבלות הבאות חלות על מערכי נתונים ב-BigQuery:

מגבלת המערכת	ברירת מחדל	הערות
מספר מקסימלי של קבוצות נתונים	ללא הגבלה	אין הגבלה על מספר מערכי הנתונים שיכולים להיות בפרויקט.
מספר הטבלאות בכל מערך נתונים	ללא הגבלה	כשמשתמשים בקריאה ל-API, ביצועי הספירה מואטים כשמתקרבים ל-50,000 טבלאות במערך נתונים. במסוף Google Cloud אפשר להציג עד 50,000 טבלאות לכל מערך נתונים.
מספר המשאבים המורשים ברשימת בקרת הגישה של מערך נתונים	‫2,500 משאבים	רשימת בקרת הגישה של מערך נתונים יכולה לכלול עד 2,500 משאבים מורשים, כולל תצוגות מורשות, מערכי נתונים מורשים ופונקציות מורשות. אם חורגים מהמגבלה הזו בגלל מספר גדול של תצוגות מורשות, כדאי לקבץ את התצוגות לקבוצות נתונים מורשות. כשאתם מתכננים ארכיטקטורות חדשות של BigQuery, במיוחד ארכיטקטורות עם כמה דיירים, כדאי לקבץ תצוגות קשורות למערכי נתונים מורשים.
מספר פעולות העדכון של מערך הנתונים לכל מערך נתונים, כל 10 שניות	‫5 פעולות	בפרויקט שלכם אפשר לבצע עד חמש פעולות של עדכון קבוצת נתונים בכל 10 שניות. מגבלת העדכונים של מערך הנתונים כוללת את כל פעולות עדכון המטא-נתונים שבוצעו על ידי: מסוףGoogle Cloud כלי שורת הפקודה של BigQuery ספריות הלקוח של BigQuery השיטות הבאות ב-API: datasets.insert datasets.patch datasets.update datasets.delete datasets.undelete הצהרות ה-DDL הבאות: CREATE SCHEMA ALTER SCHEMA DROP SCHEMA UNDROP SCHEMA
האורך המקסימלי של תיאור מערך נתונים	‫16,384 תווים	כשמוסיפים תיאור למערך נתונים, הטקסט יכול להיות באורך של עד 16,384 תווים.

Tables

כל הטבלאות

המגבלות הבאות חלות על כל הטבלאות ב-BigQuery.

הערה: המכסות והמגבלות משויכות לשמות של הטבלאות. לכן, כשמבצעים חיתוך של הטבלה או מוחקים אותה ואז יוצרים אותה מחדש, המכסה או המגבלה לא מתאפסות כי שם הטבלה לא השתנה.

מגבלת המערכת	ברירת מחדל	הערות
האורך המקסימלי של שם עמודה	‫300 תווים	שם העמודה יכול להכיל עד 300 תווים.
האורך המקסימלי של תיאור עמודה	‫1,024 תווים	כשמוסיפים תיאור לעמודה, הטקסט יכול להכיל עד 1,024 תווים.
העומק המקסימלי של רשומות בתצוגת עץ	‫15 שלבים	עמודות מסוג RECORD יכולות להכיל סוגים מקוננים של RECORD, שנקראים גם רשומות צאצא. מגבלת העומק המקסימלית של תיקיות משנה היא 15 רמות. המגבלה הזו לא תלויה בשאלה אם הרשומות הן סקלריות או מבוססות-מערך (חוזרות).
האורך המקסימלי של תיאור הטבלה	‫16,384 תווים	כשמוסיפים תיאור לטבלה, הטקסט יכול להיות באורך של עד 16,384 תווים.

למידע על פתרון בעיות שקשורות למכסות או למגבלות של טבלאות, קראו את דף פתרון הבעיות של BigQuery.

טבלאות רגילות

המגבלות הבאות חלות על טבלאות סטנדרטיות (מובנות) ב-BigQuery:

מגבלת המערכת	ברירת מחדל	הערות
שינויים בטבלה ליום	‫1,500 שינויים	בפרויקט אפשר לבצע עד 1,500 שינויים בטבלה לכל טבלה ביום. משימת טעינה, משימת העתקה או משימת שאילתה שמוסיפה נתונים לטבלה או מחליפה אותם, נחשבת לשינוי אחד בטבלה. אי אפשר לשנות את המגבלה הזו. המגבלה הזו נאכפת כמגבלת קצב של יצירת בקשות לאורך היום, ולא כמכסה אחת שמוקצית בבת אחת. המכסה הזמינה ב-BigQuery מתחדשת מדי פעם. פרצים של פעולות בתדירות גבוהה יכולים למצות את המכסה הזמינה, וכתוצאה מכך לגרום לשגיאות quotaExceeded גם אם הנפח היומי הכולל נמוך בהרבה מהמגבלה היומית של 1,500 שינויים. כדי לבצע אופטימיזציה של הטמעת נתונים בתדירות גבוהה, כדאי להריץ את הפעולות באצווה, לפרוס את המשימות באופן שווה לאורך זמן או לעבור ל-BigQuery Storage Write API (gRPC)‎. פקודות DML לא נכללות ולא נספרות במספר השינויים בטבלה ביום. נתונים בסטרימינג לא נכללים ולא נספרים במספר השינויים בטבלה ביום.
הקצב המקסימלי של פעולות עדכון מטא-נתונים של טבלה בכל טבלה	‫5 פעולות ל-10 שניות	בפרויקט אפשר לבצע עד חמש פעולות של עדכון מטא-נתונים של טבלה בכל 10 שניות לכל טבלה. המגבלה הזו חלה על כל פעולות העדכון של המטא-נתונים של הטבלה, שמבוצעות על ידי: מסוףGoogle Cloud כלי שורת הפקודה של BigQuery ספריות הלקוח של BigQuery השיטות הבאות ב-API: tables.insert tables.patch tables.update הצהרות DDL בטבלאות המגבלה הזו כוללת גם את הסכום הכולל של כל משימות הטעינה, משימות ההעתקה ומשימות השאילתה שמצרפות נתונים לטבלת יעד או מחליפות אותה, או שמשתמשות בהצהרות DML‏ DELETE,‏ INSERT,‏ MERGE,‏ TRUNCATE TABLE או UPDATE כדי לכתוב נתונים בטבלה. שימו לב שפקודות DML נספרות במגבלה הזו, אבל הן לא כפופות לה אם מגיעים אליה. לפעולות DML יש מגבלות קצב ייעודיות. אם חורגים מהמגבלה הזו, מקבלים הודעת שגיאה כמו Exceeded rate limits: too many table update operations for this table. השגיאה הזו זמנית. אפשר לנסות שוב עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff). כדי לזהות את הפעולות שנכללות במגבלה הזו, אתם יכולים לבדוק את היומנים. במאמר פתרון בעיות שקשורות למכסות מוסבר איך לזהות ולפתור את השגיאה הזו.
מספר העמודות המקסימלי בכל טבלה	‫10,000 עמודות	כל טבלה, תוצאת שאילתה או הגדרת תצוגה יכולה להכיל עד 10,000 עמודות. הנתונים האלה כוללים עמודות חוזרות ועמודות בתצוגת עץ.

טבלאות חיצוניות

המגבלות הבאות חלות על טבלאות BigQuery עם נתונים שמאוחסנים ב-Cloud Storage בפורמט Parquet,‏ ORC,‏ Avro,‏ CSV או JSON:

מגבלת המערכת	ברירת מחדל	הערות
המספר המקסימלי של מזהי URI של מקורות לכל טבלה חיצונית	‫10,000 מזהי URI	לכל טבלה חיצונית יכולים להיות עד 10,000 מזהי URI של מקורות.
מספר הקבצים המקסימלי לכל טבלה חיצונית	‫10,000,000 קבצים	טבלה חיצונית יכולה להכיל עד 10 מיליון קבצים, כולל כל הקבצים שתואמים לכל מזהי ה-URI עם התווים הכלליים לחיפוש.
הגודל המקסימלי של נתונים שמאוחסנים ב-Cloud Storage לכל טבלה חיצונית	600 TB	טבלה חיצונית יכולה להכיל עד 600 טרה-בייט בכל קובצי הקלט. המגבלה הזו חלה על גודלי הקבצים שמאוחסנים ב-Cloud Storage. הגודל הזה לא זהה לגודל שמשמש בנוסחת התמחור של השאילתה. בטבלאות שחולקו למחיצות באופן חיצוני, המגבלה חלה אחרי גיזום המחיצות.
מספר הקבצים המקסימלי בקטגוריה של Cloud Storage במקור	בערך 300,000,000 קבצים	טבלה חיצונית יכולה להפנות לקטגוריה של Cloud Storage שמכילה עד כ-300,000,000 קבצים. בטבלאות שמחולקות למחיצות באופן חיצוני, המגבלה הזו חלה לפני גיזום המחיצות.

טבלאות מחולקות למחיצות (Partitions)

המגבלות הבאות חלות על טבלאות מחולקות למחיצות ב-BigQuery.

הערה: המגבלות האלה לא חלות על טבלאות חיצוניות שמחולקות למחיצות ב-Hive.

מגבלות המחיצות חלות על הסכום הכולל של כל משימות הטעינה, משימות ההעתקה ומשימות השאילתות שמצרפות נתונים למחיצת יעד או מחליפות אותה.

משימה אחת יכולה להשפיע על כמה מחיצות. לדוגמה, משימות שאילתה ומשימות טעינה יכולות לכתוב למספר מחיצות.

כדי לקבוע כמה מהמגבלה המשימה צורכת, BigQuery משתמש במספר המחיצות שהושפעו מהמשימה. הזנת זרם נתונים לא משפיעה על המגבלה הזו.

במאמר פתרון בעיות שקשורות למכסות מוסבר איך לא לחרוג מהמגבלות של טבלאות מחולקות למחיצות.

מגבלת המערכת	ברירת מחדל	הערות
מספר המחיצות בכל טבלה שמחולקת למחיצות	‫10,000 מחיצות	כל טבלה מחולקת למחיצות יכולה להכיל עד 10,000 מחיצות. אם חורגים מהמגבלה הזו, כדאי להשתמש ב אשכולות בנוסף לחלוקה למחיצות או במקומה.
מספר המחיצות ששונו על ידי משימה אחת	‫4,000 מחיצות	כל פעולת משימה (שאילתה או טעינה) יכולה להשפיע על עד 4,000 מחיצות. מערכת BigQuery דוחה כל שאילתה או משימת טעינה שמנסה לשנות יותר מ-4,000 מחיצות.
מספר השינויים במחיצות בזמן הטמעת הנתונים לכל טבלה מחולקת למחיצות ביום	‫11,000 שינויים	בפרויקט אפשר לבצע עד 11,000 שינויים במחיצות ביום. שינוי מחיצה הוא פעולה שבה מוסיפים, מעדכנים, מוחקים או מקצרים נתונים בטבלה מחולקת למחיצות. שינוי מחיצה נספר לכל סוג של שינוי נתונים שאתם מבצעים. לדוגמה, מחיקה של שורה אחת תיחשב כשינוי אחד של מחיצה, בדיוק כמו שמחיקה של מחיצה שלמה תיחשב כשינוי אחד. אם מוחקים שורה ממחיצה אחת ומכניסים אותה למחיצה אחרת, הפעולה נחשבת כשני שינויים במחיצה. שינויים באמצעות פקודות DML או Streaming API לא נספרים במספר השינויים במחיצות ליום.
מספר השינויים במחיצות לכל טבלה שמחולקת למחיצות לפי עמודות ביום	‫30,000 שינויים	בפרויקט אפשר לבצע עד 30,000 שינויים במחיצות ביום בטבלה שמחולקת למחיצות לפי עמודות. פקודות DML לא נספרות במספר השינויים במחיצות ביום. נתונים בסטרימינג לא נכללים במספר השינויים במחיצות ביום.
הקצב המקסימלי של פעולות עדכון מטא-נתונים של טבלה בכל טבלה מחולקת למחיצות (Partitions)	‫50 שינויים לכל 10 שניות	בפרויקט אפשר לבצע עד 50 שינויים בכל טבלה מחולקת למחיצות בכל 10 שניות. המגבלה הזו חלה על כל פעולות העדכון של המטא-נתונים בטבלאות מחולקות למחיצות, שמבוצעות על ידי: מסוףGoogle Cloud כלי שורת הפקודה של BigQuery ספריות הלקוח של BigQuery השיטות הבאות ב-API: tables.insert tables.patch tables.update הצהרות DDL בטבלאות המגבלה הזו כוללת גם את הסכום הכולל של כל משימות הטעינה, משימות ההעתקה ומשימות השאילתה שמצרפות נתונים לטבלת יעד או מחליפות אותה, או שמשתמשות בהצהרות DML‏ DELETE,‏ INSERT,‏ MERGE,‏ TRUNCATE TABLE או UPDATE כדי לכתוב נתונים בטבלה. אם חורגים מהמגבלה הזו, מקבלים הודעת שגיאה כמו Exceeded rate limits: too many partitioned table update operations for this table. השגיאה הזו זמנית. אפשר לנסות שוב עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff). כדי לזהות את הפעולות שנכללות במגבלה הזו, אתם יכולים לבדוק את היומנים.
מספר הטווחים האפשריים לחלוקה לפי טווחים	10,000 טווחים	טבלה שמחולקת לפי טווחים יכולה להכיל עד 10,000 טווחים אפשריים. המגבלה הזו חלה על מפרט המחיצה כשיוצרים את הטבלה. אחרי שיוצרים את הטבלה, המגבלה חלה גם על המספר בפועל של המחיצות.

שכפולי טבלאות

המגבלות הבאות חלות על שיבוטי טבלאות ב-BigQuery:

מגבלת המערכת	ברירת מחדל	הערות
מספר מקסימלי של שיבוטים ותמונות מצב בשרשרת	‫3 שיבוטים או תמונות מצב של טבלאות	השילוב של שיבוטים ותמונות מצב מוגבל לעומק של 3. כשמשכפלים או יוצרים קובץ Snapshot של מסד נתונים טבלאי, אפשר לשכפל או ליצור קובץ Snapshot של התוצאה רק עוד פעמיים. ניסיון לשכפל או ליצור קובץ Snapshot של התוצאה בפעם השלישית יגרום לשגיאה. לדוגמה, אפשר ליצור שיבוט A של מסד הנתונים הטבלאי, ליצור קובץ snapshot‏ B של שיבוט A וליצור שיבוט C של קובץ snapshot‏ B. כדי ליצור שכפולים נוספים של קלונינג או של תמונת מצב ברמה השלישית, צריך להשתמש בפעולת העתקה.
מספר מקסימלי של שיבוטים ותמונות מצב של מסד נתונים טבלאי	‫1,000 שיבוטים או תמונות מצב של טבלאות	אי אפשר ליצור יותר מ-1,000 שיבוטים ותמונות מצב קיימים ביחד של מסד נתונים טבלאי נתון. לדוגמה, אם יש לכם 600 קובצי snapshot ו-400 שיבוטים, הגעתם למגבלה.

תמונות מצב של טבלאות

המגבלות הבאות חלות על תמונת מצב של טבלאות ב-BigQuery:

מגבלת המערכת	ברירת מחדל	הערות
המספר המקסימלי של משימות בו-זמניות של תמונות מצב של טבלאות	100 משימות	בפרויקט אפשר להריץ עד 100 משימות בו-זמנית של תמונות מצב של טבלאות.
מספר המשימות המקסימלי של תמונת מצב של טבלה ביום	‫50,000 משימות	בפרויקט אפשר להריץ עד 50,000 משימות של תמונת מצב של טבלה ביום.
מספר המשימות המקסימלי של תמונות מצב של טבלה לכל טבלה ביום	50 משרות	בפרויקט אפשר להריץ עד 50 משימות של תמונת מצב של טבלה לכל טבלה ביום.
המספר המקסימלי של עדכוני מטא-נתונים לכל תמונת מצב של טבלה, בכל 10 שניות.	5 עדכונים	בפרויקט אפשר לעדכן את המטא-נתונים של תמונת מצב של טבלה עד חמש פעמים בכל 10 שניות.
מספר מקסימלי של שיבוטים ותמונות מצב בשרשרת	‫3 שיבוטים או תמונות מצב של טבלאות	השילוב של שיבוטים ותמונות מצב מוגבל לעומק של 3. כשמשכפלים או יוצרים תמונת מצב של מסד נתונים טבלאי, אפשר לשכפל או ליצור תמונת מצב של התוצאה רק עוד פעמיים. ניסיון לשכפל או ליצור תמונת מצב של התוצאה בפעם השלישית יגרום לשגיאה. לדוגמה, אפשר ליצור שיבוט A של מסד הנתונים הטבלאי, ליצור קובץ snapshot‏ B של שיבוט A וליצור שיבוט C של קובץ snapshot‏ B. כדי ליצור שכפולים נוספים של קלונינג או של קובץ Snapshot ברמה השלישית, צריך להשתמש בפעולת העתקה.
מספר מקסימלי של שיבוטים ותמונות מצב של מסד נתונים טבלאי	‫1,000 שיבוטים או תמונות מצב של טבלאות	אי אפשר ליצור יותר מ-1,000 שיבוטים ותמונות מצב קיימים ביחד של מסד נתונים טבלאי נתון. לדוגמה, אם יש לכם 600 קובצי snapshot ו-400 שיבוטים, הגעתם למגבלה.

תצוגות

המכסות והמגבלות הבאות חלות על תצוגות ועל תצוגות מהותיות.

תצוגות לוגיות

המגבלות הבאות חלות על תצוגות רגילות ב-BigQuery:

מגבלת המערכת	ברירת מחדל	הערות
מספר מקסימלי של רמות תצוגה מקוננות	‫16 רמות	‫BigQuery תומך בעד 16 רמות של תצוגות בתצוגות. אפשר ליצור תצוגות עד למגבלה הזו, אבל אפשר לשלוח שאילתות רק עד 15 רמות. אם חורגים מהמגבלה, BigQuery מחזיר שגיאת INVALID_INPUT.
האורך המקסימלי של שאילתת GoogleSQL שמשמשת להגדרת תצוגה	‫256 אלף תווים	שאילתת GoogleSQL אחת שמגדירה תצוגה יכולה להיות באורך של עד 256,000 תווים. המגבלה הזו חלה על שאילתה אחת, והיא לא כוללת את אורך התצוגות שאליהן מפנה השאילתה.
מספר מקסימלי של תצוגות מורשות לכל מערך נתונים		למידע נוסף על מערכי נתונים
האורך המקסימלי של תיאור התצוגה	‫16,384 תווים	כשמוסיפים תיאור לתצוגה, הטקסט יכול להיות באורך של עד 16,384 תווים.

תצוגות מהותיות

המגבלות הבאות חלות על תצוגות מהותיות ב-BigQuery:

מגבלת המערכת	ברירת מחדל	הערות
הפניות למסד נתונים טבלאי (באותו פרויקט)	‫100 תצוגות מהותיות	כל מסד נתונים טבלאי יכול להיות מקושר לעד 100 תצוגות מהותיות מאותו פרויקט.
הפניות למסד נתונים טבלאי (כל הארגון)	‫500 תצוגות מהותיות	כל מסד נתונים טבלאי יכול להפנות לעד 500 תצוגות מהותיות מכל הארגון.
מספר מקסימלי של תצוגות מורשות לכל מערך נתונים		למידע נוסף על מערכי נתונים
האורך המקסימלי של תיאור תצוגה מהותית	‫16,384 תווים	כשמוסיפים תיאור לתצוגה מהותית, הטקסט יכול להכיל עד 16,384 תווים.
מגבלת זמן הביצוע של משימת רענון של תצוגה מהותית	12 שעות	משימת רענון של תצוגה מהותית יכולה לפעול עד 12 שעות לפני שהיא נכשלת.

אינדקסים של חיפוש

המגבלות הבאות חלות על אינדקסי החיפוש ב-BigQuery:

מגבלת המערכת	ברירת מחדל	הערות
מספר הצהרות DDL של CREATE INDEX או ALTER INDEX לכל פרויקט, לכל אזור, לכל יום	500 פעולות	בפרויקט אפשר להנפיק עד 500 פעולות DDL של CREATE INDEX או ALTER INDEX בכל יום באזור מסוים.
מספר הצהרות ה-DDL של אינדקס החיפוש לכל טבלה ביום	‫20 פעולות	בפרויקט אפשר להנפיק עד 20 פעולות DDL מסוג CREATE INDEX,‏ ALTER INDEX או DROP INDEX לכל טבלה ביום.
הגודל הכולל המקסימלי של נתוני טבלה לכל ארגון שמותר ליצירת אינדקס חיפוש שלא פועל בהזמנה	‫100TB במספר אזורים; 20TB בכל שאר האזורים	אפשר ליצור אינדקס חיפוש לטבלה אם הגודל הכולל של הטבלאות עם האינדקסים בארגון קטן מהמגבלה של האזור: 100TB לאזורים במספר אזורים US ו-EU, ו-20TB לכל שאר האזורים. אם המשימות לניהול האינדקסים פועלות בהזמנה שלכם, המגבלה הזו לא חלה.
מספר העמודות שנוסף להן אינדקס עם רמת פירוט של עמודה לכל טבלה	63 עמודות לכל טבלה	טבלה יכולה להכיל עד 63 עמודות עם index_granularity שמוגדר כ-COLUMN. עמודות שנוספו לאינדקס עם רמת פירוט של COLUMN מהגדרת האפשרות default_index_column_granularity נכללות במגבלה הזו. אין הגבלה על מספר העמודות שנוסף להן אינדקס ברמת הפירוט GLOBAL. מידע נוסף מופיע במאמר אינדקס עם פירוט ברמת העמודה.

אינדקסים של וקטורים

המגבלות הבאות חלות על אינדקסים וקטוריים ב-BigQuery:

מגבלת המערכת	ברירת מחדל	הערות
מספר השורות המינימלי במסד הנתונים הטבלאי	‫5,000 שורות	כדי ליצור אינדקס וקטורי, בטבלה צריכות להיות לפחות 5,000 שורות.
מספר השורות המקסימלי במסד הנתונים הטבלאי לאינדקס מסוג IVF	‫10,000,000,000 שורות	כדי ליצור אינדקס וקטורי מסוג IVF, בטבלה יכולות להיות עד 10,000,000,000 שורות.
מספר השורות המקסימלי במסד הנתונים הטבלאי לאינדקס מסוג TREE_AH	‫200,000,000 שורות	כדי ליצור אינדקס וקטורי מסוג TREE_AH, הטבלה יכולה להכיל עד 200,000,000 שורות.
מספר השורות המקסימלי במסד נתונים טבלאי לסוג אינדקס מחולק למחיצות TREE_AH	‫10,000,000,000 שורות בסך הכול ‫200,000,000 שורות לכל מחיצה	כדי ליצור אינדקס וקטורי מחולק למחיצות ב-TREE_AH, בטבלה יכולות להיות עד 10,000,000,000 שורות, ובכל מחיצה יכולות להיות עד 200,000,000 שורות.
הגודל המקסימלי של המערך בעמודה שנוסף לה אינדקס	‫4,096 רכיבים	בעמודה שמוסיפים לאינדקס יכולים להיות עד 4,096 רכיבים במערך.
גודל הטבלה המינימלי לאכלוס אינדקס וקטורי	‎10MB	אם יוצרים אינדקס וקטורי בטבלה שקטנה מ-10MB, האינדקס לא מאוכלס. באופן דומה, אם מוחקים נתונים מטבלה עם אינדקס וקטורי כך שגודל הטבלה קטן מ-10MB, האינדקס הווקטורי מושבת באופן זמני. זה קורה גם אם אתם משתמשים בהזמנה משלכם למשימות ניהול האינדקסים. כשהגודל של טבלה עם אינדקס וקטורי חורג שוב מ-10MB, האינדקס שלה מאוכלס באופן אוטומטי.
מספר הצהרות ה-DDL של CREATE VECTOR INDEX לכל פרויקט, לכל אזור, לכל יום	500 פעולות	בכל פרויקט אפשר להנפיק עד 500 פעולות CREATE VECTOR INDEX ביום לכל אזור.
מספר הצהרות ה-DDL של אינדקס וקטורי לכל טבלה ביום	‫10 פעולות	אפשר לבצע עד 10 פעולות CREATE VECTOR INDEX או DROP VECTOR INDEX לכל טבלה ביום.
הגודל הכולל המקסימלי של נתוני טבלה לכל ארגון שמותר ליצירת אינדקס וקטורי שלא פועל בהזמנה	6 TB	אפשר ליצור אינדקס וקטורי לטבלה אם הגודל הכולל של הטבלאות עם האינדקסים בארגון קטן מ-6TB. אם המשימות לניהול אינדקסים פועלות בהזמנה משלכם, המגבלה הזו לא חלה.

תרחישים

המכסות והמגבלות הבאות חלות על שגרות.

פונקציות בהגדרת המשתמש (UDF)

המגבלות הבאות חלות על פונקציות זמניות ומתמידות בהגדרת המשתמש (UDF) בשאילתות GoogleSQL.

הערה: פונקציות UDF והטבלאות שהן מפנות אליהן נכללות במגבלה על מספר המשאבים שמופנים בשאילתה.

מגבלת המערכת	ברירת מחדל	הערות
הפלט המקסימלי לכל שורה	5 MB	כמות הנתונים המקסימלית שהפונקציה המוגדרת על ידי המשתמש ב-JavaScript יכולה להפיק כשמעבדים שורה אחת היא בערך 5MB.
מספר מקסימלי של שאילתות SQL מדור קודם שפועלות בו-זמנית עם פונקציות JavaScript בהגדרת המשתמש (UDF)	‫6 שאילתות	בפרויקט יכולות להיות עד שש שאילתות SQL מדור קודם שמכילות פונקציות UDF ב-JavaScript. המגבלה הזו כוללת גם שאילתות אינטראקטיביות וגם שאילתות אצווה. המגבלה הזו לא חלה על שאילתות GoogleSQL.
מספר מקסימלי של משאבי JavaScript UDF לכל שאילתה	‫50 משאבים	משימת שאילתה יכולה לכלול עד 50 משאבי UDF ב-JavaScript, כמו קטעי קוד מוטבעים או קבצים חיצוניים.
הגודל המקסימלי של blob קוד בתוך השורה	‎32KB	גודל ה-blob של קוד בתוך השורה ב-UDF יכול להיות עד 32KB.
הגודל המקסימלי של כל משאב קוד חיצוני	‫1MB	הגודל המקסימלי של כל משאב קוד JavaScript הוא 1MB.

המגבלות הבאות חלות על פונקציות מתמידות:

מגבלת המערכת	ברירת מחדל	הערות
האורך המקסימלי של שם פונקציה בהגדרת המשתמש (UDF)	‫256 תווים	שם של UDF יכול להכיל עד 256 תווים.
מספר הארגומנטים המקסימלי	‫256 ארגומנטים	פונקציה מוגדרת-משתמש יכולה לכלול עד 256 ארגומנטים.
האורך המקסימלי של שם ארגומנט	128 תווים	שם של ארגומנט בפונקציה מוגדרת-משתמש יכול להכיל עד 128 תווים.
העומק המקסימלי של שרשרת הפניות לפונקציה מוגדרת-משתמש (UDF)	‫16 קובצי עזר	שרשרת הפניות של פונקציה בהתאמה אישית יכולה להכיל עד 16 הפניות.
העומק המקסימלי של ארגומנט או פלט מסוג STRUCT	‫15 שלבים	ארגומנט או פלט של פונקציה מוגדרת-משתמש מסוג STRUCT יכולים להיות בעומק של עד 15 רמות.
מספר השדות המקסימלי בארגומנטים או בפלט מסוג STRUCT לכל פונקציה מוגדרת-משתמש (UDF)	‫1,024 שדות	פונקציה מוגדרת-משתמש יכולה להכיל עד 1,024 שדות בארגומנטים ובפלט מסוג STRUCT.
מספר מקסימלי של ספריות JavaScript בהצהרת CREATE FUNCTION	‫50 ספריות	הצהרת CREATE FUNCTION יכולה להכיל עד 50 ספריות JavaScript.
האורך המקסימלי של נתיבי ספריית JavaScript שכלולים	5,000 תווים	הנתיב של ספריית JavaScript שכלולה ב-UDF יכול להיות באורך של עד 5,000 תווים.
קצב העדכון המקסימלי לכל פונקציה בהגדרת המשתמש (UDF) בכל 10 שניות	5 עדכונים	בפרויקט שלכם אפשר לעדכן UDF עד חמש פעמים בכל 10 שניות.
המספר המקסימלי של פונקציות UDF מורשות לכל מערך נתונים		למידע נוסף על מערכי נתונים
פונקציות Python מוגדרות-משתמש: בייטים של אחסון תמונות לכל פרויקט בכל אזור	‎10 GiB	הגודל הכולל בבייטים של כל קובצי האימג' של הקונטיינרים שמשמשים פונקציות UDF ב-Python בפרויקט ובאזור ספציפיים.
פונקציות Python מוגדרות-משתמש: מגבלת המוטציות	‫30 לדקה	אפשר ליצור או לעדכן פונקציות UDF ב-Python עד 30 פעמים בדקה לכל אזור בכל פרויקט.
פונקציות Python UDF: מספר מקסימלי של פונקציות Python UDF בו-זמניות	10	בכל פרויקט אפשר להריץ בו-זמנית עד 10 שאילתות שמפנות לפונקציות Python UDF.

פונקציות משירותים חיצוניים

המגבלות הבאות חלות על פונקציות מרוחקות ב-BigQuery.

למידע על פתרון בעיות, ראו המספר המקסימלי של שאילתות בו-זמניות שמכילות פונקציות מרוחקות.

מגבלת המערכת	ברירת מחדל	הערות
המספר המקסימלי של שאילתות בו-זמניות שמכילות פונקציות מרוחקות	‫10 שאילתות	אפשר להריץ עד עשר שאילתות בו-זמנית עם פונקציות מרוחקות בכל פרויקט.
גודל קלט מקסימלי	5 MB	הגודל הכולל המקסימלי של כל הארגומנטים של הקלט משורה אחת הוא 5MB.
מגבלת הגודל של תגובת HTTP (פונקציות Cloud Run דור ראשון)	‎10MB	גוף התגובה של HTTP מפונקציית Cloud Run מהדור הראשון הוא עד 10MB. חריגה מהערך הזה גורמת לשגיאות בשאילתות.
מגבלת הגודל של תגובת HTTP (פונקציות Cloud Run מהדור השני או Cloud Run)	15 MB	גוף תגובת ה-HTTP מהפונקציה של Cloud Run מדור שני או מ-Cloud Run הוא עד 15MB. חריגה מהערך הזה גורמת לשגיאות בשאילתות.
מגבלת הזמן המקסימלית להפעלת HTTP (פונקציות Cloud Run דור ראשון)	‫9 דקות	אפשר להגדיר מגבלת זמן משלכם לפונקציית Cloud Run דור ראשון להפעלה ספציפית של HTTP, אבל מגבלת הזמן המקסימלית היא 9 דקות. חריגה ממגבלת הזמן שהוגדרה לפונקציית Cloud Run (דור ראשון) עלולה לגרום לכשלים בהפעלת HTTP ובשאילתות.
מגבלת הזמן להפעלה של HTTP (פונקציות Cloud Run מדור שני או Cloud Run)	20 דקות	מגבלת הזמן להפעלה ספציפית של HTTP בפונקציית Cloud Run (דור שני) או ב-Cloud Run. חריגה מהערך הזה עלולה לגרום לכשלים בהפעלת HTTP ולכשלים בשאילתות.
המספר המקסימלי של ניסיונות חוזרים להפעלת HTTP	20	מספר הניסיונות החוזרים המקסימלי להפעלה ספציפית של HTTP בפונקציית Cloud Run מדור ראשון, מדור שני או ב-Cloud Run. חריגה מהערך הזה עלולה לגרום לכשלים בהפעלת HTTP ולכשלים בשאילתות.

פונקציות טבלה

המגבלות הבאות חלות על פונקציות טבלה ב-BigQuery:

מגבלת המערכת	ברירת מחדל	הערות
האורך המקסימלי של שם פונקציית טבלה	‫256 תווים	השם של פונקציית טבלה יכול להכיל עד 256 תווים.
האורך המקסימלי של שם ארגומנט	128 תווים	השם של ארגומנט פונקציית טבלה יכול להיות באורך של עד 128 תווים.
מספר הארגומנטים המקסימלי	‫256 ארגומנטים	פונקציית טבלה יכולה להכיל עד 256 ארגומנטים.
העומק המקסימלי של שרשרת הפניות לפונקציית טבלה	‫16 קובצי עזר	שרשרת הפניות של פונקציית טבלה יכולה להכיל עד 16 הפניות.
העומק המקסימלי של הארגומנט או הפלט מסוג STRUCT	‫15 שלבים	ארגומנט STRUCT לפונקציית טבלה יכול להיות בעומק של עד 15 רמות. באופן דומה, רשומת STRUCT בפלט של פונקציית טבלה יכולה להיות בעומק של עד 15 רמות.
מספר השדות המקסימלי בארגומנט או בטבלת ההחזרה מסוג STRUCT לכל פונקציית טבלה	‫1,024 שדות	ארגומנט STRUCT של פונקציית טבלה יכול להכיל עד 1,024 שדות. באופן דומה, רשומה של STRUCT בפלט של פונקציית טבלה יכולה להכיל עד 1,024 שדות.
המספר המקסימלי של עמודות בטבלת ההחזרות	‫1,024 עמודות	טבלה שמוחזרת על ידי פונקציית טבלה יכולה להכיל עד 1,024 עמודות.
האורך המקסימלי של שמות העמודות בטבלת ההחזרות	128 תווים	שמות העמודות בטבלאות שמוחזרות יכולים להיות באורך של עד 128 תווים.
מספר העדכונים המקסימלי לכל פונקציית טבלה בכל 10 שניות	5 עדכונים	בפרויקט אפשר לעדכן פונקציית טבלה עד חמש פעמים בכל 10 שניות.

פרוצדורות מאוחסנות ל-Apache Spark

המגבלות הבאות חלות על פרוצדורות מאוחסנות של BigQuery ל-Apache Spark:

מגבלת המערכת	ברירת מחדל	הערות
המספר המקסימלי של שאילתות בו-זמניות של תהליכים מאוחסנים	50	בכל פרויקט אפשר להריץ עד 50 שאילתות של פרוצדורות מאוחסנות בו-זמנית.
המספר המקסימלי של מעבדים בשימוש	12,000	אפשר להשתמש בעד 12,000 מעבדים לכל פרויקט. שאילתות שכבר עובדו לא נכללות במגבלה הזו. אפשר להשתמש בעד 2,400 מעבדים לכל מיקום בכל פרויקט, חוץ מהמיקומים הבאים: asia-south2 australia-southeast2 europe-central2 europe-west8 northamerica-northeast2 southamerica-west1 במיקומים האלה, אתם יכולים להשתמש בעד 500 מעבדים (CPU) לכל מיקום בכל פרויקט. אם אתם מריצים שאילתות בו-זמנית במיקום במספר אזורים ובמיקום עם אזור אחד שנמצא באותו אזור גיאוגרפי, יכול להיות שהשאילתות יצרכו את אותה מכסת מעבד (CPU) בו-זמנית.
הגודל הכולל המקסימלי של דיסקים מתמידים סטנדרטיים שנמצאים בשימוש	‫204.8TB	אפשר להשתמש בדיסקים מתמידים סטנדרטיים בנפח של עד 204.8TB לכל מיקום בכל פרויקט. שאילתות שכבר עובדו לא נכללות במגבלה הזו. אם אתם מריצים שאילתות בו-זמנית במיקום במספר אזורים ובמיקום עם אזור אחד שנמצא באותו אזור גיאוגרפי, יכול להיות שהשאילתות יצרכו את אותה מכסה של דיסק מתמיד סטנדרטי.

קובצי Notebook

כל המכסות והמגבלות של Dataform והמכסות והמגבלות של Colab Enterprise חלות על notebooks ב-BigQuery. המגבלות הבאות חלות גם:

מגבלת המערכת	ברירת מחדל	הערות
גודל ה-Notebook המקסימלי	20 MB	גודל ה-Notebook הוא הסכום של התוכן, המטא-נתונים ותקורת הקידוד שלו. כדי לראות את גודל התוכן של ה-Notebook, מרחיבים את הכותרת של ה-Notebook, לוחצים על תצוגה ואז על פרטי ה-Notebook.
המספר המקסימלי של בקשות לשנייה ל-Dataform	100	ה-Notebooks נוצרים ומנוהלים באמצעות Dataform. כל פעולה שיוצרת או משנה תיקיית Notebook נכללת במכסה הזו. המכסה הזו משותפת עם שאילתות שמורות. לדוגמה, אם מבצעים 50 שינויים ב-notebooks ו-50 שינויים בשאילתות שמורות תוך שנייה אחת, מגיעים למכסה.

שאילתות שמורות

כל המכסות והמגבלות של Dataform חלות על שאילתות שמורות. בנוסף, חלות המגבלות הבאות:

מגבלת המערכת	ברירת מחדל	הערות
הגודל המקסימלי של שאילתה שמורה	‎10MB
המספר המקסימלי של בקשות לשנייה ל-Dataform	100	שאילתות שמורות נוצרות ומנוהלות באמצעות Dataform. כל פעולה שיוצרת או משנה שאילתה שמורה נכללת במכסה הזו. המכסה הזו משותפת עם תיקיות Notebook. לדוגמה, אם מבצעים 50 שינויים ב-notebooks ו-50 שינויים בשאילתות שמורות בתוך שנייה אחת, מגיעים למכסה.

שפת טיפול בנתונים (DML)

המגבלות הבאות חלות על הצהרות שפת הטיפול בנתונים (DML) ב-BigQuery:

מגבלת המערכת	ברירת מחדל	הערות
פקודות DML ביום	ללא הגבלה	אין הגבלה על מספר פקודות ה-DML שאפשר להריץ בפרויקט ביום. פקודות DML לא נספרות במסגרת מספר השינויים בטבלה ליום או במסגרת מספר השינויים בטבלה מחולקת למחיצות ליום בטבלאות מחולקות למחיצות. חשוב לשים לב למגבלות הבאות של פקודות DML.
‫INSERT פקודות DML בו-זמניות לכל טבלה ביום	‫1,500 דוחות	‫1,500 ההצהרות הראשונות של INSERT מופעלות מיד אחרי שהן נשלחות. אחרי שמגיעים למגבלה הזו, אפשר להריץ בו-זמנית עד 10 הצהרות INSERT שכותבות לטבלה. הצהרות INSERT נוספות מתווספות לתור של PENDING. אפשר להוסיף לתור עד 100 הצהרות INSERT לטבלה בכל זמן נתון. כשהצהרת INSERT מסתיימת, הצהרת INSERT הבאה מוסרת מהתור ומופעלת. אם אתם צריכים להריץ פקודות DML‏ INSERT בתדירות גבוהה יותר, כדאי להעביר נתונים בסטרימינג לטבלה באמצעות Storage Write API (gRPC).
הצהרות DML לשינוי בו-זמני לכל טבלה	‫2 דוחות	ב-BigQuery אפשר להריץ עד שתי פקודות DML לשינוי (UPDATE,‏ DELETE ו-MERGE) בו-זמנית בכל טבלה. פקודות DML נוספות לשינוי טבלה נכנסות לתור.
פקודות DML לשינוי נתונים בתור לכל טבלה	‫20 הצהרות	בטבלה יכולות להיות עד 20 פקודות DML לשינוי בתור שממתינות להרצה. אם תשלחו פקודות DML נוספות לשינוי הטבלה, הפקודות האלה ייכשלו.
זמן ההמתנה המקסימלי בתור לפקודת DML	‫7 שעות	פקודת DML אינטראקטיבית בעדיפות גבוהה יכולה להמתין בתור עד שבע שעות. אם ההצהרה לא הופעלה אחרי שבע שעות, היא נכשלת.
הקצב המקסימלי של פקודות DML לכל טבלה	‫25 הצהרות כל 10 שניות	בכל פרויקט אפשר להריץ עד 25 פקודות DML כל 10 שניות לכל טבלה. גם INSERT וגם פקודות DML לשינוי נתונים נכללות במגבלה הזו.

למידע נוסף על פקודות DML לשינוי, קראו על בו-זמניות של DML ב-INSERT ועל בו-זמניות של DML ב-UPDATE, DELETE, MERGE.

שאילתות עם כמה הצהרות

המגבלות הבאות חלות על שאילתות עם כמה הצהרות ב-BigQuery.

מגבלת המערכת	ברירת מחדל	הערות
המספר המקסימלי של שאילתות עם כמה הצהרות בו-זמנית	‫1,000 שאילתות עם כמה הצהרות	בפרויקט אפשר להריץ עד 1,000 שאילתות מרובות-הצהרות בו-זמנית.
מגבלת זמן מצטברת	24 שעות	מגבלת הזמן המצטברת לשאילתה עם כמה הצהרות היא 24 שעות.
מגבלת הזמן של ההצהרה	6 שעות	מגבלת הזמן להצהרה בודדת בתוך שאילתה עם כמה הצהרות היא 6 שעות.

ביטויי טבלה נפוצים (CTE) רקורסיביים בשאילתות

המגבלות הבאות חלות על ביטויי טבלה נפוצים (CTE) רקורסיביים ב-BigQuery.

מגבלת המערכת	ברירת מחדל	הערות
מגבלת החזרות	‫500 איטרציות	ה-CTE הרקורסיבי יכול לבצע את מספר האיטרציות הזה. אם חורגים מהמגבלה הזו, נוצרת שגיאה. כדי לעקוף את מגבלות האיטרציה, אפשר לעיין במאמר פתרון בעיות שקשורות לשגיאות במגבלת האיטרציה.

אבטחה ברמת השורה

המגבלות הבאות חלות על כללי מדיניות גישה ברמת השורה ב-BigQuery:

מגבלת המערכת	ברירת מחדל	הערות
מספר מקסימלי של כללי מדיניות גישה לשורות בכל טבלה	‫400 כללי מדיניות	בטבלה יכולות להיות עד 400 כללי מדיניות גישה לשורות.
מספר מקסימלי של כללי מדיניות גישה לשורות לכל שאילתה	6,000 כללי מדיניות	שאילתה יכולה לגשת ל-6,000 כללי מדיניות גישה לשורות לכל היותר.
מספר מקסימלי של הצהרות DDL ב-CREATE או ב-DROP לכל מדיניות, לכל 10 שניות	‫5 הצהרות	בפרויקט אפשר להריץ עד חמש הצהרות CREATE או DROP לכל משאב של מדיניות גישה ברמת השורה, כל 10 שניות.
‫DROP ALL ROW ACCESS POLICIES הצהרות לכל טבלה לכל 10 שניות	‫5 הצהרות	בפרויקט אפשר להריץ עד חמש הצהרות DROP ALL ROW ACCESS POLICIES לכל טבלה בכל 10 שניות.

מדיניות בנושא נתונים

המגבלות הבאות חלות על הסתרת מידע דינמית ברמת העמודה:

מגבלת המערכת	ברירת מחדל	הערות
מספר מקסימלי של כללי מדיניות נתונים לכל תג מדיניות.	‫8 כללי מדיניות לכל תג מדיניות	עד שמונה כללי מדיניות לנתונים לכל תג מדיניות. אפשר להשתמש באחד מכללי המדיניות האלה לאמצעי בקרת גישה ברמת העמודה. אין תמיכה בביטויי הסתרה כפולים.

BigQuery ML

המגבלות הבאות חלות על BigQuery ML.

משימות של השאילתה

כל המכסות והמגבלות של משימות השאילתות חלות על משימות שאילתות ב-GoogleSQL שמשתמשות בהצהרות ובפונקציות של BigQuery ML.

‫CREATE MODEL דפי חשבון

המגבלות הבאות חלות על משימות ב-CREATE MODEL:

מגבלת המערכת	ברירת מחדל	הערות
CREATE MODEL שאילתות הצהרה לכל 48 שעות בכל פרויקט	‫20,000 שאילתות הצהרה	חלק מהמודלים מאומנים באמצעות שירותי Vertex AI, שיש להם ניהול משאבים ומכסות משלהם.
מגבלת זמן הביצוע	‫24 שעות או 48 שעות	CREATE MODEL זמן הקצוב לתפוגה של משימה הוא 24 שעות כברירת מחדל, למעט משימות של סדרת זמנים, AutoML וכוונון היפר-פרמטרים, שבהן הזמן הקצוב לתפוגה הוא 48 שעות.

פונקציות AI גנרטיביות

המגבלות הבאות חלות על פונקציות שמשתמשות במודלים גדולים של שפה (LLM) ב-Agent Platform. הגדרות של מכסות לפונקציות

מגבלות על מספר הבקשות לדקה

המגבלות הבאות חלות על מודלים של Agent Platform שמשתמשים במגבלת בקשות לדקה.

תפקיד	דגם	אזור	בקשות לדקה	שורות לכל משימה
AI.GENERATE_TEXT ML.GENERATE_TEXT AI.GENERATE_TABLE AI.GENERATE AI.GENERATE_BOOL AI.GENERATE_DOUBLE AI.GENERATE_INT	gemini-2.0-flash-lite-001	US ו-EU (מספר אזורים) אזורים בודדים, כמו שמתועד לגבי gemini-2.0-flash-lite-001 במאמר מיקומי נקודות הקצה של המודלים של Google	אין מכסה מוגדרת. המכסה נקבעת לפי מכסה דינמית משותפת (DSQ)‏^1 והקצאת משאבים לפי התפוקה שנקבעה^2	לא רלוונטי להקצאת משאבים לפי התפוקה שנקבעה ‫10,500,000 ל-DSQ, לקריאה עם ממוצע של 500 טוקנים של קלט ו-50 טוקנים של פלט
	gemini-2.0-flash-001	US ו-EU (מספר אזורים) אזורים בודדים, כמו שמתועד לגבי gemini-2.0-flash-001 במאמר מיקומי נקודות הקצה של המודלים של Google		לא רלוונטי להקצאת משאבים לפי התפוקה שנקבעה ‫10,200,000 ל-DSQ, לקריאה עם ממוצע של 500 אסימוני קלט ו-50 אסימוני פלט
	gemini-2.5-flash	US ו-EU (מספר אזורים) אזורים בודדים, כמו שמתועד לגבי gemini-2.5-flash במאמר מיקומי נקודות הקצה של המודלים של Google		לא רלוונטי להקצאת משאבים לפי התפוקה שנקבעה 9,300,000 ל-DSQ, לקריאה עם ממוצע של 500 טוקנים של קלט ו-50 טוקנים של פלט
	gemini-2.5-pro	US ו-EU (מספר אזורים) אזורים בודדים, כמו שמתועד לגבי gemini-2.5-pro במאמר מיקומי נקודות הקצה של המודלים של Google		לא רלוונטי להקצאת משאבים לפי התפוקה שנקבעה 7,600,000 ל-DSQ, לקריאה עם ממוצע של 500 טוקנים של קלט ו-50 טוקנים של פלט
AI.IF AI.SCORE AI.CLASSIFY	מודלים שונים של gemini-2.5-*	US ו-EU במספר אזורים כל אזור נתמך של אחד מ-gemini-2.5-* models במיקומים של נקודות קצה של מודלים של Google	אין מכסה מוגדרת. המכסה נקבעת לפי מכסה דינמית משותפת (DSQ)^1	‫10,000,000 לקריאה עם ממוצע של 500 טוקנים בכל שורת קלט ו-50 טוקנים של פלט.
AI.AGG	מודלים שונים של Gemini	מיקומים	אין מכסה מוגדרת. המכסה נקבעת לפי מכסה דינמית משותפת (DSQ)^1.	20,000,000
AI.GENERATE_TEXT ML.GENERATE_TEXT	Anthropic Claude	מכסות לפי מודל ואזור	מכסות לפי מודל ואזור	ערך הבקשות לדקה * 60 * 6
	Llama	זמינות לפי אזור ומכסות של מודל Llama	זמינות לפי אזור ומכסות של מודל Llama
	Mistral AI	זמינות לפי אזור ומכסות של מודלי AI של Mistral	זמינות לפי אזור ומכסות של מודלי AI של Mistral
AI.GENERATE_EMBEDDING^5 AI.EMBED AI.SIMILARITY AI.SEARCH VECTOR_SEARCH ML.GENERATE_EMBEDDING^5	text-embedding text-multilingual-embedding	כל האזורים שתומכים במודלים מרוחקים	‫1,500^3,4	‫80,000,000 לקריאה עם ממוצע של 50 טוקנים בכל שורת קלט ‫14,000,000 לקריאה עם ממוצע של 600 טוקנים בכל שורת קלט
	multimodalembedding	אזורים נתמכים באירופה	120^3	43,200
		אזורים שאינם אזורים נתמכים באירופה	600^3	216,000
	gemini-embedding-2	US, EU וגם global	אין מכסה מוגדרת. המכסה נקבעת לפי מכסה דינמית משותפת (DSQ)‏^1.	לא רלוונטי

‫¹ כשמשתמשים ב-DSQ, אין מגבלות מוגדרות מראש על המכסה. במקום זאת, DSQ מספק גישה למאגר משותף גדול של משאבים, שמוקצים באופן דינמי על סמך הזמינות של המשאבים בזמן אמת והביקוש של הלקוחות למודל הנתון. כשיש יותר לקוחות פעילים, כל לקוח מקבל פחות תפוקה. באופן דומה, כשפחות לקוחות פעילים, כל לקוח עשוי לקבל קצב העברת נתונים גבוה יותר.

‫² הקצאת משאבים לפי התפוקה שנקבעה היא מינוי בעלות קבועה ולתקופה קבועה, שזמין בכמה אורכי תקופות. התכונה "הקצאת משאבים לפי התפוקה שנקבעה" מאפשרת לכם להקצות משאבים למודלים נתמכים של AI גנרטיבי ב-Agent Platform.

‫³ כדי להגדיל את המכסה, מבקשים שינוי של מכסת ה-QPM ב-Agent Platform. צריך להמתין 30 דקות עד שהערך המוגדל של המכסה יתעדכן.

‫⁴ אתם יכולים להגדיל את המכסה של המודלים text-embedding ו-text-multilingual-embedding ב-Agent Platform ל-10,000 בקשות לדקה בלי אישור ידני. כך אפשר להגדיל את קצב העיבוד ל-500,000,000 שורות לכל משימה או יותר, על סמך קריאה עם ממוצע של 50 אסימונים בכל שורת קלט.

‫⁵ הפונקציה הזו מוגבלת ל-5 משימות לכל היותר שפועלות בו-זמנית בכל פרויקט.

מידע נוסף על מכסות למודלים גדולים של שפה ב-Agent Platform מופיע במאמר מגבלות המכסות של בינה מלאכותית גנרטיבית ב-Agent Platform.

מגבלות על מספר הטוקנים לדקה

המגבלות הבאות חלות על מודלים של Agent Platform שמשתמשים במגבלת טוקנים לדקה:

פונקציה	טוקנים לדקה	שורות לכל משימה	מספר המשימות שפועלות בו-זמנית
AI.GENERATE_EMBEDDING או ML.GENERATE_EMBEDDING כשמשתמשים במודל מרוחק במודל gemini-embedding-001	10,000,000	‫12,000,000, לקריאה עם ממוצע של 300 טוקנים לשורה	5
AI.GENERATE_EMBEDDING או ML.GENERATE_EMBEDDING כשמשתמשים במודל מרוחק במודל gemini-embedding-2	5,000,000	1,440,000	5

מגבלות על מספר הטוקנים ביום

המגבלות היומיות הבאות חלות על השימוש בטוקנים במודלים גדולים של שפה (LLM), שאליהם ניגשים דרך פונקציות AI גנרטיביות ב-BigQuery. המגבלות האלה חלות באופן גלובלי בכל האזורים, ואפשר לבקש לשנות אותן. מידע נוסף זמין במאמר שליטה בעלויות באמצעות מכסות טוקנים.

מכסה	מזהה המדד והמכסה	ברירת מחדל	הערות
טוקנים של קלט AI ביום	מדד: bigquery.googleapis.com/quota/query/ai_input_tokens מזהה המכסה: GenAiInputTokensPerDay	200,000,000,000	טוקנים של קלט שנעשה בהם שימוש על ידי ה-LLM. המכסה היא ליום, לכל פרויקט.
טוקנים של קלט AI ליום לכל משתמש	מדד: bigquery.googleapis.com/quota/query/ai_input_tokens מזהה המכסה: GenAiInputTokensPerUserPerDay	150,000,000,000	טוקנים של קלט שנעשה בהם שימוש על ידי מודל ה-LLM. המגבלה חלה על כל יום, פרויקט ומשתמש.
טוקנים של פלט AI ביום	מדד: bigquery.googleapis.com/quota/query/ai_output_tokens מזהה המכסה: GenAiOutputTokensPerDay	20,000,000,000	טוקנים של פלט ושל חשיבה שבהם משתמש מודל ה-LLM. המכסה היא ליום, לכל פרויקט.
טוקנים של פלט AI ליום לכל משתמש	מדד: bigquery.googleapis.com/quota/query/ai_output_tokens מזהה המכסה: GenAiOutputTokensPerUserPerDay	15,000,000,000	טוקנים של פלט ושל חשיבה שבהם משתמש מודל ה-LLM. המגבלה חלה על כל יום, פרויקט ומשתמש.

פונקציות של שירותי AI ב-Cloud

המגבלות הבאות חלות על פונקציות שמשתמשות בשירותי AI ב-Cloud:

פונקציה	בקשות לדקה	שורות לכל משימה	מספר המשימות שפועלות בו-זמנית
ML.PROCESS_DOCUMENT עם מסמכים באורך ממוצע של חמישים עמודים	600	‫100,000 (על סמך ממוצע של 50 דפים בכל מסמך קלט)	5
ML.TRANSCRIBE	200	‫10,000 (על סמך אורך ממוצע של דקה לכל קובץ אודיו של קלט)	5
ML.ANNOTATE_IMAGE	1,800	648,000	5
ML.TRANSLATE	6,000	2,160,000	5
ML.UNDERSTAND_TEXT	600	21,600	5

למידע נוסף על מכסות לממשקי API של שירותי AI ב-Cloud, קראו את המאמרים הבאים:

• מכסות ומגבלות ב-Cloud Translation API
• מכסות ומגבלות ב-Vision API
• מכסות ומגבלות ב-Natural Language API
• מכסות ומגבלות ב-Document AI
• מכסות ומגבלות של Speech-to-Text

הגדרות של מכסות לפונקציות

ברשימה הבאה מתוארות המכסות שחלות על פונקציות של שירותי AI גנרטיבי ו-AI ב-Cloud:

• פונקציות שקוראות למודל של Agent Platform משתמשות במכסה אחת של Agent Platform, שהיא שאילתות לדקה (QPM). בהקשר הזה, השאילתות הן קריאות לבקשות מהפונקציה ל-API של המודל ב-Agent Platform. המכסה של QPM חלה על מודל בסיס ועל כל הגרסאות, המזהים והגרסאות המותאמות של המודל הזה. למידע נוסף על מכסות מודל Agent Platform, ראו מגבלות המכסות של בינה מלאכותית גנרטיבית ב-Agent Platform.
• פונקציות שמפעילות שירות AI ב-Cloud משתמשות במכסות הבקשות של שירות היעד. לפרטים, עיינו במאמר העזרה בנושא מכסות של שירות ה-AI ב-Cloud הרלוונטי.

• אלה המכסות של BigQuery ML:

  • בקשות לדקה. המכסה הזו היא המגבלה על מספר הקריאות לבקשות בדקה שהפונקציות יכולות לבצע למודל של Agent Platform או ל-API של שירות ה-AI ב-Cloud. המגבלה הזו חלה על כל פרויקט, והיא משותפת לכל המשימות שמשתמשות באותה נקודת קצה של המודל.

    בקריאות למודלים של Gemini ב-Agent Platform אין מכסות מוגדרות מראש, כי המודלים של Gemini משתמשים במכסה משותפת דינמית (DSQ). ‫DSQ מספק גישה למאגר משותף גדול של משאבים, שמוקצים באופן דינמי על סמך הזמינות של המשאבים בזמן אמת והביקוש של הלקוחות למודל הנתון.

  • טוקנים לדקה. המכסה הזו היא המגבלה על מספר הטוקנים לדקה שהפונקציות יכולות לשלוח ל-API של המודל ב-Agent Platform. המגבלה הזו חלה על כל פרויקט.

    בפונקציות שקוראות למודל בסיס של Agent Platform, מספר הטוקנים לדקה משתנה בהתאם לנקודת הקצה, לגרסה ולאזור של המודל ב-Agent Platform, וגם למוניטין של הפרויקט. המכסה הזו זהה מבחינה רעיונית למכסת ה-QPM שמשמשת את Agent Platform.

  • שורות לכל משימה. הערך של Rows per job משמש כנקודת השוואה לביצועים, ומעריך את קיבולת העיבוד כשמשימה אחת משתמשת באופן בלעדי במשאבים של נקודת הקצה של המודל בפרויקט. מספר השורות שעובדו בפועל תלוי בגורמים רבים, כולל גודל בקשת הקלט למודל, גודל התגובות של הפלט מהמודל וזמינות המכסה המשותפת הדינמית. הדוגמאות הבאות מציגות כמה תרחישים נפוצים:

    • בנקודת הקצה gemini-2.0-flash-lite-001, מספר השורות שאפשר לעבד באמצעות הפונקציה AI.GENERATE_TEXT או ML.GENERATE_TEXT תלוי במספר הטוקנים של הקלט והפלט. השירות יכול לעבד כ-7.6 מיליון שורות לקריאות עם מספר ממוצע של 2,000 אסימוני קלט ומספר מקסימלי של 50 אסימוני פלט. המספר הזה יורד לכמיליון שורות אם מספר הטוקנים הממוצע לקלט הוא 10,000 ומספר הטוקנים המקסימלי לפלט הוא 3,000.

      באופן דומה, נקודת הקצה gemini-2.0-flash-001 יכולה לעבד 4.4 מיליון שורות לקריאות עם מספר ממוצע של 2,000 טוקנים לקלט ומספר מקסימלי של 50 טוקנים לפלט, אבל רק כמיליון שורות לקריאות עם 10,000 טוקנים לקלט ו-3,000 טוקנים לפלט.

    • הפונקציה ML.PROCESS_DOCUMENT יכולה לעבד יותר שורות בכל משימה במסמכים קצרים, בהשוואה למסמכים ארוכים.

    • הפונקציה ML.TRANSCRIBE יכולה לעבד יותר שורות בכל משימה בקטעי אודיו קצרים, בהשוואה לקטעי אודיו ארוכים.

  • מספר המשימות שפועלות בו-זמנית. המכסה הזו היא המגבלה לכל פרויקט על מספר שאילתות ה-SQL שאפשר להריץ בו-זמנית לפונקציה הנתונה.

הדוגמאות הבאות ממחישות איך לפרש את מגבלות המכסות במצבים אופייניים:

• יש לי מכסה של 1,000 שאילתות לדקה ב-Agent Platform, אז שאילתה עם 100,000 שורות אמורה להימשך כ-100 דקות. למה המשימה נמשכת יותר זמן?

  זמני הריצה של משימות יכולים להשתנות, גם אם נתוני הקלט זהים. ב-Agent Platform, לקריאות לשירות מרוחק (RPC) יש עדיפויות שונות כדי למנוע ניצול של המכסה. אם אין מספיק מכסה, קריאות RPC עם עדיפויות נמוכות יותר ממתינות, ויכול להיות שהן ייכשלו אם העיבוד שלהן יימשך יותר מדי זמן.

• איך מפרשים את המכסה של שורות לכל משימה?

  ב-BigQuery, שאילתה יכולה לפעול למשך שש שעות לכל היותר. מספר השורות המקסימלי שנתמך הוא פונקציה של ציר הזמן הזה ושל מכסת ה-QPM של פלטפורמת הנציגים, כדי לוודא ש-BigQuery יכולה להשלים את עיבוד השאילתה תוך שש שעות. בדרך כלל שאילתה לא יכולה לנצל את כל המכסה, ולכן המספר הזה נמוך מהמכסה של מספר השאילתות לדקה כפול 360.

• מה קורה אם מריצים משימת הסקה באצווה על טבלה עם יותר שורות מהמכסה של שורות לכל משימה, למשל 10,000,000 שורות?

  ‫BigQuery מעבד רק את מספר השורות שצוין במכסה של שורות לכל משימה. החיוב יתבצע רק על הקריאות ל-API שבוצעו בהצלחה למספר השורות הזה, ולא על כל 10,000,000 השורות בטבלה. בשאר השורות, BigQuery מגיב לבקשה עם השגיאה A retryable error occurred: the maximum size quota per query has reached, שמוחזרת בעמודה status של התוצאה. אתם יכולים להשתמש בסקריפטים האלה של SQL או בחבילה הזו של Dataform כדי לחזור על קריאות להסקת מסקנות עד שכל השורות יעובדו בהצלחה.

• יש לי הרבה יותר שורות לעבד מאשר מכסת השורות לכל משימה. האם פיצול השורות לכמה שאילתות והרצה שלהן בו-זמנית יעזרו?

  לא, כי השאילתות האלה צורכות את אותה מכסת בקשות לדקה ב-BigQuery ML ואת אותה מכסת שאילתות לדקה ב-Agent Platform. אם יש כמה שאילתות שכולן עומדות במכסת השורות לכל משימה ובמכסת המשימות שפועלות בו-זמנית, העיבוד המצטבר ממצה את מכסת הבקשות לדקה.

BigQuery Graph

המגבלות הבאות חלות על BigQuery Graph:

מגבלת המערכת	ברירת מחדל	הערות
המספר המקסימלי של טבלאות שאפשר להפנות אליהן בתרשים	‫1,000 טבלאות	תרשים יכול להפנות לעד 1,000 טבלאות של צמתים וקצוות בהגדרות של הצמתים והקצוות שלו.
מספר העמודות המקסימלי של מפתחות לכל טבלת צמתים או קצוות	‫16 עמודות	אפשר להגדיר מפתח שמשתמש בעד 16 עמודות בטבלת צמתים או קצוות של תרשים.
מספר העמודות המקסימלי לכל הפניה לצומת	‫16 עמודות	מפתח מקור או מפתח יעד יכולים להפנות לעד 16 עמודות מטבלת צמתים בתרשים.
מספר העמודות המקסימלי לכל הפניה לקצה	‫16 עמודות	מפתח המקור או מפתח היעד של קשת יכולים להפנות לעד 16 עמודות מטבלת הקשתות.
המספר המקסימלי של תוויות בתרשים	‫1,000 תוויות	אפשר להגדיר עד 1,000 תוויות של צמתים וקצוות בתרשים.
מספר התוויות המקסימלי שמוגדר לכל צומת או קצה	‫20 תוויות	אפשר להגדיר עד 20 תוויות בצומת או בקצה בתרשים.
המספר המקסימלי של מאפיינים שמוגדרים בתרשים	‫5,000 נכסים	אפשר להגדיר עד 5,000 מאפיינים בתרשים.
המספר המקסימלי של מאפיינים שאפשר להגדיר לכל תווית	‫1,000 נכסים	אפשר להגדיר עד 1,000 מאפיינים לכל תווית בתרשים.

BI Engine

המגבלות הבאות חלות על BigQuery BI Engine.

מגבלת המערכת	ברירת מחדל	הערות
גודל מקסימלי של מקום שמור לכל פרויקט בכל מיקום (BigQuery BI Engine)	‫250GiB	‫250GiB הוא הגודל המקסימלי של הזמנה לכל פרויקט בכל מיקום. אתם יכולים לבקש להגדיל את הקיבולת המקסימלית של ההזמנות בפרויקטים שלכם. אפשר להגדיל את ההזמנות ברוב האזורים, והתהליך עשוי להימשך 3 ימי עסקים או יותר, בהתאם לגודל ההגדלה המבוקשת. לבקשות דחופות, אפשר לפנות לנציג של Google Cloudאו ל-Cloud Customer Care.
מספר השורות המקסימלי בכל שאילתה	7 מיליארד	מספר השורות המקסימלי לכל שאילתה.

BigQuery sharing (לשעבר Analytics Hub)

המגבלות הבאות חלות על BigQuery sharing (לשעבר Analytics Hub):

מגבלת המערכת	ברירת מחדל	הערות
המספר המקסימלי של מאגרי נתונים משותפים בכל פרויקט	500 תכתובות	בכל פרויקט אפשר ליצור עד 500 מאגרי נתונים משותפים.
המספר המקסימלי של דפי מוצר לכל מאגר נתונים	1,000 כרטיסי מוצר	אפשר ליצור עד 1,000 כרטיסי מידע במאגר נתונים משותף.
מספר מקסימלי של קבוצות נתונים מקושרות לכל קבוצת נתונים משותפת	‫1,000 קבוצות נתונים מקושרות	כל המנויים לשיתוף ב-BigQuery יכולים לקשר עד 1,000 מערכי נתונים לכל מערך נתונים משותף.

גילוי אוטומטי של Knowledge Catalog

המגבלות הבאות חלות על הזיהוי האוטומטי של Knowledge Catalog:

מגבלת המערכת	ברירת מחדל	הערות
מספר מקסימלי של טבלאות BigQuery,‏ BigLake או טבלאות חיצוניות לכל קטגוריה של Cloud Storage שנתמכות בסריקת גילוי	‫1,000 טבלאות ב-BigQuery לכל קטגוריה	אפשר ליצור עד 1,000 טבלאות ב-BigQuery לכל קטגוריה של Cloud Storage.

מכסות ומגבלות של ה-API

המכסות והמגבלות האלה חלות על בקשות ל-BigQuery API.

BigQuery API

המכסות הבאות חלות על בקשות של BigQuery API (ליבה):

מכסה	מזהה המדד והמכסה	ברירת מחדל	הערות
בקשות ביום	מדד: bigquery.googleapis.com/unlimited_requests מזהה המכסה: UnlimitedRequestsPerDayPerProject	ללא הגבלה	בפרויקט שלכם אפשר לשלוח מספר בלתי מוגבל של בקשות ל-BigQuery API ביום.
מקסימום tabledata.list בייטים לדקה	מדדים: bigquery.googleapis.com/quota/tabledata/list_bytes_us, bigquery.googleapis.com/quota/tabledata/list_bytes_eu, bigquery.googleapis.com/quota/tabledata/list_bytes_regional מזהי מכסות: ListBytesPerSecondUs, ListBytesPerSecondEu, ListBytesPerSecondRegional	‫7.5GB במספר אזורים; 3.7GB בכל שאר האזורים	הפרויקט יכול להחזיר עד 7.5GB של נתוני שורות בטבלה לדקה באמצעות tabledata.list ב<b>מספר אזורים</b> us ו-eu, ועד 3.7GB של נתוני שורות בטבלה לדקה בכל שאר האזורים. המכסה הזו חלה על הפרויקט שמכיל את הטבלה שנקראת. גם ממשקי API אחרים, כולל jobs.getQueryResults ואחזור תוצאות מ- jobs.query ומ- jobs.insert, יכולים לצרוך את המכסה הזו. מידע נוסף על פתרון בעיות מופיע בדף פתרון הבעיות. ‫BigQuery Storage Read API יכול לעמוד בקצב העברת נתונים גבוה משמעותית מ-tabledata.list. אם אתם צריכים קצב העברת נתונים גבוה יותר מהמותר במכסה הזו, כדאי להשתמש ב-BigQuery Storage Read API.

מגבלות המערכת הבאות חלות על בקשות (ליבה) של BigQuery API:

הערה: ברוב השיטות העיקריות של BigQuery API אפשר לשלוח עד 100 בקשות API לכל משתמש, אבל בחלק מהשיטות העיקריות יכולות להיות מגבלות קצב שונות.

מגבלת המערכת	ערך	הערות
מספר מקסימלי של בקשות API לשנייה לכל משתמש לכל שיטה (method)	‫100 בקשות	משתמש יכול לשלוח עד 100 בקשות API בשנייה ל-method של API. אם משתמש שולח יותר מ-100 בקשות בשנייה ל-method, יכול להיות שתתרחש הגבלת קצב. המגבלה הזו לא חלה על הזנת זרם נתונים. מידע נוסף על פתרון בעיות זמין בדף פתרון הבעיות.
המספר המקסימלי של בקשות API בו-זמניות לכל משתמש	‫300 בקשות	אם משתמש שולח יותר מ-300 בקשות בו-זמנית, יכול להיות שהמערכת תגביל את קצב הבקשות. המגבלה הזו לא חלה על הוספות של נתונים בסטרימינג.
הגודל המקסימלי של request header	‎16 KiB	בקשת BigQuery API יכולה להיות בגודל של עד 16KiB, כולל כתובת ה-URL של הבקשה וכל הכותרות. המגבלה הזו לא חלה על גוף הבקשה, כמו בבקשת POST.
מקסימום jobs.get בקשות לשנייה	‫1,000 בקשות	בפרויקט אפשר לשלוח עד 1,000 בקשות של jobs.get לשנייה.
גודל התגובה המקסימלי של jobs.query	20 MB	כברירת מחדל, אין מגבלה על מספר שורות הנתונים שמוחזרות על ידי jobs.query בכל דף תוצאות. עם זאת, אתם מוגבלים לגודל תגובה מקסימלי של 20MB. אפשר לשנות את מספר השורות שיוחזרו באמצעות הפרמטר maxResults.
גודל השורה המקסימלי ב- jobs.getQueryResults	20 MB	הגודל המקסימלי של השורה הוא משוער, כי המגבלה מבוססת על הייצוג הפנימי של נתוני השורה. המגבלה נאכפת במהלך המרת הקידוד.
מקסימום projects.list בקשות לשנייה	‫10 בקשות	משתמש יכול לשלוח עד 10 בקשות projects.list בשנייה.
מספר מקסימלי של בקשות tabledata.list לשנייה	‫1,000 בקשות	בפרויקט אפשר לשלוח עד 1,000 בקשות tabledata.list בשנייה.
מספר השורות המקסימלי בכל תשובה של tabledata.list	‫100,000 שורות	קריאה ל-tabledata.list יכולה להחזיר עד 100,000 שורות בטבלה. מידע נוסף זמין במאמר חומר עזר: קריטריונים ומגבלות של ה-API.
גודל השורה המקסימלי ב- tabledata.list	100 MB	הגודל המקסימלי של השורה הוא משוער, כי המגבלה מבוססת על הייצוג הפנימי של נתוני השורה. המגבלה נאכפת במהלך המרת הקידוד.
מקסימום tables.insert בקשות לשנייה	‫10 בקשות	משתמש יכול לשלוח עד 10 בקשות tables.insert בשנייה. ה-method‏ tables.insert יוצרת טבלה חדשה וריקה במערך נתונים.

BigQuery Connection API

המכסות הבאות חלות על בקשות ל-BigQuery Connection API:

מכסה	מזהה המדד והמכסה	ברירת מחדל	הערות
בקשות קריאה לדקה	מדד: bigqueryconnection.googleapis.com/read_requests מזהה המכסה: ReadRequestsPerMinutePerProject	‫1,000 בקשות לדקה	בפרויקט אפשר לשלוח עד 1,000 בקשות לדקה לשיטות של BigQuery Connection API שקוראות נתוני חיבור.
בקשות כתיבה לדקה	מדד: bigqueryconnection.googleapis.com/write_requests מזהה המכסה: WriteRequestsPerMinutePerProject	‫100 בקשות לדקה	בפרויקט אפשר לשלוח עד 100 בקשות בדקה לשיטות של BigQuery Connection API שיוצרות או מעדכנות חיבורים.
חיבורי BigQuery Omni שנוצרו בדקה	מדד: bigqueryconnection.googleapis.com/bq_omni_connection_creations מזהה המכסה: BQOmniConnectionsCreatedPerMinute	10 חיבורים שנוצרו בדקה	בפרויקט אפשר ליצור עד 10 חיבורים של BigQuery Omni בסך הכול ב-AWS וב-Azure לדקה.
שימושים בחיבור של BigQuery Omni	מדד: bigqueryconnection.googleapis.com/bq_omni_connection_uses מזהה המכסה: BQOmniConnectionUsesPerMinute	500 שימושים בחיבור לדקה	בפרויקט שלכם אפשר להשתמש בחיבור של BigQuery Omni עד 500 פעמים בדקה. ההרשאות האלה חלות על פעולות שמשתמשות בחיבור כדי לגשת לחשבון AWS, כמו שליחת שאילתה לטבלה.

BigQuery Migration API

המכסות הבאות חלות על BigQuery Migration API. ברוב המקרים, אלה ערכי ברירת המחדל: יכול להיות שברירות המחדל בפרויקט שלכם שונות:

מכסה	מזהה המדד והמכסה	ברירת מחדל	הערות
בקשות להצגת רשימה של EDWMigration Service לדקה	מדד: bigquerymigration.googleapis.com/edwmigration_service_list_requests מזהה המכסה: ListRequestsPerMinutePerProject	‫12,000 בקשות	בכל פרויקט אפשר לשלוח עד 12,000 בקשות לדקה ל-Migration API List.
בקשות להצגת רשימה של EDWMigration Service לדקה לכל משתמש	מדד: bigquerymigration.googleapis.com/edwmigration_service_list_requests מזהה המכסה: ListRequestsPerMinutePerProjectPerUser	‫2,500 בקשות	כל משתמש יכול לשלוח עד 2,500 בקשות לדקה לרשימת ה-API להעברה.
בקשות Get לדקה בשירות EDWMigration	מדד: bigquerymigration.googleapis.com/edwmigration_service_get_requests מזהה המכסה: GetRequestsPerMinutePerProject	‫25,000 בקשות	בכל פרויקט אפשר לשלוח עד 25,000 בקשות Get לדקה ב-Migration API.
בקשות Get של EDWMigration Service לדקה לכל משתמש	מדד: bigquerymigration.googleapis.com/edwmigration_service_get_requests מזהה המכסה: GetRequestsPerMinutePerProjectPerUser	‫2,500 בקשות	כל משתמש יכול לשלוח עד 2,500 בקשות Get ל-Migration API בדקה.
בקשות אחרות לדקה ב-EDWMigration Service	מדד: bigquerymigration.googleapis.com/edwmigration_service_other_requests מזהה המכסה: OtherRequestsPerMinutePerProject	‫25 בקשות	בכל פרויקט אפשר לשלוח עד 25 בקשות API אחרות ל-Migration API בדקה.
EDWMigration Service Other Requests per minute per user	מדד: bigquerymigration.googleapis.com/edwmigration_service_other_requests מזהה המכסה: OtherRequestsPerMinutePerProjectPerUser	‫5 בקשות	כל משתמש יכול לשלוח עד 5 בקשות API אחרות ל-Migration API בדקה.
בקשות לתרגום SQL אינטראקטיבי לדקה	מדד: bigquerymigration.googleapis.com/sql_translation_translate_requests מזהה המכסה: TranslationRequestsPerMinutePerProject	‫200 בקשות	בפרויקט אפשר לשלוח עד 200 בקשות לשירות תרגום SQL לדקה.
בקשות אינטראקטיביות לתרגום SQL לדקה לכל משתמש	מדד: bigquerymigration.googleapis.com/sql_translation_translate_requests מזהה המכסה: TranslationRequestsPerMinutePerProjectPerUser	‫50 בקשות	כל משתמש יכול לשלוח עד 50 בקשות לשירות תרגום SQL בדקה.

מגבלות המערכת הבאות חלות על BigQuery Migration API:

מגבלת המערכת	ערך	הערות
גודל קובץ יחיד לתרגום SQL באצווה	‎10MB	כל קובץ מקור וקובץ מטא-נתונים יכול להיות בגודל של עד 10MB. המגבלה הזו לא חלה על קובץ ה-ZIP של המטא-נתונים שנוצר על ידי כלי החילוץ dwh-migration-dumper משורת הפקודה.
הגודל הכולל של קובצי המקור לתרגום SQL באצווה	‎1GB	הגודל הכולל של כל קובצי הקלט שמעלים ל-Cloud Storage יכול להיות עד 1GB. הוא כולל את כל קובצי המקור ואת כל קובצי המטא-נתונים, אם בחרתם לכלול אותם.
גודל מחרוזת הקלט לתרגום SQL אינטראקטיבי	‫1MB	המחרוזת שמזינים לתרגום SQL אינטראקטיבי לא יכולה להיות גדולה מ-1MB. כשמפעילים תרגומים אינטראקטיביים באמצעות Translation API, המגבלה הזו חלה על הגודל הכולל של כל הקלטים של המחרוזות.
הגודל המקסימלי של קובץ התצורה לתרגום SQL אינטראקטיבי	50MB	קובצי מטא-נתונים בודדים (דחוסים) וקובצי תצורה של YAML ב-Cloud Storage לא יכולים להיות גדולים מ-50MB. אם גודל הקובץ גדול מ-50MB, המתרגם האינטראקטיבי מדלג על קובץ התצורה הזה במהלך התרגום ומופיעה הודעת שגיאה. אחת מהשיטות להקטין את קובץ המטא-נתונים היא להשתמש בדגלים —database או –schema כדי לסנן מסדי נתונים כשיוצרים את המטא-נתונים.
המספר המקסימלי של הצעות מ-Gemini לשעה	‫1,000 (אפשר לצבור עד 10,000 אם לא משתמשים בהם)	במקרה הצורך, תוכלו לבקש הגדלה של המכסה באמצעות פנייה אל Cloud Customer Care.

BigQuery Reservation API

המכסות הבאות חלות על בקשות של BigQuery Reservation API:

מכסה	מזהה המדד והמכסה	ברירת מחדל	הערות
בקשות לדקה לכל אזור	מדד: bigqueryreservation.googleapis.com/requests מזהה המכסה: RequestsPerMinutePerProjectPerRegion	‫100 בקשות	בכל פרויקט אפשר לשלוח עד 100 קריאות ל-BigQuery Reservation API בדקה בכל אזור.
מספר הקריאות ל-SearchAllAssignments לדקה בכל אזור	מדד: bigqueryreservation.googleapis.com/search_all_assignments_requests מזהה המכסה: SearchAllAssignmentsRequestsPerMinutePerProjectPerRegion	‫100 בקשות	בכל פרויקט אפשר לשלוח עד 100 קריאות ל-method‏ SearchAllAssignments בדקה לכל אזור.
בקשות ל-SearchAllAssignments לדקה לאזור למשתמש	מדד: bigqueryreservation.googleapis.com/search_all_assignments_requests מזהה המכסה: SearchAllAssignmentsRequestsPerMinutePerProjectPerUserPerRegion	‫10 בקשות	כל משתמש יכול לבצע עד 10 קריאות ל-method‏ SearchAllAssignments לדקה בכל אזור.

BigQuery Data Policy API

המגבלות הבאות חלות על Data Policy API (גרסת טרום-השקה (Preview)):

מגבלת המערכת	ברירת מחדל	הערות
מספר מקסימלי של קריאות ל-dataPolicies.list.	‫400 בקשות לדקה לכל פרויקט 600 בקשות לדקה לכל ארגון
מספר מקסימלי של קריאות ל-dataPolicies.testIamPermissions.	‫400 בקשות לדקה לכל פרויקט 600 בקשות לדקה לכל ארגון
המספר המקסימלי של בקשות קריאה.	‫1,200 בקשות לדקה לכל פרויקט ‫1,800 בקשות לדקה לכל ארגון	זה כולל קריאות ל-dataPolicies.get ול-dataPolicies.getIamPolicy.
המספר המקסימלי של בקשות כתיבה.	‫600 בקשות לדקה לכל פרויקט ‫900 בקשות לדקה לכל ארגון	זה כולל קריאות אל: dataPolicies.create dataPolicies.delete dataPolicies.setIamPolicy dataPolicies.patch

IAM API

המכסות הבאות חלות כשמשתמשים בתכונות של ניהול זהויות והרשאות גישה (IAM) ב-BigQuery כדי לאחזר ולהגדיר כללי מדיניות של IAM, וכדי לבדוק הרשאות IAM. הצהרות של שפת בקרת נתונים (DCL) נכללות במכסה של SetIAMPolicy.

הערה: אם אתם נתקלים במגבלות על בקשות IAM, מומלץ לבדוק אם אפשר להשתמש בירושת הרשאות ב-IAM בפרויקט כדי להקל על המגבלה.

מכסה	מזהה המדד והמכסה	ברירת מחדל	הערות
‫IamPolicy בקשות לדקה לכל משתמש	מדד: bigquery.googleapis.com/iam_policy_requests מזהה המכסה: IamPolicyRequestsPerMinutePerUser	‫1,500 בקשות לדקה לכל משתמש	כל משתמש יכול לשלוח עד 1,500 בקשות לדקה בכל פרויקט.
‫IamPolicy בקשות לדקה לכל פרויקט	מדד: bigquery.googleapis.com/iam_policy_requests מזהה המכסה: IamPolicyRequestsPerMinutePerProject	‫3,000 בקשות לדקה לכל פרויקט	בפרויקט אפשר לשלוח עד 3,000 בקשות לדקה.
‫SetIAMPolicy בקשות לאזור יחיד לדקה לכל פרויקט	מדד: bigquery.googleapis.com/set_iam_policy_requests מזהה המכסה: SetIamPolicyRequestsPerMinutePerProject	‫1,000 בקשות לדקה לכל פרויקט	בפרויקט באזור יחיד אפשר לשלוח עד 1,000 בקשות לדקה.
‫SetIAMPolicy בקשות לדקה לפרויקט במספר אזורים	מדד: bigquery.googleapis.com/set_iam_policy_requests_global מזהה המכסה: SetIamPolicyRequestsPerMinutePerProjectGlobal	‫2,000 בקשות לדקה לכל פרויקט	בפרויקט במספר אזורים אפשר לשלוח עד 2,000 בקשות לדקה.
‫SetIAMPolicy בקשות לדקה לכל פרויקט בכל האזורים	Metric: bigquery.googleapis.com/set_iam_policy_requests_OMNI_REGION (לדוגמה, bigquery.googleapis.com/set_iam_policy_requests_aws-us-east-1) Quota ID: SetIamPolicyRequestsPerMinutePerProjectOMNI_REGION (לדוגמה, SetIamPolicyRequestsPerMinutePerProjectAwsUsEast1)	‫200 בקשות לדקה לכל פרויקט	בפרויקט Omni-region אפשר לשלוח עד 200 בקשות לדקה.

Storage Read API

המכסות הבאות חלות על בקשות של BigQuery Storage Read API:

מכסה	מזהה המדד והמכסה	ברירת מחדל	הערות
בקשות קריאה במישור הנתונים לדקה לכל משתמש	מדד: bigquerystorage.googleapis.com/data_plane_requests מזהה המכסה: DataPlaneRequestsPerMinutePerProjectPerUser	‫25,000 בקשות	כל משתמש יכול לבצע עד 25,000 קריאות ל-ReadRows לדקה בכל פרויקט.
מספר מקסימלי של חיבורי קריאה בו-זמניים	מדדים: bigquerystorage.googleapis.com/read/max_concurrent_connections_us, bigquerystorage.googleapis.com/read/max_concurrent_connections_eu, bigquerystorage.googleapis.com/read/max_concurrent_connections_region מזהי מכסות: MaxConcurrentReadConnectionsPerProjectUS, MaxConcurrentReadConnectionsPerProjectEU, MaxConcurrentReadConnectionsPerProjectRegion	‫2,000 במספר אזורים, 400 באזורים	מספר החיבורים המקסימלי בו-זמנית ל-ReadRows בכל פרויקט. ברירת המחדל היא 2,000 חיבורים ב-us וב-eu במספר אזורים, ו-400 חיבורים באזורים אחרים. הזמינות בפועל של החיבור יכולה להשתנות בהתאם לעומס הכולל על השירות ולביקוש באזור. ההתאמה הדינמית הזו מבטיחה חלוקה הוגנת של המשאבים ושומרת על יציבות השירות לכל המשתמשים. כשהשידור נסגר מטעמי הוגנות או כשמגיעים למגבלת החיבורים, מקבלים את השגיאה RESOURCE_EXHAUSTED ‏ (HTTP 429). הבקשות להגדלת המכסות (QIR) נבדקות על סמך דפוסי השימוש הקודמים בפרויקט והזמינות הכללית של המשאבים באזור.
בקשות קריאה במישור הבקרה לדקה לכל משתמש	מדד: bigquerystorage.googleapis.com/control_plane_requests מזהה המכסה: ControlPlaneRequestsPerMinutePerProjectPerUser	‫5,000 בקשות	כל משתמש יכול לבצע עד 5,000 קריאות לפעולות של מטא-נתונים ב-Storage Read API לדקה בכל פרויקט. הקריאות למטא-נתונים כוללות את השיטות CreateReadSession ו-SplitReadStream.

מגבלות המערכת הבאות חלות על בקשות של BigQuery Storage Read API:

מגבלת המערכת	ערך	הערות
אורך מקסימלי של שורה או מסנן	‫1MB	כשמשתמשים בקריאה CreateReadSession של Storage Read API, מוגבלים לאורך מקסימלי של 1MB לכל שורה או מסנן.
גודל מקסימלי של נתונים שעברו סריאליזציה	‎128MB	כשמשתמשים בקריאה ל-Storage Read API ReadRows, הייצוג בסדרה של הנתונים בהודעת ReadRowsResponse בודדת לא יכול להיות גדול מ-128MB.
השימוש המקסימלי בזיכרון לכל שידור	1.5 GB	הזיכרון המקסימלי לכל סטרימינג הוא משוער כי המגבלה מבוססת על הייצוג הפנימי של נתוני השורות. יכול להיות שייכשלו שידורים שמשתמשים ביותר מ-1.5GB זיכרון לשורה אחת. מידע נוסף זמין במאמר פתרון בעיות שקשורות לחריגה מהמשאבים.

‫Storage Write API ‏ (gRPC)

המכסות הבאות חלות על בקשות של Storage Write API (gRPC)‎. אפשר להחיל את המכסות הבאות ברמת התיקייה. המכסות האלה נצברות ומשותפות בין כל הפרויקטים הצאצאים. כדי להפעיל את ההגדרה הזו, צריך לפנות ל-Cloud Customer Care.

הערה: בפרויקטים שהצטרפו לאכיפת המכסות ברמת התיקייה, אפשר לבדוק את השימוש במכסות ואת המגבלות ברמת התיקייה רק בדף המכסות במסוף Google Cloud של התיקייה. מכסת השימוש והמגבלה ברמת הפרויקט לא יוצגו. במקרה כזה, מדדי המעקב ברמת הפרויקט עדיין מהווים מקור טוב לשימוש ברמת הפרויקט.

הערה: בגלל אופטימיזציה של הביצועים, יכול להיות ש-BigQuery ידווח על שימוש גדול יותר במכסת החיבורים בו-זמנית מאשר השימוש בפועל במכסה. הסטייה יכולה להיות עד 1% מסך המכסה או 100 חיבורים, הנמוך מביניהם, כפול פקטור של 1-4. כלומר, הדיווח על השימוש יכול לסטות ב-400 חיבורים לכל היותר במספר אזורים עם מכסת ברירת מחדל של 10,000, וב-40 חיבורים באזורים קטנים עם מכסת ברירת מחדל של 1,000. אכיפת המכסות תמיד מבוססת על השימוש בפועל, ולא על הערך שדווח.

אם אתם מתכננים לבקש שינוי במכסה, כדאי לכלול בבקשה את הודעת השגיאה של המכסה כדי לזרז את הטיפול. אם המכסה שהוקצתה לכם ב-BigQuery לא מנוצלת באופן משמעותי במשך יותר משנה, יכול להיות שהיא תופחת.

מכסה	מזהה המדד והמכסה	ברירת מחדל	הערות
חיבורי כתיבה בו-זמניים	מדדים: bigquerystorage.googleapis.com/write/max_active_streams, bigquerystorage.googleapis.com/write/max_active_streams_eu, bigquerystorage.googleapis.com/write/max_active_streams_region מזהי מכסות: ConcurrentWriteConnectionsPerProject, ConcurrentWriteConnectionsPerProjectEU, ConcurrentWriteConnectionsPerProjectRegion	‫5,000 באזור; 20,000 במספר אזורים	המכסה של החיבורים בו-זמנית מבוססת על פרויקט הלקוח שמפעיל את הבקשה ל-Storage Write API ‏ (gRPC), ולא על הפרויקט שמכיל את המשאב של מערך הנתונים ב-BigQuery. הפרויקט שממנו נשלחה הבקשה הוא הפרויקט שמשויך למפתח ה-API או לחשבון השירות. הפרויקט יכול לפעול עם 5,000 חיבורים בו-זמניים באזור, או עם 20,000 חיבורים בו-זמניים במספר אזורים ב-US וב-EU. החיבור צריך להיות ארוך טווח ולשמש לשליחת כמה שיותר בקשות. לא מומלץ להשתמש בחיבורים קצרי-טווח, כי הם עלולים לגרום לניצול מוגבר של מכסת החיבורים בו-זמנית. למטרות ניהול רישום מכסות, מומלץ שמשך החיבור יהיה לפחות כמה דקות. כשמשתמשים בסטרימינג שמוגדר כברירת מחדל ב-Java או ב-Go, מומלץ להשתמש בריבוב של Storage Write API (gRPC)‎ כדי לכתוב לכמה טבלאות יעד עם חיבורים משותפים, וכך לצמצם את מספר החיבורים הכולל שנדרש. אם אתם משתמשים במחבר Beam עם סמנטיקה של לפחות פעם אחת, אתם יכולים להגדיר את UseStorageApiConnectionPool לערך TRUE כדי להפעיל ריבוב. ב-Cloud Monitoring אפשר לראות את מדדי השימוש במכסות ובמגבלות של הפרויקטים. בוחרים את השם של מגבלת החיבורים בו-זמנית בהתאם לאזור שלכם. האפשרויות הן ConcurrentWriteConnectionsPerProject,‏ ConcurrentWriteConnectionsPerProjectEU ו-ConcurrentWriteConnectionsPerProjectRegion לאזורים us,‏ eu ואזורים אחרים, בהתאמה. מומלץ מאוד להגדיר התראות כדי לעקוב אחרי השימוש במכסות והמגבלות שלהן. בנוסף, אם דפוסי התנועה שלכם כוללים קפיצות חדות או צמיחה אורגנית קבועה, כדאי להגדיל את המכסה ב-25% עד 50% כדי להתמודד עם ביקוש לא צפוי.
Throughput	מדדים: bigquerystorage.googleapis.com/write/append_bytes, bigquerystorage.googleapis.com/write/append_bytes_eu, bigquerystorage.googleapis.com/write/append_bytes_region מזהי מכסות: AppendBytesThroughputPerProject, AppendBytesThroughputPerProjectEU, AppendBytesThroughputPerProjectRegion	קצב העברת נתונים של 3GB לשנייה במספר אזורים; 300MB לשנייה באזורים	אפשר להעביר בסטרימינג עד ‎3 GBps במספר אזורים ב-us וב-eu, ו-‎300 MBps באזורים אחרים לכל פרויקט. ב-Cloud Monitoring אפשר לראות את מדדי המכסות והמגבלות של השימוש בפרויקטים. בוחרים את השם של מגבלת התפוקה בהתאם לאזור שלכם. האפשרויות הן AppendBytesThroughputPerProject,‏ AppendBytesThroughputPerProjectEU ו-AppendBytesThroughputPerProjectRegion לאזורים us,‏ eu ואזורים אחרים, בהתאמה. מכסת קצב העברת הנתונים לכתיבה נמדדת על סמך הפרויקט שבו נמצאת קבוצת הנתונים של היעד, ולא על סמך פרויקט הלקוח. מומלץ מאוד להגדיר התראות כדי לעקוב אחרי ניצול המכסות והמגבלות. בנוסף, אם דפוסי התנועה שלכם כוללים קפיצות חדות או צמיחה אורגנית קבועה, כדאי להגדיל את המכסה ב-25% עד 50% כדי להתמודד עם ביקוש לא צפוי.
CreateWriteStream בקשות	מדדים: bigquerystorage.googleapis.com/write/create_stream_requests, bigquerystorage.googleapis.com/write/create_stream_requests_eu, bigquerystorage.googleapis.com/write/create_stream_requests_region מזהי מכסות: CreateWriteStreamRequestsPerMinutePerProject, CreateWriteStreamRequestsPerMinutePerProjectEU, CreateWriteStreamRequestsPerMinutePerProjectRegion	‫10,000 שידורים בכל שעה, לכל פרויקט בכל אזור	אפשר לקרוא ל-CreateWriteStream עד 10,000 פעמים בשעה לכל פרויקט בכל אזור. אם אתם לא צריכים סמנטיקה של פעם אחת בדיוק, כדאי להשתמש בזרם ברירת המחדל. המכסה הזו היא לשעה, אבל המדד שמוצג במסוף Google Cloud הוא לדקה.
בייטים של סטרימינג בהמתנה	מדדים: bigquerystorage.googleapis.com/write/pending_stream_bytes, bigquerystorage.googleapis.com/write/pending_stream_bytes_eu, bigquerystorage.googleapis.com/write/pending_stream_bytes_region מזהי מכסות: PendingWriteStreamBytesPerProject, PendingWriteStreamBytesPerProjectEU, PendingWriteStreamBytesPerProjectRegion	‫10TB במספר אזורים, 1TB באזורים	בכל התחייבות שאתם מפעילים, אתם יכולים להתחייב לעד 10TB באזורים הגיאוגרפיים us ו-eu שכוללים מספר אזורים, ולעד 1TB באזורים אחרים. אין דיווח מכסות על המכסה הזו.

מגבלות המערכת הבאות חלות על בקשות Storage Write API (gRPC):

מגבלת המערכת	ערך	הערות
שמירת שינויים באצווה	‫10,000 מקורות נתונים לכל טבלה	אפשר להעביר עד 10,000 סטרימינג בכל קריאה ל-BatchCommitWriteStream.
AppendRows גודל הבקשה	20 MB	גודל הבקשה המקסימלי הוא 20MB.

הזנת זרם נתונים

המכסות והמגבלות הבאות חלות כשמעבירים נתונים בסטרימינג ל-BigQuery באמצעות BigQuery Storage Write API (REST). במאמר פתרון בעיות שקשורות למכסות מוסבר איך לא לחרוג מהמגבלות האלה. אם חורגים מהמכסות האלה, BigQuery מחזירה את השגיאה quotaExceeded. אם המכסה שהוקצתה לכם ב-BigQuery לא מנוצלת באופן משמעותי במשך יותר משנה, יכול להיות שהיא תצומצם.

מכסה	מזהה המדד והמכסה	ברירת מחדל	הערות
מספר הבייטים המקסימלי לשנייה בכל פרויקט במספר האזורים us ו-eu	מדדים: bigquery.googleapis.com/quota/streaming/insert_bytes_us, bigquery.googleapis.com/quota/streaming/insert_bytes_eu מזהי מכסות: StreamingInsertBytesPerSecondUs, StreamingInsertBytesPerSecondEu	‫1GB לשנייה	הפרויקט יכול להעביר בסטרימינג עד 1GB לשנייה. המכסה הזו מצטברת במספר אזורים נתון. במילים אחרות, סכום הבייטים לשנייה שמועברים בסטרימינג לכל הטבלאות בפרויקט נתון במספר אזורים מוגבל ל-1GB. חריגה מהמגבלה הזו גורמת לשגיאות quotaExceeded. במקרה הצורך, אפשר לבקש הגדלה של המכסה באמצעות פנייה אל Cloud Customer Care. כדאי לבקש הגדלה מוקדם ככל האפשר, לפחות שבועיים לפני שצריך אותה. לוקח זמן עד שהגדלת המכסה נכנסת לתוקף, במיוחד אם מדובר בהגדלה משמעותית.
מספר הבייטים המקסימלי לשנייה לכל פרויקט בכל המיקומים האחרים	מדד: bigquery.googleapis.com/quota/streaming/insert_bytes מזהה המכסה: StreamingInsertBytesPerSecond	‫300MB לשנייה	הפרויקט יכול להעביר בסטרימינג עד 300MB לשנייה בכל המיקומים, חוץ מהאזורים הגיאוגרפיים us ו-eu שכוללים מספר אזורים. המכסה הזו מצטברת במספר אזורים נתון. במילים אחרות, סכום הבייטים לשנייה שמועברים בסטרימינג לכל הטבלאות בפרויקט נתון באזור מסוים מוגבל ל-300MB. חריגה מהמגבלה הזו גורמת לשגיאות quotaExceeded. במקרה הצורך, אפשר לבקש הגדלה של המכסה באמצעות פנייה אל Cloud Customer Care. כדאי לבקש הגדלה מוקדם ככל האפשר, לפחות שבועיים לפני שצריך אותה. לוקח זמן עד שהגדלת המכסה נכנסת לתוקף, במיוחד אם מדובר בהגדלה משמעותית.

מגבלות המערכת הבאות חלות כשמעבירים נתונים בסטרימינג ל-BigQuery באמצעות BigQuery Storage Write API (REST):

מגבלת המערכת	ערך	הערות
גודל שורה מקסימלי	‎10MB	חריגה מהערך הזה גורמת לשגיאות מסוג invalid.
מגבלת הגודל של בקשות HTTP	‎10MB	חריגה מהערך הזה גורמת לשגיאות מסוג invalid. באופן פנימי, הבקשה מתורגמת מ-HTTP JSON למבנה נתונים פנימי. למבנה הנתונים המתורגם יש מגבלת גודל משלו. קשה לחזות את הגודל של מבנה הנתונים הפנימי שנוצר, אבל אם בקשות ה-HTTP יהיו בגודל של עד 10MB, הסיכוי להגיע למגבלה הפנימית נמוך.
מספר השורות המקסימלי לכל בקשה	‫50,000 שורות	מומלץ להוסיף עד 500 שורות. הוספה לאצווה יכולה לשפר את הביצועים ואת קצב העיבוד עד לנקודה מסוימת, אבל על חשבון זמן האחזור של כל בקשה. אם יש מעט מדי שורות בכל בקשה, התקורה של כל בקשה עלולה להפוך את ההטמעה ללא יעילה. יותר מדי שורות בכל בקשה, מה שעלול להפחית את קצב העיבוד. כדאי להתנסות עם נתונים מייצגים (סכימה וגודלי נתונים) כדי לקבוע את גודל האצווה האידיאלי לנתונים שלכם.
אורך השדה: insertId	128 תווים	חריגה מהערך הזה גורמת לשגיאות מסוג invalid.

כדי להגדיל את מכסת הסטרימינג, קראו את המאמר בקשה להגדלת המכסה.

רוחב פס

המכסות הבאות חלות על רוחב הפס של רפליקציה של קבוצת נתונים בין אזורים:

מכסה	ברירת מחדל	הערות
רוחב הפס המקסימלי למילוי חוסרים ראשוני של שכפול מערכי נתונים באזורים שונים, לכל אזור שיש בו תעבורת נתונים יוצאת בין אזורים מהרפליקה הראשית לרפליקות המשניות.	‫‎10 physical GiBps לכל אזור בכל ארגון
רוחב הפס המקסימלי לשכפול שוטף של מערכי נתונים באזורים שונים, לכל אזור שבו יש תעבורת נתונים יוצאת בין אזורים מהרפליקה הראשית לרפליקות המשניות.	‫5‎ physical GiBps לכל אזור בכל ארגון
רוחב הפס המקסימלי של רפליקציית טורבו של מערכי נתונים באזורים שונים לכל אזור שיש בו תעבורת נתונים יוצאת (egress) בין אזורים מהרפליקה הראשית לרפליקות המשניות.	‫5‎ physical GiBps לכל אזור בכל ארגון	מכסת רוחב הפס של רפליקציית טורבו של קבוצת נתונים בין אזורים לא חלה על פעולת מילוי החוסרים הראשונית (backfill).

כשרוחב הפס של שכפול מערכי נתונים באזורים שונים בפרויקט חורג ממכסה מסוימת, יכול להיות שהשכפול של מערכי הנתונים באזורים שונים בפרויקטים המושפעים ייפסק עם השגיאה rateLimitExceeded, שכוללת פרטים על המכסה שנחרגה.

המכסות הבאות חלות על רוחב הפס להעתקת טבלאות בין אזורים:

מכסה	ברירת מחדל	הערות
רוחב הפס המקסימלי להעתקה בכל אזור שבו יש תעבורת נתונים יוצאת (egress) בין אזורים מטבלת המקור לטבלת היעד.	‫‎2 physical GiBps לכל זוג אזורים בכל ארגון.