מכסות ומגבלות

במאמר הזה מפורטות המכסות והמגבלות של המערכת שחלות על BigQuery.

  • המכסות נקבעות כברירת מחדל, אבל בדרך כלל אפשר לבקש לשנות אותן.
  • מגבלות המערכת קבועות ואי אפשר לשנות אותן.

המכסות שלGoogle Cloud עוזרות לשמור על הוגנות ולצמצם עליות חדות בשימוש במשאבים ובזמינות שלהם. הן מגבילות את כמות המשאבים שלGoogle Cloud שאפשר להשתמש בהם בפרויקט ב- Google Cloud . המכסות רלוונטיות למגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות. לדוגמה, המכסות יכולות להגביל את מספר הקריאות ל-API בשירות מסוים, את מספר מאזני העומסים שאפשר להשתמש בהם בו-זמנית בפרויקט או את מספר הפרויקטים שאפשר ליצור. בשורה התחתונה, המכסות מגינות על משתמשיGoogle Cloud בכך שהן מונעות עומס יתר על השירותים, אבל גם עוזרות לשלוט על השימוש במשאבי Google Cloud .

מערכת המכסות ב-Cloud:

ברוב המקרים, כשאתם מנסים להשתמש ביותר משאבים מהמכסה, הגישה למשאב נחסמת ומה שאתם מנסים לעשות נכשל.

בדרך כלל, המכסות ב- Google Cloud הן ברמת הפרויקט. כלומר, השימוש במשאב מסוים בפרויקט כלשהו לא משפיע על המכסה שלכם בפרויקטים אחרים. ברמת הפרויקט ב- Google Cloud , המכסות משותפות לכל האפליקציות וכתובות ה-IP.

לסקירה כללית על מכסות ב-Cloud

למשאבי BigQuery יש גם מגבלות מערכת. שאי אפשר לשנות.

חלק מהודעות השגיאה מציינות מכסות או מגבלות שאפשר להגדיל, ואילו הודעות שגיאה אחרות מציינות מכסות או מגבלות שאי אפשר להגדיל. הגעה למגבלה קשה פירושה שצריך להטמיע פתרונות זמניים או קבועים או שיטות מומלצות לעומס העבודה. מומלץ לעשות זאת, גם אם מדובר במכסות או במגבלות שאפשר להגדיל. פרטים על שני סוגי השגיאות מופיעים במאמר פתרון בעיות שקשורות למכסות ולמגבלות.

כברירת מחדל, המכסות והמגבלות של BigQuery חלות על בסיס לכל פרויקט. מכסות ומגבלות שחלות על בסיס שונה מצוינות בהתאם. לדוגמה, מספר העמודות המקסימלי לכל טבלה או מספר בקשות ה-API המקסימלי בו-זמנית לכל משתמש. המדיניות הספציפית משתנה בהתאם לזמינות המשאבים, לפרופיל המשתמש, להיסטוריית השימוש בשירותים ולגורמים נוספים, והיא עשויה להשתנות ללא הודעה מוקדמת.

חידוש המכסה

המכסות היומיות מתחדשות במרווחי זמן קבועים במהלך היום, ומשקפות את הכוונה שלהן להנחות התנהגויות של הגבלת קצב של יצירת בקשות. בנוסף, המערכת מבצעת רענון לסירוגין כדי למנוע שיבושים ארוכים כשמגיעים למכסה. בדרך כלל, מכסה נוספת הופכת לזמינה תוך דקות, ולא מתחדשת באופן גלובלי פעם ביום.

איך מבקשים להגדיל את המכסות

כדי לשנות את רוב המכסות, משתמשים במסוף Google Cloud . מידע נוסף זמין במאמר בנושא שליחת בקשה לשינוי המכסות.

בלחיצה על תראו לי איך תקבלו הסבר מפורט על התהליך של הגשת בקשה להגדלת מכסה במסוף Google Cloud :

תראו לי איך

הגבלת השימוש במכסה

כדי ללמוד איך להגביל את השימוש במשאבים מסוימים על ידי יצירת חריגה ממכסה, ראו יצירת חריגה ממכסה.

ההרשאות הנדרשות

כדי לראות ולעדכן את המכסות שלכם ב-BigQuery בGoogle Cloud מסוף, אתם צריכים את אותן הרשאות כמו לכל מכסה Google Cloud. מידע נוסף זמין במאמר בנושא Google Cloud הרשאות למכסות.

פתרון בעיות

מידע על פתרון בעיות שקשורות למכסות ולמגבלות זמין במאמר פתרון בעיות שקשורות למכסות ב-BigQuery.

תעסוקה

מכסות ומגבלות חלות על עבודות ש-BigQuery מריץ בשמכם, בין אם הן מורצות באמצעות Google Cloud המסוף, כלי שורת הפקודה של BigQuery או באופן פרוגרמטי באמצעות API בארכיטקטורת REST או ספריות לקוח.

משימות של השאילתה

המכסות הבאות חלות על משימות של שאילתות שנוצרות באופן אוטומטי על ידי הפעלת שאילתות אינטראקטיביות, שאילתות מתוזמנות ומשימות שנשלחות באמצעות ה-API של jobs.query ושיטות ה-API של jobs.insert מסוג שאילתה.

מידע לפתרון בעיות זמין בדף לפתרון בעיות ב-BigQuery.

מכסה ברירת מחדל הערות
שימוש בשאילתות ביום ‫200 טביבייט (TiB) המכסה הזו חלה רק על מודל התמחור של שאילתות לפי דרישה.
בפרויקט אפשר להריץ עד 200TiB של שאילתות ביום. אפשר לשנות את המגבלה הזו בכל שלב. מידע נוסף על אמצעים לשליטה בעלויות זמין במאמר יצירת מכסות מותאמות אישית של שאילתות.
הצגת המכסה ב Google Cloud מסוף
שימוש בשאילתות ביום לכל משתמש ללא הגבלה המכסה הזו חלה רק על מודל התמחור של שאילתות לפי דרישה.
אין מגבלת ברירת מחדל על מספר ה-TiB בשאילתות שמשתמש יכול להריץ ביום. אפשר להגדיר את המגבלה בכל שלב. ללא קשר למגבלה לכל משתמש, סך השימוש של כל המשתמשים בפרויקט לא יכול לחרוג מהמגבלה על השימוש בשאילתות ליום. מידע נוסף על אמצעים לשליטה בעלויות זמין במאמר יצירת מכסות מותאמות אישית של שאילתות.
הצגת המכסה ב Google Cloud מסוף
GoogleSQL federated query cross-region bytes per day 1TB אם מיקום העיבוד של שאילתת BigQuery ומיקום מופע Cloud SQL שונים, השאילתה היא שאילתה חוצת-אזורים. בפרויקט שלכם אפשר להריץ עד 1 TB של שאילתות חוצות-אזורים בכל יום. מידע על שאילתות מאוחדות ב-Cloud SQL
הצגת המכסה ב Google Cloud מסוף
גודל ההעברה (בייטים) בין עננים ביום 1TB אתם יכולים להעביר עד 1TB של נתונים ביום מקטגוריה של Amazon S3 או מ-Azure Blob Storage.
הצגת המכסה ב Google Cloud מסוף
בייטים שהועברו על ידי שאילתות גלובליות ביום לכל צמד אזורים ‫180TB אפשר להעביר עד ‎180 TB‎ של נתונים ביום בין כל זוג אזורים באמצעות שאילתות גלובליות.
העתקת משימות של שאילתות גלובליות לכל פרויקט 10,000 אפשר להריץ עד 10,000 עבודות העתקה לכל פרויקט כשמריצים שאילתות גלובליות שמעתיקות נתונים בין אזורים. שאילתה עם אחזור נתונים גלובלי אחת עשויה להפעיל כמה משימות העתקה.
הצגת המכסה ב Google Cloud מסוף
בייטים שהועברו על ידי עבודת העתקה אחת בשאילתה עם אחזור נתונים גלובלי 100GB אי אפשר להעביר יותר מ-100GB באמצעות עבודת העתקה אחת שמהווה חלק משאילתה עם אחזור נתונים גלובלי.

המגבלות הבאות חלות על משימות של שאילתות שנוצרות באופן אוטומטי על ידי הרצת שאילתות אינטראקטיביות, שאילתות מתוזמנות ומשימות שנשלחות באמצעות שיטות ה-API jobs.query ו-jobs.insert מסוג שאילתה:

הגבלה ברירת מחדל הערות
מספר מקסימלי של שאילתות אינטראקטיביות בתור ‫1,000 שאילתות אפשר להוסיף עד 1,000 שאילתות אינטראקטיביות לפרויקט. אם תשלחו שאילתות אינטראקטיביות נוספות שיחרגו מהמגבלה הזו, תקבלו שגיאת מכסה. כדי לפתור את השגיאות האלה, אפשר לעיין במאמר בנושא איך להימנע ממגבלות על שאילתות אינטראקטיביות עם נפח גבוה.
המספר המקסימלי של שאילתות אצווה בתור ‫20,000 שאילתות אפשר להוסיף לתור של הפרויקט עד 20,000 שאילתות אצווה. אם תשלחו עוד שאילתות באותו אצווה והן יחרגו מהמגבלה הזו, תקבלו שגיאה שקשורה למכסה.
מספר מקסימלי של שאילתות אינטראקטיביות בו-זמניות נגד מקורות נתונים חיצוניים של Bigtable ‫16 שאילתות בפרויקט אפשר להריץ עד 16 שאילתות בו-זמנית על מקור נתונים חיצוני של Bigtable.
המספר המקסימלי של שאילתות בו-זמניות שמכילות פונקציות מרוחקות ‫10 שאילתות אפשר להריץ עד עשר שאילתות בו-זמניות עם פונקציות מרוחקות לכל פרויקט.
מספר מקסימלי של שאילתות בו-זמניות עם כמה הצהרות ‫1,000 שאילתות עם כמה הצהרות בפרויקט שלכם אפשר להריץ עד 1,000 שאילתות מרובות הצהרות בו-זמנית. מידע על מכסות ומגבלות אחרות שקשורות לשאילתות עם כמה הצהרות מופיע במאמר שאילתות עם כמה הצהרות.
מספר מקסימלי של שאילתות בו-זמניות בפורמט SQL מדור קודם שמכילות פונקציות UDF ‫6 שאילתות בפרויקט אפשר להריץ עד שש שאילתות בו-זמניות ב-SQL מדור קודם עם פונקציות בהגדרת המשתמש (UDF). המגבלה הזו כוללת שאילתות אינטראקטיביות ושאילתות אצווה. שאילתות אינטראקטיביות שמכילות פונקציות UDF נספרות גם הן במגבלה המקבילה של שאילתות אינטראקטיביות. המגבלה הזו לא חלה על שאילתות GoogleSQL.
מגבלת גודל השאילתה היומית ללא הגבלה כברירת מחדל, אין מגבלה יומית על גודל השאילתות. עם זאת, אפשר להגדיר מגבלות על כמות הנתונים שהמשתמשים יכולים לשלוח לגביהם שאילתות. לשם כך, יוצרים מכסות בהתאמה אישית כדי לשלוט בשימוש בשאילתות ביום או בשימוש בשאילתות ביום לכל משתמש.
מגבלת העדכון היומי של טבלת היעד ראו המספר המקסימלי של פעולות בטבלה ליום. עדכונים של טבלאות יעד במשימת שאילתה נספרים במסגרת המגבלה על מספר הפעולות המקסימלי בטבלה ביום עבור טבלאות היעד. עדכונים בטבלת היעד כוללים פעולות של הוספה ושכתוב שמבוצעות על ידי שאילתות שאתם מריצים באמצעות Google Cloud המסוף, באמצעות כלי שורת הפקודה של BigQuery או באמצעות קריאה לשיטות ה-API‏ jobs.query ו-jobs.insert מסוג שאילתה.
מגבלת זמן ההרצה של שאילתה או שאילתה עם כמה הצהרות 6 שעות

שאילתה או שאילתה עם כמה הצהרות יכולות לפעול למשך 6 שעות לכל היותר, ואז הן נכשלות. עם זאת, לפעמים יש ניסיון נוסף לבצע שאילתות. אפשר לנסות לבצע שאילתה שלוש פעמים לכל היותר, וכל ניסיון לבצע את השאילתה יכול להימשך עד 6 שעות. כתוצאה מכך, יכול להיות שזמן הריצה הכולל של שאילתה יהיה יותר מ-6 שעות.

CREATE MODEL ברירת המחדל של הזמן הקצוב לתפוגה של משימה היא 24 שעות, למעט סדרות זמן, AutoML ומשימות כוונון של היפר-פרמטרים, שהזמן הקצוב לתפוגה שלהן הוא 48 שעות.

המספר המקסימלי של משאבים שאפשר להפנות אליהם בכל שאילתה ‫1,000 משאבים אחרי הרחבה מלאה,שאילתה יכולה להפנות ל-1, 000 טבלאות ייחודיות, תצוגות ייחודיות, פונקציות בהגדרת משתמש (UDF) ייחודיות ופונקציות טבלה ייחודיות בסך הכול. המגבלה הזו כוללת את הפריטים הבאים:
  • טבלאות, תצוגות, UDF ופונקציות טבלה שהשאילתה מפנה אליהן ישירות.
  • טבלאות, תצוגות, פונקציות UDF ופונקציות טבלה שהופנו אליהן על ידי תצוגות, פונקציות UDF או פונקציות טבלה אחרות שהופנו אליהן בשאילתה.
האורך המקסימלי של שאילתת SQL ‫1,024k תווים שאילתת SQL יכולה להיות באורך של עד 1,024k תווים. המגבלה הזו כוללת הערות ותווים של רווח לבן. אם השאילתה ארוכה יותר, תקבלו את השגיאה הבאה: The query is too large. כדי לא לחרוג מהמגבלה הזו, כדאי להחליף מערכים או רשימות גדולים בפרמטרים של שאילתה ולפצל שאילתה ארוכה לכמה שאילתות בסשן.
האורך המקסימלי של שאילתת SQL מדור קודם שלא נפתרה ‫256KB אורך שאילתת SQL מדור קודם שלא נפתרה יכול להיות עד 256KB. אם השאילתה ארוכה יותר, מוצגת השגיאה הבאה: The query is too large. כדי לא לחרוג מהמגבלה הזו, אפשר להחליף מערכים או רשימות גדולים בפרמטרים של שאילתות.
אורך מקסימלי של שאילתת GoogleSQL שלא נפתרה ‫1MB אורך שאילתת GoogleSQL שלא נפתרה יכול להיות עד 1MB. אם השאילתה ארוכה יותר, מוצגת השגיאה הבאה: The query is too large. כדי לא לחרוג מהמגבלה הזו, אפשר להחליף מערכים או רשימות גדולים בפרמטרים של שאילתה.
אורך מקסימלי של שאילתות מדור קודם ושל שאילתות GoogleSQL ‫12MB המגבלה על אורך השאילתה אחרי הפתרון כוללת את האורך של כל התצוגות והטבלאות עם התו הכללי שאליהן מתייחסת השאילתה.
מספר הפרמטרים המקסימלי של שאילתת GoogleSQL ‫10,000 פרמטרים שאילתת GoogleSQL יכולה לכלול עד 10,000 פרמטרים.
גודל בקשה מקסימלי ‫10MB גודל הבקשה יכול להיות עד 10MB, כולל מאפיינים נוספים כמו פרמטרים של שאילתה.
גודל תגובה מקסימלי ‫10GB דחוסים הגדלים משתנים בהתאם ליחסי הדחיסה של הנתונים. גודל התגובה בפועל עשוי להיות גדול משמעותית מ-10GB. גודל התגובה המקסימלי הוא בלתי מוגבל כשכותבים תוצאות של שאילתות גדולות לטבלת יעד.
גודל שורה מקסימלי ‫100MB גודל השורה המקסימלי הוא משוער, כי המגבלה מבוססת על הייצוג הפנימי של נתוני השורה. הגבלת הגודל המקסימלי של שורה נאכפת בשלבים מסוימים של ביצוע שאילתת עבודה.
מספר העמודות המקסימלי בטבלה, בתוצאת שאילתה או בהגדרת תצוגה ‫10,000 עמודות הגדרה של טבלה, תוצאת שאילתה או תצוגה יכולה לכלול עד 10,000 עמודות. הנתון כולל עמודות מקוננות ועמודות חוזרות. עמודות שנמחקו יכולות להמשיך להיספר במספר העמודות הכולל. אם מחקתם עמודות, יכול להיות שתקבלו שגיאות שקשורות למכסה עד שהמכסה הכוללת תתאפס.
מספר מקסימלי של משבצות בו-זמניות לתמחור לפי דרישה ‫2,000 משבצות לכל פרויקט

‫20,000 משבצות לכל ארגון
בתמחור לפי דרישה, בפרויקט יכולים להיות עד 2,000 משבצות זמן בו-זמניות. בנוסף, יש מכסה של 20,000 משבצות בו-זמניות ברמת הארגון. מערכת BigQuery מנסה להקצות יחידות קיבולת באופן הוגן בין פרויקטים בארגון אם הביקוש הכולל שלהם גבוה מ-20,000 יחידות קיבולת. משבצות BigQuery משותפות לכל השאילתות בפרויקט יחיד. יכול להיות ש-BigQuery יחרוג מהמגבלה הזו כדי להאיץ את השאילתות. הקיבולת כפופה לזמינות. כדי לבדוק כמה משבצות אתם משתמשים, אפשר לעיין במאמר בנושא מעקב אחרי BigQuery באמצעות Cloud Monitoring.
השימוש המקסימלי במעבד לכל נתונים שנסרקו בתמחור על פי דרישה ‫256 שניות של מעבד לכל MiB שנסרק בתמחור על פי דרישה, השאילתה יכולה להשתמש בעד כ-256 שניות CPU לכל MiB של נתונים שנסרקו. אם השאילתה דורשת יותר מדי משאבי CPU ביחס לכמות הנתונים שעוברים עיבוד, היא תיכשל ותוצג השגיאה billingTierLimitExceeded. מידע נוסף זמין במאמר בנושא הודעות שגיאה.
שינויים בטבלת העסקאות של דוחות מרובים ‫100 טבלאות טרנזקציה יכולה לשנות נתונים ב-100 טבלאות לכל היותר.
שינויים במחיצות של עסקאות עם כמה הצהרות ‫100,000 שינויים במחיצות עסקה יכולה לבצע עד 100,000 שינויים במחיצות.
גודל מקסימלי של תוצאות שאילתה ב-BigQuery Omni ‫20GiB לא דחוס הגודל המקסימלי של התוצאה הוא 20GiB בייטים לוגיים כשמבצעים שאילתה על נתונים של Microsoft Azure או של AWS. אם תוצאת השאילתה גדולה מ-20 GiB, כדאי לייצא את התוצאות ל-Amazon S3 או ל-Blob Storage. מידע נוסף מופיע במאמר מגבלות של BigQuery Omni.
גודל כולל של תוצאות השאילתה ב-BigQuery Omni ליום 1TB גודל התוצאות הכולל של שאילתות בפרויקט הוא 1 TB ביום. מידע נוסף זמין במאמר בנושא מגבלות של BigQuery Omni.
גודל השורה המקסימלי ב-BigQuery Omni ‎10 MiB גודל השורה המקסימלי הוא 10MiB כשמבצעים שאילתה על נתונים ב-Microsoft Azure או ב-AWS. מידע נוסף מופיע במאמר מגבלות של BigQuery Omni.
העברה של שאילתות גלובליות ‫‎2 GiB/s רוחב הפס של ההעברה שמשמש שאילתות גלובליות, לכל פרויקט, לכל צמד אזורים

למרות ששאילתות מתוזמנות משתמשות בתכונות של שירות העברת הנתונים ל-BigQuery, הן לא נחשבות להעברות ולא חלות עליהן מגבלות על פעולות טעינה.

שליפת משרות

המגבלות הבאות חלות על משימות של שליפת נתונים מ-BigQuery באמצעות כלי שורת הפקודה של BigQuery,‏ Google Cloud Console או שיטת ה-API jobs.insert מסוג extract.

הגבלה ברירת מחדל הערות
מספר הבייטים המקסימלי שניתן לחלץ ביום ‫50 TiB אתם יכולים לחלץ עד 50TiB(טביבייט) של נתונים ביום מפרויקט ללא עלות באמצעות מאגר המשבצות המשותף. אתם יכולים להגדיר מדיניות התראות ב-Cloud Monitoring שתספק התראה על מספר הבייטים שחולצו. כדי לחלץ יותר מ-50TiB(טביבייט) של נתונים ביום, מבצעים את אחת מהפעולות הבאות:
מספר מקסימלי של משימות חילוץ ביום ‫100,000 משימות חילוץ אפשר להריץ עד 100,000 משימות חילוץ ביום בפרויקט. כדי להריץ יותר מ-100,000 משימות חילוץ ביום, מבצעים אחת מהפעולות הבאות:
הגודל המקסימלי של טבלה שחולצה לקובץ יחיד ‎1GB אפשר לחלץ עד ‎1 GB של נתוני טבלה לקובץ יחיד. כדי לחלץ יותר מ-1GB של נתונים, צריך להשתמש ב תו כללי כדי לחלץ את הנתונים לכמה קבצים. כשמחלקים את הנתונים לכמה קבצים, הגודל של הקבצים משתנה. במקרים מסוימים, גודל קובצי הפלט גדול מ-‎1GB.
כתובות URI עם תווים כלליים לכל עבודת חילוץ ‫500 מזהי URI משימת חילוץ יכולה לכלול עד 500 כתובות URI עם תווים כלליים.

מידע נוסף על הצגת נתוני השימוש הנוכחיים במשימת החילוץ זמין במאמר הצגת נתוני השימוש הנוכחיים במכסה. מידע על פתרון בעיות זמין במאמר פתרון בעיות בייצוא.

טעינת משרות

המגבלות הבאות חלות כשטוענים נתונים ל-BigQuery באמצעות מסוףGoogle Cloud , כלי שורת הפקודה של BigQuery או שיטת ה-API jobs.insert מסוג load.

הגבלה ברירת מחדל הערות
טעינת משרות לכל טבלה ביום ‫1,500 משרות משימות טעינה, כולל משימות טעינה שנכשלו, נספרות במסגרת המגבלה על מספר פעולות הטבלה ביום עבור טבלת היעד. מידע על מגבלות לגבי מספר פעולות הטבלה ביום עבור טבלאות רגילות וטבלאות עם חלוקה למחיצות זמין במאמר טבלאות.
טעינת משרות ליום ‫100,000 משרות המכסה שלכם בפרויקט מתחדשת עד 100,000 משימות טעינה כל 24 שעות. עבודות טעינה שנכשלו נספרות במגבלה זו. במקרים מסוימים, אפשר להריץ יותר מ-100,000 עבודות טעינה ב-24 שעות אם לא נעשה שימוש מלא במכסת היומית הקודמת.
מספר העמודות המקסימלי לכל טבלה ‫10,000 עמודות בטבלה יכולות להיות עד 10,000 עמודות. הנתון כולל עמודות מקוננות ועמודות חוזרות.
הגודל המקסימלי לכל משימת טעינה ‫15TB הגודל הכולל של כל קובצי הקלט בפורמטים CSV,‏ JSON,‏ Avro,‏ Parquet ו-ORC יכול להיות עד 15TB. המגבלה הזו לא חלה על משרות עם הזמנה.
מספר מקסימלי של כתובות URI של מקור בהגדרת משימה ‫10,000 מזהי URI הגדרת עבודה יכולה לכלול עד 10,000 כתובות URI של מקורות.
מספר הקבצים המקסימלי לכל משימת טעינה ‫10,000,000 קבצים עבודת טעינה יכולה לכלול עד 10 מיליון קבצים בסך הכול, כולל כל הקבצים שתואמים לכל ה-URI עם התווים הכלליים.
המספר המקסימלי של קבצים בקטגוריה של Cloud Storage בערך 60,000,000 קבצים עבודת טעינה יכולה לקרוא מקטגוריה של Cloud Storage שמכילה עד כ-60,000,000 קבצים.
מגבלת זמן ההרצה של עבודת הטעינה 6 שעות אם עבודת טעינה נמשכת יותר משש שעות, היא נכשלת.
‫Avro: גודל מקסימלי של בלוקים של נתוני קובץ ‫16MB הגודל המקסימלי של בלוקי נתונים בקובץ Avro הוא 16MB.
‫CSV: גודל תא מקסימלי ‫100MB הגודל של תאי CSV יכול להיות עד 100MB.
CSV: גודל שורה מקסימלי ‫100MB הגודל של שורות ב-CSV יכול להיות עד 100MB.
‫CSV: גודל קובץ מקסימלי – דחוס ‫4GB מגבלת הגודל של קובץ CSV דחוס היא 4GB.
‫CSV: גודל קובץ מקסימלי – לא דחוס 5TB מגבלת הגודל של קובץ CSV לא דחוס היא 5TB.
‫JSON שמופרד בתו שורה חדשה (ndJSON): גודל שורה מקסימלי ‫100MB הגודל של שורות ndJSON יכול להיות עד 100MB.
‫ndJSON: גודל קובץ מקסימלי – דחוס ‫4GB הגודל המקסימלי של קובץ ndJSON דחוס הוא 4GB.
‫ndJSON: גודל קובץ מקסימלי – לא דחוס 5TB הגודל המקסימלי של קובץ ndJSON לא דחוס הוא ‎5 TB.

אם אתם חורגים באופן קבוע ממגבלות משימות הטעינה בגלל עדכונים תכופים, כדאי לשקול הזרמת נתונים ל-BigQuery במקום זאת.

מידע על הצגת השימוש הנוכחי במשימות טעינה מופיע במאמר הצגת השימוש הנוכחי במכסות.

שיקולים לגבי מכסת משימות הטעינה בשירות העברת הנתונים ל-BigQuery

משימות טעינה שנוצרו על ידי העברות של שירות העברת הנתונים ל-BigQuery נכללות במכסות של BigQuery על משימות טעינה. חשוב לשקול כמה העברות מפעילים בכל פרויקט כדי למנוע שגיאות quotaExceeded בהעברות ובמשימות טעינה אחרות.

אפשר להשתמש במשוואה הבאה כדי לאמוד כמה עבודות טעינה נדרשות להעברות:

Number of daily jobs = Number of transfers x Number of tables x Schedule frequency x Refresh window

כאשר:

  • Number of transfers הוא מספר הגדרות ההעברה שהפעלתם בפרויקט.
  • Number of tables הוא מספר הטבלאות שנוצרו על ידי כל סוג העברה ספציפי. מספר הטבלאות משתנה בהתאם לסוג ההעברה:

    • העברות מ-Campaign Manager יוצרות בערך 25 טבלאות.
    • העברות מ-Google Ads יוצרות בערך 60 טבלאות.
    • העברות מ-Google Ad Manager יוצרות בערך 40 טבלאות.
    • העברות מ-Google Play יוצרות בערך 25 טבלאות.
    • העברות מ-Search Ads 360 יוצרות בערך 50 טבלאות.
    • העברות מ-YouTube יוצרות בערך 50 טבלאות.
  • Schedule frequency מתארת את תדירות ההפעלה של ההעברה. לוחות הזמנים של ההרצות של ההעברה מופיעים לכל סוג העברה:

  • Refresh window הוא מספר הימים שייכללו בהעברת הנתונים. אם מזינים 1, לא מתבצע מילוי חוסרים יומי.

העתקת משימות

המגבלות הבאות חלות על משימות BigQuery של העתקת טבלאות, כולל משימות שיוצרות עותק, שיבוט או תמונת מצב של טבלה רגילה, שיבוט טבלה או תמונת מצב של טבלה. המגבלות חלות על משימות שנוצרו באמצעות המסוף Google Cloud , כלי שורת הפקודה של BigQuery או השיטה jobs.insert שבה מצוין השדה copy בהגדרת המשימה. משימות העתקה נספרות במגבלות האלה, גם אם הן מצליחות וגם אם הן נכשלות.

הגבלה ברירת מחדל הערות
עותקים של משרות לכל טבלת יעד ליום אפשר לעיין בפעולות בטבלה ליום.
העתקת משרות ליום ‫100,000 משרות בכל יום אפשר להריץ עד 100,000 עבודות העתקה בפרויקט.
משימות העתקה בין אזורים לכל טבלת יעד ביום ‫100 משרות בכל יום אפשר להריץ עד 100 עבודות העתקה בין אזורים לטבלת יעד בפרויקט.
משימות העתקה בין אזורים ביום ‫2,000 משרות בכל יום אפשר להריץ עד 2,000 משימות העתקה בין אזורים בפרויקט.
מספר טבלאות המקור להעתקה ‫1,200 טבלאות מקור אפשר להעתיק עד 1,200 טבלאות מקור לכל משימת העתקה.

מידע על הצגת הניצול הנוכחי של מכסות העתקה זמין במאמר משימות העתקה – הצגת הניצול הנוכחי של המכסות. מידע על פתרון בעיות שקשורות לעבודות העתקה זמין במאמר שגיאות שקשורות למכסה של מספר העבודות המקסימלי להעתקה ביום לכל פרויקט.

המגבלות הבאות חלות על העתקה של מערכי נתונים:

הגבלה ברירת מחדל הערות
מספר הטבלאות המקסימלי במערך נתוני המקור ‫25,000 טבלאות מערך נתונים של מקור יכול להכיל עד 25,000 טבלאות.
המספר המקסימלי של טבלאות שאפשר להעתיק בכל הרצה למערך נתונים של יעד באותו אזור ‫20,000 טבלאות בכל הרצה, הפרויקט יכול להעתיק עד 20,000 טבלאות למערך נתונים של יעד באותו אזור. אם מערך נתוני המקור מכיל יותר מ-20,000 טבלאות, שירות העברת הנתונים ל-BigQuery מתזמן הפעלות רצופות, שבכל אחת מהן מועתקות עד 20,000 טבלאות, עד שכל הטבלאות מועתקות. ההפעלות האלה מופרדות על ידי מרווח ברירת מחדל של 24 שעות, שהמשתמשים יכולים להתאים אישית עד למינימום של 12 שעות.
המספר המקסימלי של טבלאות שאפשר להעתיק בכל הפעלה למערך נתונים של יעד באזור אחר ‫1,000 טבלאות בכל הרצה של הפרויקט אפשר להעתיק עד 1,000 טבלאות למערך נתונים של יעד באזור אחר. אם מערך נתוני המקור מכיל יותר מ-1,000 טבלאות, שירות העברת הנתונים ל-BigQuery מתזמן הפעלות רציפות, שבכל אחת מהן מועתקות עד 1,000 טבלאות, עד שכל הטבלאות מועתקות. ההפעלות האלה מופרדות על ידי מרווח ברירת מחדל של 24 שעות, שהמשתמשים יכולים להתאים אישית עד למינימום של 12 שעות.

הזמנות

המכסות הבאות חלות על הזמנות:

מכסה ברירת מחדל הערות
המספר הכולל של משבצות לאזור האיחוד האירופי ‫5,000 משבצות מספר הסלוטים המקסימלי ב-BigQuery שאפשר לרכוש באזור מרובה ב-EU באמצעות מסוף Google Cloud .
הצגת מכסות ב Google Cloud מסוף
המספר הכולל של משבצות לפרסום באזור ארה"ב ‫10,000 משבצות מספר הסלוטים המקסימלי ב-BigQuery שאפשר לרכוש באזור מרובה בארה"ב באמצעות מסוף Google Cloud .
הצגת מכסות ב Google Cloud מסוף
המספר הכולל של משבצות באזור us-east1 ‫4,000 משבצות מספר הסלוטים המקסימלי ב-BigQuery שאפשר לרכוש באזור שמופיע ברשימה באמצעות Google Cloud המסוף.
הצגת מכסות ב Google Cloud מסוף
המספר הכולל של משבצות הפרסום באזורים הבאים:
  • asia-south1
  • asia-southeast1
  • europe-west2
  • us-central1
  • us-west1
‫2,000 משבצות המספר המקסימלי של משבצות BigQuery שאפשר לרכוש בכל אחד מהאזורים שמופיעים ברשימה באמצעות Google Cloud המסוף.
הצגת מכסות ב Google Cloud מסוף
המספר הכולל של משבצות הפרסום באזורים הבאים:
  • asia-east1
  • asia-northeast1
  • asia-northeast3
  • asia-southeast2
  • australia-southeast1
  • europe-north1
  • europe-west1
  • europe-west3
  • europe-west4
  • northamerica-northeast1
  • us-east4
  • southamerica-east1
‫1,000 משבצות המספר המקסימלי של משבצות BigQuery שאפשר לרכוש בכל אחד מהאזורים שמופיעים ברשימה באמצעות Google Cloud המסוף.
הצגת מכסות ב Google Cloud מסוף
המספר הכולל של יחידות הקיבולת באזורי BigQuery Omni ‫100 משבצות המספר המקסימלי של משבצות BigQuery שאפשר לרכוש באזורים של BigQuery Omni באמצעות מסוף Google Cloud .
הצגת מכסות ב Google Cloud מסוף
המספר הכולל של משבצות לכל שאר האזורים ‫500 משבצות המספר המקסימלי של משבצות BigQuery שאפשר לרכוש בכל אזור אחר באמצעות Google Cloud המסוף.
הצגת מכסות ב Google Cloud מסוף

המגבלות הבאות חלות על הזמנות:

הגבלה ערך הערות
מספר פרויקטים לניהול להזמנות של יחידות קיבולת (Slot) ‫10 פרויקטים לכל ארגון המספר המקסימלי של פרויקטים בארגון שיכולים להכיל הזמנה או התחייבות פעילה למשבצות למיקום או לאזור נתונים מסוימים.
מספר מקסימלי של הזמנות למהדורת Standard ‫10 הזמנות לכל פרויקט המספר המקסימלי של הזמנות במהדורה רגילה לכל פרויקט ניהול בארגון במיקום או באזור נתונים מסוימים.
מספר מקסימלי של הזמנות במהדורות Enterprise או Enterprise Plus ‫200 הזמנות לכל פרויקט המספר המקסימלי של הזמנות במהדורות Enterprise או Enterprise Plus לכל פרויקט ניהול בארגון, למיקום או לאזור נתון.
מספר המשבצות המקסימלי בהזמנה שמשויכת להקצאת הזמנה עם סוג העבודה CONTINUOUS. ‫500 משבצות כשרוצים ליצור הקצאת הזמנה עם סוג עבודה CONTINUOUS, ההזמנה המשויכת לא יכולה לכלול יותר מ-500 משבצות זמן.

מערכי נתונים

המגבלות הבאות חלות על מערכי נתונים ב-BigQuery:

הגבלה ברירת מחדל הערות
מספר מערכי הנתונים המקסימלי ללא הגבלה אין הגבלה על מספר מערכי הנתונים שיכולים להיות בפרויקט.
מספר הטבלאות בכל מערך נתונים ללא הגבלה כשמשתמשים בקריאה ל-API, הביצועים של הספירה יורדים ככל שמתקרבים ל-50,000 טבלאות במערך נתונים. במסוף Google Cloud אפשר להציג עד 50,000 טבלאות לכל מערך נתונים.
מספר המשאבים המורשים ברשימת בקרת הגישה של מערך נתונים ‫2,500 משאבים

ברשימת בקרת הגישה של מערך נתונים יכולים להיות עד 2,500 משאבים מורשים בסך הכול, כולל תצוגות מורשות, מערכי נתונים מורשים ופונקציות מורשות. אם חורגים מהמגבלה הזו בגלל מספר גדול של תצוגות מורשות, אפשר לקבץ את התצוגות במערכי נתונים מורשים. כשיטה מומלצת, כדאי לקבץ תצוגות שקשורות זו לזו במערכי נתונים מורשים כשמעצבים ארכיטקטורות חדשות של BigQuery, במיוחד ארכיטקטורות מרובות דיירים.

מספר פעולות העדכון של מערך נתונים לכל מערך נתונים כל 10 שניות ‫5 פעולות בכל 10 שניות, הפרויקט יכול לבצע עד 5 פעולות עדכון של מערכי נתונים. מגבלת העדכון של מערך הנתונים כוללת את כל פעולות העדכון של המטא-נתונים שמתבצעות על ידי הגורמים הבאים:
האורך המקסימלי של תיאור מערך נתונים ‫16,384 תווים כשמוסיפים תיאור למערך נתונים, הטקסט יכול להכיל עד 16,384 תווים.

Tables

כל הטבלאות

המגבלות הבאות חלות על כל הטבלאות ב-BigQuery.

הגבלה ברירת מחדל הערות
האורך המקסימלי של שם עמודה ‫300 תווים שם העמודה יכול להכיל עד 300 תווים.
האורך המקסימלי של תיאור עמודה ‫1,024 תווים כשמוסיפים תיאור לעמודה, הטקסט יכול להכיל עד 1,024 תווים.
העומק המקסימלי של רשומות מקוננות ‫15 רמות עמודות מהסוג RECORD יכולות להכיל סוגים מוטמעים של RECORD, שנקראים גם רשומות צאצא. המגבלה המקסימלית של עומק הקינון היא 15 רמות. המגבלה הזו לא תלויה בכך שהרשומות הן סקלריות או מבוססות על מערך (חוזרות).
האורך המקסימלי של תיאור טבלה ‫16,384 תווים כשמוסיפים תיאור לטבלה, הטקסט יכול להכיל עד 16,384 תווים.

מידע לפתרון בעיות שקשורות למכסות או למגבלות של טבלאות זמין בדף פתרון הבעיות ב-BigQuery.

טבלאות רגילות

המגבלות הבאות חלות על טבלאות סטנדרטיות (מובנות) ב-BigQuery:‏

הגבלה ברירת מחדל הערות
שינויים בטבלה בכל יום ‫1,500 שינויים

בכל פרויקט אפשר לבצע עד 1,500 שינויים בטבלה בכל יום. משימת טעינה, משימת העתקה או משימת שאילתה שמוסיפה נתונים לטבלה או מחליפה את הנתונים בטבלה נחשבת כשינוי אחד בטבלה. אי אפשר לשנות את המגבלה הזו.

הוראות DML לא נכללות ולא נספרות במסגרת מספר השינויים בטבלה ביום.

נתונים בסטרימינג לא נכללים ולא נספרים במסגרת מספר השינויים בטבלה ביום.

הקצב המקסימלי של פעולות עדכון מטא-נתונים של טבלה לכל טבלה ‫5 פעולות בכל 10 שניות בכל פרויקט אפשר לבצע עד חמש פעולות של עדכון מטא-נתונים של טבלה בכל 10 שניות לכל טבלה. המגבלה הזו חלה על כל פעולות העדכון של מטא נתונים של טבלאות, שמבוצעות על ידי הפעולות הבאות: המגבלה הזו כוללת גם את הסכום הכולל של כל עבודות הטעינה, עבודות ההעתקה ועבודות השאילתות שמצורפות לטבלת יעד או מחליפות אותה, או שמשתמשות בהצהרות DMLDELETE, ‏INSERT, ‏MERGE, ‏TRUNCATE TABLE או UPDATE כדי לכתוב נתונים בטבלה. שימו לב: אמנם הצהרות DML נספרות כחלק מהמגבלה הזו, אבל הן לא כפופות לה אם המגבלה מושגת. לפעולות DML יש מגבלות שימוש ייעודיות.

אם תחרגו מהמגבלה הזו, תקבלו הודעת שגיאה כמו Exceeded rate limits: too many table update operations for this table. זו שגיאה זמנית, ואפשר לנסות שוב עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff).

כדי לזהות את הפעולות שנכללות במגבלה הזו, אפשר לבדוק את היומנים. הנחיות לאבחון ולפתרון השגיאה הזו מופיעות במאמר פתרון בעיות שקשורות למכסות.

מספר העמודות המקסימלי לכל טבלה ‫10,000 עמודות כל טבלה, תוצאת שאילתה או הגדרת תצוגה יכולה לכלול עד 10,000 עמודות. העמודות האלה כוללות עמודות במבנה היררכי ועמודות חוזרות.

טבלאות חיצוניות

המגבלות הבאות חלות על טבלאות BigQuery עם נתונים שמאוחסנים ב-Cloud Storage בפורמטים Parquet,‏ ORC,‏ Avro,‏ CSV או JSON:

הגבלה ברירת מחדל הערות
המספר המקסימלי של מזהי URI של מקורות לכל טבלה חיצונית ‫10,000 מזהי URI כל טבלה חיצונית יכולה להכיל עד 10,000 כתובות URI של מקורות.
המספר המקסימלי של קבצים לכל טבלה חיצונית ‫10,000,000 קבצים בטבלה חיצונית יכולים להיות עד 10 מיליון קבצים, כולל כל הקבצים שתואמים לכל כתובות ה-URI עם התו הכללי.
הגודל המקסימלי של נתונים מאוחסנים ב-Cloud Storage לכל טבלה חיצונית ‫600TB טבלה חיצונית יכולה להכיל עד 600 טרה-בייט בכל קובצי הקלט. המגבלה הזו חלה על גודלי הקבצים כפי שהם מאוחסנים ב-Cloud Storage. הגודל הזה לא זהה לגודל שמשמש בנוסחת התמחור של השאילתה. בטבלאות שחולקו למחיצות באופן חיצוני, המגבלה חלה אחרי הסרת מחיצות.
המספר המקסימלי של קבצים בקטגוריה של Cloud Storage בערך 60,000,000 קבצים טבלה חיצונית יכולה להפנות לקטגוריה של Cloud Storage שמכילה עד כ-60,000,000 קבצים. בטבלאות שמחולקות למחיצות חיצוניות, ההגבלה הזו חלה לפני הסרת מחיצות.

טבלאות מחולקות למחיצות

המגבלות הבאות חלות על טבלאות מחולקות למחיצות ב-BigQuery.

מגבלות המחיצות חלות על הסכום הכולל של כל משימות הטעינה, משימות ההעתקה ומשימות השאילתות שמצורפות למחיצת יעד או מחליפות אותה.

עבודה אחת יכולה להשפיע על כמה מחיצות. לדוגמה, עבודות של שאילתות ועבודות של טעינה יכולות לכתוב לכמה מחיצות.

מערכת BigQuery משתמשת במספר המחיצות שמושפעות מעבודה כדי לקבוע כמה מהמגבלה העבודה צורכת. המגבלה הזו לא חלה על הוספות של נתונים בסטרימינג.

במאמר פתרון בעיות שקשורות למכסות מוסבר על אסטרטגיות שיעזרו לכם לא לחרוג מהמגבלות של טבלאות עם חלוקה למחיצות.

הגבלה ברירת מחדל הערות
מספר המחיצות בכל טבלה מחולקת למחיצות ‫10,000 מחיצות כל טבלה מחולקת למחיצות (Partitions) יכולה להכיל עד 10,000 מחיצות. אם חרגתם מהמגבלה הזו, כדאי להשתמש ב אשכולות בנוסף לחלוקה למחיצות או במקומה.
מספר המחיצות ששונו על ידי משימה אחת ‫4,000 מחיצות כל פעולת עבודה (שאילתה או טעינה) יכולה להשפיע על עד 4,000 מחיצות. מערכת BigQuery דוחה כל שאילתה או משימת טעינה שמנסה לשנות יותר מ-4,000 מחיצות.
מספר השינויים במחיצות במהלך כתיבת הנתונים לכל טבלה מחולקת למחיצות בכל יום ‫11,000 שינויים

בכל פרויקט אפשר לבצע עד 11,000 שינויים במחיצות ביום.

שינוי במחיצה מתרחש כשמוסיפים, מעדכנים, מוחקים או חותכים נתונים בטבלה מחולקת למחיצות. שינוי במחיצה נספר עבור כל סוג של שינוי בנתונים שאתם מבצעים. לדוגמה, מחיקת שורה אחת תיחשב כשינוי אחד במחיצה, בדיוק כמו שמחיקת מחיצה שלמה תיחשב גם היא כשינוי אחד. אם מוחקים שורה ממחיצה אחת ואז מוסיפים אותה למחיצה אחרת, זה ייחשב כשני שינויים במחיצה.

שינויים באמצעות הצהרות DML או Streaming API לא נספרים במסגרת מספר השינויים במחיצה ביום.

מספר השינויים במחיצות לכל טבלה שמחולקת למחיצות לפי עמודות ביום ‫30,000 שינויים

בפרויקט אפשר לבצע עד 30,000 שינויים במחיצות ביום עבור טבלה שמחולקת למחיצות לפי עמודות.

הצהרות DML לא נספרות במסגרת מספר השינויים במחיצות ביום.

נתונים שמוזרמים לא נספרים במסגרת מספר השינויים במחיצות ביום.

הקצב המקסימלי של פעולות עדכון מטא-נתונים של טבלה לכל טבלה מחולקת למחיצות ‫50 שינויים בכל 10 שניות בכל פרויקט אפשר לבצע עד 50 שינויים בכל טבלה מחולקת למחיצות כל 10 שניות. המגבלה הזו חלה על כל פעולות העדכון של המטא-נתונים של טבלאות מחולקות למחיצות, שמבוצעות על ידי הפעולות הבאות: המגבלה הזו כוללת גם את הסכום הכולל של כל עבודות הטעינה, עבודות ההעתקה ועבודות השאילתות שמצורפות לטבלת יעד או מחליפות אותה, או שמשתמשות בהצהרות DMLDELETE, ‏INSERT, ‏MERGE, ‏TRUNCATE TABLE או UPDATE כדי לכתוב נתונים בטבלה.

אם תחרגו מהמגבלה הזו, תקבלו הודעת שגיאה כמו Exceeded rate limits: too many partitioned table update operations for this table. זו שגיאה זמנית, ואפשר לנסות שוב עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff).

כדי לזהות את הפעולות שנכללות במגבלה הזו, אפשר לבדוק את היומנים.

מספר הטווחים האפשריים לחלוקה למחיצות לפי טווח ‫10,000 טווחים בטבלה עם חלוקה לפי טווח יכולים להיות עד 10,000 טווחים אפשריים. המגבלה הזו חלה על הגדרת המחיצה כשיוצרים את הטבלה. אחרי שיוצרים את הטבלה, המגבלה חלה גם על המספר בפועל של המחיצות.

שיבוטים של טבלאות

המגבלות הבאות חלות על שיבוטים של טבלאות ב-BigQuery:

הגבלה ברירת מחדל הערות
מספר מקסימלי של שיבוטים ותמונות מצב בשרשרת 3 שיבוטים או תמונות מצב של טבלאות השילוב של שיבוטים ותמונות מצב מוגבל לעומק של 3. כשמשכפלים טבלת בסיס או מצלמים תמונת מצב שלה, אפשר לשכפל את התוצאה או לצלם תמונת מצב שלה רק עוד פעמיים. ניסיון לשכפל את התוצאה או לצלם תמונת מצב שלה בפעם השלישית יגרום לשגיאה. לדוגמה, אפשר ליצור שיבוט A של טבלת הבסיס, ליצור snapshot B של שיבוט A וליצור שיבוט C של snapshot B. כדי ליצור עוד עותקים של השיבוט או של תמונת המצב ברמה השלישית, צריך להשתמש בפעולת העתקה.
מספר השיבוטים והתמונות המקסימלי לטבלת בסיס 1,000 שיבוטים או תמונות מצב של טבלאות לא יכולים להיות יותר מ-1,000 שיבוטים וצילומים קיימים ביחד של טבלת בסיס נתונה. לדוגמה, אם יש לכם 600 תמונות מצב ו-400 שיבוטים, הגעתם למגבלה.

תמונות מצב של טבלאות

המגבלות הבאות חלות על תמונות מצב של טבלאות ב-BigQuery:

הגבלה ברירת מחדל הערות
מספר מקסימלי של משימות בו-זמניות של צילומי מצב של טבלאות ‫100 משרות בפרויקט אפשר להריץ עד 100 משימות בו-זמנית של צילום תמונת מצב של טבלה.
מספר העבודות המקסימלי של צילומי מצב של טבלאות ביום ‫50,000 משרות בכל יום אפשר להריץ עד 50,000 משימות של צילומי מצב של טבלאות בפרויקט.
מספר העבודות המקסימלי של צילומי מצב של טבלה לכל טבלה ביום ‫50 משרות בכל יום אפשר להריץ עד 50 משימות של צילום תמונת מצב של טבלה לכל טבלה בפרויקט.
המספר המקסימלי של עדכוני מטא-נתונים לכל תמונת מצב של טבלה בכל 10 שניות. ‫5 עדכונים בפרויקט אפשר לעדכן את המטא-נתונים של תמונת מצב של טבלה עד חמש פעמים בכל 10 שניות.
מספר מקסימלי של שיבוטים ותמונות מצב בשרשרת 3 שיבוטים או תמונות מצב של טבלאות השילוב של שיבוטים ותמונות מצב מוגבל לעומק של 3. כשמשכפלים טבלת בסיס או מצלמים תמונת מצב שלה, אפשר לשכפל את התוצאה או לצלם תמונת מצב שלה רק עוד פעמיים. ניסיון לשכפל את התוצאה או לצלם תמונת מצב שלה בפעם השלישית יגרום לשגיאה. לדוגמה, אפשר ליצור שיבוט A של טבלת הבסיס, ליצור snapshot B של שיבוט A וליצור שיבוט C של snapshot B. כדי ליצור עוד עותקים של השיבוט או של תמונת המצב ברמה השלישית, צריך להשתמש בפעולת העתקה.
מספר השיבוטים והתמונות המקסימלי לטבלת בסיס 1,000 שיבוטים או תמונות מצב של טבלאות לא יכולים להיות יותר מ-1,000 שיבוטים וצילומים קיימים ביחד של טבלת בסיס נתונה. לדוגמה, אם יש לכם 600 תמונות מצב ו-400 שיבוטים, הגעתם למגבלה.

תצוגות

המכסות והמגבלות הבאות חלות על תצוגות ועל תצוגות חומריות.

תצוגות לוגיות

המגבלות הבאות חלות על תצוגות רגילות של BigQuery:

הגבלה ברירת מחדל הערות
מספר מקסימלי של רמות צפייה מקוננות ‫16 רמות ‫BigQuery תומך בעד 16 רמות של תצוגות מקוננות. אפשר ליצור תצוגות עד למגבלה הזו, אבל השאילתות מוגבלות ל-15 רמות. אם חורגים מהמגבלה, BigQuery מחזיר שגיאה מסוג INVALID_INPUT.
האורך המקסימלי של שאילתת GoogleSQL שמשמשת להגדרת תצוגה ‫256K תווים שאילתת GoogleSQL אחת שמגדירה תצוגה יכולה להיות באורך של עד 256K תווים. המגבלה הזו חלה על שאילתה אחת, והיא לא כוללת את אורך התצוגות שאליהן מתייחסת השאילתה.
המספר המקסימלי של תצוגות מורשות לכל מערך נתונים מערכי נתונים
האורך המקסימלי של תיאור תצוגה ‫16,384 תווים כשמוסיפים תיאור לתצוגה, הטקסט יכול להכיל עד 16,384 תווים.

תצוגות מהותיות

המגבלות הבאות חלות על תצוגות חומריות ב-BigQuery:

הגבלה ברירת מחדל הערות
הפניות לטבלת בסיס (באותו פרויקט) ‫100 תצוגות מהותיות אפשר להפנות לכל טבלת בסיס עד 100 תצוגות חומריות מאותו פרויקט.
הפניות לטבלת בסיס (כל הארגון) ‫500 תצוגות מהותיות אפשר להפנות לכל טבלת בסיס עד 500 תצוגות חומריות מכל הארגון.
המספר המקסימלי של תצוגות מורשות לכל מערך נתונים מערכי נתונים
האורך המקסימלי של תיאור תצוגה חומרית ‫16,384 תווים כשמוסיפים תיאור לתצוגה חומרית, הטקסט יכול להכיל עד 16,384 תווים.
מגבלת זמן הביצוע של עבודת רענון תצוגה מהותית 12 שעות עדכון של תצוגה חומרית (materialized view) יכול להימשך עד 12 שעות לפני שהוא נכשל.

אינדקסים של חיפושים

המגבלות הבאות חלות על אינדקסים של חיפוש ב-BigQuery:

הגבלה ברירת מחדל הערות
מספר הצהרות DDL‏ (CREATE INDEX) לכל פרויקט לכל אזור ביום ‫500 פעולות בכל יום, הפרויקט יכול להנפיק עד 500 פעולות CREATE INDEX DDL באזור.
מספר הצהרות DDL של אינדקס החיפוש לכל טבלה ביום ‫20 פעולות בכל יום, אפשר להנפיק בפרויקט עד 20 פעולות DDL של CREATE INDEX או DROP INDEX לכל טבלה.
הגודל הכולל המקסימלי של נתוני טבלה לכל ארגון שמותר ליצור אינדקס חיפוש שלא פועל בהזמנה ‫100TB במספר אזורים, ‫20TB בכל האזורים האחרים אפשר ליצור אינדקס חיפוש לטבלה אם הגודל הכולל של הטבלאות עם האינדקסים בארגון שלכם נמוך מהמגבלה של האזור שלכם: 100TB לאזורים מרובים US ו-EU, ו-20TB לכל שאר האזורים. אם משימות ניהול האינדקס שלכם מופעלות בהזמנה משלכם, המגבלה הזו לא חלה.
מספר העמודות שנוספו לאינדקס עם רמת פירוט של עמודה לכל טבלה ‫63 עמודות לכל טבלה בטבלה יכולות להיות עד 63 עמודות עם index_granularity שהוגדר כ-COLUMN. המגבלה הזו כוללת עמודות שנוספו לאינדקס עם רמת פירוט COLUMN מהגדרת האפשרות default_index_column_granularity. אין הגבלה על מספר העמודות שמקבלות אינדקס ברמת הגרנולריות GLOBAL. מידע נוסף זמין במאמר בנושא אינדקס עם גרנולריות של עמודות.

אינדקסים של וקטורים

המגבלות הבאות חלות על אינדקסים של וקטורים ב-BigQuery:

הגבלה ברירת מחדל הערות
מספר השורות המינימלי בטבלת הבסיס ‫5,000 שורות כדי ליצור אינדקס וקטורי, טבלה צריכה להכיל לפחות 5,000 שורות.
מספר השורות המקסימלי בטבלת הבסיס לסוג האינדקס IVF ‫10,000,000,000 שורות טבלה יכולה לכלול עד 10,000,000,000 שורות כדי ליצור IVF אינדקס וקטורי
מספר השורות המקסימלי בטבלת הבסיס לסוג האינדקס TREE_AH ‫200,000,000 שורות בטבלה יכולות להיות עד 200,000,000 שורות כדי ליצור אינדקס וקטורי של TREE_AH
מספר השורות המקסימלי בטבלת הבסיס לסוג אינדקס עם חלוקה למחיצות TREE_AH ‫10,000,000,000 שורות בסך הכול

‫200,000,000 שורות לכל מחיצה
טבלה יכולה להכיל עד 10,000,000,000 שורות, וכל מחיצה יכולה להכיל עד 200,000,000 שורות כדי ליצור אינדקס וקטורי מחולק.TREE_AH
הגודל המקסימלי של המערך בעמודה עם האינדקס ‫1,600 רכיבים העמודה לאינדקס יכולה להכיל עד 1,600 רכיבים במערך.
גודל הטבלה המינימלי לאכלוס אינדקס וקטורי ‫10MB אם יוצרים אינדקס וקטורי בטבלה שהגודל שלה קטן מ-10MB, האינדקס לא יאוכלס. באופן דומה, אם מוחקים נתונים מטבלה עם אינדקס וקטורי כך שגודל הטבלה קטן מ-10MB, האינדקס הווקטורי מושבת באופן זמני. זה קורה בלי קשר לשאלה אם אתם משתמשים בהזמנה משלכם לעבודות של ניהול האינדקס. אם הגודל של טבלה עם אינדקס וקטורי חורג שוב מ-10MB, האינדקס שלה מתמלא אוטומטית.
מספר הצהרות DDL‏ (Data Definition Language) לכל פרויקט, לכל אזור ולכל יוםCREATE VECTOR INDEX ‫500 פעולות לכל פרויקט, אפשר להנפיק עד 500 CREATE VECTOR INDEX פעולות ביום לכל אזור.
מספר הצהרות ה-DDL של אינדקס הווקטורים לכל טבלה בכל יום ‫10 פעולות אפשר להנפיק עד 10 פעולות של CREATE VECTOR INDEX או DROP VECTOR INDEX לכל טבלה ביום.
הגודל הכולל המקסימלי של נתוני טבלה לכל ארגון שמותר ליצור אינדקס וקטורי שלא פועל בהזמנה ‫6TB אפשר ליצור אינדקס וקטורי לטבלה אם הגודל הכולל של הטבלאות עם האינדקסים בארגון קטן מ-6TB. אם משימות ניהול האינדקס שלכם מופעלות בהזמנה שלכם, המגבלה הזו לא חלה.

תרחישים

המכסות והמגבלות הבאות חלות על פעולות שגרתיות.

פונקציות בהגדרת המשתמש

המגבלות הבאות חלות על פונקציות בהגדרת המשתמש (UDF) זמניות ומתמידות בשאילתות GoogleSQL.

הגבלה ברירת מחדל הערות
הפלט המקסימלי לכל שורה ‫5MB הכמות המקסימלית של נתונים שפונקציה מוגדרת על ידי המשתמש ב-JavaScript יכולה להפיק כשמעבדים שורה אחת היא בערך 5MB.
מספר מקסימלי של שאילתות SQL מדור קודם בו-זמניות עם פונקציות מוגדרות על ידי המשתמש (UDF) ב-JavaScript ‫6 שאילתות בפרויקט יכולות להיות עד שש שאילתות SQL מדור קודם בו-זמניות שמכילות פונקציות UDF ב-JavaScript. ההגבלה הזו כוללת שאילתות אינטראקטיביות ושאילתות אצווה. המגבלה הזו לא חלה על שאילתות GoogleSQL.
מספר מקסימלי של משאבי UDF של JavaScript לכל שאילתה ‫50 משאבים לכל עבודת שאילתה יכולים להיות עד 50 משאבי UDF של JavaScript, כמו blobs של קוד מוטבע או קבצים חיצוניים.
הגודל המקסימלי של blob של קוד בתוך השורה ‫32KB גודל של בלוב קוד מוטבע ב-UDF יכול להיות עד 32KB.
הגודל המקסימלי של כל משאב קוד חיצוני ‫1MB הגודל המקסימלי של כל משאב קוד JavaScript הוא 1MB.

המגבלות הבאות חלות על פונקציות UDF קבועות:

הגבלה ברירת מחדל הערות
האורך המקסימלי של שם פונקציה מוגדרת על ידי המשתמש ‫256 תווים שם של UDF יכול להיות באורך של עד 256 תווים.
מספר הארגומנטים המקסימלי ‫256 ארגומנטים פונקציה מוגדרת על ידי המשתמש יכולה לכלול עד 256 ארגומנטים.
אורך מקסימלי של שם ארגומנט 128 תווים שם של ארגומנט ב-UDF יכול להיות באורך של עד 128 תווים.
העומק המקסימלי של שרשרת הפניות של UDF ‫16 הפניות שרשרת הפניות של UDF יכולה לכלול עד 16 הפניות.
העומק המקסימלי של ארגומנט או פלט מסוג STRUCT ‫15 רמות ארגומנט או פלט של פונקציה מוגדרת על ידי המשתמש מסוג STRUCT יכולים להיות בעומק של עד 15 רמות.
המספר המקסימלי של שדות בארגומנטים או בפלט מסוג STRUCT לכל UDF ‫1,024 שדות ל-UDF יכולים להיות עד 1,024 שדות בארגומנטים של סוג STRUCT ובפלט.
המספר המקסימלי של ספריות JavaScript בהצהרה CREATE FUNCTION ‫50 ספריות במשפט CREATE FUNCTION יכולות להיות עד 50 ספריות JavaScript.
אורך מקסימלי של נתיבי ספריות JavaScript שכלולים ‫5,000 תווים הנתיב של ספריית JavaScript שכלולה ב-UDF יכול להיות באורך של עד 5,000 תווים.
קצב העדכון המקסימלי לכל UDF לכל 10 שניות ‫5 עדכונים הפרויקט יכול לעדכן פונקציה מוגדרת על ידי המשתמש עד חמש פעמים בכל 10 שניות.
המספר המקסימלי של פונקציות UDF מורשות לכל מערך נתונים מערכי נתונים

פונקציות מרחוק

המגבלות הבאות חלות על פונקציות מרוחקות ב-BigQuery.

מידע על פתרון בעיות זמין במאמר בנושא המספר המקסימלי של שאילתות בו-זמניות שמכילות פונקציות מרוחקות.

הגבלה ברירת מחדל הערות
המספר המקסימלי של שאילתות בו-זמניות שמכילות פונקציות מרוחקות (remote functions) ‫10 שאילתות אפשר להריץ עד עשר שאילתות בו-זמנית עם פונקציות מרוחקות לכל פרויקט.
גודל קלט מקסימלי ‫5MB הגודל הכולל המקסימלי של כל ארגומנטי הקלט משורה אחת הוא 5MB.
מגבלת גודל של תגובת HTTP (פונקציות Cloud Run דור ראשון) ‫10MB גודל גוף תגובת HTTP מפונקציית Cloud Run דור ראשון הוא עד 10MB. חריגה מהערך הזה גורמת לכשלים בשאילתות.
מגבלת גודל של תגובת HTTP (פונקציות Cloud Run דור שני או Cloud Run) ‫15MB גודל גוף תגובת HTTP מפונקציית Cloud Run מדור שני או מ-Cloud Run הוא עד 15MB. חריגה מהערך הזה גורמת לכשלים בשאילתות.
מגבלת הזמן המקסימלית להפעלת HTTP (פונקציות Cloud Run דור ראשון) ‫9 דקות אתם יכולים להגדיר מגבלת זמן משלכם לפונקציית Cloud Run דור ראשון עבור הפעלה נפרדת של HTTP, אבל מגבלת הזמן המקסימלית היא 9 דקות. חריגה ממגבלת הזמן שמוגדרת לפונקציית Cloud Run דור ראשון עלולה לגרום לכשלים בהפעלת HTTP ולכשלים בשאילתות.
מגבלת הזמן להפעלת HTTP (פונקציות Cloud Run דור שני או Cloud Run) 20 דקות הגבלת הזמן להפעלה של HTTP בודד בפונקציית Cloud Run דור שני או ב-Cloud Run. חריגה מהערך הזה עלולה לגרום לכשלים בהפעלת HTTP ולכשלים בשאילתות.
המספר המקסימלי של ניסיונות חוזרים להפעלת HTTP 20 מספר הניסיונות המקסימלי לביצוע חוזר של קריאת HTTP בודדת לפונקציית Cloud Run דור ראשון, דור שני או Cloud Run. חריגה מהערך הזה עלולה לגרום לכשלים בהפעלת HTTP ולכשלים בשאילתות.

פונקציות טבלה

המגבלות הבאות חלות על פונקציות של טבלאות ב-BigQuery:

הגבלה ברירת מחדל הערות
האורך המקסימלי של שם פונקציית טבלה ‫256 תווים שם פונקציית טבלה יכול להיות באורך של עד 256 תווים.
אורך מקסימלי של שם ארגומנט 128 תווים האורך של שם ארגומנט של פונקציית טבלה יכול להיות עד 128 תווים.
מספר הארגומנטים המקסימלי ‫256 ארגומנטים פונקציה של טבלה יכולה לכלול עד 256 ארגומנטים.
העומק המקסימלי של שרשרת הפניות לפונקציות של טבלה ‫16 הפניות שרשרת הפניות של פונקציות בטבלה יכולה לכלול עד 16 הפניות.
העומק המקסימלי של ארגומנט או פלט מהסוג STRUCT ‫15 רמות ארגומנט STRUCT של פונקציית טבלה יכול לכלול עד 15 רמות. באופן דומה, פלט של פונקציה של טבלת STRUCT יכול להכיל עד 15 רמות.
מספר השדות המקסימלי בארגומנט או בטבלת ההחזרה מסוג STRUCT לכל פונקציית טבלה ‫1,024 שדות ארגומנט STRUCT של פונקציית טבלה יכול להכיל עד 1,024 שדות. באופן דומה, רשומה STRUCT בפלט של פונקציית טבלה יכולה להכיל עד 1,024 שדות.
המספר המקסימלי של עמודות בטבלת ההחזרה ‫1,024 עמודות טבלה שמוחזרת על ידי פונקציית טבלה יכולה להכיל עד 1,024 עמודות.
האורך המקסימלי של שמות העמודות בטבלת ההחזרה 128 תווים שמות העמודות בטבלאות שמוחזרות יכולים להיות באורך של עד 128 תווים.
המספר המקסימלי של עדכונים לכל פונקציית טבלה בכל 10 שניות ‫5 עדכונים הפרויקט יכול לעדכן פונקציית טבלה עד חמש פעמים בכל 10 שניות.

תהליכים מאוחסנים ל-Apache Spark

המגבלות הבאות חלות על פרוצדורות מאוחסנות של BigQuery עבור Apache Spark:

מגבלה ברירת מחדל Notes
מספר מקסימלי של שאילתות בו-זמניות של תהליכים מאוחסנים 50 אפשר להריץ עד 50 שאילתות של פרוצדורות מאוחסנות בו-זמנית לכל פרויקט.
מספר המעבדים המקסימלי שבשימוש 12,000 אפשר להשתמש בעד 12,000 ליבות CPU לכל פרויקט. שאילתות שכבר עובדו לא נספרות במגבלה הזו.

אפשר להשתמש בעד 2,400 מעבדים לכל מיקום לכל פרויקט, למעט במיקומים הבאים:

  • asia-south2
  • australia-southeast2
  • europe-central2
  • europe-west8
  • northamerica-northeast2
  • southamerica-west1

במיקומים האלה, אפשר להשתמש בעד 500 מעבדים לכל מיקום לכל פרויקט.

אם מריצים שאילתות בו-זמניות במיקום במספר אזורים ובמיקום של אזור יחיד שנמצא באותו אזור גיאוגרפי, יכול להיות שהשאילתות ינצלו את אותה מכסת CPU בו-זמנית.

הגודל הכולל המקסימלי של דיסקים של אחסון מתמיד (persistent disks) רגילים שנמצאים בשימוש ‫204.8TB

אפשר להשתמש בעד 204.8TB של דיסקים רגילים של אחסון מתמיד לכל מיקום לכל פרויקט. שאילתות שכבר עובדו לא נספרות במגבלה הזו.

אם מריצים שאילתות בו-זמנית במיקום במספר אזורים ובמיקום אזור יחיד שנמצא באותו אזור גיאוגרפי, יכול להיות שהשאילתות ינצלו את אותה מכסת דיסק מתמיד סטנדרטי.

מחשבים ניידים

כל המיכסות והמגבלות של Dataform והמיכסות והמגבלות של Colab Enterprise חלות על מחברות ב-BigQuery. יש גם מגבלות נוספות:

מגבלה ברירת מחדל Notes
גודל Notebook מקסימלי 20 MB

הגודל של מחברת הוא סכום הגודל של התוכן, המטא-נתונים והתקורה של הקידוד.

כדי לראות את הגודל של תוכן המחברת, מרחיבים את הכותרת של המחברת, לוחצים על תצוגה ואז על פרטי המחברת.

המספר המקסימלי של בקשות לשנייה ל-Dataform 100 מחברות נוצרות ומנוהלות דרך Dataform. כל פעולה שיוצרת או משנה מחברת נספרת במכסה הזו. המכסה הזו משותפת עם שאילתות שמורות. לדוגמה, אם מבצעים 50 שינויים ב-notebooks ו-50 שינויים בשאילתות שמורות תוך שנייה אחת, מגיעים למכסה.

שאילתות שמורות

כל המכסות והמגבלות של Dataform חלות על שאילתות שמורות. המגבלות הבאות חלות גם כן:

מגבלה ברירת מחדל Notes
הגודל המקסימלי של שאילתה שמורה ‫10MB
המספר המקסימלי של בקשות לשנייה ל-Dataform 100 שאילתות שמורות נוצרות ומנוהלות דרך Dataform. כל פעולה שיוצרת או משנה שאילתה שמורה נכללת במכסה הזו. המכסה הזו משותפת עם מחברות. לדוגמה, אם מבצעים 50 שינויים ב-notebooks ו-50 שינויים בשאילתות שמורות תוך שנייה אחת, מגיעים למכסה.

שפת טיפול בנתונים (DML)

ההגבלות הבאות חלות על הצהרות של שפת הטיפול בנתונים (DML) ב-BigQuery:

הגבלה ברירת מחדל הערות
פקודות DML ליום ללא הגבלה אין הגבלה על מספר הצהרות ה-DML שהפרויקט יכול להריץ ביום.

הצהרות DML לא נספרות במסגרת מספר השינויים בטבלה ביום או מספר השינויים בטבלה מחולקת ביום עבור טבלאות מחולקות.

חשוב לשים לב למגבלות הבאות שחלות על הצהרות DML.
מספר פקודות DML בו-זמניות לכל טבלה ביום: INSERT ‫1,500 דוחות 1,500 ההצהרות הראשונות INSERT מופעלות מיד אחרי השליחה. אחרי שמגיעים למגבלה הזו, מספר ההצהרות המקבילות של INSERT שכותבות לטבלה מוגבל ל-10. הצהרות נוספות של INSERT מתווספות לתור של PENDING. אפשר להוסיף עד 100 הצהרות INSERT לתור של טבלה בכל זמן נתון. כשמסתיימת הפעולה של משפט INSERT, המשפט הבא INSERT מוסר מהתור ומופעל.

אם אתם צריכים להריץ הצהרות DML INSERT בתדירות גבוהה יותר, כדאי להשתמש ב-Storage Write API כדי להזרים נתונים לטבלה.
פקודות DML לשינוי נתונים שמופעלות בו-זמנית לכל טבלה ‫2 דוחות מערכת BigQuery מריצה עד שתי הצהרות DML בו-זמניות לשינוי (UPDATE,‏ DELETE ו-MERGE) לכל טבלה. הוראות DML נוספות לשינוי של טבלה מסוימת מתווספות לתור.
פקודות DML לשינוי נתונים שנמצאות בתור לכל טבלה ‫20 דוחות טבלה יכולה להכיל בתור עד 20 הצהרות DML לשינוי שממתינות להפעלה. אם שולחים הצהרות נוספות של DML לשינוי הטבלה, ההצהרות האלה ייכשלו.
זמן ההמתנה המקסימלי בתור לפקודת DML 7 שעות פקודת DML אינטראקטיבית בעדיפות גבוהה יכולה להמתין בתור עד שבע שעות. אם ההצהרה לא מופעלת אחרי שבע שעות, היא נכשלת.
הקצב המקסימלי של פקודות DML לכל טבלה ‫25 הצהרות כל 10 שניות בכל פרויקט אפשר להריץ עד 25 הצהרות DML כל 10 שניות לכל טבלה. גם משפטי INSERT וגם משפטי DML משנים תורמים למגבלה הזו.

מידע נוסף על שינוי של הצהרות DML זמין במאמרים בנושא INSERT בו-זמניות של DML וUPDATE, DELETE, MERGE בו-זמניות של DML.

שאילתות עם כמה הצהרות

המגבלות הבאות חלות על שאילתות עם כמה הצהרות ב-BigQuery.

הגבלה ברירת מחדל הערות
מספר מקסימלי של שאילתות בו-זמניות עם כמה הצהרות ‫1,000 שאילתות עם כמה הצהרות בפרויקט שלכם אפשר להריץ עד 1,000 שאילתות מרובות הצהרות בו-זמנית.
מגבלת זמן מצטברת 24 שעות הגבלת הזמן המצטברת לשאילתה עם כמה הצהרות היא 24 שעות.
מגבלת זמן להפקת דוח 6 שעות הגבלת הזמן להצהרה בודדת בשאילתה עם כמה הצהרות היא 6 שעות.

שאילתות עם ביטויי CTE רקורסיביים

המגבלות הבאות חלות על ביטויי טבלה נפוצים (CTEs) רקורסיביים ב-BigQuery.

הגבלה ברירת מחדל הערות
מגבלת איטרציות ‫500 איטרציות מספר האיטרציות שה-CTE הרקורסיבי יכול לבצע. אם חורגים מהמגבלה הזו, נוצרת שגיאה. כדי לעקוף את מגבלות האיטרציה, אפשר לעיין במאמר בנושא פתרון בעיות שקשורות למגבלות איטרציה.

אבטחה ברמת השורה

המגבלות הבאות חלות על מדיניות הגישה ברמת השורה ב-BigQuery:

מגבלה ברירת מחדל Notes
המספר המקסימלי של מדיניות לגישה לשורות בכל טבלה ‫400 כללי מדיניות טבלה יכולה לכלול עד 400 כללי מדיניות לגישה לשורות.
המספר המקסימלי של מדיניות גישה ברמת השורה לכל שאילתה ‫6,000 כללי מדיניות שאילתה יכולה לגשת לעד 6,000 כללי מדיניות לגישה לשורות בסך הכול.
המספר המקסימלי של הצהרות DDL‏ CREATE / DROP לכל מדיניות בכל 10 שניות ‫5 דוחות בכל 10 שניות, הפרויקט יכול ליצור עד חמש הצהרות CREATE או DROP לכל משאב של מדיניות גישה ברמת השורה.
DROP ALL ROW ACCESS POLICIES הצהרות לכל טבלה לכל 10 שניות ‫5 דוחות בכל 10 שניות, הפרויקט יכול ליצור עד חמש הצהרות DROP ALL ROW ACCESS POLICIES לכל טבלה.

מדיניות בנושא נתונים

המגבלות הבאות חלות על אנונימיזציה דינמית של נתונים ברמת העמודה:

הגבלה ברירת מחדל הערות
המספר המקסימלי של כללי מדיניות בנושא נתונים לכל תג מדיניות. ‫8 כללי מדיניות לכל תג מדיניות עד שמונה כללי מדיניות לכל תג מדיניות. אפשר להשתמש באחת מהמדיניות האלה כדי להגדיר בקרת גישה ברמת העמודה. אין תמיכה בביטויי מיסוך כפולים.

‫Gemini ב-BigQuery

לקוחות שמשתמשים ב-Gemini ב-BigQuery עם חישוב לפי דרישה או עם מהדורות BigQuery Enterprise או Enterprise Plus, המכסות לתכונות מתקדמות כמו תובנות לגבי נתונים מסופקות על סמך השימוש הממוצע היומי ב-TiB שנסרקו או בשעות השימוש בחריץ בחודש הקלנדרי המלא האחרון. המכסה הזו חלה על רמת הארגון וזמינה לכל הפרויקטים בארגון. המכסות מעוגלות כלפי מעלה לשימוש הקרוב ביותר של 100 שעות משבצת.

מכסת הבקשות של Gemini Code Assist ושל Gemini ב-BigQuery לתכונות כמו השלמת קוד ויצירת קוד זהה. מידע נוסף זמין במאמר מכסות ומגבלות של Gemini for Google Cloud ‎.

מכסות לכל 100 שעות שימוש במשבצות (שימוש ממוצע יומי במהדורת Enterprise או במהדורת Enterprise Plus) או לכל ‎TiB שנסרק באמצעות מודל חישוב לפי דרישה ערך
בקשות ליום לצ'אט, להמחשה, לסריקות טבלה ולבקשות אחרות שמוצגות בחלונית Cloud Assist במסוף Google Cloud . 5

דוגמה: ארגון שיש לו הזמנה של מהדורת Enterprise עם 100 יחידות קיבולת כבסיס, ישתמש בממוצע ב-2,400 שעות של יחידות קיבולת בכל יום (100 יחידות קיבולת * 24 שעות = 2,400 שעות של יחידות קיבולת). כתוצאה מכך, בחודש הבא הם מקבלים את המכסות היומיות הבאות: 120 צ'אטים, תרשימים, סריקות של טבלת תובנות לגבי נתונים ויצירה אוטומטית של מטא-נתונים ביום

אם הארגון שלכם לא רכש עד עכשיו אף משבצת של BigQuery Enterprise, משבצת של מהדורת Enterprise Plus או משבצת של חישוב לפי דרישה (TiB), אז אחרי השימוש הראשון תקבלו את מכסת ברירת המחדל הבאה לחודש הקלנדרי המלא הראשון:

  • 250 סריקות של צ'אטים, תצוגות חזותיות, טבלאות של תובנות לגבי נתונים ויצירה אוטומטית של מטא-נתונים ביום

אם מתחילים להשתמש בחישוב לפי דרישה, במהדורת Enterprise או במהדורת Enterprise Plus באמצע החודש, המכסה שמוגדרת כברירת מחדל חלה עד סוף החודש הבא.

BigQuery ML

המגבלות הבאות חלות על BigQuery ML.

משימות של השאילתה

כל המכסות וההגבלות של שאילתות חלות על שאילתות GoogleSQL שמשתמשות בפונקציות ובהצהרות של BigQuery ML.

CREATE MODEL דוחות

המגבלות הבאות חלות על משימות CREATE MODEL:

הגבלה ברירת מחדל הערות
CREATE MODEL שאילתות של הצהרות בכל 48 שעות לכל פרויקט ‫20,000 שאילתות של הצהרות חלק מהמודלים מאומנים באמצעות שירותי Vertex AI, שלכל אחד מהם יש ניהול משאבים ומכסות משלו.
מגבלת זמן ההרצה 24 שעות או 48 שעות CREATE MODEL זמן הקצוב לתפוגה של משימה הוא 24 שעות כברירת מחדל, למעט סדרות זמן, משימות AutoML ומשימות כוונון של היפר-פרמטרים, שהזמן הקצוב לתפוגה שלהן הוא 48 שעות.

פונקציות של AI גנרטיבי

המגבלות הבאות חלות על פונקציות שמשתמשות במודלי שפה גדולים (LLM) של Vertex AI. מידע נוסף זמין במאמר בנושא הגדרות מכסה של פונקציות.

מגבלות על מספר הבקשות לדקה

המגבלות הבאות חלות על מודלים של Vertex AI שמוגבלים במספר הבקשות לדקה.

תפקיד דגם אזור בקשות בדקה שורות לכל משרה
AI.GENERATE_TEXT

ML.GENERATE_TEXT

AI.GENERATE_TABLE

AI.GENERATE

AI.GENERATE_BOOL

AI.GENERATE_DOUBLE

AI.GENERATE_INT
gemini-2.0-flash-lite-001 US ו-EU אזורים גיאוגרפיים

אזורים בודדים כפי שמתועד לגבי gemini-2.0-flash-lite-001 במיקומי נקודות הקצה של מודלים של Google
לא מוגדרת מכסה. המכסה נקבע לפי מכסה דינמית משותפת (DSQ)1 והקצאת משאבים לפי התפוקה שנקבעה2 לא רלוונטי להקצאת משאבים לפי התפוקה שנקבעה

‫10,500,000 ל-DSQ, לשיחה עם ממוצע של 500 טוקנים של קלט ו-50 טוקנים של פלט
gemini-2.0-flash-001 US ו-EU אזורים גיאוגרפיים

אזורים בודדים כפי שמתועד לגבי gemini-2.0-flash-001 במיקומי נקודות הקצה של מודלים של Google
לא רלוונטי להקצאת משאבים לפי התפוקה שנקבעה

‫10,200,000 ל-DSQ, לשיחה עם ממוצע של 500 טוקנים של קלט ו-50 טוקנים של פלט
gemini-2.5-flash US ו-EU אזורים גיאוגרפיים

אזורים בודדים כפי שמתועד לגבי gemini-2.5-flash במיקומי נקודות הקצה של מודלים של Google
לא רלוונטי להקצאת משאבים לפי התפוקה שנקבעה

‫9,300,000 ל-DSQ, לשיחה עם ממוצע של 500 טוקנים של קלט ו-50 טוקנים של פלט
gemini-2.5-pro US ו-EU אזורים גיאוגרפיים

אזורים בודדים כפי שמתועד לגבי gemini-2.5-pro במיקומי נקודות הקצה של מודלים של Google
לא רלוונטי להקצאת משאבים לפי התפוקה שנקבעה

‫7,600,000 ל-DSQ, לשיחה עם ממוצע של 500 טוקנים של קלט ו-50 טוקנים של פלט
AI.IF

AI.SCORE

AI.CLASSIFY
מודלים שונים של gemini-2.5-* Gemini אזורים גיאוגרפיים US ו-EU שכוללים מספר אזורים

כל אזור יחיד שנתמך באחד מgemini-2.5-* models מיקומי נקודות הקצה של מודלים של Google
לא מוגדרת מכסה. המיכסה נקבעת לפי מיכסה דינמית משותפת (DSQ)1 ‫10,000,000 לקריאה עם ממוצע של 500 טוקנים בכל שורת קלט ו-50 טוקנים של פלט.
AI.GENERATE_TEXT

ML.GENERATE_TEXT
Anthropic Claude מכסות לפי מודל ואזור מכסות לפי מודל ואזור הערך של בקשות לדקה * 60 * 6
Llama מידע על זמינות אזורית ומכסות של מודל Llama מידע על זמינות אזורית ומכסות של מודל Llama
Mistral AI מידע על הזמינות האזורית והמכסות של מודלים של Mistral AI מידע על הזמינות האזורית והמכסות של מודלים של Mistral AI
AI.GENERATE_EMBEDDING5

AI.EMBED

AI.SIMILARITY

AI.SEARCH

VECTOR_SEARCH

ML.GENERATE_EMBEDDING5
text-embedding

text-multilingual-embedding
כל האזורים שבהם נתמכים מודלים מרוחקים ‫1,5003,4 ‫80,000,000 לשיחה עם ממוצע של 50 טוקנים בכל שורת קלט

‫14,000,000 לשיחה עם ממוצע של 600 טוקנים בכל שורת קלט
multimodalembedding אזורים אירופיים נתמכים ‫1203 14,000
אזורים שאינם אזורים אירופיים נתמכים ‫6003 25,000

1 כשמשתמשים ב-DSQ, אין הגבלות מוגדרות מראש על המכסה של השימוש. במקום זאת, DSQ מספקת גישה למאגר גדול של משאבים משותפים, שמוקצים באופן דינמי על סמך הזמינות של המשאבים בזמן אמת והביקוש של הלקוח למודל הנתון. כשיש יותר לקוחות פעילים, כל לקוח מקבל פחות תפוקה. באופן דומה, כשיש פחות לקוחות פעילים, כל לקוח יכול לקבל תפוקה גבוהה יותר.

2 הקצאת משאבים לפי התפוקה שנקבעה היא מינוי בעלות קבועה לתקופה קבועה, שזמין למספר תקופות. הקצאת משאבים לפי התפוקה שנקבעה מאפשרת לכם לשריין תפוקה למודלים נתמכים של AI גנרטיבי ב-Vertex AI.

3 כדי להגדיל את המכסה, צריך לבקש שינוי במכסת השאילתות לדקה ב-Vertex AI. צריך להמתין 30 דקות עד שערך המכסה המוגדל יתעדכן.

4 אפשר להגדיל את מכסת השימוש במודלים של Vertex AI‏ text-embedding ו-text-multilingual-embedding ל-10,000 בקשות לדקה בלי אישור ידני. כתוצאה מכך, התפוקה גדלה ל-500,000,000 שורות לכל משימה או יותר, על סמך קריאה עם ממוצע של 50 טוקנים בכל שורת קלט.

5 הפונקציה הזו מוגבלת למקסימום של 5 משימות שפועלות בו-זמנית לכל פרויקט.

למידע נוסף על מכסות של מודלים גדולים של שפה (LLM) ב-Vertex AI, ראו מגבלות מכסות של AI גנרטיבי ב-Vertex AI.

מגבלות על מספר הטוקנים בדקה

המגבלות הבאות חלות על מודלים של Vertex AI שמשתמשים במכסת טוקנים לדקה:

פונקציה טוקנים לדקה שורות לכל משרה מספר המשימות שפועלות בו-זמנית
AI.GENERATE_EMBEDDING או ML.GENERATE_EMBEDDING כשמשתמשים במודל מרוחק במודל gemini-embedding-001 ‫10,000,000 ‫12,000,000, לקריאה עם ממוצע של 300 טוקנים לכל שורה 5

פונקציות של שירות AI בענן

המגבלות הבאות חלות על פונקציות שמשתמשות בשירותי Cloud AI:

פונקציה בקשות בדקה שורות לכל משרה מספר המשימות שפועלות בו-זמנית
ML.PROCESS_DOCUMENT עם מסמכים של חמישים עמודים בממוצע 600 ‫100,000 (על סמך ממוצע של 50 דפים בכל מסמך קלט) 5
ML.TRANSCRIBE 200 ‫10,000 (על סמך אורך ממוצע של דקה אחת לכל קובץ אודיו קלט) 5
ML.ANNOTATE_IMAGE ‫1,800 648,000 5
ML.TRANSLATE 6,000 2,160,000 5
ML.UNDERSTAND_TEXT 600 21,600 5

מידע נוסף על מכסת השימוש בממשקי Cloud AI API זמין במאמרים הבאים:

הגדרות מכסת הפונקציות

ברשימה הבאה מפורטות המכסות שחלות על פונקציות של AI גנרטיבי ושירותי Cloud AI:

  • פונקציות שקוראות למודל Vertex AI משתמשות במכסה אחת של Vertex AI, שהיא שאילתות לדקה (QPM). בהקשר הזה, השאילתות הן קריאות לבקשות מהפונקציה ל-API של מודל Vertex AI. מכסת השאילתות לדקה חלה על מודל בסיסי ועל כל הגרסאות, המזהים והגרסאות המותאמות של המודל הזה. למידע נוסף על מכסות המודלים של Vertex AI, אפשר לעיין במאמר מגבלות המכסות של AI גנרטיבי ב-Vertex AI.
  • פונקציות שמבצעות קריאה לשירות AI של Google Cloud משתמשות במכסות הבקשות של שירות היעד. פרטים נוספים זמינים במאמר בנושא מכסות של שירותי Cloud AI.
  • ב-BigQuery ML יש מכסות מהסוגים הבאים:

    • בקשות בדקה. המכסה הזו היא המגבלה על מספר קריאות הבקשות לדקה שפונקציות יכולות לבצע ל-API של מודל Vertex AI או של שירות Cloud AI. המגבלה הזו חלה על כל פרויקט, והיא משותפת לכל המשימות שמשתמשות באותה נקודת קצה של מודל.

      לשיחות עם מודלים של Gemini ב-Vertex AI אין מכסות שימוש מוגדרות מראש, כי מודלים של Gemini משתמשים במכסה משותפת דינמית (DSQ). DSQ מספקת גישה למאגר גדול של משאבים משותפים, שמוקצים באופן דינמי על סמך הזמינות בזמן אמת של המשאבים והביקוש של הלקוחות למודל הנתון.

    • טוקנים לדקה. המכסה הזה הוא המגבלה על מספר הטוקנים לדקה שהפונקציות יכולות לשלוח ל-API של המודל ב-Vertex AI. המגבלה הזו חלה על כל פרויקט.

      בפונקציות שמבצעות קריאה למודל בסיסי של Vertex AI, מספר הטוקנים לדקה משתנה בהתאם לנקודת הקצה, לגרסה ולאזור של מודל Vertex AI, וגם בהתאם למוניטין של הפרויקט. המכסה הזו זהה מבחינה רעיונית למכסת השאילתות לדקה שמשמשת את Vertex AI.

    • שורות לכל משרה. הערך Rows per job משמש כנקודת השוואה לביצועים, והוא מייצג את קיבולת העיבוד כשעבודה אחת משתמשת באופן בלעדי במשאבי נקודת הקצה של המודל בפרויקט. מספר השורות בפועל שעברו עיבוד תלוי בגורמים רבים, כולל גודל בקשת הקלט למודל, גודל תגובות הפלט מהמודל והזמינות של מכסת שימוש דינמית משותפת. בדוגמאות הבאות מוצגים כמה תרחישים נפוצים:

      • בנקודת הקצה gemini-2.0-flash-lite-001, מספר השורות שאפשר לעבד באמצעות הפונקציה AI.GENERATE_TEXT או ML.GENERATE_TEXT תלוי במספר האסימונים של הקלט והפלט. השירות יכול לעבד כ-7.6 מיליון שורות של שיחות עם מספר ממוצע של 2,000 טוקנים של קלט ומספר מקסימלי של 50 טוקנים של פלט. המספר הזה יורד לכמיליון שורות אם מספר הטוקנים הממוצע בקלט הוא 10,000 ומספר הטוקנים המקסימלי בפלט הוא 3,000.

        באופן דומה, נקודת הקצה gemini-2.0-flash-001 יכולה לעבד 4.4 מיליון שורות עבור קריאות עם מספר טוקנים ממוצע של 2,000 ומספר טוקנים מקסימלי של 50, אבל רק מיליון שורות עבור קריאות עם 10,000 טוקנים של קלט ו-3,000 טוקנים של פלט.

      • הפונקציה ML.PROCESS_DOCUMENT יכולה לעבד יותר שורות לכל משימה במסמכים קצרים לעומת מסמכים ארוכים.

      • הפונקציה ML.TRANSCRIBE יכולה לעבד יותר שורות בכל משימה עבור קטעי אודיו קצרים בהשוואה לקטעי אודיו ארוכים.

    • מספר המשימות שפועלות בו-זמנית. המכסה הזה הוא המגבלה לכל פרויקט על מספר שאילתות ה-SQL שאפשר להריץ בו-זמנית עבור הפונקציה הנתונה.

בדוגמאות הבאות מוסבר איך לפרש את מגבלות המכסה במצבים אופייניים:

  • יש לי מכסה של 1,000 שאילתות לדקה ב-Vertex AI, לכן שאילתה עם 100,000 שורות אמורה להימשך כ-100 דקות. למה העבודה פועלת יותר זמן?

    זמני הריצה של המשימות יכולים להשתנות גם עבור אותם נתוני קלט. ב-Vertex AI, לקריאות לפרוצדורות מרוחקות (RPC) יש עדיפויות שונות כדי למנוע ניצול יתר של המכסה. כשאין מספיק מכסת שימוש, בקשות RPC עם עדיפות נמוכה יותר ממתינות, ויכול להיות שהן ייכשלו אם ייקח יותר מדי זמן לעבד אותן.

  • איך מפרשים את המכסה של שורות לכל משימה?

    ב-BigQuery, שאילתה יכולה לפעול למשך שש שעות לכל היותר. מספר השורות המקסימלי שנתמך הוא פונקציה של ציר הזמן הזה ושל מכסת ה-QPM של Vertex AI, כדי לוודא ש-BigQuery יכול להשלים את עיבוד השאילתה תוך שש שעות. בדרך כלל שאילתה לא יכולה להשתמש בכל המכסה, ולכן המספר הזה נמוך יותר ממכסת השאילתות לדקה כפול 360.

  • מה קורה אם מריצים משימת הסקה בקבוצה על טבלה עם יותר שורות מהמכסה של שורות לכל משימה, למשל 10,000,000 שורות?

    מערכת BigQuery מעבדת רק את מספר השורות שצוין במכסת השורות לכל משימה. החיוב יתבצע רק על קריאות ה-API שבוצעו בהצלחה עבור מספר השורות הזה, ולא על כל 10,000,000 השורות בטבלה. בשאר השורות, BigQuery מגיב לבקשה עם השגיאה A retryable error occurred: the maximum size quota per query has reached, שמוחזרת בעמודה status של התוצאה. אפשר להשתמש בקבוצת סקריפטים של SQL או בחבילת Dataform כדי לחזור על קריאות ההיקש עד שכל השורות יעברו עיבוד בהצלחה.

  • יש לי הרבה יותר שורות לעיבוד מאשר המכסה של שורות לכל עבודה. האם פיצול השורות שלי לכמה שאילתות והרצה שלהן בו-זמנית יעזרו?

    לא, כי השאילתות האלה צורכות את אותה מכסה של בקשות לדקה (QPM) ב-BigQuery ML ואת אותה מכסה של QPM ב-Vertex AI. אם יש כמה שאילתות שכולן לא חורגות מהמכסה של שורות לכל משימה ומהמכסה של מספר המשימות שפועלות בו-זמנית, העיבוד המצטבר יגרום למיצוי המכסה של בקשות לדקה.

BI Engine

ההגבלות הבאות חלות על BigQuery BI Engine.

הגבלה ברירת מחדל הערות
גודל מקסימלי של מקום שמור לכל פרויקט לכל מיקום (BigQuery BI Engine) ‫‎250 GiB ‫250GiB הוא גודל ההזמנה המקסימלי שמוגדר כברירת מחדל לכל פרויקט ולכל מיקום. אתם יכולים לבקש להגדיל את קיבולת ההזמנה המקסימלית של הפרויקטים שלכם. הגדלת הזמנות זמינה ברוב האזורים, והיא עשויה להימשך 3 ימי עסקים או יותר, בהתאם לגודל ההגדלה המבוקשת. במקרה של בקשות דחופות, צריך לפנות לנציג Google Cloud שלך או ל-Cloud Customer Care.
המספר המקסימלי של שורות לכל שאילתה 7 מיליארד מספר השורות המקסימלי לכל שאילתה.

BigQuery sharing (לשעבר Analytics Hub)

המגבלות הבאות חלות על שיתוף ב-BigQuery (לשעבר Analytics Hub):

הגבלה ברירת מחדל הערות
המספר המקסימלי של מרכזי נתונים בכל פרויקט ‫500 תכתובות אפשר ליצור עד 500 מרכזי נתונים בפרויקט.
המספר המקסימלי של דפים עסקיים לכל שיתוף נתונים ‫1,000 כרטיסי מוצר אפשר ליצור עד 1,000 כרטיסי מוצר בחילופי נתונים.
מספר קבוצות הנתונים המקושרות המקסימלי לכל קבוצת נתונים משותפת ‫1,000 מערכי נתונים מקושרים לכל המנויים של BigQuery sharing, ביחד, יכולים להיות לכל היותר 1,000 מערכי נתונים מקושרים לכל מערך נתונים משותף.

גילוי אוטומטי ב-Dataplex Universal Catalog

המגבלות הבאות חלות על גילוי אוטומטי ב-Dataplex Universal Catalog:

הגבלה ברירת מחדל הערות
מספר הטבלאות המקסימלי ב-BigQuery, ב-BigLake או בטבלאות חיצוניות לכל קטגוריה של Cloud Storage שסריקת גילוי תומכת בה ‫1,000 טבלאות BigQuery לכל דלי אפשר ליצור עד 1,000 טבלאות BigQuery לכל קטגוריה של Cloud Storage.

מכסות ומגבלות של API

המכסות וההגבלות האלה חלות על בקשות של BigQuery API.

BigQuery API

המכסות הבאות חלות על בקשות של BigQuery API (ליבה):

מכסה ברירת מחדל הערות
בקשות ביום ללא הגבלה בכל יום אפשר לשלוח מהפרויקט מספר בלתי מוגבל של בקשות ל-BigQuery API.
הצגת המכסה ב Google Cloud מסוף
מקסימום tabledata.list בייט לדקה ‫7.5GB במספר אזורים, 3.7GB בכל האזורים האחרים הפרויקט יכול להחזיר נתונים של שורות בטבלה בגודל של עד 7.5GB לדקה דרך tabledata.list באזורים מרובים של us וeu, ונתונים של שורות בטבלה בגודל של עד 3.7GB לדקה בכל האזורים האחרים. המכסה הזו חלה על הפרויקט שמכיל את הטבלה שקוראים ממנה. גם ממשקי API אחרים, כולל jobs.getQueryResults ו jobs.query ו jobs.insert, יכולים לנצל את המכסה הזו. מידע על פתרון בעיות מופיע בדף לפתרון בעיות.
הצגת המכסה ב Google Cloud מסוף

BigQuery Storage Read API יכול לתמוך בנפח נתונים גבוה משמעותית בהשוואה ל-tabledata.list. אם אתם צריכים תפוקה גבוהה יותר מהמותר במסגרת המכסה הזו, כדאי להשתמש ב-BigQuery Storage Read API.

המגבלות הבאות חלות על בקשות של BigQuery API (ליבה):

הגבלה ברירת מחדל הערות
מספר הבקשות המקסימלי ל-API בשנייה לכל משתמש לכל שיטה ‫100 בקשות משתמש יכול לשלוח עד 100 בקשות API בשנייה לשיטת API. אם משתמש שולח יותר מ-100 בקשות בשנייה לשיטה מסוימת, יכול להיות שהמערכת תגביל את קצב הבקשות. המגבלה הזו לא חלה על הוספות בסטרימינג.

מידע נוסף לפתרון בעיות מופיע בדף לפתרון בעיות.
מספר מקסימלי של בקשות API בו-זמניות לכל משתמש ‫300 בקשות אם משתמש שולח יותר מ-300 בקשות בו-זמנית, יכול להיות שיופעל מנגנון ויסות התעבורה. המגבלה הזו לא חלה על הוספות בסטרימינג.
גודל מקסימלי של כותרת בקשה ‎16 KiB בקשת BigQuery API יכולה להיות עד 16KiB, כולל כתובת ה-URL של הבקשה וכל הכותרות. המגבלה הזו לא חלה על גוף הבקשה, למשל בבקשת POST.
מקסימום jobs.get בקשות לשנייה ‫1,000 בקשות בפרויקט שלכם אפשר להגיש עד 1,000 jobs.get בקשות לשנייה.
גודל תגובה מקסימלי של jobs.query 20 MB כברירת מחדל, אין מגבלה על מספר השורות של נתונים שמוחזרים על ידי jobs.query לכל דף תוצאות. עם זאת, גודל התגובה מוגבל ל-20MB. אפשר לשנות את מספר השורות שיוחזרו באמצעות הפרמטר maxResults.
גודל השורה המקסימלי של jobs.getQueryResults 20 MB גודל השורה המקסימלי הוא משוער, כי המגבלה מבוססת על הייצוג הפנימי של נתוני השורה. המגבלה נאכפת במהלך הקידוד מחדש.
מקסימום projects.list בקשות לשנייה ‫10 בקשות משתמש יכול לשלוח עד 10 projects.list בקשות לשנייה.
המספר המקסימלי של בקשות tabledata.list לשנייה ‫1,000 בקשות בפרויקט שלכם אפשר להגיש עד 1,000 בקשות tabledata.list לשנייה.
מספר השורות המקסימלי בתשובה של tabledata.list ‫100,000 שורות קריאה לפונקציה tabledata.list יכולה להחזיר עד 100,000 שורות של טבלה. מידע נוסף זמין במאמר בנושא הצגת תוצאות בדפים באמצעות ה-API.
גודל השורה המקסימלי של tabledata.list ‫100MB גודל השורה המקסימלי הוא משוער, כי המגבלה מבוססת על הייצוג הפנימי של נתוני השורה. המגבלה נאכפת במהלך הקידוד מחדש.
מקסימום tables.insert בקשות לשנייה ‫10 בקשות משתמש יכול לשלוח עד 10 בקשות tables.insert לשנייה. השיטה tables.insert יוצרת טבלה חדשה וריקה במערך נתונים.

BigQuery Connection API

המכסות הבאות חלות על בקשות של BigQuery Connection API:

מכסה ברירת מחדל הערות
בקשות קריאה לדקה ‫1,000 בקשות לדקה הפרויקט יכול לשלוח עד 1,000 בקשות בדקה לשיטות של BigQuery Connection API שקוראות נתוני חיבור.
הצגת המכסה ב Google Cloud מסוף
כתיבת בקשות לדקה ‫100 בקשות לדקה בכל פרויקט אפשר לשלוח עד 100 בקשות בדקה לשיטות של BigQuery Connection API שיוצרות או מעדכנות חיבורים.
הצגת המכסה ב Google Cloud מסוף
חיבורי BigQuery Omni שנוצרו בדקה נוצרים 10 חיבורים לדקה בכל דקה, אפשר ליצור בפרויקט עד 10 חיבורים ל-BigQuery Omni, בסך הכול ב-AWS וב-Azure.
שימושים בחיבור BigQuery Omni ‫500 פעולות שימוש בחיבור לדקה בפרויקט שלכם אפשר להשתמש בחיבור BigQuery Omni עד 500 פעמים בדקה. ההגבלה הזו חלה על פעולות שמשתמשות בחיבור שלכם כדי לגשת לחשבון AWS, כמו שאילתה של טבלה.

BigQuery Migration API

המגבלות הבאות חלות על BigQuery Migration API:

הגבלה ברירת מחדל הערות
גודל קובץ בודד לתרגום SQL באצווה ‫10MB כל קובץ מקור וקובץ מטא-נתונים יכולים להיות בגודל של עד 10MB. המגבלה הזו לא חלה על קובץ ה-ZIP של המטא-נתונים שנוצר על ידי כלי החילוץ משורת הפקודה dwh-migration-dumper.
הגודל הכולל של קובצי המקור לתרגום SQL באצווה ‎1GB הגודל הכולל של כל קובצי הקלט שהועלו ל-Cloud Storage יכול להיות עד 1GB. ההורדה כוללת את כל קובצי המקור ואת כל קובצי המטא-נתונים, אם בחרתם לכלול אותם.
גודל מחרוזת הקלט לתרגום אינטראקטיבי של SQL ‫1MB המחרוזת שאתם מזינים לתרגום אינטראקטיבי של SQL לא יכולה להיות גדולה מ-1MB. כשמריצים תרגומים אינטראקטיביים באמצעות Translation API, המגבלה הזו חלה על הגודל הכולל של כל מחרוזות הקלט.
הגודל המקסימלי של קובץ התצורה לתרגום אינטראקטיבי של SQL 50MB קבצים בודדים של מטא-נתונים (דחוסים) וקבצי הגדרות YAML ב-Cloud Storage לא יכולים להיות גדולים מ-50MB. אם גודל הקובץ גדול מ-50MB, הכלי האינטראקטיבי לתרגום מדלג על קובץ התצורה הזה במהלך התרגום ומציג הודעת שגיאה. אחת הדרכים להקטין את הגודל של קובץ המטא-נתונים היא להשתמש בדגלים —database או –schema כדי לסנן מסדי נתונים כשיוצרים את המטא-נתונים.
המספר המקסימלי של הצעות מ-Gemini בשעה ‫1,000 (אפשר לצבור עד 10,000 אם לא משתמשים) במקרה הצורך, אפשר לפנות אל Cloud Customer Care כדי לבקש הגדלה של המכסה.

המכסות הבאות חלות על BigQuery Migration API. ברוב המקרים, ערכי ברירת המחדל הבאים חלים. יכול להיות שברירות המחדל של הפרויקט שלכם יהיו שונות:

מכסה ברירת מחדל הערות

EDWMigration Service List Requests per minute

EDWMigration Service List Requests per minute per user

‫12,000 בקשות

‫2,500 בקשות

בכל פרויקט אפשר לשלוח עד 12,000 בקשות של Migration API List בדקה.

כל משתמש יכול לשלוח עד 2,500 בקשות לרשימה של Migration API בדקה.

הצגת מכסות ב Google Cloud מסוף

EDWMigration Service Get Requests per minute

EDWMigration Service Get Requests per minute per user

‫25,000 בקשות

‫2,500 בקשות

בכל פרויקט אפשר לשלוח עד 25,000 בקשות Get ל-Migration API בדקה.

כל משתמש יכול לשלוח עד 2,500 בקשות Get ל-Migration API בדקה.

הצגת מכסות ב Google Cloud מסוף

EDWMigration Service Other Requests per minute

EDWMigration Service Other Requests per minute per user

‫25 בקשות

‫5 בקשות

בכל פרויקט אפשר לשלוח עד 25 בקשות אחרות ל-Migration API בדקה.

כל משתמש יכול לשלוח עד 5 בקשות נוספות ל-Migration API בכל דקה.

הצגת מכסות ב Google Cloud מסוף

בקשות אינטראקטיביות לתרגום SQL לדקה

בקשות אינטראקטיביות לתרגום SQL לדקה לכל משתמש

‫200 בקשות

‫50 בקשות

בכל פרויקט אפשר לשלוח עד 200 בקשות לשירות התרגום של SQL בכל דקה.

כל משתמש יכול לשלוח עד 50 בקשות נוספות לשירות תרגום SQL בדקה.

הצגת מכסות ב Google Cloud מסוף

BigQuery Reservation API

המכסות הבאות חלות על בקשות ל-BigQuery Reservation API:

מכסה ברירת מחדל הערות
בקשות לדקה לכל אזור ‫100 בקשות בכל פרויקט אפשר לבצע עד 100 קריאות לשיטות של BigQuery Reservation API בדקה לכל אזור.
הצגת מכסות ב Google Cloud מסוף
מספר השיחות ב-SearchAllAssignments לדקה בכל אזור ‫100 בקשות בכל פרויקט אפשר לבצע עד 100 קריאות לשיטה SearchAllAssignments בדקה לכל אזור.
הצגת מכסות ב Google Cloud מסוף
בקשות ל-SearchAllAssignments לדקה לכל אזור לכל משתמש ‫10 בקשות כל משתמש יכול לבצע עד 10 שיחות לשיטה SearchAllAssignments לדקה לכל אזור.
הצגת מכסות ב Google Cloud מסוף
(בתוצאות החיפוש של Google Cloud המסוף, מחפשים לכל משתמש).

BigQuery Data Policy API

המגבלות הבאות חלות על Data Policy API (תצוגה מקדימה):

הגבלה ברירת מחדל הערות
מספר השיחות המקסימלי של dataPolicies.list ‫400 בקשות לדקה לכל פרויקט

‫600 בקשות לדקה לכל ארגון
מספר השיחות המקסימלי של dataPolicies.testIamPermissions. ‫400 בקשות לדקה לכל פרויקט

‫600 בקשות לדקה לכל ארגון
המספר המקסימלי של בקשות קריאה. ‫1,200 בקשות לדקה לכל פרויקט

‫1,800 בקשות לדקה לכל ארגון
זה כולל קריאות אל dataPolicies.get ו- dataPolicies.getIamPolicy.
המספר המקסימלי של בקשות כתיבה. ‫600 בקשות לדקה לכל פרויקט

‫900 בקשות לדקה לכל ארגון

זה כולל שיחות אל:

IAM API

המכסות הבאות חלות כשמשתמשים בתכונות של ניהול זהויות והרשאות גישה ב-BigQuery כדי לאחזר ולהגדיר מדיניות IAM, וכדי לבדוק הרשאות IAM. השימוש בהצהרות שפת בקרת נתונים (DCL) נספר במסגרת מכסת SetIAMPolicy.

מכסה ברירת מחדל הערות
IamPolicy בקשות לדקה לכל משתמש ‫1,500 בקשות לדקה לכל משתמש כל משתמש יכול לשלוח עד 1,500 בקשות לדקה לכל פרויקט.
הצגת המכסה ב Google Cloud מסוף
IamPolicy בקשות לדקה לכל פרויקט ‫3,000 בקשות לדקה לכל פרויקט בפרויקט אפשר לשלוח עד 3,000 בקשות לדקה.
הצגת המכסה ב Google Cloud מסוף
אזור יחיד SetIAMPolicy בקשות לדקה לכל פרויקט ‫1,000 בקשות לדקה לכל פרויקט בפרויקט עם אזור יחיד אפשר לשלוח עד 1,000 בקשות לדקה.
הצגת המכסה ב Google Cloud מסוף
במספר אזורים SetIAMPolicy בקשות לדקה לכל פרויקט ‫2,000 בקשות לדקה לכל פרויקט בפרויקט מרובה אזורים אפשר לשלוח עד 2,000 בקשות לדקה.
הצגת המכסה ב Google Cloud מסוף
בקשות בכל האזורים SetIAMPolicy לדקה לכל פרויקט ‫200 בקשות לדקה לכל פרויקט בפרויקט רב-אזורי אפשר לשלוח עד 200 בקשות בדקה.
הצגת המכסה ב Google Cloud מסוף

Storage Read API

המכסות הבאות חלות על בקשות של BigQuery Storage Read API:

מכסה ברירת מחדל הערות
קריאה של בקשות במישור הנתונים לדקה לכל משתמש ‫25,000 בקשות כל משתמש יכול לבצע עד 25,000 שיחות ReadRows בדקה לכל פרויקט.
הצגת המכסה ב Google Cloud מסוף
קריאת בקשות של מישור הבקרה לדקה לכל משתמש ‫5,000 בקשות כל משתמש יכול לבצע עד 5,000 קריאות לפעולות מטא-נתונים של Storage Read API בדקה לכל פרויקט. קריאות המטא-נתונים כוללות את ה-methods‏ CreateReadSession ו-SplitReadStream.
הצגת המכסה ב Google Cloud מסוף

המגבלות הבאות חלות על בקשות של BigQuery Storage Read API:

הגבלה ברירת מחדל הערות
אורך מקסימלי של שורה או מסנן ‫1MB כשמשתמשים בקריאה ל-Storage Read API‏ CreateReadSession, יש מגבלה של 1MB לכל שורה או מסנן.
גודל מקסימלי של נתונים שעברו סריאליזציה ‫128MB כשמשתמשים בקריאה ל-Storage Read API ReadRows, הייצוג הסדרתי של הנתונים בהודעה ReadRowsResponse לא יכול להיות גדול מ-128MB.
מספר מקסימלי של חיבורים בו-זמניים ‫2,000 במספר אזורים, 400 באזורים אפשר לפתוח עד 2,000 חיבורים בו-זמנית לכל פרויקט ב-us וב-eu, ו-400 חיבורים בו-זמנית באזורים אחרים.ReadRowsReadRows במקרים מסוימים, יכול להיות שתהיה לכם אפשרות להשתמש בפחות חיבורים בו-זמניים מהמגבלה הזו.
שימוש מקסימלי בזיכרון לכל סטרימינג ‫1.5GB הזיכרון המקסימלי לכל זרם הוא משוער, כי המגבלה מבוססת על הייצוג הפנימי של נתוני השורה. יכול להיות שסטרימינג של נתונים שמשתמשים ביותר מ-1.5GB של זיכרון לשורה אחת ייכשל. מידע נוסף זמין במאמר פתרון בעיות שקשורות לחריגה ממגבלות המשאבים.

Storage Write API

המכסות הבאות חלות על בקשות ל-Storage Write API. אפשר להחיל את המכסות הבאות ברמת התיקייה. המכסות האלה מצטברות ומשותפות בין כל פרויקטי הצאצא. כדי להפעיל את ההגדרה הזו, צריך לפנות אל Cloud Customer Care.

אם אתם מתכננים לבקש שינוי במכסה, כדאי לכלול את הודעת השגיאה בנוגע למכסה בבקשה כדי לזרז את הטיפול בה. יכול להיות שמכסת ההקצאה שלכם תצומצם ב-BigQuery אם לא נעשה בה שימוש משמעותי במשך יותר משנה.

מכסה ברירת מחדל הערות
חיבורים בו-זמניים ‫1,000 באזור, 10,000 במספר אזורים

המכסה של חיבורים בו-זמניים מבוססת על פרויקט הלקוח שיזם את בקשת ה-API של Storage Write, ולא על הפרויקט שמכיל את משאב מערך הנתונים של BigQuery. פרויקט ההפעלה הוא הפרויקט שמשויך למפתח ה-API או לחשבון השירות.

הפרויקט יכול לפעול עם 1,000 חיבורים בו-זמניים באזור אחד, או עם 10,000 חיבורים בו-זמניים באזורים מרובים US ו-EU.

כשמשתמשים בזרם ברירת המחדל ב-Java או ב-Go, מומלץ להשתמש בStorage Write API multiplexing כדי לכתוב לכמה טבלאות יעד עם חיבורים משותפים, וכך לצמצם את מספר החיבורים הכולל שנדרשים. אם אתם משתמשים במחבר Beam עם סמנטיקה של לפחות פעם אחת, אתם יכולים להגדיר את UseStorageApiConnectionPool לערך TRUE כדי להפעיל ריבוב.

הצגת המכסה במסוף Google Cloud

אפשר לראות את מדדי המכסות והמגבלות של הפרויקטים ב-Cloud Monitoring. בוחרים את שם המגבלה על מספר החיבורים בו-זמנית בהתאם לאזור. האפשרויות הן ConcurrentWriteConnectionsPerProject, ConcurrentWriteConnectionsPerProjectEU ו-ConcurrentWriteConnectionsPerProjectRegion עבור us, eu ואזורים אחרים, בהתאמה.

מומלץ מאוד להגדיר התראות כדי לעקוב אחרי השימוש במכסת האחסון והמגבלות. בנוסף, אם יש עלייה פתאומית בדפוסי התנועה או צמיחה אורגנית קבועה, כדאי להגדיל את המכסה ב-25% עד 50% כדי להתמודד עם ביקוש בלתי צפוי.

תפוקה תפוקה של 3GB לשנייה במספר אזורים, 300MB לשנייה באזורים אפשר להזרים עד 3GBps באזורים us וeu, ו-300MBps באזורים אחרים לכל פרויקט.
הצגת המכסה ב Google Cloud מסוף

אפשר לראות את מדדי המכסות והמגבלות של הפרויקטים ב-Cloud Monitoring. בוחרים את שם מגבלת התפוקה בהתאם לאזור. האפשרויות הן AppendBytesThroughputPerProject, AppendBytesThroughputPerProjectEU ו-AppendBytesThroughputPerProjectRegion עבור us, eu ואזורים אחרים, בהתאמה. מכסת התפוקה של פעולות כתיבה נמדדת לפי הפרויקט שבו נמצא מערך היעד, ולא לפי פרויקט הלקוח.

מומלץ מאוד להגדיר התראות כדי לעקוב אחרי השימוש במכסת האחסון והמגבלות. בנוסף, אם יש עלייה פתאומית בדפוסי התנועה או צמיחה אורגנית קבועה, כדאי להגדיל את המכסה ב-25% עד 50% כדי להתמודד עם ביקוש בלתי צפוי.


CreateWriteStream בקשות ‫10,000 סטרימינג בכל שעה, לכל פרויקט לכל אזור אפשר לבצע עד CreateWriteStream קריאות בשעה לכל פרויקט בכל אזור. אם לא צריך סמנטיקה של 'פעם אחת בדיוק', כדאי להשתמש בשידור ברירת המחדל. המכסה הזה הוא שעתי, אבל המדד שמוצג במסוף Google Cloud הוא דקות.
בייטים של שידור בהמתנה ‫10TB במספר אזורים; 1TB באזורים לכל פעולת שליחה שאתם מפעילים, אתם יכולים לשלוח עד 10 TB באזורים הגיאוגרפיים us ו-eu, ועד 1 TB באזורים אחרים. אין דיווח על המכסה הזו.

המגבלות הבאות חלות על בקשות של Storage Write API:

הגבלה ברירת מחדל הערות
ביצוע שינויים באצווה ‫10,000 זרמים לכל טבלה אפשר לבצע קומיט של עד 10,000 זרמים בכל קריאה ל-BatchCommitWriteStream.
AppendRows גודל הבקשה ‫10MB גודל הבקשה המקסימלי הוא 10MB.

הזנת זרם נתונים

המכסות וההגבלות הבאות חלות כשמעבירים נתונים ל-BigQuery באמצעות Legacy streaming API. במאמר פתרון בעיות שקשורות למכסות מוסבר איך אפשר להישאר במסגרת המגבלות האלה. אם תחרגו מהמכסות האלה, מערכת BigQuery תחזיר שגיאה quotaExceeded. יכול להיות שמכסת ההקצאה שלכם תצומצם ב-BigQuery אם לא נעשה בה שימוש משמעותי במשך יותר משנה.

הגבלה ברירת מחדל הערות
מספר הבייטים המקסימלי לשנייה לכל פרויקט באזורים מרובים us ו-eu ‫1GB לשנייה

הפרויקט יכול להזרים עד 1GB לשנייה. המכסה הזה הוא מצטבר במספר אזורים נתון. במילים אחרות, סכום הבייטים לשנייה שמוזרמים לכל הטבלאות בפרויקט נתון במספר אזורים מוגבל ל-1GB.

חריגה מהמגבלה הזו גורמת לשגיאות quotaExceeded.

במקרה הצורך, אפשר לפנות אל Cloud Customer Care כדי לבקש הגדלה של המכסה. כדאי לשלוח את הבקשה להגדלת המגבלה בהקדם האפשרי, ולפחות שבועיים לפני שתזדקקו להגדלה. הגדלת המכסה מתבצעת תוך זמן מה, במיוחד במקרה של הגדלה משמעותית.

מספר הבייטים המקסימלי לשנייה לכל פרויקט בכל שאר המיקומים ‫300MB לשנייה

בכל המיקומים, למעט האזורים הגיאוגרפיים us ו-eu, אפשר להזרים בפרויקט עד 300MB לשנייה. המיכסה הזו היא מצטברת במסגרת מיקום נתון במספר אזורים. במילים אחרות, הסכום של בייטים לשנייה שמוזרמים לכל הטבלאות בפרויקט נתון באזור מסוים מוגבל ל-300MB.

חריגה מהמגבלה הזו גורמת לשגיאות quotaExceeded.

במקרה הצורך, אפשר לפנות אל Cloud Customer Care כדי לבקש הגדלה של המכסה. כדאי לשלוח את הבקשה להגדלת המגבלה בהקדם האפשרי, ולפחות שבועיים לפני שתזדקקו להגדלה. הגדלת המכסה מתבצעת תוך זמן מה, במיוחד במקרה של הגדלה משמעותית.

גודל שורה מקסימלי ‫10MB חריגה מהערך הזה גורמת לשגיאות invalid.
מגבלת הגודל של בקשת HTTP ‫10MB

חריגה מהערך הזה גורמת לשגיאות invalid.

באופן פנימי, הבקשה מתורגמת מ-HTTP JSON למבנה נתונים פנימי. למבנה הנתונים המתורגם יש מגבלת גודל משלו. קשה לחזות את הגודל של מבנה הנתונים הפנימי שיתקבל, אבל אם תגבילו את בקשות ה-HTTP ל-10MB או פחות, הסיכוי שתגיעו למגבלה הפנימית נמוך.

מספר השורות המקסימלי לכל בקשה ‫50,000 שורות מומלץ להשתמש בגיליון עם עד 500 שורות. הוספה של בקשות לאצווה יכולה לשפר את הביצועים ואת קצב העברת הנתונים עד לנקודה מסוימת, אבל על חשבון זמן האחזור לכל בקשה. אם יש מעט מדי שורות בכל בקשה, התקורה של כל בקשה עלולה להפוך את ההעברה ללא יעילה. יותר מדי שורות בכל בקשה, וקצב העברת הנתונים יכול לרדת. כדאי לבצע ניסוי עם נתונים מייצגים (סכימה וגדלי נתונים) כדי לקבוע את גודל האצווה האידיאלי לנתונים שלכם.
insertId אורך השדה 128 תווים חריגה מהערך הזה גורמת לשגיאות invalid.

למידע נוסף על מכסת סטרימינג, ראו בקשה להגדלת מכסה.

רוחב פס

המכסות הבאות חלות על רוחב הפס של הרפליקציה:

מכסה ברירת מחדל הערות
רוחב הפס המקסימלי של רפליקציית ההשלמה הראשונית לכל אזור שבו מתבצעת תעבורת נתונים יוצאת (egress) בין אזורים מהרפליקה הראשית לרפליקות המשניות. ‫10 GiBps פיזיים לכל אזור לכל ארגון
רוחב הפס המקסימלי של שכפול מתמשך לכל אזור שבו מתבצעת יציאת נתונים בין אזורים מהרפליקה הראשית לרפליקות המשניות. ‫5 GiBps פיזיים לכל אזור לכל ארגון
רוחב הפס המקסימלי של רפליקציה בקצב טורבו לכל אזור שבו יש יציאת נתונים בין אזורים מהרפליקה הראשית לרפליקות המשניות. ‫5 GiBps פיזיים לכל אזור לכל ארגון מכסת רוחב הפס של רפליקציה בקצב טורבו לא חלה על פעולת המילוי החוזר הראשונית.

כשרוחב הפס של השכפול בפרויקט חורג ממכסה מסוימת, יכול להיות שהשכפול מפרויקטים מושפעים ייפסק עם השגיאה rateLimitExceeded שכוללת פרטים על המכסה שנחצתה.