מכסות ומגבלות
במאמר הזה מפורטות המכסות והמגבלות של המערכת שחלות על BigQuery.
- המכסות נקבעות כברירת מחדל, אבל בדרך כלל אפשר לבקש לשנות אותן.
- מגבלות המערכת קבועות ואי אפשר לשנות אותן.
המכסות שלGoogle Cloud עוזרות לשמור על הוגנות ולצמצם עליות חדות בשימוש במשאבים ובזמינות שלהם. הן מגבילות את כמות המשאבים שלGoogle Cloud שאפשר להשתמש בהם בפרויקט ב- Google Cloud . המכסות רלוונטיות למגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות. לדוגמה, המכסות יכולות להגביל את מספר הקריאות ל-API בשירות מסוים, את מספר מאזני העומסים שאפשר להשתמש בהם בו-זמנית בפרויקט או את מספר הפרויקטים שאפשר ליצור. בשורה התחתונה, המכסות מגינות על משתמשיGoogle Cloud בכך שהן מונעות עומס יתר על השירותים, אבל גם עוזרות לשלוט על השימוש במשאבי Google Cloud .
מערכת המכסות ב-Cloud:
- עוקבת אחרי השימוש במוצרים ובשירותים של Google Cloud
- מגבילה את השימוש במשאבים האלה
- כוללת כלי שבאמצעותו אפשר לשלוח בקשות לשינוי המכסות ולשנות אותן אוטומטית
ברוב המקרים, כשאתם מנסים להשתמש ביותר משאבים מהמכסה, הגישה למשאב נחסמת ומה שאתם מנסים לעשות נכשל.
בדרך כלל, המכסות ב- Google Cloud הן ברמת הפרויקט. כלומר, השימוש במשאב מסוים בפרויקט כלשהו לא משפיע על המכסה שלכם בפרויקטים אחרים. ברמת הפרויקט ב- Google Cloud , המכסות משותפות לכל האפליקציות וכתובות ה-IP.
למשאבי BigQuery יש גם מגבלות מערכת. שאי אפשר לשנות.
חלק מהודעות השגיאה מציינות מכסות או מגבלות שאפשר להגדיל, ואילו הודעות שגיאה אחרות מציינות מכסות או מגבלות שאי אפשר להגדיל. הגעה למגבלה קשה פירושה שצריך להטמיע פתרונות זמניים או קבועים או שיטות מומלצות לעומס העבודה. מומלץ לעשות זאת, גם אם מדובר במכסות או במגבלות שאפשר להגדיל. פרטים על שני סוגי השגיאות מופיעים במאמר פתרון בעיות שקשורות למכסות ולמגבלות.
כברירת מחדל, המכסות והמגבלות של BigQuery חלות על בסיס לכל פרויקט. מכסות ומגבלות שחלות על בסיס שונה מצוינות בהתאם. לדוגמה, מספר העמודות המקסימלי לכל טבלה או מספר בקשות ה-API המקסימלי בו-זמנית לכל משתמש. המדיניות הספציפית משתנה בהתאם לזמינות המשאבים, לפרופיל המשתמש, להיסטוריית השימוש בשירותים ולגורמים נוספים, והיא עשויה להשתנות ללא הודעה מוקדמת.
חידוש המכסה
המכסות היומיות מתחדשות במרווחי זמן קבועים במהלך היום, ומשקפות את הכוונה שלהן להנחות התנהגויות של הגבלת קצב של יצירת בקשות. בנוסף, המערכת מבצעת רענון לסירוגין כדי למנוע שיבושים ארוכים כשמגיעים למכסה. בדרך כלל, מכסה נוספת הופכת לזמינה תוך דקות, ולא מתחדשת באופן גלובלי פעם ביום.
איך מבקשים להגדיל את המכסות
כדי לשנות את רוב המכסות, משתמשים במסוף Google Cloud . מידע נוסף זמין במאמר בנושא שליחת בקשה לשינוי המכסות.
בלחיצה על תראו לי איך תקבלו הסבר מפורט על התהליך של הגשת בקשה להגדלת מכסה במסוף Google Cloud :
הגבלת השימוש במכסה
כדי ללמוד איך להגביל את השימוש במשאבים מסוימים על ידי יצירת חריגה ממכסה, ראו יצירת חריגה ממכסה.
ההרשאות הנדרשות
כדי לראות ולעדכן את המכסות שלכם ב-BigQuery בGoogle Cloud מסוף, אתם צריכים את אותן הרשאות כמו לכל מכסה Google Cloud. מידע נוסף זמין במאמר בנושא Google Cloud הרשאות למכסות.
פתרון בעיות
מידע על פתרון בעיות שקשורות למכסות ולמגבלות זמין במאמר פתרון בעיות שקשורות למכסות ב-BigQuery.
תעסוקה
מכסות ומגבלות חלות על עבודות ש-BigQuery מריץ בשמכם, בין אם הן מורצות באמצעות Google Cloud המסוף, כלי שורת הפקודה של BigQuery או באופן פרוגרמטי באמצעות API בארכיטקטורת REST או ספריות לקוח.
משימות של השאילתה
המכסות הבאות חלות על משימות של שאילתות שנוצרות באופן אוטומטי על ידי הפעלת שאילתות אינטראקטיביות, שאילתות מתוזמנות ומשימות שנשלחות באמצעות ה-API של jobs.query ושיטות ה-API של jobs.insert מסוג שאילתה.
מידע לפתרון בעיות זמין בדף לפתרון בעיות ב-BigQuery.
| מכסה | ברירת מחדל | הערות |
|---|---|---|
| שימוש בשאילתות ביום | 200 טביבייט (TiB) | המכסה הזו חלה רק על מודל התמחור של שאילתות לפי דרישה. בפרויקט אפשר להריץ עד 200TiB של שאילתות ביום. אפשר לשנות את המגבלה הזו בכל שלב. מידע נוסף על אמצעים לשליטה בעלויות זמין במאמר יצירת מכסות מותאמות אישית של שאילתות. הצגת המכסה ב Google Cloud מסוף |
| שימוש בשאילתות ביום לכל משתמש | ללא הגבלה | המכסה הזו חלה רק על מודל התמחור של שאילתות לפי דרישה. אין מגבלת ברירת מחדל על מספר ה-TiB בשאילתות שמשתמש יכול להריץ ביום. אפשר להגדיר את המגבלה בכל שלב. ללא קשר למגבלה לכל משתמש, סך השימוש של כל המשתמשים בפרויקט לא יכול לחרוג מהמגבלה על השימוש בשאילתות ליום. מידע נוסף על אמצעים לשליטה בעלויות זמין במאמר יצירת מכסות מותאמות אישית של שאילתות. הצגת המכסה ב Google Cloud מסוף |
| GoogleSQL federated query cross-region bytes per day | 1TB | אם
מיקום העיבוד של שאילתת BigQuery ומיקום מופע Cloud SQL שונים, השאילתה היא שאילתה חוצת-אזורים. בפרויקט שלכם אפשר להריץ עד 1 TB של שאילתות חוצות-אזורים
בכל יום. מידע על שאילתות מאוחדות ב-Cloud SQL הצגת המכסה ב Google Cloud מסוף |
| גודל ההעברה (בייטים) בין עננים ביום | 1TB |
אתם יכולים להעביר עד 1TB של נתונים ביום מקטגוריה של Amazon S3 או מ-Azure Blob Storage.
הצגת המכסה ב Google Cloud מסוף |
| בייטים שהועברו על ידי שאילתות גלובליות ביום לכל צמד אזורים | 180TB | אפשר להעביר עד 180 TB של נתונים ביום בין כל זוג אזורים באמצעות שאילתות גלובליות. |
| העתקת משימות של שאילתות גלובליות לכל פרויקט | 10,000 |
אפשר להריץ עד 10,000 עבודות העתקה לכל פרויקט כשמריצים שאילתות גלובליות שמעתיקות נתונים בין אזורים. שאילתה עם אחזור נתונים גלובלי אחת עשויה להפעיל כמה משימות העתקה.
הצגת המכסה ב Google Cloud מסוף |
| בייטים שהועברו על ידי עבודת העתקה אחת בשאילתה עם אחזור נתונים גלובלי | 100GB | אי אפשר להעביר יותר מ-100GB באמצעות עבודת העתקה אחת שמהווה חלק משאילתה עם אחזור נתונים גלובלי. |
המגבלות הבאות חלות על משימות של שאילתות שנוצרות באופן אוטומטי על ידי הרצת שאילתות אינטראקטיביות, שאילתות מתוזמנות ומשימות שנשלחות באמצעות שיטות ה-API jobs.query ו-jobs.insert מסוג שאילתה:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| מספר מקסימלי של שאילתות אינטראקטיביות בתור | 1,000 שאילתות | אפשר להוסיף עד 1,000 שאילתות אינטראקטיביות לפרויקט. אם תשלחו שאילתות אינטראקטיביות נוספות שיחרגו מהמגבלה הזו, תקבלו שגיאת מכסה. כדי לפתור את השגיאות האלה, אפשר לעיין במאמר בנושא איך להימנע ממגבלות על שאילתות אינטראקטיביות עם נפח גבוה. |
| המספר המקסימלי של שאילתות אצווה בתור | 20,000 שאילתות | אפשר להוסיף לתור של הפרויקט עד 20,000 שאילתות אצווה. אם תשלחו עוד שאילתות באותו אצווה והן יחרגו מהמגבלה הזו, תקבלו שגיאה שקשורה למכסה. |
| מספר מקסימלי של שאילתות אינטראקטיביות בו-זמניות נגד מקורות נתונים חיצוניים של Bigtable | 16 שאילתות | בפרויקט אפשר להריץ עד 16 שאילתות בו-זמנית על מקור נתונים חיצוני של Bigtable. |
| המספר המקסימלי של שאילתות בו-זמניות שמכילות פונקציות מרוחקות | 10 שאילתות | אפשר להריץ עד עשר שאילתות בו-זמניות עם פונקציות מרוחקות לכל פרויקט. |
| מספר מקסימלי של שאילתות בו-זמניות עם כמה הצהרות | 1,000 שאילתות עם כמה הצהרות | בפרויקט שלכם אפשר להריץ עד 1,000 שאילתות מרובות הצהרות בו-זמנית. מידע על מכסות ומגבלות אחרות שקשורות לשאילתות עם כמה הצהרות מופיע במאמר שאילתות עם כמה הצהרות. |
| מספר מקסימלי של שאילתות בו-זמניות בפורמט SQL מדור קודם שמכילות פונקציות UDF | 6 שאילתות | בפרויקט אפשר להריץ עד שש שאילתות בו-זמניות ב-SQL מדור קודם עם פונקציות בהגדרת המשתמש (UDF). המגבלה הזו כוללת שאילתות אינטראקטיביות ושאילתות אצווה. שאילתות אינטראקטיביות שמכילות פונקציות UDF נספרות גם הן במגבלה המקבילה של שאילתות אינטראקטיביות. המגבלה הזו לא חלה על שאילתות GoogleSQL. |
| מגבלת גודל השאילתה היומית | ללא הגבלה | כברירת מחדל, אין מגבלה יומית על גודל השאילתות. עם זאת, אפשר להגדיר מגבלות על כמות הנתונים שהמשתמשים יכולים לשלוח לגביהם שאילתות. לשם כך, יוצרים מכסות בהתאמה אישית כדי לשלוט בשימוש בשאילתות ביום או בשימוש בשאילתות ביום לכל משתמש. |
| מגבלת העדכון היומי של טבלת היעד | ראו המספר המקסימלי של פעולות בטבלה ליום. |
עדכונים של טבלאות יעד במשימת שאילתה נספרים במסגרת המגבלה על מספר הפעולות המקסימלי בטבלה ביום עבור טבלאות היעד. עדכונים בטבלת היעד כוללים פעולות של הוספה ושכתוב שמבוצעות על ידי שאילתות שאתם מריצים באמצעות Google Cloud המסוף, באמצעות כלי שורת הפקודה של BigQuery או באמצעות קריאה לשיטות ה-API jobs.query ו-jobs.insert מסוג שאילתה.
|
| מגבלת זמן ההרצה של שאילתה או שאילתה עם כמה הצהרות | 6 שעות |
שאילתה או שאילתה עם כמה הצהרות יכולות לפעול למשך 6 שעות לכל היותר, ואז הן נכשלות. עם זאת, לפעמים יש ניסיון נוסף לבצע שאילתות. אפשר לנסות לבצע שאילתה שלוש פעמים לכל היותר, וכל ניסיון לבצע את השאילתה יכול להימשך עד 6 שעות. כתוצאה מכך, יכול להיות שזמן הריצה הכולל של שאילתה יהיה יותר מ-6 שעות.
|
| המספר המקסימלי של משאבים שאפשר להפנות אליהם בכל שאילתה | 1,000 משאבים |
אחרי הרחבה מלאה,שאילתה יכולה להפנות ל-1, 000 טבלאות ייחודיות, תצוגות ייחודיות,
פונקציות בהגדרת משתמש (UDF) ייחודיות ופונקציות טבלה ייחודיות בסך הכול. המגבלה הזו כוללת את הפריטים הבאים:
|
| האורך המקסימלי של שאילתת SQL | 1,024k תווים |
שאילתת SQL יכולה להיות באורך של עד 1,024k תווים. המגבלה הזו כוללת הערות ותווים של רווח לבן. אם השאילתה ארוכה יותר, תקבלו את השגיאה הבאה: The query is too large. כדי לא לחרוג מהמגבלה הזו, כדאי להחליף מערכים או רשימות גדולים בפרמטרים של שאילתה ולפצל שאילתה ארוכה לכמה שאילתות בסשן.
|
| האורך המקסימלי של שאילתת SQL מדור קודם שלא נפתרה | 256KB |
אורך שאילתת SQL מדור קודם שלא נפתרה יכול להיות עד 256KB. אם השאילתה ארוכה יותר, מוצגת השגיאה הבאה: The query
is too large. כדי לא לחרוג מהמגבלה הזו, אפשר להחליף מערכים או רשימות גדולים בפרמטרים של שאילתות.
|
| אורך מקסימלי של שאילתת GoogleSQL שלא נפתרה | 1MB |
אורך שאילתת GoogleSQL שלא נפתרה יכול להיות עד 1MB. אם השאילתה ארוכה יותר, מוצגת השגיאה הבאה: The query is too
large. כדי לא לחרוג מהמגבלה הזו, אפשר להחליף מערכים או רשימות גדולים בפרמטרים של שאילתה.
|
| אורך מקסימלי של שאילתות מדור קודם ושל שאילתות GoogleSQL | 12MB | המגבלה על אורך השאילתה אחרי הפתרון כוללת את האורך של כל התצוגות והטבלאות עם התו הכללי שאליהן מתייחסת השאילתה. |
| מספר הפרמטרים המקסימלי של שאילתת GoogleSQL | 10,000 פרמטרים | שאילתת GoogleSQL יכולה לכלול עד 10,000 פרמטרים. |
| גודל בקשה מקסימלי | 10MB | גודל הבקשה יכול להיות עד 10MB, כולל מאפיינים נוספים כמו פרמטרים של שאילתה. |
| גודל תגובה מקסימלי | 10GB דחוסים | הגדלים משתנים בהתאם ליחסי הדחיסה של הנתונים. גודל התגובה בפועל עשוי להיות גדול משמעותית מ-10GB. גודל התגובה המקסימלי הוא בלתי מוגבל כשכותבים תוצאות של שאילתות גדולות לטבלת יעד. |
| גודל שורה מקסימלי | 100MB | גודל השורה המקסימלי הוא משוער, כי המגבלה מבוססת על הייצוג הפנימי של נתוני השורה. הגבלת הגודל המקסימלי של שורה נאכפת בשלבים מסוימים של ביצוע שאילתת עבודה. |
| מספר העמודות המקסימלי בטבלה, בתוצאת שאילתה או בהגדרת תצוגה | 10,000 עמודות | הגדרה של טבלה, תוצאת שאילתה או תצוגה יכולה לכלול עד 10,000 עמודות. הנתון כולל עמודות מקוננות ועמודות חוזרות. עמודות שנמחקו יכולות להמשיך להיספר במספר העמודות הכולל. אם מחקתם עמודות, יכול להיות שתקבלו שגיאות שקשורות למכסה עד שהמכסה הכוללת תתאפס. |
| מספר מקסימלי של משבצות בו-זמניות לתמחור לפי דרישה |
2,000 משבצות לכל פרויקט 20,000 משבצות לכל ארגון |
בתמחור לפי דרישה, בפרויקט יכולים להיות עד 2,000 משבצות זמן בו-זמניות. בנוסף, יש מכסה של 20,000 משבצות בו-זמניות ברמת הארגון. מערכת BigQuery מנסה להקצות יחידות קיבולת באופן הוגן בין פרויקטים בארגון אם הביקוש הכולל שלהם גבוה מ-20,000 יחידות קיבולת. משבצות BigQuery משותפות לכל השאילתות בפרויקט יחיד. יכול להיות ש-BigQuery יחרוג מהמגבלה הזו כדי להאיץ את השאילתות. הקיבולת כפופה לזמינות. כדי לבדוק כמה משבצות אתם משתמשים, אפשר לעיין במאמר בנושא מעקב אחרי BigQuery באמצעות Cloud Monitoring. |
| השימוש המקסימלי במעבד לכל נתונים שנסרקו בתמחור על פי דרישה | 256 שניות של מעבד לכל MiB שנסרק |
בתמחור על פי דרישה, השאילתה יכולה להשתמש בעד כ-256 שניות CPU לכל MiB של נתונים שנסרקו. אם השאילתה דורשת יותר מדי משאבי CPU ביחס לכמות הנתונים שעוברים עיבוד, היא תיכשל ותוצג השגיאה billingTierLimitExceeded.
מידע נוסף זמין במאמר בנושא
הודעות שגיאה.
|
| שינויים בטבלת העסקאות של דוחות מרובים | 100 טבלאות | טרנזקציה יכולה לשנות נתונים ב-100 טבלאות לכל היותר. |
| שינויים במחיצות של עסקאות עם כמה הצהרות | 100,000 שינויים במחיצות | עסקה יכולה לבצע עד 100,000 שינויים במחיצות. |
| גודל מקסימלי של תוצאות שאילתה ב-BigQuery Omni | 20GiB לא דחוס | הגודל המקסימלי של התוצאה הוא 20GiB בייטים לוגיים כשמבצעים שאילתה על נתונים של Microsoft Azure או של AWS. אם תוצאת השאילתה גדולה מ-20 GiB, כדאי לייצא את התוצאות ל-Amazon S3 או ל-Blob Storage. מידע נוסף מופיע במאמר מגבלות של BigQuery Omni. |
| גודל כולל של תוצאות השאילתה ב-BigQuery Omni ליום | 1TB | גודל התוצאות הכולל של שאילתות בפרויקט הוא 1 TB ביום.
מידע נוסף זמין במאמר בנושא מגבלות של BigQuery Omni. |
| גודל השורה המקסימלי ב-BigQuery Omni | 10 MiB | גודל השורה המקסימלי הוא 10MiB כשמבצעים שאילתה על נתונים ב-Microsoft Azure או ב-AWS. מידע נוסף מופיע במאמר מגבלות של BigQuery Omni. |
| העברה של שאילתות גלובליות | 2 GiB/s | רוחב הפס של ההעברה שמשמש שאילתות גלובליות, לכל פרויקט, לכל צמד אזורים |
למרות ששאילתות מתוזמנות משתמשות בתכונות של שירות העברת הנתונים ל-BigQuery, הן לא נחשבות להעברות ולא חלות עליהן מגבלות על פעולות טעינה.
שליפת משרות
המגבלות הבאות חלות על משימות של שליפת נתונים מ-BigQuery באמצעות כלי שורת הפקודה של BigQuery, Google Cloud Console או שיטת ה-API jobs.insert מסוג extract.
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| מספר הבייטים המקסימלי שניתן לחלץ ביום | 50 TiB |
אתם יכולים לחלץ עד 50TiB(טביבייט) של נתונים ביום מפרויקט ללא עלות באמצעות מאגר המשבצות המשותף. אתם יכולים להגדיר מדיניות התראות ב-Cloud Monitoring שתספק התראה על מספר הבייטים שחולצו.
כדי לחלץ יותר מ-50TiB(טביבייט) של נתונים ביום, מבצעים את אחת מהפעולות הבאות:
|
| מספר מקסימלי של משימות חילוץ ביום | 100,000 משימות חילוץ |
אפשר להריץ עד 100,000 משימות חילוץ ביום בפרויקט.
כדי להריץ יותר מ-100,000 משימות חילוץ ביום, מבצעים אחת מהפעולות הבאות:
|
| הגודל המקסימלי של טבלה שחולצה לקובץ יחיד | 1GB | אפשר לחלץ עד 1 GB של נתוני טבלה לקובץ יחיד. כדי לחלץ יותר מ-1GB של נתונים, צריך להשתמש ב תו כללי כדי לחלץ את הנתונים לכמה קבצים. כשמחלקים את הנתונים לכמה קבצים, הגודל של הקבצים משתנה. במקרים מסוימים, גודל קובצי הפלט גדול מ-1GB. |
| כתובות URI עם תווים כלליים לכל עבודת חילוץ | 500 מזהי URI | משימת חילוץ יכולה לכלול עד 500 כתובות URI עם תווים כלליים. |
מידע נוסף על הצגת נתוני השימוש הנוכחיים במשימת החילוץ זמין במאמר הצגת נתוני השימוש הנוכחיים במכסה. מידע על פתרון בעיות זמין במאמר פתרון בעיות בייצוא.
טעינת משרות
המגבלות הבאות חלות כשטוענים נתונים ל-BigQuery באמצעות מסוףGoogle Cloud , כלי שורת הפקודה של BigQuery או שיטת ה-API jobs.insert מסוג load.
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| טעינת משרות לכל טבלה ביום | 1,500 משרות | משימות טעינה, כולל משימות טעינה שנכשלו, נספרות במסגרת המגבלה על מספר פעולות הטבלה ביום עבור טבלת היעד. מידע על מגבלות לגבי מספר פעולות הטבלה ביום עבור טבלאות רגילות וטבלאות עם חלוקה למחיצות זמין במאמר טבלאות. |
| טעינת משרות ליום | 100,000 משרות | המכסה שלכם בפרויקט מתחדשת עד 100,000 משימות טעינה כל 24 שעות. עבודות טעינה שנכשלו נספרות במגבלה זו. במקרים מסוימים, אפשר להריץ יותר מ-100,000 עבודות טעינה ב-24 שעות אם לא נעשה שימוש מלא במכסת היומית הקודמת. |
| מספר העמודות המקסימלי לכל טבלה | 10,000 עמודות | בטבלה יכולות להיות עד 10,000 עמודות. הנתון כולל עמודות מקוננות ועמודות חוזרות. |
| הגודל המקסימלי לכל משימת טעינה | 15TB | הגודל הכולל של כל קובצי הקלט בפורמטים CSV, JSON, Avro, Parquet ו-ORC יכול להיות עד 15TB. המגבלה הזו לא חלה על משרות עם הזמנה. |
| מספר מקסימלי של כתובות URI של מקור בהגדרת משימה | 10,000 מזהי URI | הגדרת עבודה יכולה לכלול עד 10,000 כתובות URI של מקורות. |
| מספר הקבצים המקסימלי לכל משימת טעינה | 10,000,000 קבצים | עבודת טעינה יכולה לכלול עד 10 מיליון קבצים בסך הכול, כולל כל הקבצים שתואמים לכל ה-URI עם התווים הכלליים. |
| המספר המקסימלי של קבצים בקטגוריה של Cloud Storage | בערך 60,000,000 קבצים | עבודת טעינה יכולה לקרוא מקטגוריה של Cloud Storage שמכילה עד כ-60,000,000 קבצים. |
| מגבלת זמן ההרצה של עבודת הטעינה | 6 שעות | אם עבודת טעינה נמשכת יותר משש שעות, היא נכשלת. |
| Avro: גודל מקסימלי של בלוקים של נתוני קובץ | 16MB | הגודל המקסימלי של בלוקי נתונים בקובץ Avro הוא 16MB. |
| CSV: גודל תא מקסימלי | 100MB | הגודל של תאי CSV יכול להיות עד 100MB. |
| CSV: גודל שורה מקסימלי | 100MB | הגודל של שורות ב-CSV יכול להיות עד 100MB. |
| CSV: גודל קובץ מקסימלי – דחוס | 4GB | מגבלת הגודל של קובץ CSV דחוס היא 4GB. |
| CSV: גודל קובץ מקסימלי – לא דחוס | 5TB | מגבלת הגודל של קובץ CSV לא דחוס היא 5TB. |
| JSON שמופרד בתו שורה חדשה (ndJSON): גודל שורה מקסימלי | 100MB | הגודל של שורות ndJSON יכול להיות עד 100MB. |
| ndJSON: גודל קובץ מקסימלי – דחוס | 4GB | הגודל המקסימלי של קובץ ndJSON דחוס הוא 4GB. |
| ndJSON: גודל קובץ מקסימלי – לא דחוס | 5TB | הגודל המקסימלי של קובץ ndJSON לא דחוס הוא 5 TB. |
אם אתם חורגים באופן קבוע ממגבלות משימות הטעינה בגלל עדכונים תכופים, כדאי לשקול הזרמת נתונים ל-BigQuery במקום זאת.
מידע על הצגת השימוש הנוכחי במשימות טעינה מופיע במאמר הצגת השימוש הנוכחי במכסות.
שיקולים לגבי מכסת משימות הטעינה בשירות העברת הנתונים ל-BigQuery
משימות טעינה שנוצרו על ידי העברות של שירות העברת הנתונים ל-BigQuery נכללות במכסות של BigQuery על משימות טעינה. חשוב לשקול כמה העברות מפעילים בכל פרויקט כדי למנוע שגיאות quotaExceeded בהעברות ובמשימות טעינה אחרות.
אפשר להשתמש במשוואה הבאה כדי לאמוד כמה עבודות טעינה נדרשות להעברות:
Number of daily jobs = Number of transfers x Number of tables x
Schedule frequency x Refresh window
כאשר:
-
Number of transfersהוא מספר הגדרות ההעברה שהפעלתם בפרויקט.
Number of tablesהוא מספר הטבלאות שנוצרו על ידי כל סוג העברה ספציפי. מספר הטבלאות משתנה בהתאם לסוג ההעברה:- העברות מ-Campaign Manager יוצרות בערך 25 טבלאות.
- העברות מ-Google Ads יוצרות בערך 60 טבלאות.
- העברות מ-Google Ad Manager יוצרות בערך 40 טבלאות.
- העברות מ-Google Play יוצרות בערך 25 טבלאות.
- העברות מ-Search Ads 360 יוצרות בערך 50 טבלאות.
- העברות מ-YouTube יוצרות בערך 50 טבלאות.
Schedule frequencyמתארת את תדירות ההפעלה של ההעברה. לוחות הזמנים של ההרצות של ההעברה מופיעים לכל סוג העברה:
Refresh windowהוא מספר הימים שייכללו בהעברת הנתונים. אם מזינים 1, לא מתבצע מילוי חוסרים יומי.
העתקת משימות
המגבלות הבאות חלות על משימות BigQuery של העתקת טבלאות, כולל משימות שיוצרות עותק, שיבוט או תמונת מצב של טבלה רגילה, שיבוט טבלה או תמונת מצב של טבלה.
המגבלות חלות על משימות שנוצרו באמצעות המסוף Google Cloud , כלי שורת הפקודה של BigQuery או השיטה jobs.insert שבה מצוין השדה copy בהגדרת המשימה.
משימות העתקה נספרות במגבלות האלה, גם אם הן מצליחות וגם אם הן נכשלות.
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| עותקים של משרות לכל טבלת יעד ליום | אפשר לעיין בפעולות בטבלה ליום. | |
| העתקת משרות ליום | 100,000 משרות | בכל יום אפשר להריץ עד 100,000 עבודות העתקה בפרויקט. |
| משימות העתקה בין אזורים לכל טבלת יעד ביום | 100 משרות | בכל יום אפשר להריץ עד 100 עבודות העתקה בין אזורים לטבלת יעד בפרויקט. |
| משימות העתקה בין אזורים ביום | 2,000 משרות | בכל יום אפשר להריץ עד 2,000 משימות העתקה בין אזורים בפרויקט. |
| מספר טבלאות המקור להעתקה | 1,200 טבלאות מקור | אפשר להעתיק עד 1,200 טבלאות מקור לכל משימת העתקה. |
מידע על הצגת הניצול הנוכחי של מכסות העתקה זמין במאמר משימות העתקה – הצגת הניצול הנוכחי של המכסות. מידע על פתרון בעיות שקשורות לעבודות העתקה זמין במאמר שגיאות שקשורות למכסה של מספר העבודות המקסימלי להעתקה ביום לכל פרויקט.
המגבלות הבאות חלות על העתקה של מערכי נתונים:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| מספר הטבלאות המקסימלי במערך נתוני המקור | 25,000 טבלאות | מערך נתונים של מקור יכול להכיל עד 25,000 טבלאות. |
| המספר המקסימלי של טבלאות שאפשר להעתיק בכל הרצה למערך נתונים של יעד באותו אזור | 20,000 טבלאות | בכל הרצה, הפרויקט יכול להעתיק עד 20,000 טבלאות למערך נתונים של יעד באותו אזור. אם מערך נתוני המקור מכיל יותר מ-20,000 טבלאות, שירות העברת הנתונים ל-BigQuery מתזמן הפעלות רצופות, שבכל אחת מהן מועתקות עד 20,000 טבלאות, עד שכל הטבלאות מועתקות. ההפעלות האלה מופרדות על ידי מרווח ברירת מחדל של 24 שעות, שהמשתמשים יכולים להתאים אישית עד למינימום של 12 שעות. |
| המספר המקסימלי של טבלאות שאפשר להעתיק בכל הפעלה למערך נתונים של יעד באזור אחר | 1,000 טבלאות | בכל הרצה של הפרויקט אפשר להעתיק עד 1,000 טבלאות למערך נתונים של יעד באזור אחר. אם מערך נתוני המקור מכיל יותר מ-1,000 טבלאות, שירות העברת הנתונים ל-BigQuery מתזמן הפעלות רציפות, שבכל אחת מהן מועתקות עד 1,000 טבלאות, עד שכל הטבלאות מועתקות. ההפעלות האלה מופרדות על ידי מרווח ברירת מחדל של 24 שעות, שהמשתמשים יכולים להתאים אישית עד למינימום של 12 שעות. |
הזמנות
המכסות הבאות חלות על הזמנות:
| מכסה | ברירת מחדל | הערות |
|---|---|---|
| המספר הכולל של משבצות לאזור האיחוד האירופי | 5,000 משבצות |
מספר הסלוטים המקסימלי ב-BigQuery שאפשר לרכוש באזור מרובה ב-EU באמצעות מסוף Google Cloud .
הצגת מכסות ב Google Cloud מסוף |
| המספר הכולל של משבצות לפרסום באזור ארה"ב | 10,000 משבצות |
מספר הסלוטים המקסימלי ב-BigQuery שאפשר לרכוש באזור מרובה בארה"ב באמצעות מסוף Google Cloud .
הצגת מכסות ב Google Cloud מסוף |
המספר הכולל של משבצות באזור us-east1
|
4,000 משבצות |
מספר הסלוטים המקסימלי ב-BigQuery שאפשר לרכוש באזור שמופיע ברשימה באמצעות Google Cloud המסוף.
הצגת מכסות ב Google Cloud מסוף |
המספר הכולל של משבצות הפרסום באזורים הבאים:
|
2,000 משבצות |
המספר המקסימלי של משבצות BigQuery שאפשר לרכוש בכל אחד מהאזורים שמופיעים ברשימה באמצעות Google Cloud המסוף.
הצגת מכסות ב Google Cloud מסוף |
המספר הכולל של משבצות הפרסום באזורים הבאים:
|
1,000 משבצות |
המספר המקסימלי של משבצות BigQuery שאפשר לרכוש בכל אחד מהאזורים שמופיעים ברשימה באמצעות Google Cloud המסוף.
הצגת מכסות ב Google Cloud מסוף |
| המספר הכולל של יחידות הקיבולת באזורי BigQuery Omni | 100 משבצות |
המספר המקסימלי של משבצות BigQuery שאפשר לרכוש באזורים של BigQuery Omni באמצעות מסוף Google Cloud .
הצגת מכסות ב Google Cloud מסוף |
| המספר הכולל של משבצות לכל שאר האזורים | 500 משבצות |
המספר המקסימלי של משבצות BigQuery שאפשר לרכוש בכל אזור אחר באמצעות Google Cloud המסוף.
הצגת מכסות ב Google Cloud מסוף |
המגבלות הבאות חלות על הזמנות:
| הגבלה | ערך | הערות |
|---|---|---|
| מספר פרויקטים לניהול להזמנות של יחידות קיבולת (Slot) | 10 פרויקטים לכל ארגון | המספר המקסימלי של פרויקטים בארגון שיכולים להכיל הזמנה או התחייבות פעילה למשבצות למיקום או לאזור נתונים מסוימים. |
| מספר מקסימלי של הזמנות למהדורת Standard | 10 הזמנות לכל פרויקט | המספר המקסימלי של הזמנות במהדורה רגילה לכל פרויקט ניהול בארגון במיקום או באזור נתונים מסוימים. |
| מספר מקסימלי של הזמנות במהדורות Enterprise או Enterprise Plus | 200 הזמנות לכל פרויקט | המספר המקסימלי של הזמנות במהדורות Enterprise או Enterprise Plus לכל פרויקט ניהול בארגון, למיקום או לאזור נתון. |
מספר המשבצות המקסימלי בהזמנה שמשויכת להקצאת הזמנה עם סוג העבודה CONTINUOUS.
|
500 משבצות |
כשרוצים ליצור הקצאת הזמנה עם סוג עבודה CONTINUOUS, ההזמנה המשויכת לא יכולה לכלול יותר מ-500 משבצות זמן.
|
מערכי נתונים
המגבלות הבאות חלות על מערכי נתונים ב-BigQuery:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| מספר מערכי הנתונים המקסימלי | ללא הגבלה | אין הגבלה על מספר מערכי הנתונים שיכולים להיות בפרויקט. |
| מספר הטבלאות בכל מערך נתונים | ללא הגבלה | כשמשתמשים בקריאה ל-API, הביצועים של הספירה יורדים ככל שמתקרבים ל-50,000 טבלאות במערך נתונים. במסוף Google Cloud אפשר להציג עד 50,000 טבלאות לכל מערך נתונים. |
| מספר המשאבים המורשים ברשימת בקרת הגישה של מערך נתונים | 2,500 משאבים |
ברשימת בקרת הגישה של מערך נתונים יכולים להיות עד 2,500 משאבים מורשים בסך הכול, כולל תצוגות מורשות, מערכי נתונים מורשים ופונקציות מורשות. אם חורגים מהמגבלה הזו בגלל מספר גדול של תצוגות מורשות, אפשר לקבץ את התצוגות במערכי נתונים מורשים. כשיטה מומלצת, כדאי לקבץ תצוגות שקשורות זו לזו במערכי נתונים מורשים כשמעצבים ארכיטקטורות חדשות של BigQuery, במיוחד ארכיטקטורות מרובות דיירים. |
| מספר פעולות העדכון של מערך נתונים לכל מערך נתונים כל 10 שניות | 5 פעולות |
בכל 10 שניות, הפרויקט יכול לבצע עד 5 פעולות עדכון של מערכי נתונים.
מגבלת העדכון של מערך הנתונים כוללת את כל פעולות העדכון של המטא-נתונים
שמתבצעות על ידי הגורמים הבאים:
|
| האורך המקסימלי של תיאור מערך נתונים | 16,384 תווים | כשמוסיפים תיאור למערך נתונים, הטקסט יכול להכיל עד 16,384 תווים. |
Tables
כל הטבלאות
המגבלות הבאות חלות על כל הטבלאות ב-BigQuery.
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| האורך המקסימלי של שם עמודה | 300 תווים | שם העמודה יכול להכיל עד 300 תווים. |
| האורך המקסימלי של תיאור עמודה | 1,024 תווים | כשמוסיפים תיאור לעמודה, הטקסט יכול להכיל עד 1,024 תווים. |
| העומק המקסימלי של רשומות מקוננות | 15 רמות |
עמודות מהסוג RECORD יכולות להכיל סוגים מוטמעים של RECORD, שנקראים גם רשומות צאצא. המגבלה המקסימלית של עומק הקינון היא 15 רמות.
המגבלה הזו לא תלויה בכך שהרשומות הן סקלריות או מבוססות על מערך (חוזרות).
|
| האורך המקסימלי של תיאור טבלה | 16,384 תווים | כשמוסיפים תיאור לטבלה, הטקסט יכול להכיל עד 16,384 תווים. |
מידע לפתרון בעיות שקשורות למכסות או למגבלות של טבלאות זמין בדף פתרון הבעיות ב-BigQuery.
טבלאות רגילות
המגבלות הבאות חלות על טבלאות סטנדרטיות (מובנות) ב-BigQuery:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| שינויים בטבלה בכל יום | 1,500 שינויים | בכל פרויקט אפשר לבצע עד 1,500 שינויים בטבלה בכל יום. משימת טעינה, משימת העתקה או משימת שאילתה שמוסיפה נתונים לטבלה או מחליפה את הנתונים בטבלה נחשבת כשינוי אחד בטבלה. אי אפשר לשנות את המגבלה הזו. הוראות DML לא נכללות ולא נספרות במסגרת מספר השינויים בטבלה ביום. נתונים בסטרימינג לא נכללים ולא נספרים במסגרת מספר השינויים בטבלה ביום. |
| הקצב המקסימלי של פעולות עדכון מטא-נתונים של טבלה לכל טבלה | 5 פעולות בכל 10 שניות |
בכל פרויקט אפשר לבצע עד חמש פעולות של עדכון מטא-נתונים של טבלה בכל 10 שניות לכל טבלה. המגבלה הזו חלה על כל פעולות העדכון של מטא נתונים של טבלאות, שמבוצעות על ידי הפעולות הבאות:
DELETE, INSERT, MERGE, TRUNCATE TABLE או UPDATE כדי לכתוב נתונים בטבלה. שימו לב: אמנם הצהרות DML נספרות כחלק מהמגבלה הזו, אבל הן לא כפופות לה אם המגבלה מושגת. לפעולות DML יש מגבלות שימוש ייעודיות.
אם תחרגו מהמגבלה הזו, תקבלו הודעת שגיאה כמו
כדי לזהות את הפעולות שנכללות במגבלה הזו, אפשר לבדוק את היומנים. הנחיות לאבחון ולפתרון השגיאה הזו מופיעות במאמר פתרון בעיות שקשורות למכסות. |
| מספר העמודות המקסימלי לכל טבלה | 10,000 עמודות | כל טבלה, תוצאת שאילתה או הגדרת תצוגה יכולה לכלול עד 10,000 עמודות. העמודות האלה כוללות עמודות במבנה היררכי ועמודות חוזרות. |
טבלאות חיצוניות
המגבלות הבאות חלות על טבלאות BigQuery עם נתונים שמאוחסנים ב-Cloud Storage בפורמטים Parquet, ORC, Avro, CSV או JSON:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| המספר המקסימלי של מזהי URI של מקורות לכל טבלה חיצונית | 10,000 מזהי URI | כל טבלה חיצונית יכולה להכיל עד 10,000 כתובות URI של מקורות. |
| המספר המקסימלי של קבצים לכל טבלה חיצונית | 10,000,000 קבצים | בטבלה חיצונית יכולים להיות עד 10 מיליון קבצים, כולל כל הקבצים שתואמים לכל כתובות ה-URI עם התו הכללי. |
| הגודל המקסימלי של נתונים מאוחסנים ב-Cloud Storage לכל טבלה חיצונית | 600TB | טבלה חיצונית יכולה להכיל עד 600 טרה-בייט בכל קובצי הקלט. המגבלה הזו חלה על גודלי הקבצים כפי שהם מאוחסנים ב-Cloud Storage. הגודל הזה לא זהה לגודל שמשמש בנוסחת התמחור של השאילתה. בטבלאות שחולקו למחיצות באופן חיצוני, המגבלה חלה אחרי הסרת מחיצות. |
| המספר המקסימלי של קבצים בקטגוריה של Cloud Storage | בערך 60,000,000 קבצים | טבלה חיצונית יכולה להפנות לקטגוריה של Cloud Storage שמכילה עד כ-60,000,000 קבצים. בטבלאות שמחולקות למחיצות חיצוניות, ההגבלה הזו חלה לפני הסרת מחיצות. |
טבלאות מחולקות למחיצות
המגבלות הבאות חלות על טבלאות מחולקות למחיצות ב-BigQuery.
מגבלות המחיצות חלות על הסכום הכולל של כל משימות הטעינה, משימות ההעתקה ומשימות השאילתות שמצורפות למחיצת יעד או מחליפות אותה.
עבודה אחת יכולה להשפיע על כמה מחיצות. לדוגמה, עבודות של שאילתות ועבודות של טעינה יכולות לכתוב לכמה מחיצות.
מערכת BigQuery משתמשת במספר המחיצות שמושפעות מעבודה כדי לקבוע כמה מהמגבלה העבודה צורכת. המגבלה הזו לא חלה על הוספות של נתונים בסטרימינג.
במאמר פתרון בעיות שקשורות למכסות מוסבר על אסטרטגיות שיעזרו לכם לא לחרוג מהמגבלות של טבלאות עם חלוקה למחיצות.
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| מספר המחיצות בכל טבלה מחולקת למחיצות | 10,000 מחיצות | כל טבלה מחולקת למחיצות (Partitions) יכולה להכיל עד 10,000 מחיצות. אם חרגתם מהמגבלה הזו, כדאי להשתמש ב אשכולות בנוסף לחלוקה למחיצות או במקומה. |
| מספר המחיצות ששונו על ידי משימה אחת | 4,000 מחיצות | כל פעולת עבודה (שאילתה או טעינה) יכולה להשפיע על עד 4,000 מחיצות. מערכת BigQuery דוחה כל שאילתה או משימת טעינה שמנסה לשנות יותר מ-4,000 מחיצות. |
| מספר השינויים במחיצות במהלך כתיבת הנתונים לכל טבלה מחולקת למחיצות בכל יום | 11,000 שינויים |
בכל פרויקט אפשר לבצע עד 11,000 שינויים במחיצות ביום. שינוי במחיצה מתרחש כשמוסיפים, מעדכנים, מוחקים או חותכים נתונים בטבלה מחולקת למחיצות. שינוי במחיצה נספר עבור כל סוג של שינוי בנתונים שאתם מבצעים. לדוגמה, מחיקת שורה אחת תיחשב כשינוי אחד במחיצה, בדיוק כמו שמחיקת מחיצה שלמה תיחשב גם היא כשינוי אחד. אם מוחקים שורה ממחיצה אחת ואז מוסיפים אותה למחיצה אחרת, זה ייחשב כשני שינויים במחיצה. שינויים באמצעות הצהרות DML או Streaming API לא נספרים במסגרת מספר השינויים במחיצה ביום. |
| מספר השינויים במחיצות לכל טבלה שמחולקת למחיצות לפי עמודות ביום | 30,000 שינויים | בפרויקט אפשר לבצע עד 30,000 שינויים במחיצות ביום עבור טבלה שמחולקת למחיצות לפי עמודות. הצהרות DML לא נספרות במסגרת מספר השינויים במחיצות ביום. נתונים שמוזרמים לא נספרים במסגרת מספר השינויים במחיצות ביום. |
| הקצב המקסימלי של פעולות עדכון מטא-נתונים של טבלה לכל טבלה מחולקת למחיצות | 50 שינויים בכל 10 שניות |
בכל פרויקט אפשר לבצע עד 50 שינויים בכל טבלה מחולקת למחיצות כל 10 שניות. המגבלה הזו חלה על כל פעולות העדכון של המטא-נתונים של טבלאות מחולקות למחיצות, שמבוצעות על ידי הפעולות הבאות:
DELETE, INSERT, MERGE, TRUNCATE TABLE או UPDATE כדי לכתוב נתונים בטבלה.
אם תחרגו מהמגבלה הזו, תקבלו הודעת שגיאה כמו
כדי לזהות את הפעולות שנכללות במגבלה הזו, אפשר לבדוק את היומנים. |
| מספר הטווחים האפשריים לחלוקה למחיצות לפי טווח | 10,000 טווחים | בטבלה עם חלוקה לפי טווח יכולים להיות עד 10,000 טווחים אפשריים. המגבלה הזו חלה על הגדרת המחיצה כשיוצרים את הטבלה. אחרי שיוצרים את הטבלה, המגבלה חלה גם על המספר בפועל של המחיצות. |
שיבוטים של טבלאות
המגבלות הבאות חלות על שיבוטים של טבלאות ב-BigQuery:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| מספר מקסימלי של שיבוטים ותמונות מצב בשרשרת | 3 שיבוטים או תמונות מצב של טבלאות | השילוב של שיבוטים ותמונות מצב מוגבל לעומק של 3. כשמשכפלים טבלת בסיס או מצלמים תמונת מצב שלה, אפשר לשכפל את התוצאה או לצלם תמונת מצב שלה רק עוד פעמיים. ניסיון לשכפל את התוצאה או לצלם תמונת מצב שלה בפעם השלישית יגרום לשגיאה. לדוגמה, אפשר ליצור שיבוט A של טבלת הבסיס, ליצור snapshot B של שיבוט A וליצור שיבוט C של snapshot B. כדי ליצור עוד עותקים של השיבוט או של תמונת המצב ברמה השלישית, צריך להשתמש בפעולת העתקה. |
| מספר השיבוטים והתמונות המקסימלי לטבלת בסיס | 1,000 שיבוטים או תמונות מצב של טבלאות | לא יכולים להיות יותר מ-1,000 שיבוטים וצילומים קיימים ביחד של טבלת בסיס נתונה. לדוגמה, אם יש לכם 600 תמונות מצב ו-400 שיבוטים, הגעתם למגבלה. |
תמונות מצב של טבלאות
המגבלות הבאות חלות על תמונות מצב של טבלאות ב-BigQuery:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| מספר מקסימלי של משימות בו-זמניות של צילומי מצב של טבלאות | 100 משרות | בפרויקט אפשר להריץ עד 100 משימות בו-זמנית של צילום תמונת מצב של טבלה. |
| מספר העבודות המקסימלי של צילומי מצב של טבלאות ביום | 50,000 משרות | בכל יום אפשר להריץ עד 50,000 משימות של צילומי מצב של טבלאות בפרויקט. |
| מספר העבודות המקסימלי של צילומי מצב של טבלה לכל טבלה ביום | 50 משרות | בכל יום אפשר להריץ עד 50 משימות של צילום תמונת מצב של טבלה לכל טבלה בפרויקט. |
| המספר המקסימלי של עדכוני מטא-נתונים לכל תמונת מצב של טבלה בכל 10 שניות. | 5 עדכונים | בפרויקט אפשר לעדכן את המטא-נתונים של תמונת מצב של טבלה עד חמש פעמים בכל 10 שניות. |
| מספר מקסימלי של שיבוטים ותמונות מצב בשרשרת | 3 שיבוטים או תמונות מצב של טבלאות | השילוב של שיבוטים ותמונות מצב מוגבל לעומק של 3. כשמשכפלים טבלת בסיס או מצלמים תמונת מצב שלה, אפשר לשכפל את התוצאה או לצלם תמונת מצב שלה רק עוד פעמיים. ניסיון לשכפל את התוצאה או לצלם תמונת מצב שלה בפעם השלישית יגרום לשגיאה. לדוגמה, אפשר ליצור שיבוט A של טבלת הבסיס, ליצור snapshot B של שיבוט A וליצור שיבוט C של snapshot B. כדי ליצור עוד עותקים של השיבוט או של תמונת המצב ברמה השלישית, צריך להשתמש בפעולת העתקה. |
| מספר השיבוטים והתמונות המקסימלי לטבלת בסיס | 1,000 שיבוטים או תמונות מצב של טבלאות | לא יכולים להיות יותר מ-1,000 שיבוטים וצילומים קיימים ביחד של טבלת בסיס נתונה. לדוגמה, אם יש לכם 600 תמונות מצב ו-400 שיבוטים, הגעתם למגבלה. |
תצוגות
המכסות והמגבלות הבאות חלות על תצוגות ועל תצוגות חומריות.
תצוגות לוגיות
המגבלות הבאות חלות על תצוגות רגילות של BigQuery:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| מספר מקסימלי של רמות צפייה מקוננות | 16 רמות |
BigQuery תומך בעד 16 רמות של תצוגות מקוננות.
אפשר ליצור תצוגות עד למגבלה הזו, אבל השאילתות מוגבלות ל-15 רמות. אם חורגים מהמגבלה, BigQuery מחזיר שגיאה מסוג INVALID_INPUT.
|
| האורך המקסימלי של שאילתת GoogleSQL שמשמשת להגדרת תצוגה | 256K תווים | שאילתת GoogleSQL אחת שמגדירה תצוגה יכולה להיות באורך של עד 256K תווים. המגבלה הזו חלה על שאילתה אחת, והיא לא כוללת את אורך התצוגות שאליהן מתייחסת השאילתה. |
| המספר המקסימלי של תצוגות מורשות לכל מערך נתונים | מערכי נתונים | |
| האורך המקסימלי של תיאור תצוגה | 16,384 תווים | כשמוסיפים תיאור לתצוגה, הטקסט יכול להכיל עד 16,384 תווים. |
תצוגות מהותיות
המגבלות הבאות חלות על תצוגות חומריות ב-BigQuery:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| הפניות לטבלת בסיס (באותו פרויקט) | 100 תצוגות מהותיות | אפשר להפנות לכל טבלת בסיס עד 100 תצוגות חומריות מאותו פרויקט. |
| הפניות לטבלת בסיס (כל הארגון) | 500 תצוגות מהותיות | אפשר להפנות לכל טבלת בסיס עד 500 תצוגות חומריות מכל הארגון. |
| המספר המקסימלי של תצוגות מורשות לכל מערך נתונים | מערכי נתונים | |
| האורך המקסימלי של תיאור תצוגה חומרית | 16,384 תווים | כשמוסיפים תיאור לתצוגה חומרית, הטקסט יכול להכיל עד 16,384 תווים. |
| מגבלת זמן הביצוע של עבודת רענון תצוגה מהותית | 12 שעות | עדכון של תצוגה חומרית (materialized view) יכול להימשך עד 12 שעות לפני שהוא נכשל. |
אינדקסים של חיפושים
המגבלות הבאות חלות על אינדקסים של חיפוש ב-BigQuery:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
מספר הצהרות DDL (CREATE INDEX) לכל פרויקט לכל אזור ביום
|
500 פעולות |
בכל יום, הפרויקט יכול להנפיק עד 500 פעולות CREATE INDEX DDL באזור.
|
| מספר הצהרות DDL של אינדקס החיפוש לכל טבלה ביום | 20 פעולות |
בכל יום, אפשר להנפיק בפרויקט עד 20 פעולות DDL של CREATE INDEX או DROP INDEX לכל טבלה.
|
| הגודל הכולל המקסימלי של נתוני טבלה לכל ארגון שמותר ליצור אינדקס חיפוש שלא פועל בהזמנה | 100TB במספר אזורים, 20TB בכל האזורים האחרים |
אפשר ליצור אינדקס חיפוש לטבלה אם הגודל הכולל של הטבלאות עם האינדקסים בארגון שלכם נמוך מהמגבלה של האזור שלכם: 100TB לאזורים מרובים US ו-EU, ו-20TB לכל שאר האזורים. אם משימות ניהול האינדקס שלכם מופעלות בהזמנה משלכם, המגבלה הזו לא חלה.
|
| מספר העמודות שנוספו לאינדקס עם רמת פירוט של עמודה לכל טבלה | 63 עמודות לכל טבלה |
בטבלה יכולות להיות עד 63 עמודות עם index_granularity שהוגדר כ-COLUMN. המגבלה הזו כוללת עמודות שנוספו לאינדקס עם רמת פירוט COLUMN מהגדרת האפשרות default_index_column_granularity.
אין הגבלה על מספר העמודות שמקבלות אינדקס ברמת הגרנולריות GLOBAL. מידע נוסף זמין במאמר בנושא אינדקס עם גרנולריות של עמודות.
|
אינדקסים של וקטורים
המגבלות הבאות חלות על אינדקסים של וקטורים ב-BigQuery:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| מספר השורות המינימלי בטבלת הבסיס | 5,000 שורות | כדי ליצור אינדקס וקטורי, טבלה צריכה להכיל לפחות 5,000 שורות. |
מספר השורות המקסימלי בטבלת הבסיס לסוג האינדקס IVF |
10,000,000,000 שורות |
טבלה יכולה לכלול עד 10,000,000,000 שורות כדי ליצור IVF אינדקס וקטורי
|
מספר השורות המקסימלי בטבלת הבסיס לסוג האינדקס TREE_AH
|
200,000,000 שורות |
בטבלה יכולות להיות עד 200,000,000 שורות כדי ליצור אינדקס וקטורי של TREE_AH
|
מספר השורות המקסימלי בטבלת הבסיס לסוג אינדקס עם חלוקה למחיצות
TREE_AH |
10,000,000,000 שורות בסך הכול 200,000,000 שורות לכל מחיצה |
טבלה יכולה להכיל עד 10,000,000,000 שורות, וכל מחיצה יכולה להכיל עד 200,000,000 שורות כדי ליצור אינדקס וקטורי מחולק.TREE_AH
|
| הגודל המקסימלי של המערך בעמודה עם האינדקס | 1,600 רכיבים | העמודה לאינדקס יכולה להכיל עד 1,600 רכיבים במערך. |
| גודל הטבלה המינימלי לאכלוס אינדקס וקטורי | 10MB | אם יוצרים אינדקס וקטורי בטבלה שהגודל שלה קטן מ-10MB, האינדקס לא יאוכלס. באופן דומה, אם מוחקים נתונים מטבלה עם אינדקס וקטורי כך שגודל הטבלה קטן מ-10MB, האינדקס הווקטורי מושבת באופן זמני. זה קורה בלי קשר לשאלה אם אתם משתמשים בהזמנה משלכם לעבודות של ניהול האינדקס. אם הגודל של טבלה עם אינדקס וקטורי חורג שוב מ-10MB, האינדקס שלה מתמלא אוטומטית. |
מספר הצהרות DDL (Data Definition Language) לכל פרויקט, לכל אזור ולכל יוםCREATE VECTOR INDEX
|
500 פעולות |
לכל פרויקט, אפשר להנפיק עד 500
CREATE VECTOR INDEX פעולות ביום לכל אזור.
|
| מספר הצהרות ה-DDL של אינדקס הווקטורים לכל טבלה בכל יום | 10 פעולות |
אפשר להנפיק עד 10 פעולות של CREATE VECTOR INDEX או DROP VECTOR INDEX לכל טבלה ביום.
|
| הגודל הכולל המקסימלי של נתוני טבלה לכל ארגון שמותר ליצור אינדקס וקטורי שלא פועל בהזמנה | 6TB | אפשר ליצור אינדקס וקטורי לטבלה אם הגודל הכולל של הטבלאות עם האינדקסים בארגון קטן מ-6TB. אם משימות ניהול האינדקס שלכם מופעלות בהזמנה שלכם, המגבלה הזו לא חלה. |
תרחישים
המכסות והמגבלות הבאות חלות על פעולות שגרתיות.
פונקציות בהגדרת המשתמש
המגבלות הבאות חלות על פונקציות בהגדרת המשתמש (UDF) זמניות ומתמידות בשאילתות GoogleSQL.
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| הפלט המקסימלי לכל שורה | 5MB | הכמות המקסימלית של נתונים שפונקציה מוגדרת על ידי המשתמש ב-JavaScript יכולה להפיק כשמעבדים שורה אחת היא בערך 5MB. |
| מספר מקסימלי של שאילתות SQL מדור קודם בו-זמניות עם פונקציות מוגדרות על ידי המשתמש (UDF) ב-JavaScript | 6 שאילתות | בפרויקט יכולות להיות עד שש שאילתות SQL מדור קודם בו-זמניות שמכילות פונקציות UDF ב-JavaScript. ההגבלה הזו כוללת שאילתות אינטראקטיביות ושאילתות אצווה. המגבלה הזו לא חלה על שאילתות GoogleSQL. |
| מספר מקסימלי של משאבי UDF של JavaScript לכל שאילתה | 50 משאבים | לכל עבודת שאילתה יכולים להיות עד 50 משאבי UDF של JavaScript, כמו blobs של קוד מוטבע או קבצים חיצוניים. |
| הגודל המקסימלי של blob של קוד בתוך השורה | 32KB | גודל של בלוב קוד מוטבע ב-UDF יכול להיות עד 32KB. |
| הגודל המקסימלי של כל משאב קוד חיצוני | 1MB | הגודל המקסימלי של כל משאב קוד JavaScript הוא 1MB. |
המגבלות הבאות חלות על פונקציות UDF קבועות:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| האורך המקסימלי של שם פונקציה מוגדרת על ידי המשתמש | 256 תווים | שם של UDF יכול להיות באורך של עד 256 תווים. |
| מספר הארגומנטים המקסימלי | 256 ארגומנטים | פונקציה מוגדרת על ידי המשתמש יכולה לכלול עד 256 ארגומנטים. |
| אורך מקסימלי של שם ארגומנט | 128 תווים | שם של ארגומנט ב-UDF יכול להיות באורך של עד 128 תווים. |
| העומק המקסימלי של שרשרת הפניות של UDF | 16 הפניות | שרשרת הפניות של UDF יכולה לכלול עד 16 הפניות. |
העומק המקסימלי של ארגומנט או פלט מסוג STRUCT
|
15 רמות |
ארגומנט או פלט של פונקציה מוגדרת על ידי המשתמש מסוג STRUCT יכולים להיות בעומק של עד 15 רמות.
|
המספר המקסימלי של שדות בארגומנטים או בפלט מסוג STRUCT לכל UDF
|
1,024 שדות |
ל-UDF יכולים להיות עד 1,024 שדות בארגומנטים של סוג STRUCT ובפלט.
|
המספר המקסימלי של ספריות JavaScript בהצהרה CREATE FUNCTION
|
50 ספריות |
במשפט CREATE FUNCTION יכולות להיות עד 50 ספריות JavaScript.
|
| אורך מקסימלי של נתיבי ספריות JavaScript שכלולים | 5,000 תווים | הנתיב של ספריית JavaScript שכלולה ב-UDF יכול להיות באורך של עד 5,000 תווים. |
| קצב העדכון המקסימלי לכל UDF לכל 10 שניות | 5 עדכונים | הפרויקט יכול לעדכן פונקציה מוגדרת על ידי המשתמש עד חמש פעמים בכל 10 שניות. |
| המספר המקסימלי של פונקציות UDF מורשות לכל מערך נתונים | מערכי נתונים |
פונקציות מרחוק
המגבלות הבאות חלות על פונקציות מרוחקות ב-BigQuery.
מידע על פתרון בעיות זמין במאמר בנושא המספר המקסימלי של שאילתות בו-זמניות שמכילות פונקציות מרוחקות.
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| המספר המקסימלי של שאילתות בו-זמניות שמכילות פונקציות מרוחקות (remote functions) | 10 שאילתות | אפשר להריץ עד עשר שאילתות בו-זמנית עם פונקציות מרוחקות לכל פרויקט. |
| גודל קלט מקסימלי | 5MB | הגודל הכולל המקסימלי של כל ארגומנטי הקלט משורה אחת הוא 5MB. |
| מגבלת גודל של תגובת HTTP (פונקציות Cloud Run דור ראשון) | 10MB | גודל גוף תגובת HTTP מפונקציית Cloud Run דור ראשון הוא עד 10MB. חריגה מהערך הזה גורמת לכשלים בשאילתות. |
| מגבלת גודל של תגובת HTTP (פונקציות Cloud Run דור שני או Cloud Run) | 15MB | גודל גוף תגובת HTTP מפונקציית Cloud Run מדור שני או מ-Cloud Run הוא עד 15MB. חריגה מהערך הזה גורמת לכשלים בשאילתות. |
| מגבלת הזמן המקסימלית להפעלת HTTP (פונקציות Cloud Run דור ראשון) | 9 דקות | אתם יכולים להגדיר מגבלת זמן משלכם לפונקציית Cloud Run דור ראשון עבור הפעלה נפרדת של HTTP, אבל מגבלת הזמן המקסימלית היא 9 דקות. חריגה ממגבלת הזמן שמוגדרת לפונקציית Cloud Run דור ראשון עלולה לגרום לכשלים בהפעלת HTTP ולכשלים בשאילתות. |
| מגבלת הזמן להפעלת HTTP (פונקציות Cloud Run דור שני או Cloud Run) | 20 דקות | הגבלת הזמן להפעלה של HTTP בודד בפונקציית Cloud Run דור שני או ב-Cloud Run. חריגה מהערך הזה עלולה לגרום לכשלים בהפעלת HTTP ולכשלים בשאילתות. |
| המספר המקסימלי של ניסיונות חוזרים להפעלת HTTP | 20 | מספר הניסיונות המקסימלי לביצוע חוזר של קריאת HTTP בודדת לפונקציית Cloud Run דור ראשון, דור שני או Cloud Run. חריגה מהערך הזה עלולה לגרום לכשלים בהפעלת HTTP ולכשלים בשאילתות. |
פונקציות טבלה
המגבלות הבאות חלות על פונקציות של טבלאות ב-BigQuery:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| האורך המקסימלי של שם פונקציית טבלה | 256 תווים | שם פונקציית טבלה יכול להיות באורך של עד 256 תווים. |
| אורך מקסימלי של שם ארגומנט | 128 תווים | האורך של שם ארגומנט של פונקציית טבלה יכול להיות עד 128 תווים. |
| מספר הארגומנטים המקסימלי | 256 ארגומנטים | פונקציה של טבלה יכולה לכלול עד 256 ארגומנטים. |
| העומק המקסימלי של שרשרת הפניות לפונקציות של טבלה | 16 הפניות | שרשרת הפניות של פונקציות בטבלה יכולה לכלול עד 16 הפניות. |
העומק המקסימלי של ארגומנט או פלט מהסוג STRUCT
|
15 רמות |
ארגומנט STRUCT של פונקציית טבלה יכול לכלול עד 15 רמות. באופן דומה, פלט של פונקציה של טבלת STRUCT יכול להכיל עד 15 רמות.
|
מספר השדות המקסימלי בארגומנט או בטבלת ההחזרה מסוג
STRUCT לכל פונקציית טבלה
|
1,024 שדות |
ארגומנט STRUCT של פונקציית טבלה יכול להכיל עד 1,024 שדות.
באופן דומה, רשומה STRUCT
בפלט של פונקציית טבלה יכולה להכיל עד 1,024 שדות.
|
| המספר המקסימלי של עמודות בטבלת ההחזרה | 1,024 עמודות | טבלה שמוחזרת על ידי פונקציית טבלה יכולה להכיל עד 1,024 עמודות. |
| האורך המקסימלי של שמות העמודות בטבלת ההחזרה | 128 תווים | שמות העמודות בטבלאות שמוחזרות יכולים להיות באורך של עד 128 תווים. |
| המספר המקסימלי של עדכונים לכל פונקציית טבלה בכל 10 שניות | 5 עדכונים | הפרויקט יכול לעדכן פונקציית טבלה עד חמש פעמים בכל 10 שניות. |
תהליכים מאוחסנים ל-Apache Spark
המגבלות הבאות חלות על פרוצדורות מאוחסנות של BigQuery עבור Apache Spark:
| מגבלה | ברירת מחדל | Notes |
|---|---|---|
| מספר מקסימלי של שאילתות בו-זמניות של תהליכים מאוחסנים | 50 | אפשר להריץ עד 50 שאילתות של פרוצדורות מאוחסנות בו-זמנית לכל פרויקט. |
| מספר המעבדים המקסימלי שבשימוש | 12,000 | אפשר להשתמש בעד 12,000 ליבות CPU לכל פרויקט. שאילתות שכבר עובדו לא נספרות במגבלה הזו.
אפשר להשתמש בעד 2,400 מעבדים לכל מיקום לכל פרויקט, למעט במיקומים הבאים:
במיקומים האלה, אפשר להשתמש בעד 500 מעבדים לכל מיקום לכל פרויקט. אם מריצים שאילתות בו-זמניות במיקום במספר אזורים ובמיקום של אזור יחיד שנמצא באותו אזור גיאוגרפי, יכול להיות שהשאילתות ינצלו את אותה מכסת CPU בו-זמנית. |
| הגודל הכולל המקסימלי של דיסקים של אחסון מתמיד (persistent disks) רגילים שנמצאים בשימוש | 204.8TB | אפשר להשתמש בעד 204.8TB של דיסקים רגילים של אחסון מתמיד לכל מיקום לכל פרויקט. שאילתות שכבר עובדו לא נספרות במגבלה הזו. אם מריצים שאילתות בו-זמנית במיקום במספר אזורים ובמיקום אזור יחיד שנמצא באותו אזור גיאוגרפי, יכול להיות שהשאילתות ינצלו את אותה מכסת דיסק מתמיד סטנדרטי. |
מחשבים ניידים
כל המיכסות והמגבלות של Dataform והמיכסות והמגבלות של Colab Enterprise חלות על מחברות ב-BigQuery. יש גם מגבלות נוספות:
| מגבלה | ברירת מחדל | Notes |
|---|---|---|
| גודל Notebook מקסימלי | 20 MB |
הגודל של מחברת הוא סכום הגודל של התוכן, המטא-נתונים והתקורה של הקידוד. כדי לראות את הגודל של תוכן המחברת, מרחיבים את הכותרת של המחברת, לוחצים על תצוגה ואז על פרטי המחברת. |
| המספר המקסימלי של בקשות לשנייה ל-Dataform | 100 | מחברות נוצרות ומנוהלות דרך Dataform. כל פעולה שיוצרת או משנה מחברת נספרת במכסה הזו. המכסה הזו משותפת עם שאילתות שמורות. לדוגמה, אם מבצעים 50 שינויים ב-notebooks ו-50 שינויים בשאילתות שמורות תוך שנייה אחת, מגיעים למכסה. |
שאילתות שמורות
כל המכסות והמגבלות של Dataform חלות על שאילתות שמורות. המגבלות הבאות חלות גם כן:
| מגבלה | ברירת מחדל | Notes |
|---|---|---|
| הגודל המקסימלי של שאילתה שמורה | 10MB | |
| המספר המקסימלי של בקשות לשנייה ל-Dataform | 100 | שאילתות שמורות נוצרות ומנוהלות דרך Dataform. כל פעולה שיוצרת או משנה שאילתה שמורה נכללת במכסה הזו. המכסה הזו משותפת עם מחברות. לדוגמה, אם מבצעים 50 שינויים ב-notebooks ו-50 שינויים בשאילתות שמורות תוך שנייה אחת, מגיעים למכסה. |
שפת טיפול בנתונים (DML)
ההגבלות הבאות חלות על הצהרות של שפת הטיפול בנתונים (DML) ב-BigQuery:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| פקודות DML ליום | ללא הגבלה |
אין הגבלה על מספר הצהרות ה-DML שהפרויקט יכול להריץ ביום.
הצהרות DML לא נספרות במסגרת מספר השינויים בטבלה ביום או מספר השינויים בטבלה מחולקת ביום עבור טבלאות מחולקות. חשוב לשים לב למגבלות הבאות שחלות על הצהרות DML. |
מספר פקודות DML בו-זמניות לכל טבלה ביום: INSERT
|
1,500 דוחות |
1,500 ההצהרות הראשונות INSERT מופעלות מיד אחרי השליחה. אחרי שמגיעים למגבלה הזו, מספר ההצהרות המקבילות של INSERT שכותבות לטבלה מוגבל ל-10. הצהרות נוספות של INSERT מתווספות לתור של PENDING. אפשר להוסיף עד 100 הצהרות INSERT לתור של טבלה בכל זמן נתון. כשמסתיימת הפעולה של משפט INSERT, המשפט הבא INSERT מוסר מהתור ומופעל.
אם אתם צריכים להריץ הצהרות DML INSERT בתדירות גבוהה יותר,
כדאי להשתמש ב-Storage Write API כדי להזרים נתונים לטבלה.
|
| פקודות DML לשינוי נתונים שמופעלות בו-זמנית לכל טבלה | 2 דוחות |
מערכת BigQuery מריצה עד שתי הצהרות DML בו-זמניות לשינוי (UPDATE, DELETE ו-MERGE) לכל טבלה. הוראות DML נוספות לשינוי של טבלה מסוימת מתווספות לתור.
|
| פקודות DML לשינוי נתונים שנמצאות בתור לכל טבלה | 20 דוחות | טבלה יכולה להכיל בתור עד 20 הצהרות DML לשינוי שממתינות להפעלה. אם שולחים הצהרות נוספות של DML לשינוי הטבלה, ההצהרות האלה ייכשלו. |
| זמן ההמתנה המקסימלי בתור לפקודת DML | 7 שעות | פקודת DML אינטראקטיבית בעדיפות גבוהה יכולה להמתין בתור עד שבע שעות. אם ההצהרה לא מופעלת אחרי שבע שעות, היא נכשלת. |
| הקצב המקסימלי של פקודות DML לכל טבלה | 25 הצהרות כל 10 שניות |
בכל פרויקט אפשר להריץ עד 25 הצהרות DML כל 10 שניות לכל טבלה. גם משפטי INSERT וגם משפטי DML משנים תורמים למגבלה הזו.
|
מידע נוסף על שינוי של הצהרות DML זמין במאמרים בנושא INSERT בו-זמניות של DML וUPDATE, DELETE, MERGE בו-זמניות של DML.
שאילתות עם כמה הצהרות
המגבלות הבאות חלות על שאילתות עם כמה הצהרות ב-BigQuery.
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| מספר מקסימלי של שאילתות בו-זמניות עם כמה הצהרות | 1,000 שאילתות עם כמה הצהרות | בפרויקט שלכם אפשר להריץ עד 1,000 שאילתות מרובות הצהרות בו-זמנית. |
| מגבלת זמן מצטברת | 24 שעות | הגבלת הזמן המצטברת לשאילתה עם כמה הצהרות היא 24 שעות. |
| מגבלת זמן להפקת דוח | 6 שעות | הגבלת הזמן להצהרה בודדת בשאילתה עם כמה הצהרות היא 6 שעות. |
שאילתות עם ביטויי CTE רקורסיביים
המגבלות הבאות חלות על ביטויי טבלה נפוצים (CTEs) רקורסיביים ב-BigQuery.
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| מגבלת איטרציות | 500 איטרציות | מספר האיטרציות שה-CTE הרקורסיבי יכול לבצע. אם חורגים מהמגבלה הזו, נוצרת שגיאה. כדי לעקוף את מגבלות האיטרציה, אפשר לעיין במאמר בנושא פתרון בעיות שקשורות למגבלות איטרציה. |
אבטחה ברמת השורה
המגבלות הבאות חלות על מדיניות הגישה ברמת השורה ב-BigQuery:
| מגבלה | ברירת מחדל | Notes |
|---|---|---|
| המספר המקסימלי של מדיניות לגישה לשורות בכל טבלה | 400 כללי מדיניות | טבלה יכולה לכלול עד 400 כללי מדיניות לגישה לשורות. |
| המספר המקסימלי של מדיניות גישה ברמת השורה לכל שאילתה | 6,000 כללי מדיניות | שאילתה יכולה לגשת לעד 6,000 כללי מדיניות לגישה לשורות בסך הכול. |
המספר המקסימלי של הצהרות DDL CREATE / DROP לכל מדיניות בכל 10 שניות |
5 דוחות |
בכל 10 שניות, הפרויקט יכול ליצור עד חמש הצהרות CREATE או DROP לכל משאב של מדיניות גישה ברמת השורה.
|
DROP ALL ROW ACCESS POLICIES הצהרות לכל טבלה לכל
10 שניות |
5 דוחות |
בכל 10 שניות, הפרויקט יכול ליצור עד חמש הצהרות DROP ALL ROW ACCESS POLICIES לכל טבלה.
|
מדיניות בנושא נתונים
המגבלות הבאות חלות על אנונימיזציה דינמית של נתונים ברמת העמודה:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| המספר המקסימלי של כללי מדיניות בנושא נתונים לכל תג מדיניות. | 8 כללי מדיניות לכל תג מדיניות | עד שמונה כללי מדיניות לכל תג מדיניות. אפשר להשתמש באחת מהמדיניות האלה כדי להגדיר בקרת גישה ברמת העמודה. אין תמיכה בביטויי מיסוך כפולים. |
Gemini ב-BigQuery
לקוחות שמשתמשים ב-Gemini ב-BigQuery עם חישוב לפי דרישה או עם מהדורות BigQuery Enterprise או Enterprise Plus, המכסות לתכונות מתקדמות כמו תובנות לגבי נתונים מסופקות על סמך השימוש הממוצע היומי ב-TiB שנסרקו או בשעות השימוש בחריץ בחודש הקלנדרי המלא האחרון. המכסה הזו חלה על רמת הארגון וזמינה לכל הפרויקטים בארגון. המכסות מעוגלות כלפי מעלה לשימוש הקרוב ביותר של 100 שעות משבצת.
מכסת הבקשות של Gemini Code Assist ושל Gemini ב-BigQuery לתכונות כמו השלמת קוד ויצירת קוד זהה. מידע נוסף זמין במאמר מכסות ומגבלות של Gemini for Google Cloud .
| מכסות לכל 100 שעות שימוש במשבצות (שימוש ממוצע יומי במהדורת Enterprise או במהדורת Enterprise Plus) או לכל TiB שנסרק באמצעות מודל חישוב לפי דרישה | ערך |
|---|---|
| בקשות ליום לצ'אט, להמחשה, לסריקות טבלה ולבקשות אחרות שמוצגות בחלונית Cloud Assist במסוף Google Cloud . | 5 |
דוגמה: ארגון שיש לו הזמנה של מהדורת Enterprise עם 100 יחידות קיבולת כבסיס, ישתמש בממוצע ב-2,400 שעות של יחידות קיבולת בכל יום (100 יחידות קיבולת * 24 שעות = 2,400 שעות של יחידות קיבולת). כתוצאה מכך, בחודש הבא הם מקבלים את המכסות היומיות הבאות: 120 צ'אטים, תרשימים, סריקות של טבלת תובנות לגבי נתונים ויצירה אוטומטית של מטא-נתונים ביום
אם הארגון שלכם לא רכש עד עכשיו אף משבצת של BigQuery Enterprise, משבצת של מהדורת Enterprise Plus או משבצת של חישוב לפי דרישה (TiB), אז אחרי השימוש הראשון תקבלו את מכסת ברירת המחדל הבאה לחודש הקלנדרי המלא הראשון:
- 250 סריקות של צ'אטים, תצוגות חזותיות, טבלאות של תובנות לגבי נתונים ויצירה אוטומטית של מטא-נתונים ביום
אם מתחילים להשתמש בחישוב לפי דרישה, במהדורת Enterprise או במהדורת Enterprise Plus באמצע החודש, המכסה שמוגדרת כברירת מחדל חלה עד סוף החודש הבא.
BigQuery ML
המגבלות הבאות חלות על BigQuery ML.
משימות של השאילתה
כל המכסות וההגבלות של שאילתות חלות על שאילתות GoogleSQL שמשתמשות בפונקציות ובהצהרות של BigQuery ML.
CREATE MODEL דוחות
המגבלות הבאות חלות על משימות CREATE MODEL:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
CREATE MODEL
שאילתות של הצהרות בכל 48 שעות לכל פרויקט |
20,000 שאילתות של הצהרות | חלק מהמודלים מאומנים באמצעות שירותי Vertex AI, שלכל אחד מהם יש ניהול משאבים ומכסות משלו. |
| מגבלת זמן ההרצה | 24 שעות או 48 שעות | CREATE MODEL
זמן הקצוב לתפוגה של משימה הוא 24 שעות כברירת מחדל, למעט סדרות זמן,
משימות AutoML ומשימות כוונון של היפר-פרמטרים, שהזמן הקצוב לתפוגה שלהן הוא 48 שעות. |
פונקציות של AI גנרטיבי
המגבלות הבאות חלות על פונקציות שמשתמשות במודלי שפה גדולים (LLM) של Vertex AI. מידע נוסף זמין במאמר בנושא הגדרות מכסה של פונקציות.
מגבלות על מספר הבקשות לדקה
המגבלות הבאות חלות על מודלים של Vertex AI שמוגבלים במספר הבקשות לדקה.
| תפקיד | דגם | אזור | בקשות בדקה | שורות לכל משרה |
|---|---|---|---|---|
AI.GENERATE_TEXTML.GENERATE_TEXTAI.GENERATE_TABLEAI.GENERATEAI.GENERATE_BOOLAI.GENERATE_DOUBLEAI.GENERATE_INT
|
gemini-2.0-flash-lite-001 |
US ו-EU אזורים גיאוגרפייםאזורים בודדים כפי שמתועד לגבי gemini-2.0-flash-lite-001 במיקומי נקודות הקצה של מודלים של Google |
לא מוגדרת מכסה. המכסה נקבע לפי מכסה דינמית משותפת (DSQ)1 והקצאת משאבים לפי התפוקה שנקבעה2 | לא רלוונטי להקצאת משאבים לפי התפוקה שנקבעה 10,500,000 ל-DSQ, לשיחה עם ממוצע של 500 טוקנים של קלט ו-50 טוקנים של פלט |
gemini-2.0-flash-001 |
US ו-EU אזורים גיאוגרפייםאזורים בודדים כפי שמתועד לגבי gemini-2.0-flash-001 במיקומי נקודות הקצה של מודלים של Google |
לא רלוונטי להקצאת משאבים לפי התפוקה שנקבעה 10,200,000 ל-DSQ, לשיחה עם ממוצע של 500 טוקנים של קלט ו-50 טוקנים של פלט |
||
gemini-2.5-flash |
US ו-EU אזורים גיאוגרפייםאזורים בודדים כפי שמתועד לגבי gemini-2.5-flash במיקומי נקודות הקצה של מודלים של Google |
לא רלוונטי להקצאת משאבים לפי התפוקה שנקבעה 9,300,000 ל-DSQ, לשיחה עם ממוצע של 500 טוקנים של קלט ו-50 טוקנים של פלט |
||
gemini-2.5-pro |
US ו-EU אזורים גיאוגרפייםאזורים בודדים כפי שמתועד לגבי gemini-2.5-pro במיקומי נקודות הקצה של מודלים של Google |
לא רלוונטי להקצאת משאבים לפי התפוקה שנקבעה 7,600,000 ל-DSQ, לשיחה עם ממוצע של 500 טוקנים של קלט ו-50 טוקנים של פלט |
||
AI.IFAI.SCOREAI.CLASSIFY |
מודלים שונים של gemini-2.5-* Gemini |
אזורים גיאוגרפיים US ו-EU שכוללים מספר אזוריםכל אזור יחיד שנתמך באחד מ gemini-2.5-* models
מיקומי נקודות הקצה של מודלים של Google |
לא מוגדרת מכסה. המיכסה נקבעת לפי מיכסה דינמית משותפת (DSQ)1 | 10,000,000 לקריאה עם ממוצע של 500 טוקנים בכל שורת קלט ו-50 טוקנים של פלט. |
AI.GENERATE_TEXTML.GENERATE_TEXT |
Anthropic Claude | מכסות לפי מודל ואזור | מכסות לפי מודל ואזור | הערך של בקשות לדקה * 60 * 6 |
| Llama | מידע על זמינות אזורית ומכסות של מודל Llama | מידע על זמינות אזורית ומכסות של מודל Llama | ||
| Mistral AI | מידע על הזמינות האזורית והמכסות של מודלים של Mistral AI | מידע על הזמינות האזורית והמכסות של מודלים של Mistral AI | ||
AI.GENERATE_EMBEDDING5AI.EMBEDAI.SIMILARITYAI.SEARCHVECTOR_SEARCHML.GENERATE_EMBEDDING5 |
text-embeddingtext-multilingual-embedding |
כל האזורים שבהם נתמכים מודלים מרוחקים | 1,5003,4 | 80,000,000 לשיחה עם ממוצע של 50 טוקנים בכל שורת קלט 14,000,000 לשיחה עם ממוצע של 600 טוקנים בכל שורת קלט |
multimodalembedding |
אזורים אירופיים נתמכים | 1203 | 14,000 | |
| אזורים שאינם אזורים אירופיים נתמכים | 6003 | 25,000 |
1 כשמשתמשים ב-DSQ, אין הגבלות מוגדרות מראש על המכסה של השימוש. במקום זאת, DSQ מספקת גישה למאגר גדול של משאבים משותפים, שמוקצים באופן דינמי על סמך הזמינות של המשאבים בזמן אמת והביקוש של הלקוח למודל הנתון. כשיש יותר לקוחות פעילים, כל לקוח מקבל פחות תפוקה. באופן דומה, כשיש פחות לקוחות פעילים, כל לקוח יכול לקבל תפוקה גבוהה יותר.
2 הקצאת משאבים לפי התפוקה שנקבעה היא מינוי בעלות קבועה לתקופה קבועה, שזמין למספר תקופות. הקצאת משאבים לפי התפוקה שנקבעה מאפשרת לכם לשריין תפוקה למודלים נתמכים של AI גנרטיבי ב-Vertex AI.
3 כדי להגדיל את המכסה, צריך לבקש שינוי במכסת השאילתות לדקה ב-Vertex AI. צריך להמתין 30 דקות עד שערך המכסה המוגדל יתעדכן.
4 אפשר להגדיל את מכסת השימוש במודלים של Vertex AI text-embedding ו-text-multilingual-embedding ל-10,000 בקשות לדקה בלי אישור ידני. כתוצאה מכך, התפוקה גדלה ל-500,000,000 שורות לכל משימה או יותר, על סמך קריאה עם ממוצע של 50 טוקנים בכל שורת קלט.
5 הפונקציה הזו מוגבלת למקסימום של 5 משימות שפועלות בו-זמנית לכל פרויקט.
למידע נוסף על מכסות של מודלים גדולים של שפה (LLM) ב-Vertex AI, ראו מגבלות מכסות של AI גנרטיבי ב-Vertex AI.
מגבלות על מספר הטוקנים בדקה
המגבלות הבאות חלות על מודלים של Vertex AI שמשתמשים במכסת טוקנים לדקה:
| פונקציה | טוקנים לדקה | שורות לכל משרה | מספר המשימות שפועלות בו-זמנית |
|---|---|---|---|
AI.GENERATE_EMBEDDING או
ML.GENERATE_EMBEDDING כשמשתמשים במודל מרוחק במודל gemini-embedding-001 |
10,000,000 | 12,000,000, לקריאה עם ממוצע של 300 טוקנים לכל שורה | 5 |
פונקציות של שירות AI בענן
המגבלות הבאות חלות על פונקציות שמשתמשות בשירותי Cloud AI:
| פונקציה | בקשות בדקה | שורות לכל משרה | מספר המשימות שפועלות בו-זמנית |
|---|---|---|---|
ML.PROCESS_DOCUMENT עם מסמכים של חמישים עמודים בממוצע |
600 | 100,000 (על סמך ממוצע של 50 דפים בכל מסמך קלט) | 5 |
ML.TRANSCRIBE |
200 | 10,000 (על סמך אורך ממוצע של דקה אחת לכל קובץ אודיו קלט) | 5 |
ML.ANNOTATE_IMAGE |
1,800 | 648,000 | 5 |
ML.TRANSLATE |
6,000 | 2,160,000 | 5 |
ML.UNDERSTAND_TEXT |
600 | 21,600 | 5 |
מידע נוסף על מכסת השימוש בממשקי Cloud AI API זמין במאמרים הבאים:
- מכסות ומגבלות של Cloud Translation API
- מכסות ומגבלות של Vision API
- מכסות ומגבלות של Natural Language API
- מכסות ומגבלות של Document AI
- מכסות ומגבלות של המרת דיבור לטקסט (STT)
הגדרות מכסת הפונקציות
ברשימה הבאה מפורטות המכסות שחלות על פונקציות של AI גנרטיבי ושירותי Cloud AI:
- פונקציות שקוראות למודל Vertex AI משתמשות במכסה אחת של Vertex AI, שהיא שאילתות לדקה (QPM). בהקשר הזה, השאילתות הן קריאות לבקשות מהפונקציה ל-API של מודל Vertex AI. מכסת השאילתות לדקה חלה על מודל בסיסי ועל כל הגרסאות, המזהים והגרסאות המותאמות של המודל הזה. למידע נוסף על מכסות המודלים של Vertex AI, אפשר לעיין במאמר מגבלות המכסות של AI גנרטיבי ב-Vertex AI.
- פונקציות שמבצעות קריאה לשירות AI של Google Cloud משתמשות במכסות הבקשות של שירות היעד. פרטים נוספים זמינים במאמר בנושא מכסות של שירותי Cloud AI.
ב-BigQuery ML יש מכסות מהסוגים הבאים:
בקשות בדקה. המכסה הזו היא המגבלה על מספר קריאות הבקשות לדקה שפונקציות יכולות לבצע ל-API של מודל Vertex AI או של שירות Cloud AI. המגבלה הזו חלה על כל פרויקט, והיא משותפת לכל המשימות שמשתמשות באותה נקודת קצה של מודל.
לשיחות עם מודלים של Gemini ב-Vertex AI אין מכסות שימוש מוגדרות מראש, כי מודלים של Gemini משתמשים במכסה משותפת דינמית (DSQ). DSQ מספקת גישה למאגר גדול של משאבים משותפים, שמוקצים באופן דינמי על סמך הזמינות בזמן אמת של המשאבים והביקוש של הלקוחות למודל הנתון.
טוקנים לדקה. המכסה הזה הוא המגבלה על מספר הטוקנים לדקה שהפונקציות יכולות לשלוח ל-API של המודל ב-Vertex AI. המגבלה הזו חלה על כל פרויקט.
בפונקציות שמבצעות קריאה למודל בסיסי של Vertex AI, מספר הטוקנים לדקה משתנה בהתאם לנקודת הקצה, לגרסה ולאזור של מודל Vertex AI, וגם בהתאם למוניטין של הפרויקט. המכסה הזו זהה מבחינה רעיונית למכסת השאילתות לדקה שמשמשת את Vertex AI.
שורות לכל משרה. הערך
Rows per jobמשמש כנקודת השוואה לביצועים, והוא מייצג את קיבולת העיבוד כשעבודה אחת משתמשת באופן בלעדי במשאבי נקודת הקצה של המודל בפרויקט. מספר השורות בפועל שעברו עיבוד תלוי בגורמים רבים, כולל גודל בקשת הקלט למודל, גודל תגובות הפלט מהמודל והזמינות של מכסת שימוש דינמית משותפת. בדוגמאות הבאות מוצגים כמה תרחישים נפוצים:בנקודת הקצה
gemini-2.0-flash-lite-001, מספר השורות שאפשר לעבד באמצעות הפונקציהAI.GENERATE_TEXTאוML.GENERATE_TEXTתלוי במספר האסימונים של הקלט והפלט. השירות יכול לעבד כ-7.6 מיליון שורות של שיחות עם מספר ממוצע של 2,000 טוקנים של קלט ומספר מקסימלי של 50 טוקנים של פלט. המספר הזה יורד לכמיליון שורות אם מספר הטוקנים הממוצע בקלט הוא 10,000 ומספר הטוקנים המקסימלי בפלט הוא 3,000.באופן דומה, נקודת הקצה
gemini-2.0-flash-001יכולה לעבד 4.4 מיליון שורות עבור קריאות עם מספר טוקנים ממוצע של 2,000 ומספר טוקנים מקסימלי של 50, אבל רק מיליון שורות עבור קריאות עם 10,000 טוקנים של קלט ו-3,000 טוקנים של פלט.הפונקציה
ML.PROCESS_DOCUMENTיכולה לעבד יותר שורות לכל משימה במסמכים קצרים לעומת מסמכים ארוכים.הפונקציה
ML.TRANSCRIBEיכולה לעבד יותר שורות בכל משימה עבור קטעי אודיו קצרים בהשוואה לקטעי אודיו ארוכים.
מספר המשימות שפועלות בו-זמנית. המכסה הזה הוא המגבלה לכל פרויקט על מספר שאילתות ה-SQL שאפשר להריץ בו-זמנית עבור הפונקציה הנתונה.
בדוגמאות הבאות מוסבר איך לפרש את מגבלות המכסה במצבים אופייניים:
יש לי מכסה של 1,000 שאילתות לדקה ב-Vertex AI, לכן שאילתה עם 100,000 שורות אמורה להימשך כ-100 דקות. למה העבודה פועלת יותר זמן?
זמני הריצה של המשימות יכולים להשתנות גם עבור אותם נתוני קלט. ב-Vertex AI, לקריאות לפרוצדורות מרוחקות (RPC) יש עדיפויות שונות כדי למנוע ניצול יתר של המכסה. כשאין מספיק מכסת שימוש, בקשות RPC עם עדיפות נמוכה יותר ממתינות, ויכול להיות שהן ייכשלו אם ייקח יותר מדי זמן לעבד אותן.
איך מפרשים את המכסה של שורות לכל משימה?
ב-BigQuery, שאילתה יכולה לפעול למשך שש שעות לכל היותר. מספר השורות המקסימלי שנתמך הוא פונקציה של ציר הזמן הזה ושל מכסת ה-QPM של Vertex AI, כדי לוודא ש-BigQuery יכול להשלים את עיבוד השאילתה תוך שש שעות. בדרך כלל שאילתה לא יכולה להשתמש בכל המכסה, ולכן המספר הזה נמוך יותר ממכסת השאילתות לדקה כפול 360.
מה קורה אם מריצים משימת הסקה בקבוצה על טבלה עם יותר שורות מהמכסה של שורות לכל משימה, למשל 10,000,000 שורות?
מערכת BigQuery מעבדת רק את מספר השורות שצוין במכסת השורות לכל משימה. החיוב יתבצע רק על קריאות ה-API שבוצעו בהצלחה עבור מספר השורות הזה, ולא על כל 10,000,000 השורות בטבלה. בשאר השורות, BigQuery מגיב לבקשה עם השגיאה
A retryable error occurred: the maximum size quota per query has reached, שמוחזרת בעמודהstatusשל התוצאה. אפשר להשתמש בקבוצת סקריפטים של SQL או בחבילת Dataform כדי לחזור על קריאות ההיקש עד שכל השורות יעברו עיבוד בהצלחה.יש לי הרבה יותר שורות לעיבוד מאשר המכסה של שורות לכל עבודה. האם פיצול השורות שלי לכמה שאילתות והרצה שלהן בו-זמנית יעזרו?
לא, כי השאילתות האלה צורכות את אותה מכסה של בקשות לדקה (QPM) ב-BigQuery ML ואת אותה מכסה של QPM ב-Vertex AI. אם יש כמה שאילתות שכולן לא חורגות מהמכסה של שורות לכל משימה ומהמכסה של מספר המשימות שפועלות בו-זמנית, העיבוד המצטבר יגרום למיצוי המכסה של בקשות לדקה.
BI Engine
ההגבלות הבאות חלות על BigQuery BI Engine.
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| גודל מקסימלי של מקום שמור לכל פרויקט לכל מיקום (BigQuery BI Engine) | 250 GiB | 250GiB הוא גודל ההזמנה המקסימלי שמוגדר כברירת מחדל לכל פרויקט ולכל מיקום. אתם יכולים לבקש להגדיל את קיבולת ההזמנה המקסימלית של הפרויקטים שלכם. הגדלת הזמנות זמינה ברוב האזורים, והיא עשויה להימשך 3 ימי עסקים או יותר, בהתאם לגודל ההגדלה המבוקשת. במקרה של בקשות דחופות, צריך לפנות לנציג Google Cloud שלך או ל-Cloud Customer Care. |
| המספר המקסימלי של שורות לכל שאילתה | 7 מיליארד | מספר השורות המקסימלי לכל שאילתה. |
BigQuery sharing (לשעבר Analytics Hub)
המגבלות הבאות חלות על שיתוף ב-BigQuery (לשעבר Analytics Hub):
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| המספר המקסימלי של מרכזי נתונים בכל פרויקט | 500 תכתובות | אפשר ליצור עד 500 מרכזי נתונים בפרויקט. |
| המספר המקסימלי של דפים עסקיים לכל שיתוף נתונים | 1,000 כרטיסי מוצר | אפשר ליצור עד 1,000 כרטיסי מוצר בחילופי נתונים. |
| מספר קבוצות הנתונים המקושרות המקסימלי לכל קבוצת נתונים משותפת | 1,000 מערכי נתונים מקושרים | לכל המנויים של BigQuery sharing, ביחד, יכולים להיות לכל היותר 1,000 מערכי נתונים מקושרים לכל מערך נתונים משותף. |
גילוי אוטומטי ב-Dataplex Universal Catalog
המגבלות הבאות חלות על גילוי אוטומטי ב-Dataplex Universal Catalog:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| מספר הטבלאות המקסימלי ב-BigQuery, ב-BigLake או בטבלאות חיצוניות לכל קטגוריה של Cloud Storage שסריקת גילוי תומכת בה | 1,000 טבלאות BigQuery לכל דלי | אפשר ליצור עד 1,000 טבלאות BigQuery לכל קטגוריה של Cloud Storage. |
מכסות ומגבלות של API
המכסות וההגבלות האלה חלות על בקשות של BigQuery API.
BigQuery API
המכסות הבאות חלות על בקשות של BigQuery API (ליבה):
| מכסה | ברירת מחדל | הערות |
|---|---|---|
| בקשות ביום | ללא הגבלה |
בכל יום אפשר לשלוח מהפרויקט מספר בלתי מוגבל של בקשות ל-BigQuery API.
הצגת המכסה ב Google Cloud מסוף |
מקסימום
tabledata.list בייט לדקה
|
7.5GB במספר אזורים, 3.7GB בכל האזורים האחרים |
הפרויקט יכול להחזיר נתונים של שורות בטבלה בגודל של עד 7.5GB לדקה דרך tabledata.list באזורים מרובים של us וeu, ונתונים של שורות בטבלה בגודל של עד 3.7GB לדקה בכל האזורים האחרים. המכסה הזו חלה על הפרויקט שמכיל את הטבלה שקוראים ממנה. גם ממשקי API אחרים, כולל
jobs.getQueryResults ו
jobs.query ו
jobs.insert, יכולים לנצל את המכסה הזו.
מידע על פתרון בעיות מופיע בדף לפתרון בעיות.
הצגת המכסה ב Google Cloud מסוף
BigQuery Storage Read API
יכול לתמוך בנפח נתונים גבוה משמעותית בהשוואה ל- |
המגבלות הבאות חלות על בקשות של BigQuery API (ליבה):
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| מספר הבקשות המקסימלי ל-API בשנייה לכל משתמש לכל שיטה | 100 בקשות |
משתמש יכול לשלוח עד 100 בקשות API בשנייה לשיטת API.
אם משתמש שולח יותר מ-100 בקשות בשנייה לשיטה מסוימת,
יכול להיות שהמערכת תגביל את קצב הבקשות.
המגבלה הזו לא חלה על הוספות בסטרימינג.
מידע נוסף לפתרון בעיות מופיע בדף לפתרון בעיות. |
| מספר מקסימלי של בקשות API בו-זמניות לכל משתמש | 300 בקשות | אם משתמש שולח יותר מ-300 בקשות בו-זמנית, יכול להיות שיופעל מנגנון ויסות התעבורה. המגבלה הזו לא חלה על הוספות בסטרימינג. |
| גודל מקסימלי של כותרת בקשה | 16 KiB |
בקשת BigQuery API יכולה להיות עד 16KiB, כולל כתובת ה-URL של הבקשה וכל הכותרות. המגבלה הזו לא חלה על גוף הבקשה, למשל בבקשת POST.
|
מקסימום
jobs.get בקשות לשנייה
|
1,000 בקשות |
בפרויקט שלכם אפשר להגיש עד 1,000
jobs.get
בקשות לשנייה.
|
גודל תגובה מקסימלי של
jobs.query
|
20 MB |
כברירת מחדל, אין מגבלה על מספר השורות של נתונים שמוחזרים על ידי jobs.query לכל דף תוצאות. עם זאת,
גודל התגובה מוגבל ל-20MB. אפשר לשנות את מספר השורות שיוחזרו באמצעות הפרמטר maxResults.
|
גודל השורה המקסימלי של
jobs.getQueryResults
|
20 MB | גודל השורה המקסימלי הוא משוער, כי המגבלה מבוססת על הייצוג הפנימי של נתוני השורה. המגבלה נאכפת במהלך הקידוד מחדש. |
מקסימום
projects.list בקשות לשנייה
|
10 בקשות |
משתמש יכול לשלוח עד 10
projects.list בקשות לשנייה.
|
המספר המקסימלי של בקשות
tabledata.list לשנייה
|
1,000 בקשות |
בפרויקט שלכם אפשר להגיש עד 1,000 בקשות tabledata.list
לשנייה.
|
מספר השורות המקסימלי בתשובה של
tabledata.list
|
100,000 שורות |
קריאה לפונקציה tabledata.list יכולה להחזיר עד 100,000 שורות של טבלה.
מידע נוסף זמין במאמר בנושא הצגת תוצאות בדפים באמצעות ה-API.
|
גודל השורה המקסימלי של
tabledata.list
|
100MB | גודל השורה המקסימלי הוא משוער, כי המגבלה מבוססת על הייצוג הפנימי של נתוני השורה. המגבלה נאכפת במהלך הקידוד מחדש. |
מקסימום
tables.insert בקשות לשנייה
|
10 בקשות |
משתמש יכול לשלוח עד 10 בקשות tables.insert לשנייה.
השיטה tables.insert יוצרת טבלה חדשה וריקה במערך נתונים.
|
BigQuery Connection API
המכסות הבאות חלות על בקשות של BigQuery Connection API:
| מכסה | ברירת מחדל | הערות |
|---|---|---|
| בקשות קריאה לדקה | 1,000 בקשות לדקה |
הפרויקט יכול לשלוח עד 1,000 בקשות בדקה לשיטות של BigQuery Connection API שקוראות נתוני חיבור.
הצגת המכסה ב Google Cloud מסוף |
| כתיבת בקשות לדקה | 100 בקשות לדקה |
בכל פרויקט אפשר לשלוח עד 100 בקשות בדקה לשיטות של BigQuery Connection API
שיוצרות או מעדכנות חיבורים.
הצגת המכסה ב Google Cloud מסוף |
| חיבורי BigQuery Omni שנוצרו בדקה | נוצרים 10 חיבורים לדקה | בכל דקה, אפשר ליצור בפרויקט עד 10 חיבורים ל-BigQuery Omni, בסך הכול ב-AWS וב-Azure. |
| שימושים בחיבור BigQuery Omni | 500 פעולות שימוש בחיבור לדקה | בפרויקט שלכם אפשר להשתמש בחיבור BigQuery Omni עד 500 פעמים בדקה. ההגבלה הזו חלה על פעולות שמשתמשות בחיבור שלכם כדי לגשת לחשבון AWS, כמו שאילתה של טבלה. |
BigQuery Migration API
המגבלות הבאות חלות על BigQuery Migration API:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| גודל קובץ בודד לתרגום SQL באצווה | 10MB |
כל קובץ מקור וקובץ מטא-נתונים יכולים להיות בגודל של עד 10MB.
המגבלה הזו לא חלה על קובץ ה-ZIP של המטא-נתונים שנוצר על ידי כלי החילוץ משורת הפקודה dwh-migration-dumper.
|
| הגודל הכולל של קובצי המקור לתרגום SQL באצווה | 1GB | הגודל הכולל של כל קובצי הקלט שהועלו ל-Cloud Storage יכול להיות עד 1GB. ההורדה כוללת את כל קובצי המקור ואת כל קובצי המטא-נתונים, אם בחרתם לכלול אותם. |
| גודל מחרוזת הקלט לתרגום אינטראקטיבי של SQL | 1MB | המחרוזת שאתם מזינים לתרגום אינטראקטיבי של SQL לא יכולה להיות גדולה מ-1MB. כשמריצים תרגומים אינטראקטיביים באמצעות Translation API, המגבלה הזו חלה על הגודל הכולל של כל מחרוזות הקלט. |
| הגודל המקסימלי של קובץ התצורה לתרגום אינטראקטיבי של SQL | 50MB |
קבצים בודדים של מטא-נתונים (דחוסים) וקבצי הגדרות YAML ב-Cloud Storage לא יכולים להיות גדולים מ-50MB. אם גודל הקובץ גדול מ-50MB,
הכלי האינטראקטיבי לתרגום מדלג על קובץ התצורה הזה במהלך
התרגום ומציג הודעת שגיאה. אחת הדרכים להקטין את הגודל של קובץ המטא-נתונים היא להשתמש בדגלים —database או –schema כדי לסנן מסדי נתונים כשיוצרים את המטא-נתונים.
|
| המספר המקסימלי של הצעות מ-Gemini בשעה | 1,000 (אפשר לצבור עד 10,000 אם לא משתמשים) | במקרה הצורך, אפשר לפנות אל Cloud Customer Care כדי לבקש הגדלה של המכסה. |
המכסות הבאות חלות על BigQuery Migration API. ברוב המקרים, ערכי ברירת המחדל הבאים חלים. יכול להיות שברירות המחדל של הפרויקט שלכם יהיו שונות:
| מכסה | ברירת מחדל | הערות |
|---|---|---|
|
EDWMigration Service List Requests per minute EDWMigration Service List Requests per minute per user |
12,000 בקשות 2,500 בקשות |
בכל פרויקט אפשר לשלוח עד 12,000 בקשות של Migration API List בדקה. כל משתמש יכול לשלוח עד 2,500 בקשות לרשימה של Migration API בדקה. הצגת מכסות ב Google Cloud מסוף |
|
EDWMigration Service Get Requests per minute EDWMigration Service Get Requests per minute per user |
25,000 בקשות 2,500 בקשות |
בכל פרויקט אפשר לשלוח עד 25,000 בקשות Get ל-Migration API בדקה. כל משתמש יכול לשלוח עד 2,500 בקשות Get ל-Migration API בדקה. הצגת מכסות ב Google Cloud מסוף |
|
EDWMigration Service Other Requests per minute EDWMigration Service Other Requests per minute per user |
25 בקשות 5 בקשות |
בכל פרויקט אפשר לשלוח עד 25 בקשות אחרות ל-Migration API בדקה. כל משתמש יכול לשלוח עד 5 בקשות נוספות ל-Migration API בכל דקה. הצגת מכסות ב Google Cloud מסוף |
|
בקשות אינטראקטיביות לתרגום SQL לדקה בקשות אינטראקטיביות לתרגום SQL לדקה לכל משתמש |
200 בקשות 50 בקשות |
בכל פרויקט אפשר לשלוח עד 200 בקשות לשירות התרגום של SQL בכל דקה. כל משתמש יכול לשלוח עד 50 בקשות נוספות לשירות תרגום SQL בדקה. הצגת מכסות ב Google Cloud מסוף |
BigQuery Reservation API
המכסות הבאות חלות על בקשות ל-BigQuery Reservation API:
| מכסה | ברירת מחדל | הערות |
|---|---|---|
| בקשות לדקה לכל אזור | 100 בקשות |
בכל פרויקט אפשר לבצע עד 100 קריאות לשיטות של BigQuery Reservation API בדקה לכל אזור.
הצגת מכסות ב Google Cloud מסוף |
מספר השיחות ב-SearchAllAssignments לדקה בכל אזור
|
100 בקשות |
בכל פרויקט אפשר לבצע עד 100 קריאות לשיטה
SearchAllAssignments בדקה לכל אזור.
הצגת מכסות ב Google Cloud מסוף |
בקשות ל-SearchAllAssignments לדקה לכל אזור לכל משתמש
|
10 בקשות |
כל משתמש יכול לבצע עד 10 שיחות לשיטה
SearchAllAssignments לדקה לכל אזור.
הצגת מכסות ב Google Cloud מסוף (בתוצאות החיפוש של Google Cloud המסוף, מחפשים לכל משתמש). |
BigQuery Data Policy API
המגבלות הבאות חלות על Data Policy API (תצוגה מקדימה):
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
מספר השיחות המקסימלי של dataPolicies.list
|
400 בקשות לדקה לכל פרויקט 600 בקשות לדקה לכל ארגון |
|
מספר השיחות המקסימלי של dataPolicies.testIamPermissions.
|
400 בקשות לדקה לכל פרויקט 600 בקשות לדקה לכל ארגון |
|
| המספר המקסימלי של בקשות קריאה. |
1,200 בקשות לדקה לכל פרויקט 1,800 בקשות לדקה לכל ארגון |
זה כולל קריאות אל
dataPolicies.get
ו-
dataPolicies.getIamPolicy.
|
| המספר המקסימלי של בקשות כתיבה. |
600 בקשות לדקה לכל פרויקט 900 בקשות לדקה לכל ארגון |
זה כולל שיחות אל: |
IAM API
המכסות הבאות חלות כשמשתמשים בתכונות של ניהול זהויות והרשאות גישה ב-BigQuery כדי לאחזר ולהגדיר מדיניות IAM, וכדי לבדוק הרשאות IAM.
השימוש בהצהרות שפת בקרת נתונים (DCL) נספר במסגרת מכסת SetIAMPolicy.
| מכסה | ברירת מחדל | הערות |
|---|---|---|
IamPolicy בקשות לדקה לכל משתמש |
1,500 בקשות לדקה לכל משתמש | כל משתמש יכול לשלוח עד 1,500 בקשות לדקה לכל פרויקט. הצגת המכסה ב Google Cloud מסוף |
IamPolicy בקשות לדקה לכל פרויקט |
3,000 בקשות לדקה לכל פרויקט | בפרויקט אפשר לשלוח עד 3,000 בקשות לדקה. הצגת המכסה ב Google Cloud מסוף |
אזור יחיד
SetIAMPolicy בקשות לדקה לכל פרויקט |
1,000 בקשות לדקה לכל פרויקט | בפרויקט עם אזור יחיד אפשר לשלוח עד 1,000 בקשות לדקה. הצגת המכסה ב Google Cloud מסוף |
במספר אזורים
SetIAMPolicy בקשות לדקה לכל פרויקט |
2,000 בקשות לדקה לכל פרויקט | בפרויקט מרובה אזורים אפשר לשלוח עד 2,000 בקשות לדקה. הצגת המכסה ב Google Cloud מסוף |
בקשות בכל האזורים
SetIAMPolicy לדקה לכל פרויקט |
200 בקשות לדקה לכל פרויקט | בפרויקט רב-אזורי אפשר לשלוח עד 200 בקשות בדקה. הצגת המכסה ב Google Cloud מסוף |
Storage Read API
המכסות הבאות חלות על בקשות של BigQuery Storage Read API:
| מכסה | ברירת מחדל | הערות |
|---|---|---|
| קריאה של בקשות במישור הנתונים לדקה לכל משתמש | 25,000 בקשות |
כל משתמש יכול לבצע עד 25,000 שיחות ReadRows בדקה לכל פרויקט.
הצגת המכסה ב Google Cloud מסוף |
| קריאת בקשות של מישור הבקרה לדקה לכל משתמש | 5,000 בקשות |
כל משתמש יכול לבצע עד 5,000 קריאות לפעולות מטא-נתונים של Storage Read API בדקה לכל פרויקט. קריאות המטא-נתונים כוללות את ה-methods CreateReadSession ו-SplitReadStream.
הצגת המכסה ב Google Cloud מסוף |
המגבלות הבאות חלות על בקשות של BigQuery Storage Read API:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| אורך מקסימלי של שורה או מסנן | 1MB |
כשמשתמשים בקריאה ל-Storage Read API CreateReadSession, יש מגבלה של 1MB לכל שורה או מסנן.
|
| גודל מקסימלי של נתונים שעברו סריאליזציה | 128MB |
כשמשתמשים בקריאה ל-Storage Read API ReadRows, הייצוג הסדרתי של הנתונים בהודעה ReadRowsResponse לא יכול להיות גדול מ-128MB.
|
| מספר מקסימלי של חיבורים בו-זמניים | 2,000 במספר אזורים, 400 באזורים |
אפשר לפתוח עד 2,000 חיבורים בו-זמנית לכל פרויקט ב-us וב-eu, ו-400 חיבורים בו-זמנית באזורים אחרים.ReadRowsReadRows במקרים מסוימים, יכול להיות שתהיה לכם אפשרות להשתמש בפחות חיבורים בו-זמניים מהמגבלה הזו.
|
| שימוש מקסימלי בזיכרון לכל סטרימינג | 1.5GB | הזיכרון המקסימלי לכל זרם הוא משוער, כי המגבלה מבוססת על הייצוג הפנימי של נתוני השורה. יכול להיות שסטרימינג של נתונים שמשתמשים ביותר מ-1.5GB של זיכרון לשורה אחת ייכשל. מידע נוסף זמין במאמר פתרון בעיות שקשורות לחריגה ממגבלות המשאבים. |
Storage Write API
המכסות הבאות חלות על בקשות ל-Storage Write API. אפשר להחיל את המכסות הבאות ברמת התיקייה. המכסות האלה מצטברות ומשותפות בין כל פרויקטי הצאצא. כדי להפעיל את ההגדרה הזו, צריך לפנות אל Cloud Customer Care.
אם אתם מתכננים לבקש שינוי במכסה, כדאי לכלול את הודעת השגיאה בנוגע למכסה בבקשה כדי לזרז את הטיפול בה. יכול להיות שמכסת ההקצאה שלכם תצומצם ב-BigQuery אם לא נעשה בה שימוש משמעותי במשך יותר משנה.
| מכסה | ברירת מחדל | הערות |
|---|---|---|
| חיבורים בו-זמניים | 1,000 באזור, 10,000 במספר אזורים |
המכסה של חיבורים בו-זמניים מבוססת על פרויקט הלקוח שיזם את בקשת ה-API של Storage Write, ולא על הפרויקט שמכיל את משאב מערך הנתונים של BigQuery. פרויקט ההפעלה הוא הפרויקט שמשויך למפתח ה-API או לחשבון השירות. הפרויקט יכול לפעול עם 1,000 חיבורים בו-זמניים באזור אחד, או עם 10,000 חיבורים בו-זמניים באזורים מרובים כשמשתמשים בזרם ברירת המחדל ב-Java או ב-Go, מומלץ להשתמש בStorage Write API multiplexing כדי לכתוב לכמה טבלאות יעד עם חיבורים משותפים, וכך לצמצם את מספר החיבורים הכולל שנדרשים. אם אתם משתמשים במחבר Beam עם סמנטיקה של לפחות פעם אחת, אתם יכולים להגדיר את UseStorageApiConnectionPool לערך אפשר לראות את מדדי המכסות והמגבלות של הפרויקטים ב-Cloud Monitoring. בוחרים את שם המגבלה על מספר החיבורים בו-זמנית בהתאם לאזור. האפשרויות הן |
| תפוקה | תפוקה של 3GB לשנייה במספר אזורים, 300MB לשנייה באזורים |
אפשר להזרים עד 3GBps באזורים us וeu, ו-300MBps באזורים אחרים לכל פרויקט.
הצגת המכסה ב Google Cloud מסוף אפשר לראות את מדדי המכסות והמגבלות של הפרויקטים ב-Cloud Monitoring. בוחרים את שם מגבלת התפוקה בהתאם לאזור. האפשרויות הן |
CreateWriteStream בקשות
|
10,000 סטרימינג בכל שעה, לכל פרויקט לכל אזור |
אפשר לבצע עד CreateWriteStream קריאות בשעה לכל פרויקט בכל אזור. אם לא צריך סמנטיקה של 'פעם אחת בדיוק', כדאי להשתמש בשידור ברירת המחדל.
המכסה הזה הוא שעתי, אבל המדד שמוצג במסוף Google Cloud הוא דקות.
|
| בייטים של שידור בהמתנה | 10TB במספר אזורים; 1TB באזורים |
לכל פעולת שליחה שאתם מפעילים, אתם יכולים לשלוח עד 10 TB באזורים הגיאוגרפיים us ו-eu, ועד 1 TB באזורים אחרים. אין דיווח על המכסה הזו.
|
המגבלות הבאות חלות על בקשות של Storage Write API:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| ביצוע שינויים באצווה | 10,000 זרמים לכל טבלה |
אפשר לבצע קומיט של עד 10,000 זרמים בכל קריאה ל-BatchCommitWriteStream.
|
AppendRows
גודל הבקשה
|
10MB | גודל הבקשה המקסימלי הוא 10MB. |
הזנת זרם נתונים
המכסות וההגבלות הבאות חלות כשמעבירים נתונים ל-BigQuery באמצעות Legacy streaming API.
במאמר פתרון בעיות שקשורות למכסות מוסבר איך אפשר להישאר במסגרת המגבלות האלה.
אם תחרגו מהמכסות האלה, מערכת BigQuery תחזיר שגיאה quotaExceeded.
יכול להיות שמכסת ההקצאה שלכם תצומצם ב-BigQuery אם לא נעשה בה שימוש משמעותי במשך יותר משנה.
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
מספר הבייטים המקסימלי לשנייה לכל פרויקט באזורים מרובים us ו-eu
|
1GB לשנייה |
הפרויקט יכול להזרים עד 1GB לשנייה. המכסה הזה הוא מצטבר במספר אזורים נתון. במילים אחרות, סכום הבייטים לשנייה שמוזרמים לכל הטבלאות בפרויקט נתון במספר אזורים מוגבל ל-1GB.
חריגה מהמגבלה הזו גורמת לשגיאות במקרה הצורך, אפשר לפנות אל Cloud Customer Care כדי לבקש הגדלה של המכסה. כדאי לשלוח את הבקשה להגדלת המגבלה בהקדם האפשרי, ולפחות שבועיים לפני שתזדקקו להגדלה. הגדלת המכסה מתבצעת תוך זמן מה, במיוחד במקרה של הגדלה משמעותית. |
| מספר הבייטים המקסימלי לשנייה לכל פרויקט בכל שאר המיקומים | 300MB לשנייה |
בכל המיקומים, למעט האזורים הגיאוגרפיים
חריגה מהמגבלה הזו גורמת לשגיאות במקרה הצורך, אפשר לפנות אל Cloud Customer Care כדי לבקש הגדלה של המכסה. כדאי לשלוח את הבקשה להגדלת המגבלה בהקדם האפשרי, ולפחות שבועיים לפני שתזדקקו להגדלה. הגדלת המכסה מתבצעת תוך זמן מה, במיוחד במקרה של הגדלה משמעותית. |
| גודל שורה מקסימלי | 10MB |
חריגה מהערך הזה גורמת לשגיאות invalid.
|
| מגבלת הגודל של בקשת HTTP | 10MB |
חריגה מהערך הזה גורמת לשגיאות באופן פנימי, הבקשה מתורגמת מ-HTTP JSON למבנה נתונים פנימי. למבנה הנתונים המתורגם יש מגבלת גודל משלו. קשה לחזות את הגודל של מבנה הנתונים הפנימי שיתקבל, אבל אם תגבילו את בקשות ה-HTTP ל-10MB או פחות, הסיכוי שתגיעו למגבלה הפנימית נמוך. |
| מספר השורות המקסימלי לכל בקשה | 50,000 שורות | מומלץ להשתמש בגיליון עם עד 500 שורות. הוספה של בקשות לאצווה יכולה לשפר את הביצועים ואת קצב העברת הנתונים עד לנקודה מסוימת, אבל על חשבון זמן האחזור לכל בקשה. אם יש מעט מדי שורות בכל בקשה, התקורה של כל בקשה עלולה להפוך את ההעברה ללא יעילה. יותר מדי שורות בכל בקשה, וקצב העברת הנתונים יכול לרדת. כדאי לבצע ניסוי עם נתונים מייצגים (סכימה וגדלי נתונים) כדי לקבוע את גודל האצווה האידיאלי לנתונים שלכם. |
insertId אורך השדה
|
128 תווים |
חריגה מהערך הזה גורמת לשגיאות invalid.
|
למידע נוסף על מכסת סטרימינג, ראו בקשה להגדלת מכסה.
רוחב פס
המכסות הבאות חלות על רוחב הפס של הרפליקציה:
| מכסה | ברירת מחדל | הערות |
|---|---|---|
| רוחב הפס המקסימלי של רפליקציית ההשלמה הראשונית לכל אזור שבו מתבצעת תעבורת נתונים יוצאת (egress) בין אזורים מהרפליקה הראשית לרפליקות המשניות. | 10 GiBps פיזיים לכל אזור לכל ארגון | |
| רוחב הפס המקסימלי של שכפול מתמשך לכל אזור שבו מתבצעת יציאת נתונים בין אזורים מהרפליקה הראשית לרפליקות המשניות. | 5 GiBps פיזיים לכל אזור לכל ארגון | |
| רוחב הפס המקסימלי של רפליקציה בקצב טורבו לכל אזור שבו יש יציאת נתונים בין אזורים מהרפליקה הראשית לרפליקות המשניות. | 5 GiBps פיזיים לכל אזור לכל ארגון | מכסת רוחב הפס של רפליקציה בקצב טורבו לא חלה על פעולת המילוי החוזר הראשונית. |
כשרוחב הפס של השכפול בפרויקט חורג ממכסה מסוימת, יכול להיות שהשכפול מפרויקטים מושפעים ייפסק עם השגיאה rateLimitExceeded שכוללת פרטים על המכסה שנחצתה.