מכסות ומגבלות

במאמר הזה מוסבר על מכסות ומגבלות המערכת של Dataform.

  • המכסות נקבעות כברירת מחדל, אבל בדרך כלל אפשר לבקש לשנות אותן.
  • מגבלות המערכת קבועות ואי אפשר לשנות אותן.

המכסות שלGoogle Cloud עוזרות לשמור על הוגנות ולצמצם עליות חדות בשימוש במשאבים ובזמינות שלהם. הן מגבילות את כמות המשאבים שלGoogle Cloud שאפשר להשתמש בהם בפרויקט ב- Google Cloud . המכסות רלוונטיות למגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות. לדוגמה, המכסות יכולות להגביל את מספר הקריאות ל-API בשירות מסוים, את מספר מאזני העומסים שאפשר להשתמש בהם בו-זמנית בפרויקט או את מספר הפרויקטים שאפשר ליצור. בשורה התחתונה, המכסות מגינות על משתמשיGoogle Cloud בכך שהן מונעות עומס יתר על השירותים, אבל גם עוזרות לשלוט על השימוש במשאבי Google Cloud .

מערכת המכסות ב-Cloud:

ברוב המקרים, כשאתם מנסים להשתמש ביותר משאבים מהמכסה, הגישה למשאב נחסמת ומה שאתם מנסים לעשות נכשל.

בדרך כלל, המכסות ב- Google Cloud הן ברמת הפרויקט. כלומר, השימוש במשאב מסוים בפרויקט כלשהו לא משפיע על המכסה שלכם בפרויקטים אחרים. ברמת הפרויקט ב- Google Cloud , המכסות משותפות לכל האפליקציות וכתובות ה-IP.

לסקירה כללית על מכסות ב-Cloud

למשאבי Dataform יש גם מגבלות מערכת. שאי אפשר לשנות.

חידוש המכסה

המכסות היומיות מתחדשות במרווחי זמן קבועים במהלך היום, ומשקפות את הכוונה שלהן להנחות לגבי התנהגויות של הגבלת קצב. רענון לסירוגין מתבצע גם כדי למנוע שיבושים ארוכים כשמגיעים למכסה. בדרך כלל, מכסה נוספת הופכת לזמינה תוך דקות, ולא מתחדשת באופן גלובלי פעם ביום.

שליחת בקשה להגדלת המכסה

כדי להגדיל או להקטין את רוב המכסות, משתמשים במסוף. Google Cloud איך שולחים בקשה לשינוי המכסות

הגבלת השימוש במכסה

כדי ללמוד איך להגביל את השימוש במשאבים מסוימים על ידי הגדרת מכסה קטנה יותר ממכסת ברירת המחדל, ראו הגבלת השימוש.

ההרשאות הנדרשות

כדי לראות ולעדכן את המכסות של Dataform בGoogle Cloud מסוף Google Cloud, צריך את אותן הרשאות כמו לכל מכסה אחרת. מידע נוסף זמין במאמר בנושא הרשאות לשימוש במכסות.

פתרון בעיות

מידע על פתרון בעיות שקשורות למכסות ולמגבלות של Dataform זמין במאמר פתרון בעיות.

מכסות ב-Dataform

אלו הן מכסות ה-API ב-Dataform:

מכסות הגבלה
סה"כ בקשות לכל פרויקט, לכל אזור 6000/minute/project/region
בקשות קומפילציה לכל פרויקט, לכל אזור 120/minute/project/region
בקשות גישה לקבצים לכל פרויקט, לכל אזור 120/minute/project/region
בקשות להתקנת חבילות לכל פרויקט, לכל אזור 120/minute/project/region
העברת בקשות לתיקיות לכל פרויקט, לכל אזור 6/minute/project/region
העברת בקשות לקבצים לכל פרויקט, לכל אזור 60/minute/project/region
בקשות למחיקת עץ תיקיות לכל פרויקט, לכל אזור 20/minute/project/region
בקשות להפעלת תהליכי עבודה לכל פרויקט, לכל אזור 60/minute/project/region
פעולות בתהליך העבודה לכל הרצה 5,000

מכסות לשירותים שנעשה בהם שימוש ב-Dataform

‫Dataform משתמש בשירותים אחרים Google Cloud . לשירותים האלה יש מכסות ברמת הפרויקט, שחלות כשמשתמשים ב-Dataform.

‫Dataform משתמש בשירותים הבאים Google Cloud שיש להם מכסות משלהם:

מגבלות על משאבי הידור (compilation) ב-Dataform

ב-Dataform, יש מגבלות שימוש על משאבי הידור (compilation):

מכסת שימוש ערך
מספר הפעולות המקסימלי לכל קומפילציה של מאגר 5,000
מספר התלויות המקסימלי לכל פעולה בתרשים המהודר 50
הגודל המקסימלי הכולל של נתונים שעברו סריאליזציה של גרף הפעולות שעבר קומפילציה 20 MB
זמן ה-CPU המקסימלי של תהליך הקומפילציה ‫8 שניות
זמן בפועל מקסימלי של תהליך הקומפילציה ‫30 שניות
שימוש מקסימלי ב-RSS בתהליך ההרכבה ‫200MB
הגודל המקסימלי של יחסי תלות ב-NPM ‫200MB
הגודל המקסימלי של מאגר מוצפן באמצעות CMEK ‫512MB
הגודל המקסימלי של סביבת עבודה במאגר מוצפן באמצעות CMEK ‫512MB

בנוסף, ב-Dataform יש מגבלות על השימוש במעבד (CPU) ובזיכרון במהלך הקומפילציה. אם חורגים מהמגבלות האלה כשמבצעים קומפילציה של הקוד, הקומפילציה נכשלת ו-Dataform מחזיר שגיאת קומפילציה.

כדי לאמוד את השימוש במשאבי הקומפילציה של המאגר, אפשר לעיין במאמר אומדן השימוש במשאבי הקומפילציה של המאגר.

יכול להיות שהמאגר חורג ממגבלות השימוש מהסיבות הבאות:

  • באג של לולאה אינסופית בקוד המאגר.
  • באג של דליפת זיכרון בקוד המאגר.
  • גודל מאגר גדול, בערך יותר מ-1,000 צמתים של תהליכי עבודה.
  • מספר גדול של שאילתות מקבילות.

מידע נוסף על גודל המאגר ב-Dataform זמין במאמר סקירה כללית של גודל המאגר.