מכסות ומגבלות מערכת ל-Lakehouse ללא גבולות

במאמר הזה מפורטות המכסות והמגבלות של המערכת שחלות על Lakehouse.

  • המכסות נקבעות כברירת מחדל, אבל בדרך כלל אפשר לבקש לשנות אותן.
  • מגבלות המערכת קבועות ואי אפשר לשנות אותן.

המכסות שלGoogle Cloud עוזרות לשמור על הוגנות ולצמצם עליות חדות בשימוש במשאבים ובזמינות שלהם. הן מגבילות את כמות המשאבים שלGoogle Cloud שאפשר להשתמש בהם בפרויקט ב- Google Cloud . המכסות רלוונטיות למגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות. לדוגמה, המכסות יכולות להגביל את מספר הקריאות ל-API בשירות מסוים, את מספר מאזני העומסים שאפשר להשתמש בהם בו-זמנית בפרויקט או את מספר הפרויקטים שאפשר ליצור. בשורה התחתונה, המכסות מגינות על משתמשיGoogle Cloud בכך שהן מונעות עומס יתר על השירותים, אבל גם עוזרות לשלוט על השימוש במשאבי Google Cloud .

מערכת המכסות ב-Cloud:

ברוב המקרים, כשאתם מנסים להשתמש ביותר משאבים מהמכסה, הגישה למשאב נחסמת ומה שאתם מנסים לעשות נכשל.

בדרך כלל, המכסות ב- Google Cloud הן ברמת הפרויקט. כלומר, השימוש במשאב מסוים בפרויקט כלשהו לא משפיע על המכסה שלכם בפרויקטים אחרים. ברמת הפרויקט ב- Google Cloud , המכסות משותפות לכל האפליקציות וכתובות ה-IP.

לסקירה כללית על מכסות ב-Cloud

יש גם מגבלות מערכת על משאבי Lakehouse. שאי אפשר לשנות.

קבלת שמות של מדדים שקשורים למכסות ולמגבלות המערכת

למכסות ולמגבלות המערכת יש שני סוגים של שמות: שמות לתצוגה ושמות של מדדים. השמות המוצגים כוללים רווחים ואותיות רישיות, ולכן קל יותר לקרוא אותם. שמות המדדים לרוב כתובים באותיות קטנות ומופרדים באמצעות קווים תחתונים במקום רווחים. הפורמט המדויק תלוי בשירות.

בהוראות הבאות מוסבר איך לקבל שמות של מדדים למכסות ולמגבלות מערכת באמצעות מסוף Google Cloud Google Cloud או Google Cloud CLI.

המסוף

  1. במסוף Google Cloud , עוברים לדף Identity and Access Management (IAM) & Admin > Quotas & System Limits:

    כניסה לדף Quotas & System Limits

    בטבלה שבדף הזה מוצגות מכסות ומגבלות מערכת שנעשה בהן שימוש או שהערכים שלהן שונו, וגם רשומת הפניה למכסות אחרות. הערך בעמודה Name (שם) של רשומת ההפניה מסתיים במילה default (ברירת מחדל) בסוגריים. לדוגמה, SetIAM Policy requests per minute per region (default) היא רשומת ההפניה למכסת SetIamPolicyRequestsPerMinutePerProject.

  2. אם העמודה מדד לא מופיעה, פועלים לפי השלבים הבאים.

    1. לוחצים על Column display options.
    2. בוחרים באפשרות מדד.
    3. לוחצים על OK. העמודה מדד מופיעה בטבלה.

    בעמודה Metric (מדד) מוצגים שמות המדדים. כדי לסנן את התוצאות, מזינים שם של מאפיין או ערך בשדה שליד Filter.

gcloud

כדי לקבל את שמות המדדים של שירות באמצעות ה-CLI של gcloud, מריצים את הפקודה quotas info list. כדי לדלג על שורות שלא מופיעים בהן שמות של מדדים, מעבירים את הפלט לפקודה כמו grep עם metric: בתור מונח החיפוש, או משתמשים בדגל --format של ה-CLI של gcloud:

gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME --format="value(metric)"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID_OR_NUMBER: מזהה הפרויקט או מספר הפרויקט.
  • ‫SERVICE_NAME: השם של השירות שרוצים לראות את מדדי המכסה שלו. לדוגמה, שם השירות של Compute Engine הוא compute.googleapis.com. צריך לכלול את החלק googleapis.com של שם השירות.

שליחת בקשה להגדלת המכסה

כדי לשנות את רוב המכסות, משתמשים במסוף Google Cloud . מידע נוסף זמין במאמר בנושא שליחת בקשה לשינוי המכסות.

מכסות

המכסות הבאות חלות על Lakehouse:

קטלוג של סביבת זמן ריצה של Lakehouse

המגבלות הבאות חלות על קטלוג זמן הריצה של Lakehouse:

הגבלה ברירת מחדל הערות
שינויים בטבלה בכל יום ‫1,500 שינויים

בכל יום אפשר לבצע עד 1,500 שינויים בטבלה בכל טבלה בפרויקט. משימת טעינה, משימת העתקה או משימת שאילתה שמוסיפה נתונים לטבלה או מחליפה את הנתונים בטבלה נחשבת כשינוי אחד בטבלה. אי אפשר לשנות את המגבלה הזו.

הוראות DML לא נכללות ולא נספרות במסגרת מספר השינויים בטבלה ביום.

נתונים בסטרימינג לא נכללים ולא נספרים במסגרת מספר השינויים בטבלה ביום.
הקצב המקסימלי של פעולות עדכון מטא-נתונים של טבלה לכל טבלה ‫5 פעולות כל 10 שניות בכל פרויקט אפשר לבצע עד חמש פעולות של עדכון מטא-נתונים של טבלה בכל 10 שניות לכל טבלה. המגבלה הזו חלה על כל פעולות העדכון של מטא נתונים של טבלאות, שמבוצעות על ידי הפעולות הבאות: המגבלה הזו כוללת גם את הסכום הכולל של כל עבודות הטעינה, עבודות ההעתקה ועבודות השאילתות שמצורפות לטבלת יעד או מחליפות אותה, או שמשתמשות בהצהרות DML ‏(DELETE,‏ INSERT,‏ MERGE,‏ TRUNCATE TABLE או UPDATE) כדי לכתוב נתונים בטבלה. שימו לב: למרות שהוראות DML נספרות כחלק מהמגבלה הזו, הן לא כפופות לה אם היא מושגת. לפעולות DML יש מגבלות קצב ייעודיות.

אם תחרגו מהמגבלה הזו, תקבלו הודעת שגיאה כמו Exceeded rate limits: too many table update operations for this table. זו שגיאה זמנית. אפשר לנסות שוב עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff).

כדי לזהות את הפעולות שנכללות במגבלה הזו, אפשר לבדוק את היומנים. הוראות לאבחון ולפתרון השגיאה הזו מופיעות במאמר פתרון בעיות שקשורות למכסות.

מספר העמודות המקסימלי לכל טבלה ‫10,000 עמודות כל טבלה, תוצאת שאילתה או הגדרת תצוגה יכולים לכלול עד 10,000 עמודות. הנתונים האלה כוללים עמודות במבנה היררכי ועמודות שחוזרות על עצמן.

גישה לנתונים בין עננים שונים

מכסה ערך
המספר המקסימלי של מרחבי שמות בקטלוג מאוחד ‫100 מרחבי שמות
מספר הטבלאות המקסימלי לכל מרחב שמות בקטלוג מאוחד ‫300 טבלאות לכל מרחב שמות
מספר הטבלאות הכולל המקסימלי בקטלוג מאוחד ‫10,000 טבלאות
מספר המסננים המקסימלי של מרחבי שמות בקטלוג מאוחד ‫16 מסננים של מרחבי שמות

מגבלות מערכת

בטבלה הבאה מפורטות מגבלות המערכת שחלות על Lakehouse והערך של כל מגבלת מערכת:

מגבלת המערכת ערך
מספר הטבלאות המקסימלי של Apache Iceberg שמנוהלות על ידי Lakehouse לכל bucket ב-Cloud Storage שסריקת גילוי תומכת בו ‫1,000 טבלאות לכל קטגוריה