מכסות ומגבלות מערכת ל-Lakehouse ללא גבולות

למשאבים של Borderless Lakehouse יש מכסות שאפשר להגדיר ומגבלות מערכת קבועות, כדי לעזור לכם לשלוט בצריכת המשאבים ולשמור על יציבות השירות. מכסות הן הקצאות בסיסיות שאפשר לשנות על ידי שליחת בקשה להגדלה או באמצעות הכלי לשינוי מכסות, ומגבלות המערכת הן ערכי סף תפעוליים קבועים שאי אפשר לשנות.

בסקירה הכללית על מכסות ב-Cloud מוסבר איך המכסות פועלות ברמת הפרויקט ב- Google Cloud ואיך עוקבים אחרי הצריכה.

שמות המדדים של המכסות ומגבלות המערכת

למכסות ולמגבלות המערכת יש שני סוגים של שמות: השמות המוצגים ושמות של מדדים. השמות המוצגים כוללים רווחים ואותיות רישיות, כדי שיהיה קל יותר לקרוא אותם. שמות המדדים בדרך כלל כתובים באותיות קטנות ומופרדים באמצעות קווים תחתונים במקום רווחים. הפורמט המדויק תלוי בשירות.

בהוראות הבאות מוסבר איך לקבל שמות של מדדים למכסות ולמגבלות המערכת באמצעות מסוף Google Cloud או Google Cloud CLI.

המסוף

  1. במסוף Google Cloud , נכנסים לדף Identity and Access Management (IAM) & Admin > Quotas & System Limits:

    כניסה לדף Quotas & System Limits

    בטבלה שבדף הזה מוצגות מכסות ומגבלות מערכת שיש להן שימוש או ערכים מותאמים, ורשומת עזר למכסות אחרות. ברשומת ההפניה מופיעה המילה default בסוגריים בסוף הרשימה בעמודה Name. לדוגמה, SetIAM Policy requests per minute per region (default) הוא ערך העזר למכסה SetIamPolicyRequestsPerMinutePerProject.

  2. אם העמודה מדד לא מופיעה, פועלים לפי השלבים הבאים.

    1. לוחצים על Column display options .
    2. בוחרים באפשרות מדד.
    3. לוחצים על OK. העמודה מדד מופיעה בטבלה.

    בעמודה Metric (מדד) מוצגים שמות המדדים. כדי לסנן את התוצאות, מזינים שם או ערך של מאפיין בשדה שליד Filter.

gcloud

כדי לקבל את שמות המדדים של שירות באמצעות ה-CLI של gcloud, מריצים את הפקודה quotas info list. כדי לדלג על שורות שלא מופיעים בהן שמות של מדדים, מעבירים את הפלט לפקודה כמו grep עם metric: בתור מונח החיפוש, או משתמשים בדגל --format של ה-CLI של gcloud:

gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME --format="value(metric)"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID_OR_NUMBER: מזהה הפרויקט או מספר הפרויקט.
  • ‫SERVICE_NAME: שם השירות שאת מדדי המכסות שלו רוצים לראות. לדוגמה, שם השירות של Compute Engine הוא compute.googleapis.com. צריך לכלול את החלק googleapis.com של שם השירות.

שליחת בקשה להגדלת המכסה

כדי לשנות את רוב המכסות, משתמשים במסוף Google Cloud . איך שולחים בקשה לשינוי המכסות

אם אי אפשר לשנות מכסה מסוימת במסוף Google Cloud , שלחו אימייל לכתובת biglake-help@google.com.

מכסות

המכסות הבאות חלות על Lakehouse:

קטלוג ייעודי לזמן ריצה של Lakehouse

המכסות הבאות חלות על קטלוג ייעודי לזמן ריצה של Lakehouse:

הגבלה ברירת מחדל הערות
שינויים בטבלה ביום ‫1,500 שינויים

בפרויקט אפשר לבצע עד 1,500 שינויים בטבלה לכל טבלה ביום. משימת טעינה, משימת העתקה או משימת שאילתה שמוסיפה נתונים לטבלה או מחליפה אותם, נחשבת לשינוי אחד בטבלה. אי אפשר לשנות את המגבלה הזו.

פקודות DML לא נכללות ולא נספרות במספר השינויים בטבלה ביום.

נתונים בסטרימינג לא נכללים ולא נספרים במספר השינויים בטבלה ביום.

הקצב המקסימלי של פעולות עדכון מטא-נתונים של טבלה בכל טבלה ‫5 פעולות ל-10 שניות בפרויקט אפשר לבצע עד חמש פעולות של עדכון מטא-נתונים של טבלה בכל 10 שניות לכל טבלה. המגבלה הזו חלה על כל פעולות העדכון של המטא-נתונים של הטבלה, שמבוצעות על ידי:
  • מסוףGoogle Cloud
  • כלי שורת הפקודה של BigQuery
  • ספריות הלקוח של BigQuery
  • השיטות הבאות ב-API:
  • הצהרות DDL בטבלאות
המגבלה הזו כוללת גם את הסכום הכולל של כל משימות הטעינה, משימות ההעתקה ומשימות השאילתה שמצרפות נתונים לטבלת יעד או מחליפות אותה, או שמשתמשות בהצהרות DML‏ DELETE,‏ INSERT,‏ MERGE,‏ TRUNCATE TABLE או UPDATE כדי לכתוב נתונים בטבלה. שימו לב שפקודות DML נספרות במגבלה הזו, אבל הן לא כפופות לה אם מגיעים אליה. לפעולות DML יש מגבלות קצב ייעודיות.

אם חורגים מהמגבלה הזו, מקבלים הודעת שגיאה כמו Exceeded rate limits: too many table update operations for this table. השגיאה הזו זמנית, ואפשר לנסות שוב עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff).

כדי לזהות את הפעולות שנכללות במגבלה הזו, אתם יכולים לבדוק את היומנים. במאמר פתרון בעיות שקשורות לשגיאות במכסות מוסבר איך לאבחן ולפתור את השגיאה הזו.

מספר העמודות המקסימלי בכל טבלה ‫10,000 עמודות כל טבלה, תוצאת שאילתה או הגדרת תצוגה יכולה להכיל עד 10,000 עמודות. הנתונים האלה כוללים עמודות חוזרות ועמודות בתצוגת עץ.

גישה לנתונים חוצי-עננים

מכסה ערך
המספר הכולל המקסימלי של מרחבי שמות בקטלוג מאוחד ‫100 מרחבי שמות
מספר הטבלאות המקסימלי לכל מרחב שמות בקטלוג מאוחד ‫300 טבלאות לכל מרחב שמות
המספר המקסימלי של מסנני מרחב שמות בקטלוג מאוחד ‫16 מסננים של מרחבי שמות

מגבלות המערכת

המגבלות הבאות של המערכת חלות על Lakehouse:

קטלוג ייעודי לזמן ריצה של Lakehouse

המגבלות הבאות של המערכת חלות על קטלוג ייעודי לזמן ריצה של Lakehouse:

מגבלת המערכת ערך
המספר המקסימלי של טבלאות Apache Iceberg שמנוהלות על ידי Lakehouse בכל קטגוריה של Cloud Storage שנתמכת בסריקת זיהוי ‫1,000 טבלאות לכל קטגוריה