למשאבים של Borderless Lakehouse יש מכסות שאפשר להגדיר ומגבלות מערכת קבועות, כדי לעזור לכם לשלוט בצריכת המשאבים ולשמור על יציבות השירות. מכסות הן הקצאות בסיסיות שאפשר לשנות על ידי שליחת בקשה להגדלה או באמצעות הכלי לשינוי מכסות, ומגבלות המערכת הן ערכי סף תפעוליים קבועים שאי אפשר לשנות.
בסקירה הכללית על מכסות ב-Cloud מוסבר איך המכסות פועלות ברמת הפרויקט ב- Google Cloud ואיך עוקבים אחרי הצריכה.
שמות המדדים של המכסות ומגבלות המערכת
למכסות ולמגבלות המערכת יש שני סוגים של שמות: השמות המוצגים ושמות של מדדים. השמות המוצגים כוללים רווחים ואותיות רישיות, כדי שיהיה קל יותר לקרוא אותם. שמות המדדים בדרך כלל כתובים באותיות קטנות ומופרדים באמצעות קווים תחתונים במקום רווחים. הפורמט המדויק תלוי בשירות.
בהוראות הבאות מוסבר איך לקבל שמות של מדדים למכסות ולמגבלות המערכת באמצעות מסוף Google Cloud או Google Cloud CLI.
המסוף
במסוף Google Cloud , נכנסים לדף Identity and Access Management (IAM) & Admin > Quotas & System Limits:
כניסה לדף Quotas & System Limits
בטבלה שבדף הזה מוצגות מכסות ומגבלות מערכת שיש להן שימוש או ערכים מותאמים, ורשומת עזר למכסות אחרות. ברשומת ההפניה מופיעה המילה default בסוגריים בסוף הרשימה בעמודה Name. לדוגמה,
SetIAM Policy requests per minute per region (default)הוא ערך העזר למכסהSetIamPolicyRequestsPerMinutePerProject.אם העמודה מדד לא מופיעה, פועלים לפי השלבים הבאים.
- לוחצים על Column display options .
- בוחרים באפשרות מדד.
- לוחצים על OK. העמודה מדד מופיעה בטבלה.
בעמודה Metric (מדד) מוצגים שמות המדדים. כדי לסנן את התוצאות, מזינים שם או ערך של מאפיין בשדה שליד Filter.
gcloud
כדי לקבל את שמות המדדים של שירות באמצעות ה-CLI של gcloud, מריצים את הפקודה quotas info list. כדי לדלג על שורות שלא מופיעים בהן שמות של מדדים, מעבירים את הפלט לפקודה כמו grep עם metric: בתור מונח החיפוש, או משתמשים בדגל --format של ה-CLI של gcloud:
gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
--service=SERVICE_NAME --format="value(metric)"
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID_OR_NUMBER: מזהה הפרויקט או מספר הפרויקט. -
SERVICE_NAME: שם השירות שאת מדדי המכסות שלו רוצים לראות. לדוגמה, שם השירות של Compute Engine הואcompute.googleapis.com. צריך לכלול את החלקgoogleapis.comשל שם השירות.
שליחת בקשה להגדלת המכסה
כדי לשנות את רוב המכסות, משתמשים במסוף Google Cloud . איך שולחים בקשה לשינוי המכסות
אם אי אפשר לשנות מכסה מסוימת במסוף Google Cloud , שלחו אימייל לכתובת biglake-help@google.com.
מכסות
המכסות הבאות חלות על Lakehouse:
קטלוג ייעודי לזמן ריצה של Lakehouse
המכסות הבאות חלות על קטלוג ייעודי לזמן ריצה של Lakehouse:
| הגבלה | ברירת מחדל | הערות |
|---|---|---|
| שינויים בטבלה ביום | 1,500 שינויים | בפרויקט אפשר לבצע עד 1,500 שינויים בטבלה לכל טבלה ביום. משימת טעינה, משימת העתקה או משימת שאילתה שמוסיפה נתונים לטבלה או מחליפה אותם, נחשבת לשינוי אחד בטבלה. אי אפשר לשנות את המגבלה הזו. פקודות DML לא נכללות ולא נספרות במספר השינויים בטבלה ביום. נתונים בסטרימינג לא נכללים ולא נספרים במספר השינויים בטבלה ביום. |
| הקצב המקסימלי של פעולות עדכון מטא-נתונים של טבלה בכל טבלה | 5 פעולות ל-10 שניות |
בפרויקט אפשר לבצע עד חמש פעולות של עדכון מטא-נתונים של טבלה בכל 10 שניות לכל טבלה. המגבלה הזו חלה על כל פעולות העדכון של המטא-נתונים של הטבלה, שמבוצעות על ידי:
DELETE, INSERT, MERGE, TRUNCATE TABLE או UPDATE כדי לכתוב נתונים בטבלה. שימו לב שפקודות DML נספרות במגבלה הזו, אבל הן לא כפופות לה אם מגיעים אליה. לפעולות DML יש מגבלות קצב ייעודיות.
אם חורגים מהמגבלה הזו, מקבלים הודעת שגיאה כמו כדי לזהות את הפעולות שנכללות במגבלה הזו, אתם יכולים לבדוק את היומנים. במאמר פתרון בעיות שקשורות לשגיאות במכסות מוסבר איך לאבחן ולפתור את השגיאה הזו. |
| מספר העמודות המקסימלי בכל טבלה | 10,000 עמודות | כל טבלה, תוצאת שאילתה או הגדרת תצוגה יכולה להכיל עד 10,000 עמודות. הנתונים האלה כוללים עמודות חוזרות ועמודות בתצוגת עץ. |
גישה לנתונים חוצי-עננים
| מכסה | ערך |
|---|---|
| המספר הכולל המקסימלי של מרחבי שמות בקטלוג מאוחד | 100 מרחבי שמות |
| מספר הטבלאות המקסימלי לכל מרחב שמות בקטלוג מאוחד | 300 טבלאות לכל מרחב שמות |
| המספר המקסימלי של מסנני מרחב שמות בקטלוג מאוחד | 16 מסננים של מרחבי שמות |
מגבלות המערכת
המגבלות הבאות של המערכת חלות על Lakehouse:
קטלוג ייעודי לזמן ריצה של Lakehouse
המגבלות הבאות של המערכת חלות על קטלוג ייעודי לזמן ריצה של Lakehouse:
| מגבלת המערכת | ערך |
|---|---|
| המספר המקסימלי של טבלאות Apache Iceberg שמנוהלות על ידי Lakehouse בכל קטגוריה של Cloud Storage שנתמכת בסריקת זיהוי | 1,000 טבלאות לכל קטגוריה |