הגדלת הקיבולת של מכונה ב-Managed Lustre

אתם יכולים להגדיל את נפח האחסון של מכונת Managed Lustre. אי אפשר להקטין את הקיבולת.

כשמגדילים את הקיבולת של מכונה, אפשר להמשיך להשתמש בה בזמן שפעולת העדכון מתבצעת.

מגבלות על הגדלת הקיבולת

ברמות ביצועים עם שני גדלים שונים של שלבים, הקיבולת הנוכחית של המכונה קובעת את הגודל המקסימלי האפשרי שלה.

אם הקיבולת של המכונה היא בערך הסף של גודל השלב או מתחת לו, אפשר להגדיל את הגודל שלה עד לערך הסף עצמו. אי אפשר להרחיב את המכסה מעבר למגבלה הזו.

לדוגמה, ברמה של ‎250 MBps per TiB, הסף שבו גודל השלב משתנה הוא ‎10,224,000 GiB. כל מכונה שנוצרה עם קיבולת בסף הזה או מתחת לו יכולה להתרחב רק עד למגבלה של 10,224,000GiB.

חישוב הקיבולת החדשה

אפשר לעדכן את הקיבולת של מכונה עד לערך המקסימלי שמותר לרמת הביצועים ולגודל השלב שלה. אלה הערכים:

רמת הביצועים קיבולת מינימלית קיבולת מקסימלית גודל המרווח
‎1,000MBps לכל TiB 9,000 GiB ‫10,008,000GiB‏ (9.5PiB) לנפחי אחסון של עד 2,556,000GiB‏: 9,000GiB
לנפחי אחסון גדולים יותר: 72,000GiB
‫‎500 MBps ל-TiB 18,000 GiB ‫20,016,000GiB‏ (19.1PiB) לנפחי אחסון של עד 5,112,000GiB‏: 18,000GiB
לנפחי אחסון גדולים יותר: 144,000GiB
‫‎250 MBps ל-TiB ‫36,000GiB ‫40,032,000GiB‏ (38.2PiB) לנפחי אחסון של עד 10,224,000GiB‏: 36,000GiB‏
לנפחי אחסון גדולים יותר: 288,000GiB
‫‎125 MBps ל-TiB 72,000 GiB ‫20,448,000GiB‏ (19.5PiB) 72,000 GiB
דינמי (‎25MBps לכל TiB) 472,000 GiB ‫84,016,000GiB‏ (80.1PiB) ‫472,000GiB

הקיבולת המעודכנת חייבת להיות כפולה של ערך הצעד, ולא יכולה לחרוג מהמקסימום של ערך הצעד הזה.

לפרויקט ב- Google Cloud יש מכסות של קצב העברת נתונים וקיבולת שמשפיעות על הקיבולת הזמינה לכל רשת של ענן וירטואלי פרטי (VPC) בכל אזור. יכול להיות שתצטרכו לבקש מכסה נוספת של קצב העברת נתונים או קיבולת לפני שתגדילו את הקיבולת של המכונה. פרטים נוספים זמינים במאמר מכסות ומגבלות.

מחשבון קיבולת

אתם יכולים להשתמש במחשבון הבא כדי למצוא קיבולת תקינה לרמת הביצועים שבחרתם.

עדכון הקיבולת של המכונה

אתם יכולים להשתמש במסוף Google Cloud או ב-Google Cloud CLI כדי לעדכן את הקיבולת של המכונה.

מסוף Google Cloud

  1. נכנסים לדף Managed Lustre במסוף Google Cloud .

    כניסה ל-Managed Lustre

  2. לוחצים על Instance name של המכונה שרוצים לעדכן. מוצג דף הסקירה הכללית של המכונה.

  3. לוחצים על Edit.

  4. מזינים את הערך החדש של נפח האחסון. הערך חייב להיות שווה לקיבולת המקסימלית המותרת או קטן ממנה, והוא חייב להיות כפולה של גודל השלב. כדי לראות את הערכים האלה, עיינו בקטע חישוב הקיבולת החדשה.

  5. לוחצים על שליחה.

gcloud

משתמשים בפקודה gcloud lustre instances update כדי להגדיל את נפח האחסון של המכונה:

gcloud lustre instances update INSTANCE_NAME \
  --location=LOCATION \
  --capacity-gib=NEW_CAPACITY

כאשר:

  • ‫INSTANCE_NAME: המכונה שרוצים לעדכן.
  • ‫LOCATION הוא האזור שבו נמצא המכונה.
  • ‫NEW_CAPACITY הוא נפח האחסון החדש של המכונה ב-gibibyte‏ (GiB). הערך לא יכול לחרוג מהקיבולת המקסימלית המותרת, והוא חייב להיות כפולה של גודל השלב. כדי לראות את הערכים האלה, עיינו בקטע חישוב הקיבולת החדשה.

REST

כדי לעדכן מכונה באמצעות ה-API בארכיטקטורת REST, שולחים בקשת PATCH לנקודת הקצה הספציפית שלה:

PATCH https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/instances/INSTANCE_NAME?updateMask=capacityGib
Authorization: Bearer [YOUR_ACCESS_TOKEN]

{
  "capacityGib": NEW_CAPACITY
}

צריך לציין את הערכים הבאים:

  • ‫PROJECT_ID הוא מזהה הפרויקט ב- Google Cloud .
  • ‫ZONE הוא האזור של המכונה Google Cloud .
  • ‫INSTANCE_NAME הוא השם של המכונה של Managed Lustre שרוצים לעדכן.
  • ‫updateMask=capacityGib מציין את השדה שצריך לעדכן. שדה יוחלף רק אם הוא נמצא במסכה.
  • ‫NEW_CAPACITY הוא נפח האחסון החדש של המכונה ב-gibibyte ‏ (GiB). הערך לא יכול לחרוג מהקיבולת המקסימלית המותרת, והוא חייב להיות כפולה של גודל השלב. כדי לראות את הערכים האלה, עיינו בקטע חישוב הקיבולת החדשה.

לפרטים נוספים, עיינו במאמרי העזרה של ה-API של instances.patch.

אחרי ששולחים את בקשת העדכון, המערכת של Managed Lustre בודקת את המכסה הזמינה. אם יש מספיק מכסה, הקיבולת של המכונה תגדל לאורך זמן, בהתאם לשינוי בגודל. הגדלת המכסה יכולה להימשך בין 20 דקות לשעה או יותר.

אפשר להמשיך להשתמש במכונה במהלך פעולת העדכון.

לצפייה בסטטוס העדכון

אתם יכולים לראות את הסטטוס של בקשת העדכון בממשקים הבאים.

מסוף Google Cloud

  1. נכנסים לדף Managed Lustre במסוף Google Cloud .

    כניסה ל-Managed Lustre

  2. לוחצים על שם המכונה ברשימה. מופיע הדף Instance Details, שכולל את הסטטוס הנוכחי של בקשת העדכון של המכונה.

gcloud

כברירת מחדל, הפקודה gcloud lustre instances update ממתינה להשלמה לפני שהיא מחזירה את בקשת המעטפת:

Request issued for: [my-instance]
Waiting for operation [projects/my-project/locations/us-central1-a/operations/operation-1234567890-123] to complete...

בסיום, בשורת הפקודה יופיע Updated instance [my-instance] יחד עם פרטי המכונה, כולל הקיבולת המעודכנת.

אם הרצתם את פקודת העדכון עם הדגל --async, או אם אתם צריכים לשלוח שאילתה לגבי סטטוס העדכון משורת הפקודה, אתם יכולים לאחזר את פרטי הפעולה כדי לבדוק אם העדכון של המכונה הסתיים:

gcloud lustre operations describe OPERATION_ID \
  --location=ZONE

בזמן שהמכונה מתעדכנת, התגובה מציגה ערך של done: false. בסיום, הערך של done מוגדר ל-true.

לדוגמה:

$ gcloud lustre operations describe operation-1234567890-123abc456-789def012-a1b2c3d4 \
    --location=us-central1-a

done: false
metadata:
  '@type': type.googleapis.com/google.cloud.lustre.v1.OperationMetadata
  apiVersion: v1
  createTime: '2025-08-27T18:13:49.771203623Z'
  requestedCancellation: false
  target: projects/my-project/locations/us-central1-a/instances/my-instance
  verb: update
name: projects/my-project/locations/us-central1-a/operations/operation-1234567890-123abc456-789def012-a1b2c3d4

REST

כדי לשלוח שאילתה לגבי הסטטוס של פעולת עדכון, משתמשים במזהה הפעולה מהתגובה. מזהה הפעולה הוא בפורמט הבא:

  • operation-1234567890123-6127783ad26ea-88913969-02748053

שולחים בקשה לנקודת הקצה הבאה:

GET https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/ZONE/operations/OPERATION_ID
Authorization: Bearer

אם הפעולה בוצעה ללא שגיאות, גוף התגובה יכיל מופע של Operation.

ביצועים אחרי הגדלת הקיבולת

התפוקה המקסימלית של Managed Lustre נקבעת לפי נפח האחסון ורמת הביצועים שלה. הגדלת נפח האחסון של מכונה קיימת מגדילה גם את קצב הנתונים המקסימלי שלה.

יכול להיות שהשיפור בביצועים יופיע רק אחרי שייכתבו נתונים חדשים. ביצועי התפוקה משתפרים בהדרגה ככל שנתונים חדשים נכתבים ומופצים מחדש באחסון הנוסף.

שגיאות מסוג "אין מספיק מקום במכשיר"

ככל שמערכת הקבצים מתקרבת לקיבולת המלאה (בדרך כלל יותר מ-90% ניצול), יכול להיות שתתחילו לקבל שגיאות No space left on device או FILESYSTEM_NO_SPACE_ON_DEVICE (ENOSPC) מוקדמות, גם אם כלי המעקב מציינים שעדיין יש מקום פנוי.

ההתנהגות הזו יכולה להתרחש בגלל כמה מנגנונים בסיסיים במערכות קבצים מבוזרות:

  • חוסר איזון ב-OST: מערכת Lustre מחלקת את נתוני הקבצים בין כמה יעדי אחסון אובייקטים (OST). עם זאת, דפוסים מסוימים של עומסי עבודה יכולים למלא OST יחיד, בלי קשר להגדרות ה-striping. סיבות נפוצות לכך כוללות כתיבת קבצים במצב הוספה (O_APPEND) או שמירה של קבצים גדולים לא מקושרים.

  • שגיאות אחרי הרחבה: יכול להיות שתמשיכו לקבל שגיאות ENOSPC גם אחרי שתוסיפו קיבולת לאשכול. כשמרחיבים את הקיבולת, נוספים יעדי OST חדשים, אבל הקבצים הקיימים לא מועברים אוטומטית ליעדים החדשים.

  • הקצאות של מקום בכונן ללקוחות: לקוחות Compute Engine מקצים באופן דינמי חלקים מהמקום בכונן כדי לשפר את הביצועים. ההקצאה הזו מקטינה את המאגר הפיזי הזמין, ולכן יכול להיות שמדדי הקיבולת לא ישקפו את הנפח שהלקוחות המבוזרים כבר תפסו.

  • מיצוי צומתי אינדקס: עומסי עבודה שיוצרים מיליוני קבצים יכולים למצות את צומתי האינדקס הזמינים של מערכת הקבצים לפני שהם מגיעים למגבלות האחסון הפיזי, וכתוצאה מכך לגרום לשגיאות ENOSPC ביצירת קבצים חדשים.

אסטרטגיות מומלצות לצמצום הסיכון:

  • מעקב אחרי הקיבולת והגדרת התראות: עוקבים אחרי ניצול הקיבולת לכל OST ואחרי מדדי inode נפרדים, בנוסף לקיבולת המצטברת של האשכול. מריצים את הפקודה lfs df מלקוח מותקן כדי לראות את השימוש בקיבולת לכל יעד, משתמשים ב-lfs df -i כדי לראות את השימוש ב-inode לכל יעד, או מעיינים בקטע מעקב אחרי מכונות ופעולות כדי לקבל פרטים על מדדי המעקב.

    הגדירו התראות אוטומטיות שיופעלו כשהקיבולת המצטברת או הניצול של OST ספציפי יעברו את ה-80% (ראו יצירת התראה על קיבולת האחסון).

  • הגדלת הקיבולת: כשהקיבולת המצטברת מגיעה ל-80-90%, כדאי להגדיל את הקיבולת של Managed Lustre. יכול להיות שתצטרכו לבקש מכסה נוספת לפני ההרחבה.

  • איזון מחדש של האחסון: משתמשים בפקודה lfs migrate, רצוי במצב ללא חסימה (-n), כדי להעביר קבצים באופן ידני מ-OSTs עם ניצול יתר ל-OSTs ריקים יותר או שנוספו לאחרונה.

  • בודקים אם יש קבצים לא מקושרים בלקוחות: קבצים פתוחים לא מקושרים הם קבצים גדולים שפתוחים על ידי תהליך גם אחרי שהם לא מקושרים למרחב השמות של מערכת הקבצים. הקבצים שאינם בתיקייה נשארים בדיסק ותופסים מקום, אבל הם לא מופיעים ברשימות הרגילות של הספריות. במקרה כזה, מדדי הקיבולת של Cloud Monitoring והפקודה lfs df מדווחים על שימוש גבוה יותר בנפח האחסון מאשר du או lfs find. כדי לזהות את הקבצים האלה, משתמשים בפקודה lsof בלקוחות ומחפשים רשומות שמסומנות כ-(deleted). אחרי שמזהים את התהליך, אפשר לסיים את התהליך שמחזיק את הטיפול בקבצים או להפעיל מחדש את האפליקציה כדי לפנות את המקום במערכת הקבצים.