Google Cloud Managed Lustre מציע רמות ביצועים שונות כדי לעמוד בדרישות הספציפיות של עומס העבודה והתקציב שלכם. אתם יכולים לבחור רמה שמספקת ביצועים יציבים וצפויים לכל מערכת הקבצים, או רמה דינמית שמבצעת אופטימיזציה אוטומטית של עלויות האחסון עבור מערכי נתונים גדולים שחלק מהם פעילים.
רמות זמינות
בטבלה הבאה מפורטים רמות הביצועים שזמינות ל-Managed Lustre.
| שכבת ביצועים | קיבולת מינימלית | קיבולת מקסימלית | גודל המרווח |
|---|---|---|---|
| 1,000 MBps per TiB | 9,000 GiB | 10,008,000 GiB (9.5 PiB) | לנפחי אחסון של עד 2,556,000 GiB: 9,000 GiB לנפחי אחסון גדולים יותר: 72,000 GiB |
| 500MBps לכל TiB | 18,000 GiB | 20,016,000 GiB (19.1 PiB) | לנפח אחסון של עד 5,112,000 GiB: 18,000 GiB לנפח אחסון גדול יותר: 144,000 GiB |
| 250MBps לכל TiB | 36,000 GiB | 40,032,000 GiB (38.2 PiB) | לנפחי אחסון של עד 10,224,000 GiB: 36,000 GiB לנפחי אחסון גדולים יותר: 288,000 GiB |
| 125MBps לכל TiB | 72,000 GiB | 20,448,000 GiB (19.5 PiB) | 72,000 GiB |
| דינמי (25 MBps לכל TiB) | 472,000 GiB | 84,016,000 GiB (80.1 PiB) | 472,000 GiB |
גודל השלבים משתנה כשגודל המופע מגיע לסף מסוים.
אפשר להגדיל את נפח האחסון של מופע אחרי שהוא נוצר, עד לערך המקסימלי שמותר עבור רמת הביצועים וגודל השלב שלו. אם יוצרים מופע בטווח של גודל השלב הקטן יותר לרמה שלו, אי אפשר להגדיל אותו בהמשך מעבר לסף של גודל השלב. פרטים נוספים זמינים במאמר בנושא מגבלות על הגדלת הקיבולת.
רמות ממוספרות
המינויים מחולקים לרמות ממוספרות, ומספקים ביצועים עקביים ומהירים. הרמות האלה מתאימות לעומסי עבודה שדורשים תפוקה גבוהה וזמן אחזור נמוך לכל גישה לנתונים.
כשיוצרים את המופע, בוחרים רמת ביצועים ספציפית, וקצב העברת הנתונים הזה נשמר באופן עקבי לכל מערכת הקבצים. הביצועים משתפרים באופן ליניארי ככל שמקצים יותר נפח אחסון. בנוסף לתפוקה הגולמית, גם הביצועים של IOPS והמטא נתונים גדלים בהתאם לקיבולת ולתפוקה שהוקצו למופע.
רמות ממוספרות מספקות זמן אחזור של פחות מאלפית השנייה.
- 1,000MBps לכל TiB: מומלץ לעומסי עבודה עם ביצועים גבוהים ולאימון של AI/ML, שבהם התפוקה היא קריטית.
- 500MBps לכל TiB: לעומסי עבודה תובעניים של AI/ML, לאפליקציות מורכבות של HPC ולניתוח נתונים אינטנסיבי שדורש תפוקה משמעותית, אבל יכול להפיק תועלת מיחס מאוזן יותר בין מחיר לביצועים.
- 250 MBps per TiB: מתאים למגוון רחב של עומסי עבודה של HPC, הסקת מסקנות של AI/ML, עיבוד מקדים של נתונים ויישומים שדורשים ביצועים טובים יותר מ-NFS מסורתי, במחיר משתלם.
- 125MBps לכל TiB: מיועד לתרחישים שבהם קיבולות גדולות וגישה מקבילית למערכת קבצים הן חיוניות. מתאים למשימות מקבילות שפחות מוגבלות על ידי קלט/פלט.
רמה דינמית
השכבה הדינמית היא פתרון חסכוני שנועד לטפל במערכי נתונים גדלים של AI ו-HPC. הפתרון הזה מבצע אופטימיזציה אוטומטית של הביצועים על סמך דפוסי גישה לנתונים. הוא מספק מרחב שמות יחיד ומאוחד בקנה מידה של פטה-בייט, ומאפשר גישה מהירה לנתונים פעילים שמאוחסנים במטמון עם ביצועים גבוהים, תוך הפחתת עלות הבעלות הכוללת (TCO) של מערכי נתונים גדולים. התפוקה הכוללת שזמינה למופע גדלה בקצב של 25MB לשנייה לכל TiB.
המערכת מנהלת את מיקום הנתונים בצורה חכמה באמצעות מדיניות אוטומטית, כדי להבטיח שנתונים שנמצאים בשימוש תדיר ימשיכו לפעול בצורה יעילה. התהליך הזה שקוף למשתמשים ולאפליקציות, שמקיימים אינטראקציה עם מערכת הקבצים כנקודת הרכבה יחידה, בלי שנדרשת העברה ידנית של נתונים או ניהול תקורה.
יתרונות מרכזיים
- עלויות אחסון מופחתות: אפשר להקטין את העלות לכל בייט של מערכי נתונים גדולים על ידי אחסון רוב הנתונים באחסון נפח חסכוני.
- מרחב שמות יחיד בקנה מידה של פטה-בייט: איחוד של מערכי נתונים גדולים וגדלים לנקודת טעינה יחידה, בלי צורך להעביר נתונים באופן ידני או להעביר נתונים בין מערכות אחסון שונות.
- חכם ואוטומטי: מערכת שקופה של שמירת נתונים במטמון ברמת הבלוק עוזרת לוודא שאחסון עם ביצועים גבוהים משמש לנתונים החשובים ביותר.
- ביצועים משולבים: זמן אחזור של פחות מאלפית השנייה לנתונים פעילים, וזמן אחזור עקבי של עשרות אלפיות השנייה לחלקים של מערך הנתונים שניגשים אליהם בתדירות נמוכה יותר.
מפרטי ביצועים מפורטים
כדי שהמופעים שלכם ישיגו את המספרים האלה של IOPS וביצועי מטא-נתונים, כדאי לפעול לפי השיטות המומלצות שמפורטות במאמר בנושא שיקולי ביצועים.
IOPS
הקצב המקסימלי של פעולות קלט/פלט בשנייה (IOPS) גדל באופן ליניארי לכל 1 TiB של קיבולת מוקצית של מופע.
| שכבת ביצועים | קריאת IOPS (לכל TiB) | IOPS של כתיבה (לכל TiB) |
|---|---|---|
| 1,000 MBps per TiB | 5,800 | 5,600 |
| 500MBps לכל TiB | 2,900 | 2,800 |
| 250MBps לכל TiB | 1,450 | 1,400 |
| 125MBps לכל TiB | 725 | 700 |
| דינמית | 145 | 140 |
פעולות שקשורות למטא-נתונים
העלייה המקסימלית במספר פעולות המטא-נתונים מתבצעת בשלבים על סמך הקיבולת.
כל מופע מקבל את השלב הראשון של ביצועי המטא-נתונים בגודל המינימלי של המופע (שהוא קטן יותר מהשלב הסטנדרטי של הקיבולת).
במקרים גדולים יותר, הביצועים משתפרים בכל פעם שהקיבולת הכוללת גדולה יותר מכפולה של גודל השלב.
| שכבת ביצועים | שלב הקיבולת (GiB) | נתונים סטטיסטיים לגבי קבצים נוספו לכל שלב | קבצים שנוספו ליצירה לכל שלב | מחיקות קבצים נוספו לכל שלב |
|---|---|---|---|---|
| 1,000 MBps per TiB | 72,000 | 410,000 לשנייה | 115,000 לשנייה | 95,000 לשנייה |
| 500MBps לכל TiB | 144,000 | |||
| 250MBps לכל TiB | 288,000 | |||
| 125MBps לכל TiB | 576,000 | |||
| דינמית | 3,776,000 | 275,000 לשנייה | 115,000 לשנייה | 130,000 לשנייה |
דוגמה: לרמה של 1,000 MBps לכל TiB, גודל הצעד של הקיבולת הוא 72,000 GiB. אם יוצרים מכונה וירטואלית בגודל 153,000GiB, מקבלים נתוני ביצועים של מטא-נתונים ברמה 3:
- שלב 1: מוענק בגודל המינימלי של המופע.
- שלב 2: ניתן כשקיבולת האחסון חורגת מ-72,000GiB.
- שלב 3: המכסה תוגדל אם הקיבולת תעלה על 144,000GiB.
- שלב 4: לא הושג. ההרשאה ניתנת כשהקיבולת חורגת מ-216,000GiB.
מכיוון ש-153,000 GiB נמצא בין ספי ה-144,000 GiB ו-216,000 GiB, המופע מקבל שלושה שלבים של ביצועים: מקסימום של 1,230,000 נתונים סטטיסטיים של קבצים בשנייה (3 * 410,000).