מידע על שירותי אחסון לעומסי עבודה של AI ו-ML

שירותי אחסון מספקים את ארכיטקטורת הנתונים החיונית שעוזרת לאפשר אימון מודלים, הסקת מסקנות ושינוי פרמטרים (fine tuning) בביצועים גבוהים ב-AI Hypercomputer.

ההמלצות האלה מיועדות במיוחד ל GPU באשכול.

המסמך הזה מיועד לאדריכלים, למהנדסי אחסון ולמפתחים, כדי לעזור להם להעריך ולבחור את שירות האחסון המתאים לעומסי העבודה שלהם ב-AI Hypercomputer.

מבוא לשירותי אחסון

Google Cloud מציע כמה פתרונות אחסון שעברו אופטימיזציה לתרחישי שימוש ב-AI וב-ML:

  • ‫Cloud Storage הוא מערכת לאחסון אובייקטים שמיועדת לעיבוד ולאחסון של מערכי נתונים גדולים מאוד, כמו אלה שנדרשים לאימון או להסקת מסקנות בכמות גדולה. ב-Cloud Storage יש כמה יכולות שיעזרו לכם לבצע אופטימיזציה של אחסון הנתונים למשימות של AI ולמידת מכונה (ML).

  • ‫Google Cloud Managed Lustre היא מערכת קבצים מקבילית מנוהלת שתואמת ל-POSIX. היא מיועדת לביצועים מיוחדים של מטא-נתונים עם זמן אחזור קצר וריבוי משימות, שנדרשים לאימון ולעומסי עבודה של הסקת מסקנות.

בקטעים הבאים מפורט מידע נוסף על כל שירות אחסון.

Cloud Storage

‫Cloud Storage הוא מאגר אובייקטים בסיסי שנועד לספק מדרגיות גלובלית, עמידות ויעילות כלכלית. כשמשתמשים ב-Cloud Storage, הנתונים מאוחסנים כאובייקטים בקונטיינרים שנקראים קטגוריות. ‫Cloud Storage מציע מספר יכולות לקטגוריות שעוזרות לבצע אופטימיזציה של הביצועים של עומסי עבודה (workloads) של AI ו-ML:

  • מוצרים בסדרת Cloud Storage Rapid נועדו לפתור בעיות צוואר בקבוק בנתונים של עומסי עבודה של AI ו-ML, על ידי קירוב הנתונים למשאבי המחשוב. המוצרים האלה מאפשרים לכם לאחסן את הנתונים באותם אזורים שבהם מתארחים עומסי העבודה של המחשוב, וליהנות מביצועים גבוהים ומאחסון נתונים חסכוני וניתן להרחבה עבור אשכולות GPU או TPU. המוצרים של Cloud Storage Rapid כוללים את האפשרויות הבאות:

    • ‫Rapid Bucket מספק את הביצועים הכי מהירים של קריאה וכתיבה ב-Cloud Storage עבור קטגוריות אזוריות. אובייקטים בקטגוריות אזוריות מאוחסנים בסוג האחסון Rapid, שהוא סוג אחסון עם ביצועים גבוהים שעבר אופטימיזציה לעומסי עבודה עם הרבה פעולות קלט/פלט. בנוסף לזמן האחזור הנמוך יותר, Rapid Bucket מספק תפוקה גבוהה משמעותית (עד 15TB/s) בהשוואה למוצרים אחרים ולמיקומי דליים ב-Cloud Storage.

    • ‫Rapid Cache מאיץ את קריאת הנתונים לקטגוריות קיימות בלי לדרוש שינויים בקוד. ‫Rapid Cache הוא מטמון קריאה אזורי שמגובה על ידי SSD לקטגוריות אחסון ב-Cloud Storage, שמשמש להצגת נתונים לבקשות קריאת נתונים. המוצר מציע תפוקה גבוהה יותר (עד 2.5TB/s) וזמן אחזור נמוך יותר בהשוואה לדליים ללא מטמון.

      בדרך כלל מגדירים Rapid Cache לקטגוריות שנמצאות במספר אזורים, שבהן קיבולת המאיץ מפוצלת בין Google Cloud האזורים. קריאת נתונים מהמטמון כרוכה בעמלות נמוכות יותר על העברת נתונים בהשוואה לקריאת נתונים ישירות מקטגוריה מרובת אזורים.

  • ‫Cloud Storage FUSE הוא מתאם FUSE בקוד פתוח שמאפשר לטעון קטגוריות כמערכות קבצים מקומיות, כדי שאפליקציות יוכלו לנהל אינטראקציה עם אחסון אובייקטים באמצעות סמנטיקה של מערכת קבצים רגילה. היכולת הזו מאפשרת לכם ליהנות מהיתרונות של Cloud Storage – יכולת הרחבה גלובלית, עמידות וחיסכון בעלויות – עם גישה לקבצים מקומיים. ‫Cloud Storage FUSE מתוחזק באופן פעיל ונתמך על ידי Google.

    ב-Cloud Storage FUSE יש כמה פרמטרים של שמירת נתונים במטמון בצד הלקוח ופרמטרים של כוונון, כמו הורדות מקבילות. היכולות האלה יכולות להפשט את המורכבויות של הפיתוח ולעזור להשיג ביצועים אופטימליים באמצעות חלוקה או מקביליות של הזרמים.

  • מרחב שמות היררכי מאפשר ליצור מבנה אמיתי של מערכת קבצים בקטגוריות, ומספק יכולות יעילות לניהול נתונים, כולל שינוי שם אטומי של תיקיות וחיפושים מהירים יותר של קבצים כשהקטגוריה מותקנת באמצעות Cloud Storage FUSE. מרחב שמות היררכי מציע פי 8 יותר שאילתות לשנייה (QPS) לקריאה וכתיבה של אובייקטים בהשוואה לקטגוריות ללא מרחב שמות היררכי. מידע נוסף על היתרונות של שימוש במרחב שמות היררכי זמין במאמר יתרונות בביצועים ובניהול.

    מומלץ מאוד להפעיל מרחב שמות היררכי אם יש לכם עומסי עבודה שדורשים טעינת נתונים עם תפוקה גבוהה וביצוע תכופים של נקודות ביקורת (checkpoint) במודל. כדי ליצור קטגוריות אזוריות באמצעות Rapid Bucket, צריך להפעיל את מרחב השמות ההיררכי.

Managed Lustre

‫Google Cloud Managed Lustre היא מערכת קבצים מקבילית מנוהלת באופן מלא, עם ביצועים גבוהים, שתואמת ל-POSIX ומותאמת לאפליקציות של AI ו-ML. הארכיטקטורה של Managed Lustre מתאימה באופן אידיאלי לעומסי עבודה של AI/ML עם תפוקה גבוהה, חביון נמוך וריבוי משימות של מטא-נתונים, כמו יצירת נקודות ביקורת, הפצה מהירה של משקלים בלמידת חיזוק ושימוש במטמון של זוגות מפתח/ערך (KV).

מידע נוסף על תרחישים נפוצים לדוגמה לשימוש ב-Managed Lustre זמין במאמר תרחישים עסקיים.

השוואה בין שירותי אחסון

בטבלה הבאה מוצגת השוואה כללית בין Cloud Storage לבין Managed Lustre לפי מאפיינים מרכזיים:

מאפיינים Cloud Storage Managed Lustre
ארכיטקטורה

מאגר אובייקטים

  • כברירת מחדל, הנתונים מאוחסנים בקטגוריות שטוחות. כל סוגי הקטגוריות (אזוריות, אזור, שני אזורים ומספר אזורים) מציעים אפשרויות של יתירות גיאוגרפית שאפשר להאיץ באמצעות היכולות של Cloud Storage Rapid.
  • אפשר להפעיל מרחב שמות היררכי כדי ליצור קטגוריות שתומכות באחסון נתונים במבנה של מערכת קבצים.
  • אפשר גם להפעיל את Cloud Storage FUSE כדי לטעון קטגוריות בתור מערכות קבצים מקומיות.

מערכת קבצים מקבילית

  • הנתונים מאוחסנים כקבצים במופעי Lustre מנוהלים ומותקנים כמערכות קבצים מקומיות בכל אשכולות המאיצים, ללא צורך בהתאמות נוספות.
נפח אחסון

הקיבולת יכולה להגיע עד ל-EB.

הקיבולת יכולה להגיע עד 80PB, בהתאם לרמת הביצועים של המופע.
ביצועים

יש תמיכה בדברים הבאים:

  • זמן אחזור של פחות מאלפית השנייה לקבצים פתוחים עם Rapid Bucket
  • עשרות מיליוני פעולות קלט/פלט (IOPs) לכל טרה-בייט (TiB) עם Rapid Bucket
  • עד ‎2.5 TB/s של רוחב פס עם Rapid Cache
  • רוחב פס של עד ‎15 TB/s עם Rapid Bucket
  • בקשות להגדלת רוחב הפס

יש תמיכה בדברים הבאים:

  • זמן אחזור של פחות מאלפית השנייה
  • עשרות מיליוני פעולות קלט/פלט לכל ‎TiB
  • רוחב פס של עד ‎10 TB/s
תמחור

לפרטים, ראו תמחור של Cloud Storage.

פרטים נוספים מופיעים במאמר בנושא תמחור של Managed Lustre.
המלצות לפי דרישות

מומלץ לשימוש באפליקציות שזקוקות למאגר אובייקטים עם יכולת התאמה רחבה ולחיסכון כללי בעלויות של מערכי נתונים לאימון, שמירת נקודות ביקורת אסינכרוניות בכמה רמות ואחסון משקלים של מודלים. בפרט, מומלץ להשתמש ב-Cloud Storage Rapid כדי לשנות את גודל הנתונים בצורה חסכונית ועם ביצועים גבוהים.

מומלץ לאפליקציות שזקוקות למערכת קבצים מקבילית או למדריכי בית שתואמים באופן מלא ל-POSIX. מומלץ גם לעומסי עבודה שרגישים לזמן אחזור או שדורשים שימוש בו-זמני בכמות גדולה של מטא-נתונים, כמו העברות של מטמון KV, יצירת נקודות ביקורת סינכרוניות והפצה מהירה של משקלים ללמידת חיזוק.

המלצות לשירותי אחסון לפי תרחיש שימוש

תרחיש שימוש המלצה לגבי שירות אחסון הסיבה להמלצה
אימון והכנת מערכי נתונים ההמלצה העיקרית: Cloud Storage Rapid Bucket קטגוריות של Cloud Storage מספקות את הקיבולת, קצב העברת הנתונים, העלות האפקטיבית והעמידות שנדרשים לעיתים קרובות לנפחים גדולים של מערכי נתונים לאימון ולהסקת מסקנות. כשמשתמשים ב-Rapid Bucket כדי ליצור קטגוריה אזורית, הקטגוריה האזורית נהנית מרוחב פס גבוה מאוד (עד 15TB/s) ומזמן אחזור של פחות מאלפית השנייה עבור קבצים פתוחים בעלות אופטימלית.
המלצה משנית: Managed Lustre ‫Managed Lustre מספק זמן אחזור של פחות מאלפית השנייה. הוא שימושי כסביבת עבודה ייעודית ומהירה במיוחד למשימות הכי אינטנסיביות של אימון והכנת מערכי נתונים, שבהן חביון נמוך וביצועים מקבילים של מטא-נתונים הם בעדיפות גבוהה.
העברה או שמירה של משקלי מודלים לצורך יצירת נקודות ביקורת או העברות משקל ההמלצה העיקרית: Managed Lustre ‫Managed Lustre מספק זמן אחזור של פחות מאלפית השנייה וגישה מקבילה לנתונים, ומאפשר לאלפי עובדים להוריד את אותו קובץ משקלים בו-זמנית בלי להאט את התהליך.
המלצה משנית: Cloud Storage Rapid Bucket ‫Rapid Bucket מתאים במיוחד לביצוע צ'קפוינטים אסינכרוניים מרובי-שכבות או מבוזרים, כשמשתמשים בו עם GCSFS דרך fsspec או עם Cloud Storage FUSE עם כוונון ביצועים בצד הלקוח.
אחסון והורדה של מודלים להסקת מסקנות ההמלצה העיקרית: Cloud Storage Rapid Cache או Rapid Bucket

‫Rapid Cache פועל כהגברה שעוזרת לצמצם את ההפעלה האיטית במצב התחלתי (cold start) של ההסקה. עם Rapid Cache, אפשר להכין מראש את משקלי המודל באותו אזור שבו נמצאים צמתי ההסקה, כך שמופע הסקה חדש יוכל להוריד במהירות את משקלי המודל ולעבד את הבקשה הראשונה שלו.

‫Rapid Bucket הוא מנוע אחסון אזורי מואץ עם ביצועים גבוהים, שמאפשר לכם לאתר משקלים של מודלים באותו אזור שבו נמצא ציוד ההסקה שלכם.

לצורך הצגת מודלים, מומלץ להשתמש בRun:ai Model Streamer for vLLM כדי להשיג ביצועים אופטימליים בהורדה. במקרים של מחסניות אחרות להסקת מסקנות, אופטימיזציה של פרמטרים להורדה מקבילה של Cloud Storage FUSE יכולה להפחית באופן משמעותי את זמן האחזור של התחלה קרה במהלך הורדות של משקלי מודלים.

המלצה משנית: Managed Lustre ‫Managed Lustre מספק זמן אחזור של פחות מאלפית השנייה וגישה מקבילית לנתונים, מה שמשפר את הביצועים של מודלים שרגישים לביצועים ואת ההתאמה של מעבדים גרפיים מקבילים שמורידים את אותו מודל בו-זמנית.
העברת נתונים מהמטמון של זוגות מפתח/ערך ההמלצה העיקרית: Managed Lustre ‫Managed Lustre מספק השהיה של פחות ממילי-שנייה וגישה לנתונים מקבילית, כך שצמתים שונים יכולים 'לשלוף' את מטמון KV ולהמשיך את הצ'אטים בלי לעבד מחדש את כל היסטוריית הצ'אט.

המאמרים הבאים