סקירה כללית על שירותי אחסון לעומסי עבודה של AI ו-ML ב-AI Hypercomputer

שירותי אחסון מספקים את ארכיטקטורת הנתונים החיונית שעוזרת לאפשר אימון מודלים, הסקת מסקנות ושיפורים ברמת דיוק גבוהה במערכת האקולוגית של AI Hypercomputer. יש כמה שירותי אחסון ב- Google Cloud, אבל הבחירה המתאימה ביותר תלויה בדרישות שלכם לגבי קלט/פלט, קצב העברת נתונים, קנה מידה וזמן אחזור לתרחישי שימוש במחזור החיים של בינה מלאכותית (AI) ולמידת מכונה (ML).

במסמך הזה מוצגים שירותי אחסון ב- Google Cloud שעשויים לעזור לכם לבצע אופטימיזציה של הביצועים של GPU או TPU, ומוצגות השוואות בין השירותים. הוא גם מספק המלצות לגבי השירות האידיאלי לתרחישים ספציפיים לדוגמה של AI ולמידת מכונה.

מבוא לשירותי אחסון

Google Cloud מציעה כמה פתרונות אחסון שעברו אופטימיזציה לתרחישי שימוש ב-AI וב-ML:

  • ‫Cloud Storage הוא מערכת לאחסון אובייקטים שמיועדת לעיבוד ולאחסון של מערכי נתונים גדולים מאוד, כמו אלה שנדרשים לאימון או להסקת מסקנות בכמות גדולה. ב-Cloud Storage יש כמה יכולות שיעזרו לכם לבצע אופטימיזציה של אחסון הנתונים למשימות של AI ולמידת מכונה (ML).

  • ‫Google Cloud Managed Lustre היא מערכת קבצים מקבילית מנוהלת שתואמת ל-POSIX. היא מיועדת לביצועים מיוחדים של מטא-נתונים עם זמן אחזור קצר וריבוי משימות, שנדרשים לאימון ולעומסי עבודה של הסקת מסקנות.

בקטעים הבאים מפורט מידע נוסף על כל שירות אחסון.

Cloud Storage

‫Cloud Storage הוא מאגר אובייקטים בסיסי שנועד לספק מדרגיות גלובלית, עמידות ויעילות כלכלית. כשמשתמשים ב-Cloud Storage, הנתונים מאוחסנים כאובייקטים בקונטיינרים שנקראים קטגוריות. ‫Cloud Storage מציע מספר יכולות לקטגוריות שעוזרות לבצע אופטימיזציה של הביצועים של עומסי עבודה (workloads) של AI ו-ML:

  • מוצרים במשפחת Cloud Storage Rapid נועדו לפתור בעיות שקשורות לצווארי בקבוק בנתונים של עומסי עבודה של AI ו-ML, על ידי קירוב הנתונים למשאבי המחשוב. המוצרים האלה מאפשרים לכם לאחסן את הנתונים באותם אזורים שבהם מתארחים עומסי העבודה של המחשוב, וליהנות מביצועים גבוהים ומאחסון נתונים חסכוני וניתן להרחבה עבור אשכולות GPU או TPU. המוצרים של Cloud Storage Rapid כוללים את האפשרויות הבאות:

    • ‫Rapid Bucket מספק את הביצועים הכי מהירים של קריאה וכתיבה ב-Cloud Storage עבור קטגוריות אזוריות. אובייקטים בקטגוריות אזוריות מאוחסנים בסוג האחסון Rapid, שהוא סוג אחסון עם ביצועים גבוהים שעבר אופטימיזציה לעומסי עבודה עם הרבה פעולות קלט/פלט. בנוסף לזמן האחזור הנמוך יותר, Rapid Bucket מספק תפוקה גבוהה משמעותית (עד 15TB/s) בהשוואה למוצרים אחרים ולמיקומי דליים ב-Cloud Storage.

    • ‫Rapid Cache מאיץ את קריאת הנתונים לקטגוריות קיימות בלי לדרוש שינויים בקוד. Rapid Cache הוא מטמון קריאה אזורי שמגובה על ידי SSD לקטגוריות אחסון ב-Cloud Storage. הוא משמש להצגת נתונים לבקשות קריאת נתונים. המוצר מציע תפוקה גבוהה יותר (עד 2.5TB/s) וזמן אחזור נמוך יותר בהשוואה לדליים ללא מטמון.

      בדרך כלל מגדירים Rapid Cache לקטגוריות שנמצאות במספר אזורים, שבהן קיבולת המאיץ מפוצלת בין Google Cloud האזורים. קריאת נתונים מהמטמון כרוכה בעמלות נמוכות יותר על העברת נתונים בהשוואה לקריאת נתונים ישירות מקטגוריה מרובת אזורים.

  • ‫Cloud Storage FUSE הוא מתאם FUSE בקוד פתוח שמאפשר לטעון קטגוריות כמערכות קבצים מקומיות, כדי שאפליקציות יוכלו לנהל אינטראקציה עם אחסון אובייקטים באמצעות סמנטיקה של מערכת קבצים רגילה. היכולת הזו מאפשרת לכם ליהנות מהיתרונות של Cloud Storage – יכולת הרחבה גלובלית, עמידות וחיסכון בעלויות – עם גישה לקבצים מקומיים. ‫Cloud Storage FUSE מתוחזק באופן פעיל ונתמך על ידי Google.

    ב-Cloud Storage FUSE יש כמה פרמטרים של שמירת נתונים במטמון בצד הלקוח ופרמטרים של כוונון, כמו הורדות מקבילות. היכולות האלה יכולות להפשט את המורכבות של הפיתוח ולעזור להשיג ביצועים אופטימליים באמצעות חלוקה או מקביליות של הזרמים.

  • מרחב שמות היררכי מאפשר ליצור מבנה אמיתי של מערכת קבצים בקטגוריות, ומספק יכולות יעילות לניהול נתונים, כולל שינוי שם אטומי של תיקיות וחיפוש מהיר יותר של קבצים כשהקטגוריה מותקנת באמצעות Cloud Storage FUSE. מרחב שמות היררכי מאפשר לבצע פי 8 יותר שאילתות לשנייה (QPS) לקריאה וכתיבה של אובייקטים בהשוואה לקטגוריות ללא מרחב שמות היררכי. מידע נוסף על היתרונות של שימוש במרחב שמות היררכי זמין במאמר יתרונות בביצועים ובניהול.

    מומלץ מאוד להפעיל מרחב שמות היררכי אם יש לכם עומסי עבודה שדורשים טעינת נתונים עם תפוקה גבוהה וסימון תכוף של נקודות ביקורת במודל. כדי ליצור קטגוריות אזוריות באמצעות Rapid Bucket, צריך להפעיל מרחב שמות היררכי.

Managed Lustre

‫Google Cloud Managed Lustre היא מערכת קבצים מקבילית מנוהלת באופן מלא, עם ביצועים גבוהים, שתואמת ל-POSIX ומותאמת לאפליקציות של AI ו-ML. ארכיטקטורת Managed Lustre מתאימה באופן אידיאלי לעומסי עבודה של AI/ML עם תפוקה גבוהה, חביון נמוך וריבוי משימות של מטא-נתונים, כמו יצירת נקודות ביקורת, הפצה מהירה של משקלים בלמידת חיזוק ומטמון של זוגות מפתח-ערך (KV).

מידע נוסף על תרחישים נפוצים לדוגמה לשימוש ב-Managed Lustre זמין במאמר תרחישים עסקיים.

השוואה בין שירותי אחסון

בטבלה הבאה מוצגת השוואה כללית בין Cloud Storage לבין Managed Lustre לפי מאפיינים מרכזיים:

מאפיינים Cloud Storage Managed Lustre
ארכיטקטורה

מאגר אובייקטים

  • כברירת מחדל, הנתונים מאוחסנים בקטגוריות שטוחות. כל סוגי המאגרים (אזוריים, אזוריים, בשני אזורים ורב-אזוריים) מציעים אפשרויות של יתירות גיאוגרפית שאפשר להאיץ באמצעות יכולות Cloud Storage Rapid.
  • אפשר להפעיל מרחב שמות היררכי כדי ליצור מאגרי מידע שתומכים באחסון נתונים במבנה של מערכת קבצים.
  • אפשר גם להפעיל את Cloud Storage FUSE כדי לטעון קטגוריות בתור מערכות קבצים מקומיות.

מערכת קבצים מקבילית

  • הנתונים מאוחסנים כקבצים בManaged Lustre מנוהלים ומותקנים כמערכות קבצים מקומיות בכל אשכולות המאיצים, ללא צורך בהתאמות נוספות.
נפח אחסון

הקיבולת יכולה להגיע עד ל-EB.

הקיבולת יכולה להגיע עד 80PB, בהתאם לרמת הביצועים של המופע.
ביצועים

יש תמיכה בדברים הבאים:

  • זמן אחזור של פחות מאלפית השנייה לקבצים פתוחים באמצעות Rapid Bucket
  • עשרות מיליוני פעולות קלט/פלט (IOPs) לכל טרה-בייט (TiB) עם Rapid Bucket
  • עד ‎2.5 TB/s של רוחב פס עם Rapid Cache
  • עד ‎15 TB/s של רוחב פס עם Rapid Bucket
  • בקשות להגדלת רוחב הפס

יש תמיכה בדברים הבאים:

  • זמן אחזור של פחות מאלפית השנייה
  • עשרות מיליוני פעולות קלט/פלט לכל טרה-בייט
  • רוחב פס של עד ‎10 TB/s
תמחור

לפרטים, ראו תמחור של Cloud Storage.

פרטים נוספים מופיעים במאמר בנושא תמחור של Managed Lustre.
המלצות לפי דרישות

מומלץ לשימוש באפליקציות שזקוקות למאגר אובייקטים עם יכולת התאמה רחבה וליעילות כלכלית כללית לאימון מערכי נתונים, ליצירת נקודות ביקורת אסינכרוניות מרובות שכבות ולאחסון משקלי מודלים. בפרט, מומלץ להשתמש ב-Cloud Storage Rapid כדי לשנות את גודל הנתונים בצורה חסכונית ועם ביצועים גבוהים.

מומלץ לאפליקציות שזקוקות למערכת קבצים מקבילית או למדריכי בית שתואמים באופן מלא ל-POSIX. מומלץ גם לעומסי עבודה שרגישים לזמן אחזור או שדורשים שימוש בו-זמני בכמות גדולה של מטא-נתונים, כמו העברות של מטמון KV, יצירת נקודות ביקורת סינכרוניות והפצה מהירה של משקלים ללמידת חיזוק.

המלצות לשירות אחסון לפי תרחיש שימוש

תרחיש שימוש המלצה לגבי שירות אחסון הסיבה להמלצה
אימון והכנת מערכי נתונים ההמלצה העיקרית: Cloud Storage Rapid Bucket קטגוריות של Cloud Storage מספקות את הקיבולת, קצב העברת הנתונים, העלות האפקטיבית והעמידות שנדרשים לעיתים קרובות לנפחים גדולים של מערכי נתונים לאימון ולהסקת מסקנות. כשמשתמשים ב-Rapid Bucket כדי ליצור מאגר אזורי, המאגר האזורי נהנה מרוחב פס גבוה מאוד (עד 15TB/s) ומזמן אחזור נמוך ממילי-שנייה עבור קבצים פתוחים בעלות אופטימלית.
המלצה משנית: Managed Lustre ‫Managed Lustre מספק זמן אחזור של פחות מאלפית השנייה. הוא שימושי כסביבת עבודה ייעודית ומהירה במיוחד למשימות הכי אינטנסיביות של אימון והכנת מערכי נתונים, שבהן חביון נמוך וביצועים של מקביליות מטא-נתונים הם בעדיפות גבוהה.
העברה או שמירה של משקלי מודלים לצורך יצירת נקודות ביקורת או העברות משקלים ההמלצה העיקרית: Managed Lustre ‫Managed Lustre מספק זמן אחזור של פחות מאלפית השנייה וגישה מקבילה לנתונים, ומאפשר לאלפי עובדים להוריד את אותו קובץ משקלים בו-זמנית בלי להאט את התהליך.
המלצה משנית: Cloud Storage Rapid Bucket ‫Rapid Bucket מתאים במיוחד לביצוע צ'קפוינטים אסינכרוניים מרובי-שכבות או מבוזרים, כשמשתמשים בו עם GCSFS דרך fsspec או עם Cloud Storage FUSE עם כוונון ביצועים בצד הלקוח.
אחסון והורדה של מודלים להסקת מסקנות ההמלצה העיקרית: Cloud Storage Rapid Cache או Rapid Bucket

‫Rapid Cache פועל כמאיץ שמסייע בהפחתת זמן ההפעלה במצב התחלתי (cold start) של ההסקה. עם Rapid Cache, אפשר להכין מראש את משקלי המודל באותו אזור שבו נמצאים צמתי ההסקה, כך שמופע הסקה חדש יוכל להוריד במהירות את משקלי המודל ולעבד את הבקשה הראשונה שלו.

‫Rapid Bucket הוא מנוע אחסון אזורי מואץ עם ביצועים גבוהים, שמאפשר לכם לאתר משקלים של מודלים באותו אזור שבו נמצא צי ההיסקים שלכם.

לצורך הצגת מודלים, מומלץ להשתמש בRun:ai Model Streamer for vLLM כדי להשיג ביצועים אופטימליים בהורדה. במקרים של מחסניות אחרות להסקת מסקנות, אופטימיזציה של פרמטרים להורדה מקבילה של Cloud Storage FUSE יכולה להפחית באופן משמעותי את זמן האחזור של התחלה קרה במהלך הורדות של משקלי מודלים.

המלצה משנית: Managed Lustre ‫Managed Lustre מספק זמן אחזור של פחות מאלפית השנייה וגישה מקבילה לנתונים, מה שמשפר את הביצועים של מודלים שרגישים לביצועים ואת ההתאמה של מעבדי GPU מקבילים שמורידים את אותו מודל בו-זמנית.
העברת נתונים מהמטמון של זוגות מפתח/ערך ההמלצה העיקרית: Managed Lustre ‫Managed Lustre מספק זמן אחזור של פחות מאלפית השנייה וגישה לנתונים מקבילית, כך שצמתים שונים יכולים 'לשלוף' את מטמון KV ולהמשיך את הצ'אטים בלי לעבד מחדש את כל היסטוריית הצ'אט.

המאמרים הבאים