אפשרויות אחסון לנתוני TPU

במאמר הזה מתוארות אפשרויות לאחסון נתונים שאפשר להשתמש בהן כשמאמנים מודלים במכונות וירטואליות של TPU.

עומסי עבודה שפועלים במכונות וירטואליות של TPU דורשים אחסון נתונים למשימות הבאות:

  • הורדה ועיבוד מקדים של מערך נתונים
  • עיבוד של צינור קלט של מארח
  • קלט לאימון המודל
  • פלט של אימון מודל
  • נקודות ביקורת
  • משקלים של מודלים
  • העברת מטמון של צמדי מפתח/ערך

אפשר להשתמש באפשרויות האחסון הבאות עם מכונות וירטואליות של TPU:

אחסון בלוקים עמיד

אחסון בלוקים עמיד, שנקרא גם דיסקים או נפחים, מיועד לנתונים שרוצים לשמור אחרי שמפסיקים, משעים או מוחקים את מכונת ה-TPU הווירטואלית. אחסון בלוקים עמיד עדיין זמין גם אם מכונת ה-TPU הווירטואלית קורסת או נכשלת. אפשר להשתמש בדיסק האתחול של מכונת ה-TPU הווירטואלית או לצרף אחסון בלוקים נוסף ל-TPU.

יכול להיות שתרצו לצרף דיסק נוסף בתרחישים הבאים:

  • גודל מערך הנתונים לאימון חורג מגודל דיסק האתחול של TPU.
  • יש לכם נתונים לקריאה בלבד ואתם רוצים גישה מהירה יותר לקריאה באמצעות נפח אחסון של Hyperdisk ML.

דור ה-TPU וסוגי הדיסקים הנתמכים

בטבלה הבאה מוצגים סוגי הדיסקים שנתמכים בכל דור של TPU:

דור ה-TPU סוגי דיסקים נתמכים
TPU7x Hyperdisk Balanced, Hyperdisk ML
v6e Hyperdisk Balanced, Hyperdisk ML
v5p דיסק אחסון מתמיד מאוזן, Hyperdisk ML
v5e דיסק אחסון מתמיד מאוזן, Hyperdisk ML
v4 דיסק אחסון מתמיד מאוזן
v3 דיסק אחסון מתמיד מאוזן
v2 דיסק אחסון מתמיד מאוזן

דיסק האתחול של TPU VM

כברירת מחדל, לכל TPU VM יש דיסק אתחול אחד בגודל 10GB. כשיוצרים מכונות וירטואליות, אפשר להגדיר דיסק אתחול גדול יותר. מידע נוסף זמין במאמר בנושא יצירת דיסק אתחול בהתאמה אישית. דיסק האתחול מכיל את מערכת ההפעלה, מנהלי ההתקנים של ה-TPU והספריות. בדיסק האתחול אפשר גם לאחסן באופן זמני מערכי נתונים שהורדו לצורך עיבוד מקדים ונתוני קלט ופלט של מודלים, כל עוד הגודל הכולל של הנתונים לא חורג מהמקום הפנוי בדיסק האתחול.

אם האפליקציה שלכם דורשת נפח אחסון נוסף מעבר לברירת המחדל של דיסק האתחול, אתם יכולים להוסיף דיסקים עמידים למופע של מכונה וירטואלית של TPU או לשנות את הגודל של דיסק האתחול. מידע נוסף זמין במקורות המידע הבאים:

מידע על שיטות מומלצות להתאמה אישית של דיסק האתחול של מכונת ה-TPU זמין במאמר בנושא התאמה אישית של דיסק האתחול של מכונת ה-TPU.

אחסון מצורף

גם Google Cloud Hyperdisk וגם Persistent Disk הם מכשירים עמידים לאחסון ברשת שלמכונות הווירטואליות שלכם יש אפשרות גישה אליהם כמו לדיסקים פיזיים במחשב או בשרת. אתם יוצרים את שני סוגי הדיסקים בנפרד ממכונות ה-VM, כך שתוכלו לשמור את הנתונים גם אחרי שאתם מוחקים את מכונת ה-VM.

היתרונות של שימוש ב-Hyperdisk לעומת Persistent Disk כוללים ביצועים שניתנים להתאמה אישית, מגבלות גבוהות יותר של IOPS ושל קצב העברת נתונים. מידע נוסף על Hyperdisk ועל Persistent Disk זמין במאמר בחירת סוג דיסק.

כשמצרפים דיסק ל-MIG עם פרוסת TPU VM מרובת-מארחים, המערכת מצרפת את הדיסק לכל מכונה וירטואלית בפרוסת ה-TPU הזו. כדי למנוע מצב שבו שתי מכונות וירטואליות של TPU או יותר כותבות לדיסק בו-זמנית, צריך להגדיר את כל הדיסקים שמצורפים לפלח TPU עם כמה מארחים כקריאה בלבד. דיסקים לקריאה בלבד שימושיים לאחסון מערך נתונים לעיבוד בפלח TPU. מכיוון ש-Hyperdisk Balanced לא תומך במצב קריאה בלבד, אפשר לצרף נפח אחסון של Hyperdisk Balanced רק למופע אחד של TPU VM.

מידע נוסף על שימוש באחסון בלוקים עמיד זמין במאמרים הוספת דיסק לאחסון מתמיד למכונה וירטואלית והוספת Hyperdisk.

גיבויים בדיסק

אם המכונה הווירטואלית של TPU נמצאת במצב לא ידוע או אם מחקתם נתונים בטעות, קשה לשחזר את הנתונים האלה מדיסק האתחול. מגבים את הנתונים באמצעות אפשרות אחסון אחרת, כמו קטגוריות של Cloud Storage.

אם אתם מאחסנים נתונים בדיסק שמצורף למכונה, אתם יכולים להשתמש בתמונות מצב של הדיסק, שמגבות את הנתונים בדיסק באופן מצטבר. דיסק האתחול של מכונת ה-TPU הווירטואלית לא תומך בתמונות מצב של הדיסק. מידע נוסף מופיע במאמר מידע על תמונות מצב של דיסקים.

Cloud Storage

‫Cloud Storage הוא מערכת לאחסון אובייקטים שנועדה לאחסון ולעיבוד של מערכי נתונים עצומים (כמו תמונות, טקסט וקבצי וידאו) שנדרשים להם נפח אחסון של פטה-בייט ורוחב פס עצום. הוא חסכוני מאוד, ניתן להתאמה וגמיש. כשמשתמשים ב-Cloud Storage, הנתונים מאוחסנים כאובייקטים בקונטיינרים שנקראים קטגוריות. הביצועים של קטגוריות ב-Cloud Storage תלויים בסוג האחסון (storage class) שבחרתם ובמיקום של הקטגוריה ביחס למכונת ה-VM של TPU.

כשמשתמשים ב-Cloud Storage, בוחרים סוג של קטגוריה על סמך הדרישות שלכם לגבי קצב העברת הנתונים, המדרגיות, העלות והזמינות של הנתונים. משפחת המוצרים Cloud Storage Rapid, שכוללת את Rapid Bucket ואת קטגוריות אזוריות עם Rapid Cache, מספקת אפשרויות עם ביצועים גבוהים לעומסי עבודה של AI/ML:

  • ‫Rapid Bucket: יכולת של Cloud Storage שמאפשרת לאחסן אובייקטים בסוג האחסון Rapid על ידי יצירת קטגוריה אזורית. קטגוריות אזוריות תומכות בתפוקה גבוהה ובזמן אחזור של פחות מאלפית השנייה עבור קבצים פתוחים. הם מתאימים במיוחד לנקודות ביקורת אסינכרוניות, לנתוני אימון ולמשקלים של מודלים.
  • קטגוריות אזוריות: קטגוריה של Cloud Storage שממוקמת באזור אחד או יותר. מאגרי Regional Bucket מציעים ביצועים סטנדרטיים של אחסון אובייקטים. כדי לעמוד בדרישות של נפח העברת הנתונים וזמן האחזור של עומסי עבודה של AI/ML, כדאי להשתמש בדליים אזוריים עם Rapid Cache. ‫Rapid Cache הוא מטמון קריאה אזורי שמגובה על ידי SSD לקטגוריות אזוריות, שמשפר את התפוקה ומקצר את זמן האחזור לעומסי עבודה שדורשים קריאה אינטנסיבית וניתנים לשמירה במטמון, כמו טעינת נתוני אימון או טעינת משקלים של מודלים להסקת מסקנות.

כל הקטגוריות ב-Cloud Storage כוללות יתירות מובנית כדי להגן על הנתונים מפני כשל בציוד, וכדי להבטיח את זמינות הנתונים במהלך אירועי תחזוקה במרכזי נתונים. ‫Cloud Storage מחשב סכומי ביקורת לכל הפעולות כדי לוודא את תקינות הנתונים.

בניגוד לאחסון בלוקים עמיד, קטגוריות ב-Cloud Storage לא מגבילות אתכם לאזור שבו נמצא המופע. בנוסף, אפשר לקרוא ולכתוב נתונים לקטגוריה מכמה מופעים בו-זמנית. לדוגמה, אתם יכולים להגדיר מכונות בכמה אזורים לקריאה ולכתיבה של נתונים באותה קטגוריה, במקום לשכפל את הנתונים לאחסון בלוקים עמיד בכמה אזורים.

מידע נוסף זמין במאמר חיבור מכונות וירטואליות של TPU לדליים ב-Cloud Storage.

Cloud Storage FUSE

‫Cloud Storage FUSE הוא מתאם FUSE שמאפשר לטעון קטגוריות כמערכת קבצים מקומית. כשמשתמשים ב-Google Kubernetes Engine, מומלץ להשתמש במנהל התקן ה-CSI של Cloud Storage FUSE ובפרופילים של Cloud Storage FUSE.

מידע נוסף על Cloud Storage FUSE זמין במסמכי התיעוד של Cloud Storage FUSE.

Managed Lustre

‫Google Cloud Managed Lustre היא מערכת קבצים מקבילה מנוהלת שתואמת באופן מלא ל-POSIX. הוא מיועד לפרופילי ביצועים של מטא-נתונים עם השהיה נמוכה וריבוי משימות גבוה, שנדרשים לאימון מודלים או לעומסי עבודה של הסקת מסקנות. הוא מותאם לעומסי עבודה (workloads) עם זמן אחזור נמוך במיוחד (פחות מ-1 אלפית השנייה), כמו ספריות ביתיות, נקודות ביקורת סינכרוניות, למידת חיזוק (אחסון של הפצת משקלים במהירות גבוהה), אחסון של מטמון של זוגות מפתח/ערך (KV) או מערכי נתונים לאימון עם הרבה קבצים קטנים (פחות מ-1MB). ‫Managed Lustre מציע רמת שירות דינמית חסכונית שמבצעת אופטימיזציה אוטומטית של הביצועים על סמך דפוסי הגישה לנתונים.

מידע נוסף זמין במסמכי התיעוד של Managed Lustre.

המאמרים הבאים