ב-Cloud Storage יש מגוון אפשרויות שיעזרו לכם לבצע אופטימיזציה של אחסון הנתונים לתרחישי שימוש שדורשים ביצועים גבוהים, כמו בינה מלאכותית (AI), למידת מכונה (ML) וניתוח נתונים עתיר משאבים. בדף הזה מוצגות האפשרויות האלה ומוסבר איך לבחור את האפשרות שמתאימה לצרכים של עומסי העבודה.
משפחת המוצרים Cloud Storage Rapid
Cloud Storage Rapid היא סדרת מוצרים עם ביצועים גבוהים ב-Cloud Storage, שנועדו לפתור בעיות צוואר בקבוק בנתונים של עומסי עבודה של AI/ML וניתוח נתונים. ככל שמודלים של AI/ML נעשים מורכבים יותר וקבוצות הנתונים מגיעות למימדים של פטה-בייט, ביצועי האחסון הופכים לעיתים קרובות לצוואר הבקבוק העיקרי עבור אשכולות יקרים של GPU ו-TPU. Cloud Storage Rapid משתמש בארכיטקטורות אזוריות כדי להביא את הנתונים שלכם קרוב יותר למשאבי המחשוב, וכך לעזור למאיצים שלכם להישאר רוויים, לקצר את זמני האימון ולהפחית את העלות הכוללת של הבעלות (TCO) עבור עומסי העבודה התובעניים ביותר.
Cloud Storage Rapid כולל את Rapid Bucket ואת Rapid Cache.
אחסון נתונים בסיווג Rapid Storage באמצעות Rapid Bucket
Rapid Bucket הוא פתרון לאחסון אובייקטים באזורים, עם ביצועים גבוהים. הוא מאפשר לאחסן נתונים בסוג האחסון Rapid על ידי הגדרת אזור כמיקום של הקטגוריה. באמצעות Rapid Bucket תוכלו למקם את הנתונים באותו אזור פיזי כמו מאיצי ה-AI שלכם, וליהנות מהשיהוי הנמוך ביותר ומהתפוקה הגבוהה ביותר מבין מוצרי Cloud Storage אחרים. Rapid Bucket מספק זמן אחזור של פחות ממילי שנייה, קצב העברה כולל של עד 15TB/s ותמיכה בעד 20 מיליון שאילתות לשנייה (QPS).
Rapid Bucket תומך בצירוף של אובייקטים לסטרימינג עם שמירת מצב, ומאפשר לאפליקציות לכתוב נתונים לאובייקטים קיימים בזמן אמת. היכולת הזו מאפשרת לכם להימנע משכתוב יקר של אובייקטים, ומספקת נראות מיידית של הנתונים. כך אפליקציות צרכניות יכולות לקרוא נתונים בזמן שהם נכתבים.
השימוש הכי טוב: אימון, יצירת נקודות ביקורת והצגה של מודלים של AI שנדרש עבורם זמן אחזור נמוך במיוחד וביצועים גבוהים ודטרמיניסטיים
כדאי להשתמש באפשרות הזו אם: אתם רוצים ביצועים גבוהים וייעודיים גם לקריאה וגם לכתיבה
במאמר יצירת קטגוריות אזוריות מוסבר איך ליצור קטגוריות אזוריות באמצעות Rapid Bucket.
יצירת מטמון אזורי באמצעות Rapid Cache
Rapid Cache הוא מטמון קריאה אזורי שמגובה על ידי SSD ומנוהל באופן מלא. הוא פועל עם קטגוריות אזוריות, קטגוריות של שני אזורים או קטגוריות של מספר אזורים קיימות, בלי שנדרשים שינויים ב-API. מטמון מספק קיבולת אחסון זמנית ורוחב פס שגדלים או קטנים באופן אוטומטי בהתאם לצרכים של עומסי העבודה. הנתונים מוזנים אוטומטית למטמון מהקטגוריה שלכם כשמכונה וירטואלית ששוכנת באותו אזור כמו המטמון קוראת את הנתונים.
Rapid Cache מספק תפוקה כוללת של 2.5TB/s ומקטין את זמן האחזור לקריאות מהירות יותר על ידי מיקום משותף של הנתונים באותם אזורים כמו המכונות הווירטואליות. בנוסף לשיפור המהירות של הצגת הנתונים, נתונים שמוצגים ממטמון יכולים להוביל לעלויות נמוכות יותר של העברת נתונים, אחזור נתונים ועלויות תפעול בהשוואה לנתונים שמוצגים ישירות ממאגר. מידע נוסף זמין במאמר בנושא היתרונות של Rapid Cache.
השימוש הכי טוב: אימון, שחזור של נקודות ביקורת והפעלת מודלים של AI שדורשים רוחב פס גבוה לקריאה מקטגוריית Cloud Storage קיימת
משתמשים באפשרות הזו אם: יש לכם אחסון נתונים קיים בקטגוריה של Cloud Storage שאתם רוצים להאיץ
במאמר יצירה וניהול של מטמונים יש הסבר על השימוש ב-Rapid Cache.