ל-AI Hypercomputer יש כמה אפשרויות צריכה לרכישת משאבי מחשוב. האפשרויות האלה נותנות מענה לצרכים כמו משך העבודה, עמידות בפני תקלות ומודל התשתית. כדאי לעיין באפשרויות האלה ולבחור את האפשרות שהכי מתאימה לתרחיש השימוש שלכם.
במקום לבצע הערכה ידנית, אתם יכולים להזין הנחיה ל-Gemini במסוףGoogle Cloud כדי להשוות בין אפשרויות הצריכה של עומס העבודה והתקציב שלכם. מידע נוסף זמין במאמר בנושא תכנון תשתית AI באמצעות Compute Advisor.
סקירה כללית של אפשרויות הצריכה
כדי להשוות בין אפשרויות הצריכה לפי מאפיינים מרכזיים, אפשר להיעזר בטבלה הבאה:
| אפשרות צריכה | מודל הקצאת ההרשאות | מתאים במיוחד בשביל | הבטחת קיבולת | תוחלת חיים | יכולת הפסקה לפני הזמן | מכסה | הנחות | מודל הקצאה |
|---|---|---|---|---|---|---|---|---|
| Flex-start | Flex-start | עומסי עבודה לפרק זמן קצר של עד שבעה ימים, שיכולים להמתין לקיבולת. | אם יתאפשר | עד שבעה ימים | לא | מכסה של מופעים זמניים שניתנים להפסקה | הנחה (עד 53%) על סדרות נתמכות | צפוף לבקשות לשינוי גודל של MIG; מאמץ מרבי למכונות וירטואליות עצמאיות. |
| VMs במודל Spot | Spot | עומסי עבודה כלליים של GPU לטווח קצר עם עמידות בפני תקלות. | אם יתאפשר | יכולת הפסקה לפני הזמן | כן | מכסה של מופעים זמניים שניתנים להפסקה | הנחה משמעותית (עד 91%) | רגילה |
| הזמנות רגילות | רגילה | עומסי עבודה קריטיים של GPU כלליים שדורשים רמת ודאות גבוהה מאוד לגבי הקיבולת. | גבוהה מאוד | גבוהה מאוד | בהגדרת המשתמש | לא | לא נוצלה מכסה | תעריפים מוזלים עם הנחות תמורת התחייבות לשימוש (CUD) |
| שריון מקום שמור לעתיד לבלוקים של קיבולת | נדרשת הזמנה | אימון רחב היקף לטווח ארוך באשכול GPU. | גבוהה מאוד | ללא הגבלה במהלך תקופת ההזמנה. | לא | המכסה גדלה לפני המסירה | הנחה (עד 53%) עם הנחות תמורת התחייבות לשימוש (CUD) | צפוף |
| הזמנות עתידיות במצב יומן | נדרשת הזמנה | עומסי עבודה של אשכול GPU עד 90 יום שדורשים קיבולת מוזמנת. | גבוהה מאוד | עד 90 ימים | לא | לא נוצלה מכסה | בהנחה (עד 53%) | צפוף |
| מכונות וירטואליות על פי דרישה | רגילה | עומסי עבודה כלליים של GPU ללא משך זמן ספציפי. | אם יתאפשר | ללא הגבלה | לא | מכסה לפי דרישה | ללא (תשלום לפי שימוש) | רגילה |
אפשרות הצריכה שבה אתם משתמשים כדי לפרוס את התשתית תלויה בשאלה אם אתם משתמשים ב-GPU כללי או ב-GPU מקובץ.
General GPU: מיועד להסקת מסקנות בקנה מידה קטן, לפיתוח ולעומסי עבודה של אימון בקנה מידה קטן יותר. סוג כזה של GPU מציע גמישות תפעולית באמצעות תחזוקה אסינכרונית. כדי לראות את האפשרויות הזמינות, אפשר לעיין במאמר בנושא אפשרויות צריכה של GPU כללי.
Clustered GPU: מיועד לעומסי עבודה (workloads) גדולים של אימון עם צימוד הדוק, ולעומסי עבודה של הסקה, RL ומודלים של נימוקים בקנה מידה גדול, שדורשים הבטחת קיבולת גבוהה והקצאת משאבים צפופה כדי למזער את זמן האחזור ברשת. אפשר לראות את האפשרויות הזמינות במאמר אפשרויות צריכה של GPU באשכול.
אפשרויות צריכה של מעבדי GPU כלליים
כדי לרכוש קיבולת ל-GPU כללי, אפשר להשתמש באפשרויות הצריכה הבאות.
שימוש ב-Flex-start
כדי להריץ עומסי עבודה לפרקי זמן קצרים שדורשים הקצאה צפופה של משאבים, אפשר לבקש משאבי מחשוב למשך עד שבעה ימים באמצעות Flex-start. בכל פעם שמשאבים זמינים, Compute Engine יוצרת את מספר המכונות הווירטואליות שביקשתם. אפשר להפסיק מכונות וירטואליות עצמאיות עם תשלום לפי שימוש, אבל אי אפשר להפסיק מכונות וירטואליות עם תשלום לפי שימוש שנוצרו על ידי קבוצת מופעי מכונה מנוהלים (MIG) באמצעות בקשות לשינוי גודל. מכונות וירטואליות עם הפעלה גמישה קיימות עד שמוחקים אותן, או עד ש-Compute Engine מוחק את המכונות הווירטואליות בסיום משך ההרצה שלהן.
עומסי עבודה אידיאליים
- אימון מקדים של מודל קטן
- כוונון עדין של מודלים
- סימולציה של מחשוב עתיר ביצועים (HPC)
- היסק באצווה
מאפיינים מרכזיים
- מודל הקצאת משאבים: Flex-start.
- תמיכה רחבה בחומרה: אפשר לבקש כל סוג מכונה של GPU מקובצת, למעט A4X Max ו-A4X.
- אופטימיזציה של זמן האחזור: אפשר להחיל מדיניות למיקום קומפקטי על מכונות וירטואליות עצמאיות כדי לצמצם את זמן האחזור ברשת.
- יעילות בעלויות: מקבלים הנחה של עד 53% על vCPU, זיכרון, GPU ודיסקים של SSD מקומיים בסדרות המכונות A4, A3, A2 ו-G4. תעריפים רגילים לפי דרישה חלים על סדרות נתמכות אחרות. מידע נוסף זמין במאמר בנושא תמחור עם התחלה גמישה (Flex-start).
שימוש ב-Spot
כדי להריץ עומסי עבודה עמידים בכשלים, אתם יכולים לקבל משאבי מחשוב באופן מיידי על סמך הזמינות. אתם מקבלים משאבים במחיר הנמוך ביותר האפשרי. עם זאת, Compute Engine יכול להפסיק את הפעולה של מכונות וירטואליות בכל שלב כדי לפנות קיבולת.
עומסי עבודה אידיאליים
- עיבוד באצווה וניתוח נתונים
- מחשוב עתיר ביצועים (HPC) וקידוד מדיה
מאפיינים מרכזיים
- מודל הקצאת הרשאות: Spot.
- תמיכה רחבה בחומרה: אפשר לבקש כל סוג מכונה של GPU מקובצת, למעט A4X Max ו-A4X.
- אופטימיזציה של זמן האחזור: אפשר להחיל מדיניות למיקום קומפקטי על מכונות וירטואליות עצמאיות כדי לצמצם את זמן האחזור ברשת.
- יעילות בעלויות: מקבלים הנחה של עד 91% על vCPU, זיכרון, יחידות GPU ודיסקים מקומיים של SSD.
שימוש על פי דרישה
טיפ: כדי להגדיל את הסיכויים לקבל קיבולת כללית של GPU, כדאי להשתמש ב-Flex-start או ב-Spot. אפשרויות הצריכה האלה מציעות יחידות GPU במחיר מוזל בהשוואה למחיר לפי דרישה, והן נועדו לעזור לכם להגדיל את הסיכויים שלכם לקבל משאבים מבוקשים כמו יחידות GPU.
כדי להריץ עומסי עבודה ללא משך זמן ספציפי, אתם יכולים לקבל משאבי מחשוב באופן מיידי על סמך הזמינות. המכונות הווירטואליות פועלות עד שמפסיקים או מוחקים אותן.
עומסי עבודה אידיאליים
- הסקת מסקנות ופרסום מודלים
- יצירת אב טיפוס וניסויים
מאפיינים מרכזיים
- מודל הקצאת ההרשאות: רגיל.
- זמינות מיידית: יצירת מכונות וירטואליות באופן מיידי בלי לחכות לתזמון או לאישור של קיבולת.
- Standard pricing: תשלום על משאבים בתעריפים סטנדרטיים לפי דרישה ללא התחייבויות לטווח ארוך.
- תמיכה רחבה בחומרה: אפשר להשתמש בכל סדרת מכונות GPU נתמכת בנתיב ה-GPU הכללי.
שימוש בהזמנות רגילות
כדי להריץ עומסי עבודה קריטיים של GPU כללי שדורשים רמת ודאות גבוהה מאוד לגבי הקיבולת, אפשר להשתמש בהזמנות רגילות.
עומסי עבודה אידיאליים
- עומסי עבודה קריטיים בסביבת ייצור
- עומסי עבודה שנדרשת להם קיבולת מובטחת
מאפיינים מרכזיים
- מודל הקצאת ההרשאות: רגיל.
- הבטחת קיבולת: מספקת רמת ודאות גבוהה מאוד לגבי זמינות המשאבים.
- תמחור: חלים תעריפים רגילים, אבל אפשר לצרף הנחות תמורת התחייבות לשימוש כדי לחסוך בעלויות.
אפשרויות צריכה של אשכול GPU
כדי לרכוש קיבולת ל-GPU באשכול, אפשר להשתמש באפשרויות הצריכה הבאות.
שימוש במקום שמור לעתיד לבלוקים של קיבולת
כדי להריץ עומסי עבודה מבוזרים ממושכים בקנה מידה גדול שדורשים משאבים בצפיפות גבוהה, אתם יכולים לבקש משאבי מחשוב בצפיפות גבוהה לתאריך ולשעה עתידיים. יש לכם גישה בלעדית למשאבים שהזמנתם למשך התקופה הזו, ואתם יכולים להשתמש במשאבים כדי ליצור מכונות וירטואליות או אשכולות. בסוף תקופת שמירת המקום, מערכת Compute Engine מבצעת את הפעולות הבאות:
- מערכת Compute Engine מוחקת את ההזמנה ואת מאגר האחסון הריק שמשויך אליה.
- בהתאם לפעולת הסיום שציינתם למכונות הווירטואליות, מערכת Compute Engine מפסיקה או מוחקת את כל המכונות הווירטואליות שמשתמשות בהזמנה.
עומסי עבודה אידיאליים
- אימון מראש של מודלים בסיסיים
- הסקת מסקנות לגבי מודלים בסיסיים בכמה מארחים
מאפיינים מרכזיים
- מודל הקצאת הרשאות: מוגבל להזמנה.
- תמיכה במכונות פרימיום: הזמנת סוגי מכונות A4X Max, A4X, A4, A3 Ultra, A3 Mega או A3 High (8 GPUs).
- הזמנות של Hyperdisk: אתם יכולים להזמין Hyperdisk Storage Pool או Hyperdisk Exapool יחד עם קיבולת מחשוב כדי לוודא שלעומסי העבודה שלכם יש מספיק משאבי אחסון. Google ממקמת במשותף מאגרי Hyperdisk עם צמתי המחשוב שלכם כדי לבצע אופטימיזציה של ביצועי האחסון.
- דרישות להתחייבות: כדי לקבל הנחות על משאבי מחשוב ועל מאגרי Hyperdisk, צריך לצרף התחייבות לשימוש במשאבים להזמנות של שנה אחת או יותר.
- שינויים דינמיים: הפעלת התראות על תחזוקת חירום של חומרה לשימוש במשימות של Vertex AI אחרי תחילת התקופה.
שימוש בהזמנות עתידיות במצב יומן
כדי להריץ עומסי עבודה מבוזרים לזמן קצר שדורשים הקצאה צפופה של משאבים, אתם יכולים לבקש משאבי מחשוב לתקופה של עד 90 ימים. במהלך התקופה הזו יש לכם גישה בלעדית למשאבים שהזמנתם, ואתם יכולים להשתמש בהם כדי ליצור מכונות וירטואליות או אשכולות. בסיום תקופת שמירת המקום, מערכת Compute Engine מבצעת את הפעולות הבאות:
- המקום השמור יימחק ב-Compute Engine.
- בהתאם לפעולת הסיום שציינתם למכונות הווירטואליות, מערכת Compute Engine מפסיקה או מוחקת את כל המכונות הווירטואליות שמשתמשות בהזמנה.
עומסי עבודה אידיאליים
- אימון מקדים וכוונון עדין
- סימולציות והסקת מסקנות בהיקף נרחב
מאפיינים מרכזיים
- מודל הקצאת הרשאות: מוגבל להזמנה.
- תמיכה בסדרות מכונות: אפשר להזמין סוגי מכונות A4, A3 Ultra, A3 Mega או A3 High (8 GPUs).
- מגבלות על יכולת ההרחבה: אפשר לשריין עד 80 מכונות וירטואליות למשך 90 ימים לכל היותר.
- הקצאת משאבים אופטימלית: שימוש במודל שמוגבל להזמנה כדי להגדיל את הסיכויים לקבלת מעבדי GPU.
שימוש ב-Flex-start
משתמשים ב-Flex-start לבקשות לשינוי גודל של קבוצת מופעי מכונה מנוהלים (MIG) באשכול, כשצריך משאבים בצפיפות גבוהה למשך עד שבעה ימים.
עומסי עבודה אידיאליים
מכונות וירטואליות עם הפעלה גמישה מתאימות להרצת עומסי עבודה שיכולים להתחיל בכל זמן, כמו:
- אימון מקדים של מודל קטן
- כוונון עדין של מודלים
- סימולציה של מחשוב עתיר ביצועים (HPC)
- היסק באצווה
מאפיינים מרכזיים
- מודל הקצאת משאבים: Flex-start.
- הקצאת משאבים: הקצאה צפופה לבקשות לשינוי גודל של MIG.
- חיסכון בעלויות: אתם מקבלים הנחה של עד 53% על vCPU, זיכרון, יחידות GPU וכל דיסקי SSD מקומיים שמצורפים לסדרות המכונות A4, A3, A2 ו-G4. תעריפי החיוב הרגילים על פי דרישה חלים על סדרות מכונות נתמכות אחרות.
שימוש ב-Spot
אתם יכולים להשתמש במכונות וירטואליות מסוג Spot לעומסי עבודה עם הקצאה צפופה ועמידות בכשלים, כדי לקבל הנחות משמעותיות, תוך הבנה שמערכת Compute Engine יכולה להפסיק מכונות וירטואליות לפני הזמן כדי לפנות קיבולת.
עומסי עבודה אידיאליים
- אימון מבוזר עמיד בכשלים
- עיבוד באצווה
מאפיינים מרכזיים
- מודל הקצאת הרשאות: Spot.
- דחיקה: מערכת Compute Engine יכולה לדחוק מכונות בכל שלב.
- יעילות בעלויות: מקבלים הנחה של עד 91% על vCPU, זיכרון, GPU וכל דיסקי SSD מקומיים שמצורפים.
המאמרים הבאים
- כדי לעיין בתהליך ובאפשרויות שצריך לבחור כשמתחילים ליצור אשכול, אפשר לעיין במאמר תכנון ויצירה של תשתית AI.
- הוראות ליצירה ולשימוש בהזמנות מופיעות במאמר יצירה ושימוש בהזמנות.
- מידע נוסף על מכונות וירטואליות מסוג Spot זמין במאמר מידע נוסף על מכונות וירטואליות מסוג Spot.
- כדי ליצור מכונה וירטואלית לפי דרישה, אפשר לעיין במאמר בנושא יצירת מכונה וירטואלית לפי דרישה.