במאמר הזה מוסבר על התכונות וההגבלות של מכונות Compute Engine עם כרטיסי GPU מצורפים.
כדי להאיץ עומסי עבודה ספציפיים ב-Compute Engine, אפשר לפרוס מכונה שעברה אופטימיזציה למאיצים עם מעבדי GPU מצורפים, או לצרף מעבדי GPU למכונה לשימוש כללי מסוג N1. Compute Engine מספק מעבדי GPU למכונות שלכם במצב העברה. מצב העברה מאפשר למופעים שלכם שליטה ישירה על יחידות GPU ועל הזיכרון שלהן.
אפשר גם להשתמש בכמה סוגים של מכונות GPU ב-AI Hypercomputer. AI Hypercomputer הוא מערכת מחשוב-על שעברה אופטימיזציה כדי לתמוך בעומסי העבודה של בינה מלאכותית (AI) ולמידת מכונה (ML). מומלץ להשתמש באפשרות הזו כדי ליצור תשתית עם הקצאה צפופה ומותאמת לביצועים, שכוללת שילובים של Google Kubernetes Engine (GKE) ומתזמני Slurm.
סוגי מכונות נתמכים
Compute Engine מציע סוגים שונים של מכונות כדי לתמוך בעומסי העבודה השונים שלכם.
חלק מסוגי המכונות תומכים בתחנות עבודה וירטואליות (vWS) של NVIDIA RTX. כשיוצרים מכונה וירטואלית שמשתמשת ב-NVIDIA RTX Virtual Workstation, Compute Engine מוסיף באופן אוטומטי רישיון vWS. מידע על התמחור של תחנות עבודה וירטואליות מופיע בדף התמחור של GPU.
| סוגי מכונות עם GPU | |||
|---|---|---|---|
| עומסי עבודה של AI ו-ML | גרפיקה וויזואליזציה | עומסי עבודה אחרים של GPU | |
|
סוגי מכונות מסדרה A שעברו אופטימיזציה לשימוש במאיצים מיועדים לעומסי עבודה של מחשוב עתיר ביצועים (HPC), בינה מלאכותית (AI) ולמידת מכונה (ML).
מודלים מסדרת A מהדורות המאוחרות יותר מתאימים במיוחד לאימון מוקדם ולשיפור של מודלים בסיסיים שכוללים אשכולות גדולים של מאיצים, בעוד שמודלים מסדרת A2 יכולים לשמש לאימון של מודלים קטנים יותר ולהסקת מסקנות במארח יחיד. בסוגי המכונות האלה, מודל ה-GPU מצורף באופן אוטומטי למופע. |
סוגי מכונות מסדרת G שעברו אופטימיזציה לשימוש במאיצים מיועדים לעומסי עבודה כמו עומסי עבודה של סימולציה ב-NVIDIA Omniverse, אפליקציות עתירות גרפיקה, טרנסקוד של סרטונים ומחשבים וירטואליים. סוגי המכונות האלה תומכים ב-NVIDIA RTX Virtual Workstations (vWS).
אפשר להשתמש בסדרת G גם לאימון מודלים קטנים יותר ולהסקת מסקנות במארח יחיד. בסוגי המכונות האלה, מודל ה-GPU מצורף באופן אוטומטי למופע. |
בסוגי מכונות למטרות כלליות מסוג N1, למעט N1 עם ליבת מעבד משותפת ( |
|
|
אפשר לצרף את דגמי ה-GPU הבאים לסוגי מכונות וירטואליות לשימוש כללי מסוג N1:
|
||
יחידות GPU במכונות וירטואליות במודל Spot
אתם יכולים להוסיף יחידות GPU למכונות וירטואליות מסוג Spot במחירים נמוכים יותר של מכונות Spot עבור יחידות ה-GPU. מעבדי GPU שמצורפים למכונות וירטואליות מסוג Spot פועלים כמו מעבדי GPU רגילים, אבל הם נשמרים רק למשך חיי המכונה הווירטואלית. מכונות וירטואליות במודל Spot עם יחידות GPU פועלות לפי אותו תהליך של הפסקה זמנית כמו כל המכונות הווירטואליות במודל Spot.
כדאי לבקש מכסת Preemptible GPU ייעודית לשימוש ביחידות GPU במכונות וירטואליות מסוג Spot. מידע נוסף זמין במאמר בנושא מכסות למכונות וירטואליות מסוג Spot.
במהלך אירועי תחזוקה, מכונות וירטואליות מסוג Spot עם מעבדי GPU נדחקות כברירת מחדל ולא ניתן להפעיל אותן מחדש באופן אוטומטי. אם רוצים ליצור מחדש את מכונות ה-VM אחרי שהן נדחקו, צריך להשתמש בקבוצת מופעי מכונה מנוהלים. קבוצות של מופעי מכונה מנוהלים יוצרות מחדש את מופעי מכונות ה-VM אם משאבי ה-vCPU, הזיכרון וה-GPU זמינים.
אם אתם רוצים לקבל אזהרה לפני שהמכונות הווירטואליות שלכם נדחקות, או אם אתם רוצים להגדיר את המכונות הווירטואליות כך שהן יופעלו מחדש באופן אוטומטי אחרי אירוע תחזוקה, אתם צריכים להשתמש במכונות וירטואליות רגילות עם GPU. למכונות וירטואליות רגילות עם GPUs, Compute Engine מספק הודעה מראש שעה אחת לפני ההפסקה הזמנית.
ב-Compute Engine לא מחייבים על GPUs אם ה-VM שלהם נדחקים במהלך הדקה הראשונה אחרי שהם מתחילים לפעול.
כדי ללמוד איך ליצור VM במודל Spot עם GPUs מצורפים, אפשר לקרוא את המאמרים יצירת VM עם GPUs מצורפים ויצירת VMs במודל Spot. לדוגמה, אפשר לעיין במאמר בנושא יצירת מכונת A3 Ultra או A4 באמצעות מכונות וירטואליות מסוג Spot.
מעבדי GPU במופעים עם זמני ריצה מוגדרים מראש
בדרך כלל, אי אפשר להשתמש במכסות הקצאה שניתן להפסיק במופעים שמשתמשים במודל הקצאה רגיל. מכסות של מכונות Preemptible VM מיועדות לעומסי עבודה זמניים, ובדרך כלל יש יותר מכסות כאלה. אם בפרויקט שלכם אין מכסה של מכונות וירטואליות שניתנות להפסקת פעולה, ומעולם לא ביקשתם מכסה כזו, כל המכונות הווירטואליות בפרויקט צורכות מכסות הקצאה רגילות.
אם אתם מבקשים מכסת הקצאה שניתנת להפקעה, המקרים שבהם נעשה שימוש במודל ההקצאה הרגיל צריכים לעמוד בכל הקריטריונים הבאים כדי לצרוך מכסת הקצאה שניתנת להפקעה:
- למופעים מצורפים מעבדי GPU.
- המופעים מוגדרים למחיקה אוטומטית אחרי זמן ריצה מוגדר מראש באמצעות השדה
maxRunDurationאוterminationTime. מידע נוסף זמין במאמרים הבאים: - למופע אין הרשאה להשתמש בהזמנות. איך מונעים ממופעי מחשוב לצרוך הזמנות
כשמשתמשים בהקצאה עם אפשרות קדימה לעומסי עבודה של GPU שמוגבלים בזמן, אפשר ליהנות גם מזמן ריצה ללא הפרעות וגם מהזמינות הגבוהה של מכסת ההקצאה עם אפשרות קדימה. מידע נוסף מופיע במאמר בנושא מכסות של מכונות שאפשר להפסיק.
יחידות GPU ו-Confidential VM
אתם יכולים להשתמש ב-GPU עם מופע של Confidential VM שמשתמש ב-Intel TDX בסדרת מכונות A3. מידע נוסף זמין במאמר בנושא תצורות נתמכות של מכונות וירטואליות סודיות. איך יוצרים מכונת VM חסויה עם GPU
יחידות GPU ואחסון בלוקים
כשיוצרים מופע באמצעות סוג מכונה של GPU, אפשר להוסיף למופע אחסון בלוקים קבוע או זמני. כדי לאחסן נתונים לא זמניים, צריך להשתמש באחסון בלוקים מתמשך כמו Hyperdisk או Persistent Disk, כי הדיסקים האלה לא תלויים במחזור החיים של המופע. אפשר לשמור נתונים באחסון מתמיד גם אחרי שמוחקים את המופע.
לאחסון זמני של נתונים או למטמון, אפשר להשתמש באחסון בלוקים זמני על ידי הוספה של דיסקים מקומיים מסוג SSD כשיוצרים את המופע.
אחסון בלוקים מתמשך עם נפחי אחסון של Persistent Disk ו-Hyperdisk
אפשר לצרף Persistent Disk ולבחור נפחי Hyperdisk למופעים עם GPU.
לעומסי עבודה של למידת מכונה (ML) והגשה, מומלץ להשתמש באמצעי אחסון של Hyperdisk ML, שמציעים תפוקה גבוהה וזמני טעינת נתונים קצרים יותר. Hyperdisk ML היא אפשרות משתלמת יותר לעומסי עבודה של למידת מכונה, כי היא מציעה זמני סרק קצרים יותר של GPU.
נפחי Hyperdisk ML מספקים תמיכה בחיבור מרובה לקריאה בלבד, כך שאפשר לחבר את אותו דיסק לכמה מופעים, ולכל מופע תהיה גישה לאותם נתונים.
מידע נוסף על סוגי הדיסקים הנתמכים בסדרות של מכונות שתומכות ב-GPU זמין בדפים של סדרות המכונות N1 ואופטימיזציה של מאיצים.
דיסקים מקומיים מסוג SSD
דיסקים מקומיים של SSD מספקים אחסון מהיר וזמני למטרות שמירה במטמון, עיבוד נתונים או נתונים זמניים אחרים. דיסקים מקומיים מסוג SSD מספקים אחסון מהיר כי הם מחוברים פיזית לשרת שמארח את המופע. דיסקים מקומיים של SSD מספקים אחסון זמני כי המידע במופע נמחק אם הוא מופעל מחדש.
מומלץ להימנע מאחסון נתונים עם דרישות חזקות של עמידות בכונני SSD מקומיים. כדי לאחסן נתונים לא זמניים, צריך להשתמש במקום זאת באחסון קבוע.
אם מפסיקים באופן ידני מכונה עם GPU, אפשר לשמור את הנתונים של ה-SSD המקומי, בכפוף למגבלות מסוימות. פרטים נוספים מופיעים במאמרי העזרה בנושא SSD מקומי.
למידע על תמיכה אזורית ב-SSD מקומי עם סוגי GPU, אפשר לעיין במאמר בנושא זמינות של SSD מקומי.
מעבדים גרפיים ותחזוקת המארח
Compute Engine תמיד מפסיק מכונות עם יחידות GPU צמודות כשהוא מבצע אירועי תחזוקה בשרת המארח. אם למופע מצורפים דיסקים מקומיים של SSD, הנתונים בדיסקים האלה יימחקו אחרי שהמופע ייעצר.
מידע על טיפול באירועי תחזוקה זמין במאמר בנושא טיפול באירועי תחזוקה של מארחי GPU.
הזמנת קיבולת GPU
הזמנות מספקות רמת ודאות גבוהה לגבי קיבולת של משאבים ספציפיים לאזור, כולל GPU. אתם יכולים להשתמש בהזמנות כדי לוודא שיש לכם יחידות GPU זמינות כשאתם צריכים להשתמש בהן באפליקציות שדורשות ביצועים גבוהים. במאמר בחירת סוג הזמנה מוסבר על השיטות השונות לשריין משאבים ספציפיים לאזור ב-Compute Engine.
נדרשות הזמנות גם אם רוצים לקבל הנחות תמורת התחייבות לשימוש (CUD) על מעבדי GPU.
תמחור GPU
אם אתם מבקשים מ-Compute Engine להקצות GPU באמצעות מודל ההקצאה של מכונות וירטואליות מסוג Spot, מכונות וירטואליות עם הפעלה גמישה או מכונות וירטואליות שמוקצות בהזמנה, אתם מקבלים את ה-GPU במחירים מוזלים, בהתאם לסוג ה-GPU. אתם יכולים גם לקבל הנחות תמורת התחייבות לשימוש או הנחות על שימוש מתמשך (רק במכונות וירטואליות מסוג N1) על השימוש ב-GPU.
בדף המחירים של יחידות ה-GPU מופיעים המחירים השעתיים והחודשיים של יחידות ה-GPU.
הנחות תמורת התחייבות לשימוש ב-GPU
התחייבויות לשימוש במשאבים מאפשרות לכם לקבל הנחות משמעותיות על משאבי Compute Engine בתמורה להתחייבות להשתמש במשאבים באזור מסוים למשך שנה לפחות. בדרך כלל רוכשים התחייבויות למשאבים כמו vCPU, זיכרון, GPU ודיסקים של SSD מקומיים לשימוש בסדרת מכונות ספציפית. כשאתם משתמשים במשאבים, אתם מקבלים שימוש במשאבים שעומד בדרישות במחירים מוזלים. מידע נוסף על הנחות תמורת התחייבות לשימוש במשאבים
כדי לרכוש התחייבות עם יחידות GPU, צריך גם להזמין את יחידות ה-GPU ולצרף את ההזמנות להתחייבות. מידע נוסף על צירוף הזמנות להתחייבויות זמין במאמר צירוף הזמנות להתחייבויות לשימוש במשאבים.
הנחות על שימוש קבוע במעבדי GPU
מכונות שמשתמשות בסוגי מכונות N1 עם מעבדי GPU מצורפים מקבלות הנחות על שימוש מתמשך (SUD), בדומה ל-vCPU. כשבוחרים GPU לתחנת עבודה וירטואלית, Compute Engine מוסיף אוטומטית רישיון של NVIDIA RTX Virtual Workstation למכונה.
הגבלות ומגבלות על GPU
במקרים שבהם מצורפים מעבדי GPU, חלות ההגבלות והמגבלות הבאות:
רק סוגי מכונות שעברו אופטימיזציה למאיצים (A4X Max, A4X, A4, A3, A2, G4 ו-G2) וסוגי מכונות N1 לשימוש כללי תומכים ב-GPU.
כדי להגן על המערכות והמשתמשים ב-Compute Engine, לפרויקטים חדשים יש מכסת GPU גלובלית שמגבילה את המספר הכולל של מעבדי GPU שאפשר ליצור בכל אזור נתמך. כשמבקשים מכסת GPU, צריך לבקש מכסה לדגמי ה-GPU שרוצים ליצור בכל אזור, ומכסה גלובלית נוספת למספר הכולל של יחידות ה-GPU מכל הסוגים בכל האזורים.
למופעים עם יחידת GPU אחת או יותר יש מספר מקסימלי של מעבדים וירטואליים לכל יחידת GPU שמוסיפים למופע. כדי לראות את טווחי ה-vCPU והזיכרון הזמינים להגדרות שונות של GPU, אפשר לעיין ברשימת ה-GPU.
כדי שמעבדים גרפיים יפעלו בצורה תקינה, נדרשים מנהלי התקנים (drivers) למכשיר. מעבדים גרפיים (GPU) של NVIDIA שפועלים ב-Compute Engine צריכים להשתמש בגרסת דרייבר מינימלית. מידע נוסף על גרסאות של מנהלי התקנים זמין במאמר גרסאות נדרשות של מנהלי התקנים של NVIDIA.
הסכם רמת השירות (SLA) של Compute Engine חל על מכונות עם מודל GPU מצורף רק אם מודל ה-GPU המצורף זמין לכולם.
באזורים שיש בהם כמה תחומים, הסכם רמת השירות (SLA) של Compute Engine חל על המופע רק אם מודל ה-GPU זמין ביותר מתחום אחד באותו אזור. למידע על דגמי GPU לפי אזור, אפשר לעיין במאמר בנושא מיקומי GPU.
Compute Engine תומך במשתמש אחד בו-זמנית לכל GPU.
כדאי לעיין גם במגבלות של כל סוג מכונה עם מעבדי GPU מצורפים.
מה השלב הבא?
- איך יוצרים מכונות עם מעבדי GPU מצורפים
- איך מוסיפים או מסירים כרטיסי GPU
- איך יוצרים מכונה וירטואלית חסויה עם GPU מצורף