סקירה כללית של יצירת מכונה עם מעבדי GPU מצורפים

במאמר הזה מוסבר איך ליצור מכונה של Compute Engine עם יחידות עיבוד גרפיות (GPU) מצורפות. אתם יכולים להשתמש במעבדי GPU כדי להאיץ עומסי עבודה ספציפיים, כמו למידת מכונה ועיבוד נתונים.

אפשר גם להשתמש בחלק מסוגי המכונות עם GPU ב-AI Hypercomputer. ‫AI Hypercomputer היא מערכת מחשוב-על שמותאמת לתמיכה בעומסי עבודה של בינה מלאכותית (AI) ולמידת מכונה (ML). מומלץ להשתמש באפשרות הזו כדי ליצור תשתית עם הקצאה צפופה ואופטימיזציה של הביצועים, שכוללת שילובים של Google Kubernetes Engine ‏ (GKE) ומתזמני Slurm.

למידע נוסף על GPUs ב-Compute Engine, קראו את המאמר מידע על GPUs.

בוחרים את דגם ה-GPU

פלטפורמות GPU, שמכיל רשימה של דגמי ה-GPU שזמינים. חשוב גם לשים לב לסוג המכונה שנתמך במודל ה-GPU שנבחר.

לכל מודל, כדאי גם לבדוק את הדברים הבאים:

מגבלות

בנוסף למגבלות שחלות על כל המכונות עם מעבדי GPU, לכל סדרת מכונות עם מעבדי GPU מצורפים יש את המגבלות הבאות:

מכונות A4X Max

מכונות A4X

מכונות A4

מכונות A3 Ultra

מכונות A3 Mega

מכונות A3 High

מכונות A3 Edge

מכונות A2 Standard

מכונות A2 Ultra

  • אפשר לבקש קיבולת רק באמצעות אפשרויות הצריכה הנתמכות לסוג המכונה A2 Ultra.
  • לא מקבלים הנחות על שימוש קבוע והנחות גמישות תמורת התחייבות לשימוש על מכונות מסוג A2 Ultra.
  • אפשר להשתמש במכונה מסוג A2 Ultra רק באזורים ובאזורי זמינות מסוימים.
  • סוג המכונה A2 Ultra זמין רק בפלטפורמת Cascade Lake.
  • אם המכונה משתמשת בסוג מכונה A2 Ultra, אי אפשר לשנות את סוג המכונה. אם אתם צריכים להשתמש בסוג מכונה אחר של A2 Ultra, או בכל סוג מכונה אחר, אתם צריכים ליצור מכונה חדשה.
  • אי אפשר לשנות סוג מכונה אחר לסוג מכונה A2 Ultra. אם אתם צריכים מכונה שמשתמשת בסוג מכונה A2 Ultra, אתם צריכים ליצור מכונה חדשה.
  • אי אפשר לבצע פרמוט מהיר של כונני ה-SSD המקומיים שמחוברים למכונות Windows שמשתמשות בסוגי מכונות A2 Ultra. כדי לפרמט את כונני ה-SSD המקומיים האלה, צריך לבצע פרמוט מלא באמצעות הכלי diskpart ולציין את format fs=ntfs label=tmpfs.

מכונות G4

מכונות G2

מכונות N1+GPU

במאמרים תכונות של סדרת המכונות N1 ומעבדי GPU לסדרת המכונות N1 מפורטות המגבלות של מכונות N1 עם מעבדי GPU.

בחירת מערכת הפעלה

אם אתם משתמשים במעבדי GPU ללמידת מכונה, השתמשו באחת ממערכות ההפעלה הבאות:

  • תמונות שעברו אופטימיזציה לעומסי עבודה של AI. אפשר להשתמש בתמונות של Ubuntu ו-Rocky, שזמינות בגרסאות שעברו אופטימיזציה למאיצים עם מנהלי התקנים של NVIDIA ו-CUDA Toolkit שמותקנים מראש. למידע נוסף על קובצי אימג' של מערכת ההפעלה במאמרי העזרה של AI Hypercomputer.

  • תמונות VM של למידה עמוקה (Deep Learning). לכל Deep Learning VM יש כלי להתקנת מנהל התקן של GPU, והוא כולל חבילות כמו TensorFlow ו-PyTorch. אתם יכולים גם להשתמש ב-Deep Learning VM לעומסי עבודה כלליים של GPU. למידע נוסף על קובצי האימג' הזמינים ועל החבילות שמותקנות בהם, קראו את המאמר בחירת קובץ אימג' במסמכי התיעוד של Deep Learning VM.

לחלופין, אפשר להשתמש בתמונה ציבורית או בתמונה בהתאמה אישית. ברוב התמונות הציבוריות או התמונות בהתאמה אישית, צריך להתקין את מנהלי ההתקנים של NVIDIA ואת CUDA Toolkit. כדי לזהות אילו מנהלי התקנים מתאימים לדגם ה-GPU שלכם, קראו את המאמר התקנת מנהלי התקנים של GPU.

בדיקת המכסה של ה-GPU

כדי להגן על המערכות והמשתמשים של Compute Engine, לפרויקטים חדשים יש מכסת GPU גלובלית שמגבילה את המספר הכולל של יחידות ה-GPU שאפשר ליצור בכל אזור נתמך. מכסות של GPU

אם אתם צריכים להגדיל את המכסה של ה-GPU, אתם יכולים לבקש הגדלה של המכסה. כשמבקשים מכסה ל-GPU, צריך לבקש מכסה לסוגי ה-GPU שרוצים ליצור בכל אזור, ומכסה גלובלית נוספת למספר הכולל של יחידות GPU מכל הסוגים בכל האזורים.

אם לפרויקט יש היסטוריית חיובים, הוא יקבל מכסה באופן אוטומטי אחרי שליחת הבקשה.

מכסות הקצאה של מכונות GPU ומכונות זמניות

בדרך כלל, במכונות שמשתמשות במודל ההקצאה הרגיל אי אפשר להשתמש במכסות הקצאה שניתנות להפסקה לפני הזמן. מכסות למכונות שניתנות להפסקה לפני הזמן מיועדות לעומסי עבודה זמניים, ובדרך כלל הן זמינות יותר. אם לפרויקט שלכם אין מכסה של מכונות שניתנות להפסקה לפני הזמן, ומעולם לא ביקשתם מכסה כזו, כל המכונות בפרויקט צורכות מכסות הקצאה רגילות.

אם אתם מבקשים מכסת הקצאה של מכונות שניתנות להפסקה, המכונות שמשתמשות במודל ההקצאה הרגיל צריכות לעמוד בכל הקריטריונים הבאים כדי לצרוך מכסת הקצאה של מכונות שניתנות להפסקה:

כשאתם משתמשים במכסת הקצאה של משאבים שניתנים להפסקה לפני הזמן בשביל עומסי עבודה מוגבלים בזמן ב-GPU, אתם יכולים ליהנות גם מזמן ריצה ללא הפרעות וגם מהזמינות הגבוהה של מכסת ההקצאה של משאבים שניתנים להפסקה לפני הזמן. מידע נוסף מופיע במאמר מכסות של מכונות VM שניתנות להפסקה לפני הזמן.

יצירת מכונה עם מעבדי GPU מצורפים

כדי ליצור מכונה עם מעבדים גרפיים מצורפים, מבצעים את השלבים הבאים:

  1. יוצרים את המכונה. השיטה ליצירת מכונה תלויה בעומס העבודה שרוצים להריץ.

    סוגי מכונות GPU
    עומסי עבודה של AI ו-ML גרפיקה והמחשה חזותית עומסי עבודה אחרים ב-GPU
    סוגי מכונות מסדרה A עם אופטימיזציה למאיצים מיועדים לעומסי עבודה של מחשוב עתיר ביצועים (HPC), בינה מלאכותית (AI) ולמידת מכונה (ML).

    בסוגי המכונות האלה, מודל ה-GPU מצורף למכונה באופן אוטומטי.

    		 סוגי מכונות מסדרה G עם אופטימיזציה למאיצים מיועדים לעומסי עבודה כמו עומסי עבודה של סימולציה ב-NVIDIA Omniverse, אפליקציות עם גרפיקה אינטנסיבית, המרת קידוד של וידאו ומחשבים וירטואליים. סוגי המכונות האלה תומכים ב-NVIDIA RTX Virtual Workstations (vWS).

    אפשר להשתמש בסדרת G גם לאימון מודלים קטנים יותר ולהסקת מסקנות במארח יחיד.

    בסוגי המכונות האלה, מודל ה-GPU מצורף למכונה באופן אוטומטי.

    כדי לבצע אופטימיזציה של עלויות לעומסי עבודה שלא דורשים GPU מלא, אפשר להשתמש בסוגי מכונות G4 שמחובר אליהם פחות מ-GPU אחד. סוגי המכונות האלה מגיעים עם 1/2, 1/4 או 1/8 של GPU רגיל.

    במכונות וירטואליות לשימוש כללי מסוג N1, חוץ ממכונות עם ליבת מעבד משותפת מסוג N1 (f1-micro ו-g1-small), אפשר לצרף קבוצה נבחרת של מודלים של GPU. חלק מהדגמים האלה של GPU תומכים גם ב-NVIDIA RTX Virtual Workstations (vWS).

    לעומסי עבודה של AI,‏ ML ו-HPC, בוחרים אחת מהאפשרויות הבאות:

    		 כדי ליצור מכונה מסוג G2 (L4) או G4 (RTX PRO 6000), קראו את המאמר יצירת מכונה מסוג G2 או G4. כדי ליצור מכונה מסוג N1 עם מעבדי GPU מסוג NVIDIA T4,‏ P4 או V100, קראו את המאמר יצירת מכונה מסוג N1 עם מעבדי GPU מצורפים.

  2. כדי שהמכונה תשתמש ב-GPU, צריך להתקין את מנהל ההתקן של ה-GPU במכונה. אם הפעלתם תחנת עבודה וירטואלית של NVIDIA RTX (לשעבר NVIDIA GRID), התקינו מנהל התקן לתחנת עבודה וירטואלית.

מה השלב הבא?