בחירת תשתית המאיץ

במסמך הזה מוסבר איך לזהות את תשתית המאיצים האופטימלית לעומסי העבודה שלכם בבינה מלאכותית (AI) ובלמידת מכונה (ML), בהתאם לשלב במחזור החיים, כמו אב טיפוס בקנה מידה קטן, הסקת מסקנות בזמן אמת ואימון מבוזר בקנה מידה גדול. ב-AI Hypercomputer, המאיצים מחולקים לשתי קטגוריות: מעבדי GPU כלליים ואשכולות GPU.

תשתית GPU

ב-AI Hypercomputer יש שתי קטגוריות שונות של מעבדים גרפיים. לכל קטגוריה יש מודל ניהול נפרד שקובע איך המערכת מטפלת באירועים במחזור החיים, מנהלת את התחזוקה ומבצעת אופטימיזציה של הרשת לעומס העבודה:

מודל כללי לניהול GPU

המודל הכללי לניהול GPU מיועד לעומסי עבודה שבהם יש עדיפות לעצמאות של המשאבים ולזמינות גבוהה. המודל הזה משתמש במישור הניהול הרגיל של Google Cloud , ומספק חוויה מוכרת לצוותים שכבר משתמשים ב-Compute Engine או ב-GKE.

  • תחזוקה: אסינכרונית. כל מופע מתעדכן בנפרד. במערך שרתים עם כמה צמתים, אירוע תחזוקה בצומת אחד לא משפיע על הזמינות של צמתים אחרים, כך שאפשר להפנות את התנועה לצמתים תקינים בלי לעצור את כל המשימה.

  • תרחישים לדוגמה: מומלץ למשימות נפוצות כמו הסקת מסקנות בזמן אמת, פרסום מודלים, יצירת אב טיפוס בקנה מידה קטן וסביבות פיתוח שלא נדרש בהן מחשוב-על.

סדרת מכונות GPU כלליות

סדרות המכונות הבאות הן מעבדים גרפיים כלליים:

  • ‫A3 High עם GPU אחד, 2 או 4
  • A3 Edge
  • A2
  • G4
  • G2
  • N1+T4
  • N1+V100

למידע טכני על כל אחד מסוגי המכונות הכלליים של GPU, קראו את המאמר סוגי מכונות GPU.

מודל ניהול של אשכול GPU

מודל הניהול של אשכולות GPU הוא סביבה ברמה של מחשוב-על, שמיועדת לאימון מבוזר בקנה מידה גדול. המשאבים מנוהלים כמערכת אחת עם צימוד חזק באמצעות מחסנית של אשכול GPU.

  • תחזוקה: מתואמת. המודל הזה מתאם אירועי תחזוקה כדי לתמוך בעומסי עבודה עם צימוד חזק. לאימון מבוזר, אתם יכולים להשתמש בתחזוקה מסונכרנת, שבה העדכונים מוחלים על כל הצמתים בו-זמנית. הגישה הזו מונעת הפעלות מחדש של צמתים מהעבודות שנתקעו וממקסמת את התפוקה. המודל הזה גם מציע התראות תחזוקה של 90 יום.

  • תרחישים לדוגמה: אימון מודלים בסיסיים בקנה מידה של אקסה-בייט עם טריליוני פרמטרים, או הרצת סימולציות מורכבות של מחשוב עתיר ביצועים (HPC), כמו גילוי תרופות וקיפול חלבונים.

סדרת מכונות של אשכול GPU

סדרות המכונות הבאות הן אשכולות GPU:

  • A5X
  • A4X Max
  • A4X
  • A4
  • A3 Ultra
  • A3 Mega
  • ‫A3 High עם 8 מעבדי GPU

מידע טכני על כל אחת מהמכונות באשכול ה-GPU מופיע במאמר סוגי מכונות GPU.

מטריצת יכולות

השוואה בין המאפיינים הטכניים והתפעוליים של מודלים כלליים לניהול GPU ומודלים לניהול אשכולות GPU:

מאפיין מודל כללי לניהול GPU מודל ניהול של אשכול GPU
תרחישי שימוש עיקריים הסקת מסקנות, פרסום מודלים, יצירת אבות טיפוס ופיתוח אימון מבוזר בקנה מידה גדול ו-HPC
תחזוקה אסינכרוני: עדכוני צמתים עצמאיים מאפשרים להפנות מחדש את התנועה בלי לעכב משימות מתואמים: תמיכה בעדכונים מתואמים (מסונכרנים) בכל האשכול כדי לשמור על סנכרון בין הצמתים ולמקסם את קצב העברת הנתונים (goodput)
חומרת היעד ‫A3 High (עם GPU אחד, 2 או 4), A3 Edge, G4, G2, A2, N1+T4 ו-N1+V100 ‫A5X,‏ A4X Max,‏ A4X,‏ A4,‏ A3 Ultra,‏ A3 Mega ו-A3 High (8 GPUs)
Networking רשת VPC רגילה דרך ממשקי gVNIC (חוץ מ-A3 Edge, שמשתמש ב-GPUDirect-TCPX דרך כמה רשתות VPC) מארגי תקשורת מיוחדים עם זמן אחזור קצר (RDMA,‏ RoCE,‏ TCPX או NVIDIA NVLink)
מחסנית ניהול מישור בקרה רגיל Google Cloud (Compute Engine או GKE) מחסנית ניהול ייעודית (לדוגמה, Cluster Director)
אמינות תיקון אוטומטי של צומת רגיל וזמן פעולה תקינה ברמת הפוד חבילת משאבים ושחזור מיוחדת

מטריצת החלטות

אתם יכולים להשתמש בטבלה הבאה כדי לזהות אילו משפחות חומרה מתאימות למטרות הספציפיות של עומס העבודה שלכם:

אם עומס העבודה כולל... תשתית GPU מומלצת סדרת מכונות מומלצת
יצירת אב טיפוס ופיתוח מעבדים גרפיים כלליים ‫A3 High (עם 1, 2 או 4 מעבדים גרפיים), A3 Edge, A2, G4, G2, N1+T4, N1+V100
הסקת מסקנות בזמן אמת (פחות מ-100 מיליארד פרמטרים) מעבדים גרפיים כלליים ‫A3 High (עם 1, 2 או 4 מעבדים גרפיים), A3 Edge, A2, G4, G2, N1+T4, N1+V100
הסקה בכמה מעבדי GPU אשכולות GPU A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High (8 GPUs)
אימון והסקה בקנה מידה גדול אשכולות GPU A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High (8 GPUs)
אימון בקנה מידה עצום (יותר מ-500 מיליארד פרמטרים) והסקת מסקנות מפורקת אשכולות GPU ‫A5X,‏ A4X Max,‏ A4X,‏ A4

במאמר בחירת מאיץ מופיע עץ החלטות מפורט שממפה ארכיטקטורות של מודלים ישירות לחומרה.

אחרי שקובעים את הקריטריונים העיקריים האלה, בוחרים פלטפורמת תזמור. הבחירה תלויה בהעדפה של הצוות שלכם לניהול אוטומטי או לשליטה פרטנית במערכת ההפעלה ובמנהלי ההתקנים.

המאמרים הבאים