סוגי מכונות עם GPU

במסמך הזה מתוארות סדרות המכונות עם GPU שנתמכות ב-AI Hypercomputer. אתם יכולים ליצור מכונות וירטואליות וקלאסטרים של Compute Engine שמשתמשים בסדרות המכונות האלה כדי להריץ את עומסי העבודה של הבינה המלאכותית (AI), למידת המכונה (ML) והמחשוב בעל הביצועים הגבוהים (HPC).

כדי להשתמש במעבדי GPU ב-AI Hypercomputer, אפשר להשתמש ברוב סדרות המכונות ממשפחת המכונות שעברו אופטימיזציה להאצת ביצועים. כל סדרת מכונות במשפחת המכונות שעברו אופטימיזציה לשימוש במאיצים משתמשת במודל GPU ספציפי. מידע נוסף על משפחת המכונות שעברו אופטימיזציה להאצה זמין במאמר משפחת המכונות שעברו אופטימיזציה להאצה.

בקטע הבא מתוארות סדרות המכונות שעברו אופטימיזציה לשימוש במאיצים, ושנתמכות על ידי AI Hypercomputer.

A4X Max ו-A4X series

שימו לב: הסכם רמת השירות (SLA) של Compute Engine לא חל על סדרות המכונות A4X Max ו-A4X.

בקטע הזה מפורטות ההגדרות הזמינות לסדרות המכונות A4X Max ו-A4X. מידע נוסף על סדרות המכונות האלה זמין במאמר בנושא סדרות מכונות מסוג A4X ו-A4X Max שעברו אופטימיזציה להאצה במאמרי העזרה של Compute Engine.

A4X Max (Bare metal)

סוגי מכונות A4X Max משתמשים ב-NVIDIA GB300 Grace Blackwell Ultra Superchips (nvidia-gb300) והם אידיאליים לאימון מודלים בסיסיים ולמילוי בקשות. סוגי המכונות A4X Max זמינים כמכונות Bare Metal.

‫A4X Max היא פלטפורמה בקנה מידה אקססקייל שמבוססת על NVIDIA GB300 NVL72. לכל מכונה יש שני שקעים עם מעבדי NVIDIA Grace עם ליבות Arm Neoverse V2. יחידות העיבוד המרכזיות האלה מחוברות לארבע יחידות GPU מסוג NVIDIA B300 Blackwell עם תקשורת מהירה בין שבבים (NVLink-C2C).

הערה: כשמפעילים מכונות A4X Max, צריך לשמור קיבולת כדי ליצור מכונות ואשכולות. לאחר מכן תוכלו ליצור מכונות שמשתמשות בתכונות ובשירותים שזמינים ב-AI Hypercomputer. מידע נוסף מופיע במאמר בנושא סקירה כללית של אפשרויות הפריסה.

						מצורפים שבבי NVIDIA GB300 Grace Blackwell Ultra Superchips
סוג המכונה	מספר המעבדים הווירטואליים^1	זיכרון המכונה (GB)	אחסון SSD מקומי מצורף (GiB)	מספר כרטיסי ה-NIC הפיזיים	רוחב הפס המקסימלי ברשת (Gbps)^2	מספר יחידות ה-GPU	זיכרון GPU^3 ‏ (GB HBM3e)
a4x-maxgpu-4g-metal	144	960	‫12,000	6	3,600	4	1,116

‫¹vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
² רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
³זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

A4X

‫A4X סוגי המכונות משתמשים ב-NVIDIA GB200 Grace Blackwell Superchips‏ (nvidia-gb200) והם אידיאליים לאימון מודלים בסיסיים ולהצגתם.

‫A4X היא פלטפורמה בקנה מידה אקססקייל שמבוססת על NVIDIA GB200 NVL72. לכל מכונה יש שני שקעים עם מעבדי NVIDIA Grace עם ליבות Arm Neoverse V2. המעבדים האלה מחוברים לארבע יחידות GPU מסוג NVIDIA B200 Blackwell עם תקשורת מהירה בין שבבים (NVLink-C2C).

הערה: כשמקצים מכונות A4X, צריך לשמור קיבולת כדי ליצור מכונות ואשכולות. לאחר מכן תוכלו ליצור מכונות שמשתמשות בתכונות ובשירותים שזמינים ב-AI Hypercomputer. מידע נוסף מופיע במאמר בנושא סקירה כללית של אפשרויות הפריסה.

						מצורפים שבבי NVIDIA GB200 Grace Blackwell Superchips
סוג המכונה	מספר המעבדים הווירטואליים^1	זיכרון המכונה (GB)	אחסון SSD מקומי מצורף (GiB)	מספר כרטיסי ה-NIC הפיזיים	רוחב הפס המקסימלי ברשת (Gbps)^2	מספר יחידות ה-GPU	זיכרון GPU^3 ‏ (GB HBM3e)
a4x-highgpu-4g	140	884	‫12,000	6	2,000	4	744

‫¹vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
² רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
³זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

A4 series

הערה: אפשר להשתמש בכלי Cluster Health Scanner (סורק תקינות האשכול) כדי לפתור בעיות באשכולות של יחידות GPU מסדרת A4 של מכונות A4. מידע נוסף זמין במאמר בנושא פתרון בעיות באשכולות GPU.

בקטע הזה מפורטות ההגדרות הזמינות לסדרת המכונות A4. למידע נוסף על סדרת המכונות הזו, אפשר לעיין במאמר סדרת מכונות A4 שעברו אופטימיזציה להאצה במסמכי העזרה של Compute Engine.

A4

לסוגי המכונות A4 מצורפים מעבדי GPU של NVIDIA B200 Blackwell (nvidia-b200), והם אידיאליים לאימון מודלים בסיסיים ולהצגתם.

הערה: כשמפעילים סוגי מכונות A4, צריך להזמין קיבולת כדי ליצור מופעים או אשכולות, להשתמש במכונות וירטואליות מסוג Spot, להשתמש במכונות וירטואליות מסוג Flex-start או ליצור בקשה לשינוי גודל ב-MIG. הוראות ליצירת מכונות A4 זמינות במאמר סקירה כללית על יצירת מכונות וירטואליות ואשכולות. .

						מעבדים גרפיים (GPU) מסוג NVIDIA B200 Blackwell מצורפים
סוג המכונה	מספר המעבדים הווירטואליים^1	זיכרון המכונה (GB)	אחסון SSD מקומי מצורף (GiB)	מספר כרטיסי ה-NIC הפיזיים	רוחב הפס המקסימלי ברשת (Gbps)^2	מספר יחידות ה-GPU	זיכרון GPU^3 ‏ (GB HBM3e)
a4-highgpu-8g	224	3,968	‫12,000	10	3,600	8	1,440

‫¹vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
² רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר בנושא רוחב פס ברשת.
³זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

A3 series

הערה: אפשר להשתמש בכלי CHS כדי לפתור בעיות באשכולות של A3 Ultra,‏ A3 Mega ו-A3 High GPU. מידע נוסף זמין במאמר בנושא פתרון בעיות באשכולות GPU.

בקטע הזה מפורטות ההגדרות הזמינות לסדרת המכונות A3. למידע נוסף על סדרת המכונות הזו, אפשר לעיין במאמר סדרת מכונות A3 שעברה אופטימיזציה להאצה במסמכי העזרה של Compute Engine.

A3 Ultra

לסוגי המכונות A3 Ultra מצורפים מעבדים גרפיים (GPU) מסוג NVIDIA H200 SXM (nvidia-h200-141gb), והם מספקים את ביצועי הרשת הגבוהים ביותר בסדרת A3. סוגי המכונות A3 Ultra הם אידיאליים לאימון מודלים בסיסיים ולהצגתם.

הערה: כשמפעילים הקצאת משאבים לסוגי מכונות A3 Ultra, צריך להזמין קיבולת כדי ליצור מופעים או אשכולות, להשתמש במכונות וירטואליות מסוג Spot, להשתמש במכונות וירטואליות מסוג Flex-start או ליצור בקשה לשינוי גודל בקבוצת MIG. מידע נוסף על הפרמטרים שצריך להגדיר כשיוצרים מופע A3 Ultra זמין במאמר סקירה כללית על יצירת מכונות וירטואליות וקלאסטרים.

						מעבדי GPU של NVIDIA H200 שמצורפים
סוג המכונה	מספר המעבדים הווירטואליים^1	זיכרון המכונה (GB)	אחסון SSD מקומי מצורף (GiB)	מספר כרטיסי ה-NIC הפיזיים	רוחב הפס המקסימלי ברשת (Gbps)^2	מספר יחידות ה-GPU	זיכרון GPU^3 ‏ (GB HBM3e)
a3-ultragpu-8g	224	2,952	‫12,000	10	3,600	8	1128

‫¹vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
² רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
³זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

A3 Mega

סוגי המכונות A3 Mega כוללים מעבדי NVIDIA H100 SXM GPU והם אידיאליים לאימון מודלים גדולים ולהסקת מסקנות במארחים מרובים.

הערה: כשמבצעים הקצאה של סוגי מכונות a3-megagpu-8g, מומלץ להשתמש באשכול של המכונות האלה ולבצע פריסה באמצעות מתזמן כמו Google Kubernetes Engine‏ (GKE) או Slurm. הוראות מפורטות לגבי כל אחת מהאפשרויות האלה מפורטות במאמרים הבאים:

• כדי ליצור אשכול Google Kubernetes Engine, אפשר לעיין במאמר פריסת אשכול A3 Mega באמצעות GKE.
• כדי ליצור אשכול Slurm, אפשר לעיין במאמר בנושא פריסת אשכול Slurm מסוג A3 Mega.

						מעבדי GPU מסוג NVIDIA H100 שמצורפים
סוג המכונה	מספר המעבדים הווירטואליים^1	זיכרון המכונה (GB)	אחסון SSD מקומי מצורף (GiB)	מספר כרטיסי ה-NIC הפיזיים	רוחב הפס המקסימלי ברשת (Gbps)^2	מספר יחידות ה-GPU	זיכרון GPU^3‏ (GB HBM3)
a3-megagpu-8g	208	1,872	6,000	9	‫1,800	8	640

‫¹vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
² רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
³זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

A3 High

סוגי המכונות A3 High כוללים מעבדי GPU מסוג NVIDIA H100 SXM ומתאימים היטב הן להסקת מסקנות ממודלים גדולים והן לכוונון עדין של מודלים.

הערה: כשמקצים מכונות וירטואליות מסוג a3-highgpu-1g,‏ a3-highgpu-2g או a3-highgpu-4g, צריך ליצור מופעים באמצעות מכונות וירטואליות מסוג Spot או מכונות וירטואליות עם הפעלה גמישה. הוראות מפורטות לגבי האפשרויות האלה מופיעות במאמרים הבאים:

• כדי ליצור מכונות וירטואליות (VM) זמניות מסוג Spot, מגדירים את מודל הקצאת המשאבים לערך SPOT כשיוצרים מכונה וירטואלית (VM) שעברה אופטימיזציה לשימוש במאיץ.
• כדי ליצור מכונות וירטואליות מסוג Flex-start, אפשר להשתמש באחת מהשיטות הבאות:
  • יוצרים מכונה וירטואלית עצמאית ומגדירים את מודל הקצאת המשאבים לערך FLEX_START כשיוצרים מכונה וירטואלית שעברה אופטימיזציה לשימוש במאיץ.
  • יצירת בקשה לשינוי גודל בקבוצת מופעי מכונה מנוהלים (MIG). הוראות מפורטות זמינות במאמר בנושא יצירת קבוצת מופעים מנוהלת (MIG) עם מכונות וירטואליות של GPU.

						מעבדי GPU מסוג NVIDIA H100 שמצורפים
סוג המכונה	מספר המעבדים הווירטואליים^1	זיכרון המכונה (GB)	אחסון SSD מקומי מצורף (GiB)	מספר כרטיסי ה-NIC הפיזיים	רוחב הפס המקסימלי ברשת (Gbps)^2	מספר יחידות ה-GPU	זיכרון GPU^3‏ (GB HBM3)
a3-highgpu-1g	26	234	750	1	25	1	80
a3-highgpu-2g	52	468	1,500	1	50	2	160
a3-highgpu-4g	104	936	3,000	1	100	4	320
a3-highgpu-8g	208	1,872	6,000	5	1,000	8	640

‫¹vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
² רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
³זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

A3 Edge

סוגי המכונות A3 Edge כוללים מעבדי NVIDIA H100 SXM GPU ומיועדים במיוחד להצגת תוכן. הם זמינים בקבוצה מוגבלת של אזורים.

הערה: כדי להתחיל להשתמש במופעי A3 Edge, אפשר לעיין במאמר בנושא יצירת מכונת A3 וירטואלית עם GPUDirect-TCPX מופעל.

						מעבדי GPU מסוג NVIDIA H100 שמצורפים
סוג המכונה	מספר המעבדים הווירטואליים^1	זיכרון המכונה (GB)	אחסון SSD מקומי מצורף (GiB)	מספר כרטיסי ה-NIC הפיזיים	רוחב הפס המקסימלי ברשת (Gbps)^2	מספר יחידות ה-GPU	זיכרון GPU^3‏ (GB HBM3)
a3-edgegpu-8g	208	1,872	6,000	5	‫600: for asia-south1 and northamerica-northeast2 ‫400: לכל שאר אזורי A3 Edge	8	640

‫¹vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
² רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
³זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

המאמרים הבאים

• מידע נוסף על מעבדי GPU זמין בדפים הבאים במאמרי העזרה של Compute Engine:

  • מידע על יחידות GPU ב-Compute Engine
  • בודקים את הזמינות של אזורים ותחומים של GPU.
  • מידע על תמחור של GPU

• מידע על שירותי רשת ושירותי אחסון ל-AI Hypercomputer