משפחת מכונות שעברה אופטימיזציה למאיץ

במאמר הזה מתוארת משפחת המכונות שעברו אופטימיזציה לשימוש במאיצים, ומספקת לכם מכונות Compute Engine עם GPUs של NVIDIA שמצורפים מראש. האינסטנסים האלה מיועדים במיוחד לבינה מלאכותית (AI), למידת מכונה (ML), מחשוב עתיר ביצועים (HPC) וליישומים עתירי גרפיקה.

משפחת המכונות שעברה אופטימיזציה להאצה זמינה בסדרות המכונות הבאות: A4X Max,‏ A4X,‏ A4,‏ A3,‏ A2,‏ G4 ו-G2. לכל סוג מכונה בסדרה יש דגם ספציפי ומספר של כרטיסי GPU של NVIDIA שמצורפים אליו. אפשר גם לצרף חלק מדגמי ה-GPU לסוגי מכונות לשימוש כללי N1.

בקטע הבא מפורטות סדרות המכונות המומלצות על סמך עומסי העבודה של ה-GPU:

סוג עומס העבודה סוג המכונה המומלץ
מודלים שעברו אימון מראש ‫A4X Max,‏ A4X,‏ A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High ו-A2

כדי לזהות את המודל המתאים ביותר, אפשר לעיין ב המלצות לאימון מוקדם של מודלים במסמכי התיעוד של AI Hypercomputer.
כוונון עדין של מודלים ‫A4X Max,‏ A4X,‏ A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High,‏ A2 ו-G4

כדי לזהות את המודל המתאים ביותר, אפשר לעיין במאמר המלצות לכוונון עדין של מודלים במסמכי התיעוד של AI Hypercomputer.
הסקת מסקנות לגבי הצגת מודעות ‫A4X Max,‏ A4X,‏ A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High,‏ A3 Edge,‏ A2 ו-G4

כדי לזהות את ההתאמה הטובה ביותר, אפשר לעיין ב המלצות להסקת מסקנות במסמכי העזרה של AI Hypercomputer.
עומסי עבודה שדורשים הרבה משאבים גרפיים G4,‏ G2 ו-N1+T4
מחשוב עתיר ביצועים (HPC) עבור עומסי עבודה של מחשוב עתיר ביצועים, כל סדרת מכונות שעברה אופטימיזציה להאצה תתאים. ההתאמה הטובה ביותר תלויה בכמות החישובים שצריך להעביר ל-GPU.

מידע נוסף זמין במאמר המלצות ל-HPC במסמכי התיעוד של AI Hypercomputer.

אפשרויות תמחור וצריכה

אפשרויות הצריכה מתייחסות לדרכים לקבל ולהשתמש במשאבי מחשוב.Google Cloud מערכת החיוב מחייבת על סוגי מכונות שעברו אופטימיזציה להאצת ביצועים לפי יחידות ה-GPU שמצורפות אליהן, לפי vCPU מוגדר מראש, לפי זיכרון ולפי SSD מקומי בחבילה (אם רלוונטי). ההנחות על מופעים שעברו אופטימיזציה לשימוש במאיצים משתנות בהתאם לאפשרות הצריכה שבה אתם משתמשים. מידע נוסף על התמחור של מכונות VM שעברו אופטימיזציה לשימוש במאיצים זמין בקטע משפחת סוגי מכונות שעברו אופטימיזציה לשימוש במאיצים בדף התמחור של מכונות VM.

ההנחות על מופעים שעברו אופטימיזציה לשימוש במאיצים משתנות בהתאם לאפשרות הצריכה שבוחרים:

  • על פי דרישה: אתם יכולים לקבל הנחות תמורת התחייבות לשימוש (CUD) על חלק מהמשאבים על ידי רכישת התחייבויות לשימוש במשאבים. עם זאת, אי אפשר לקבל הנחות תמורת התחייבות לשימוש (CUD) על כרטיסי GPU ועל כונני SSD מקומיים שבהם אתם משתמשים באפשרות לפי דרישה. כדי לקבל הנחות CUD על יחידות GPU ועל דיסקים של SSD מקומיים, צריך להשתמש באחת מאפשרויות ההזמנה.
  • ‫Spot: מכונות וירטואליות במודל Spot מקבלות הנחות באופן אוטומטי דרך תמחור של מכונות וירטואליות במודל Spot.
  • התחלה גמישה: מקרים שמוקצים באמצעות אפשרות הצריכה 'התחלה גמישה' מקבלים הנחות באופן אוטומטי דרך תמחור של Dynamic Workload Scheduler.
  • הזמנות: אתם יכולים לקבל הנחות תמורת התחייבות לשימוש במשאבים של סוג מכונה שעבר אופטימיזציה לשימוש במאיצים, על ידי רכישת התחייבויות לשימוש במשאבים. התחייבויות ל-GPU ולדיסקים של SSD מקומיים מחייבות שיהיו הזמנות מצורפות למשאבים האלה.

זמינות אפשרויות הצריכה לפי סוג המכונה

בטבלה הבאה מפורטת הזמינות של כל אפשרות צריכה לפי סוגי מכונות. מידע נוסף על בחירת אפשרות צריכה זמין במאמר בחירת מודל צריכה במאמרי העזרה של AI Hypercomputer.

סוג המכונה על פי דרישה Spot Flex-start הזמנות על פי דרישה הזמנות עתידיות הזמנות עתידיות במצב יומן מקום שמור לעתיד ב-AI Hypercomputer

חוויית התחזוקה של מכונות וירטואליות שעברו אופטימיזציה למאיץ

במהלך מחזור החיים של מכונה של Compute Engine, המחשב המארח שעליו המכונה שלכם פועלת עובר כמה אירועים במארח. אירוע במארח יכול לכלול תחזוקה שוטפת של תשתית Compute Engine, או במקרים נדירים, שגיאה במארח. בנוסף,‏ Compute Engine מבצע שדרוגים קלים ולא מפריעים ל-Hypervisor ולרשת ברקע.

בטבלה הבאה מתוארות התכונות של תחזוקת המארח לסוגי מכונות שעברו אופטימיזציה לשימוש במאיצים:

סוג המכונה מספר יחידות ה-GPU התדירות הטיפוסית של אירועי תחזוקה מתוזמנים התנהגות תחזוקה התראה מראש על תחזוקה מתוזמנת תחזוקה על פי דרישה סימולציה של תחזוקה
‫A4X Max2 ו-A4X2 4 לפחות 90 יום הפעולה מסתיימת עם שמירת נתונים ב-SSD מקומי 90 ימים כן לא
A42 8 לפחות 90 יום הסיום עם שמירת נתונים ב-Local SSD 90 ימים כן לא
A3 Ultra2 8 לפחות 90 יום הסיום עם שמירת נתונים ב-Local SSD 90 ימים כן לא
‫A3 Mega2 ו-A3 High2 8 לפחות 30 יום1 סיום והפעלה מחדש 7 ימים כן כן
A3 High 1, 2, 4 לפחות 30 יום1 סיום והפעלה מחדש 7 ימים1 לא כן
A3 Edge 8 לפחות 30 יום סיום והפעלה מחדש 7 ימים כן כן
A2 Ultra ‫1, 2, 4, 8 לפחות 30 יום סיום והפעלה מחדש 7 ימים כן (8 יחידות GPU בלבד) כן
A2 Standard ‫1, 2, 4, 8 או 16 לפחות 30 יום סיום והפעלה מחדש 7 ימים כן (8 ו-16 מעבדי GPU בלבד) כן
G4 ‫1, 2 או 4 לפחות 30 יום מפסיקים את התהליך ומפעילים מחדש. אם מצורפים דיסקים של SSD מקומי, המופע מסתיים עם שמירת נתונים של SSD מקומי. 7 ימים לא כן
G4 8 לפחות 90 יום מפסיקים את התהליך ומפעילים מחדש. אם מצורפים דיסקים של SSD מקומי, המופע מסתיים עם שמירת נתונים של SSD מקומי. 30 ימים כן כן
G2 ‫1, 2, 4 או 8 לפחות 30 יום סיום והפעלה מחדש 7 ימים כן (8 יחידות GPU בלבד) כן
N1+T4 ‫1 או 2 לפחות 15 ימים מחיקה והפעלה מחדש 7 ימים לא כן
N1+T4 4 לפחות 30 יום מחיקה והפעלה מחדש 7 ימים כן כן
N1+P4 ‫1 או 2 לפחות 15 ימים מחיקה והפעלה מחדש 7 ימים לא כן
N1+P4 4 לפחות 30 יום מחיקה והפעלה מחדש 7 ימים כן כן
N1+P100 ‫1 או 2 לפחות 15 ימים מחיקה והפעלה מחדש 7 ימים לא כן
N1+P100 4 לפחות 30 יום מחיקה והפעלה מחדש 7 ימים כן כן
N1+V100 ‫1, 2 או 4 לפחות 15 ימים מחיקה והפעלה מחדש 7 ימים לא כן
N1+V100 8 לפחות 30 יום מחיקה והפעלה מחדש 7 ימים כן כן

‫1 לא כולל מקרים שמכוסים בהסכמי תחזוקה ספציפיים ללקוחות.
2 אפשר לעיין גם במאמר הסבר על תחזוקת המארח במסמכי העזרה של AI Hypercomputer.

תדירויות התחזוקה שמופיעות בטבלה הקודמת הן קירובים, ולא הבטחות. יכול להיות שב-Compute Engine יבוצעו מדי פעם פעולות תחזוקה בתדירות גבוהה יותר.

סדרת המכונות A4X ו-A4X Max

סדרת המכונות A4X Max ו-A4X פועלת בפלטפורמת אקסה-סקייל שמבוססת על ארכיטקטורת rack-scale של NVIDIA ועברה אופטימיזציה לעומסי עבודה של אימון ML ומחשוב בעל ביצועים גבוהים (HPC) שדורשים הרבה משאבי מחשוב וזיכרון, ומוגבלים על ידי הרשת. ההבדלים העיקריים בין A4X Max לבין A4X הם ברכיבי ה-GPU והרשת. בנוסף, A4X Max מציע מכונות Bare Metal, שמאפשרות גישה ישירה למעבד ולזיכרון של השרת המארח, בלי hypervisor של Compute Engine באמצע.

לכל סוגי המכונות בסדרות A4X Max ו-A4X יש שני שקעים עם מעבדי NVIDIA Grace™‎ עם ליבות Arm® Neoverse™ V2. המעבדים האלה מתחברים לארבעה מעבדי GPU עם תקשורת מהירה בין שבבים מסוג NVLink-C2.

גם סדרת המכונות A4X Max וגם סדרת המכונות A4X מבוססות על ארכיטקטורת NVL72 של NVIDIA, שמתאימה למתקנים גדולים ומבוססת על מתחמי NVLink כדי לאפשר מחשוב GPU בקנה מידה גדול ועם ביצועים גבוהים. תחום NVLink הוא קבוצה של שבבי NVIDIA NVSwitch מחוברים ושל מעבדי GPU שמחוברים אליהם, שיוצרים רשת מהירה שמאפשרת תקשורת ישירה ומהירה בין מעבדי GPU. ב-A4X וב-A4X Max, דומיין NVL72 ‏ (NVLink) יחיד מורכב מ-18 מכונות ו-72 יחידות GPU.

השוואה בין A4X Max לבין A4X

בטבלה הבאה מוצגת השוואה מפורטת בין סוגי המכונות A4X Max ו-A4X:

תכונה A4X Max A4X
האצת GPU למכונות A4X Max מצורפים באופן אוטומטי שבבי NVIDIA GB300 Ultra Superchips. הסופר-צ'יפים האלה כוללים מעבדי NVIDIA B300 GPU, ומציעים עד 20 TB של זיכרון GPU כולל לכל דומיין NVL72, מה שמספק בערך 279 GB לכל GPU. מכונות A4X כוללות שבבי NVIDIA GB200 Superchip שמצורפים אוטומטית. הסופר-צ'יפים האלה כוללים מעבדי NVIDIA B200 GPU ומציעים זיכרון בנפח 186GB לכל GPU.
שיפור הקישוריות לרשת באמצעות RoCE

במקרים של A4X Max, ‏ RoCE משפר את ביצועי הרשת על ידי שילוב של NVIDIA ConnectX-8 (CX-8) SuperNICs ושל הרשת של Google במרכז הנתונים, שכוללת eight-way rail-alignment. ההגדרה הזו מספקת ביצועים גבוהים עוד יותר עם רוחב פס של עד 3,200 Gbps, והיא מותאמת למשימות אימון ולמשימות HPC תובעניות בקנה מידה גדול.

לשימוש כללי ברשת, לכל מכונה יש גם רוחב פס של עד 400 Gbps.

במכונות A4X, ‏ RDMA over Converged Ethernet ‏ (RoCE) משפר את ביצועי הרשת על ידי שילוב של כרטיסי רשת NVIDIA ConnectX-7 ‏ (CX-7) עם הרשת של Google במרכזי הנתונים, שכוללת יישור מסילות לארבעה כיוונים. הארכיטקטורה הזו מספקת רוחב פס של עד 1,600 Gbps, ומאפשרת תקשורת עם תפוקה גבוהה וזמן אחזור נמוך לעומסי עבודה מבוזרים בקנה מידה גדול.

לשימוש כללי ברשת, לכל מכונה יש גם רוחב פס של עד 400 Gbps.
ביצועים

שבבי העל NVIDIA GB300 Ultra מספקים ביצועים של 15 פטה-פלופס של FP4 צפוף. לביצוע הסקת מסקנות ב-FP4 בקנה מידה גדול, צפוי שהביצועים של שבבי העל GB300 Ultra יהיו גבוהים ב-20-40% בהשוואה לשבבי העל GB200.

 השבבים המתקדמים NVIDIA GB200 מספקים ביצועים של 10 פטה-פלופים של FP4 צפוף.
תמיכה ב-Bare metal ובמכונות וירטואליות רק מופעי Bare Metal מכונות וירטואליות בלבד
תמיכה במערכת ההפעלה מופעי A4X Max תומכים במגוון תמונות של מערכות הפעלה מבוססות Linux. עם זאת, מכיוון שמופעי Bare Metal משתמשים במנהל התקן של רשת IDPF, תמונת מערכת ההפעלה שלכם צריכה לתמוך ב-IDPF. אם רוצים להשתמש בתמונת מערכת הפעלה שזמינה ב-Compute Engine, תמונות מערכת הפעלה שתומכות ב-IDPF. מופעי A4X תומכים במגוון קובצי אימג' של מערכות הפעלה מבוססות Linux. רשימה מלאה של מערכות ההפעלה הנתמכות ב-Compute Engine מופיעה במאמר תמיכה במערכות הפעלה עבור מעבדי GPU.
פלטפורמת CPU סוגי המכונות A4X Max ו-A4X משתמשים בפלטפורמת NVIDIA Grace CPU עם ליבות Arm® Neoverse™ V2. מידע נוסף על הפלטפורמה זמין במאמר פלטפורמות CPU.
מדרגיות של NVLink גם בסוגי המכונות A4X Max וגם בסוגי המכונות A4X,‏ NVLink מרובה צמתים מתרחב עד 72 מעבדי GPU בדומיין יחיד ומספק רוחב פס של GPU NVLink של ‎1,800 GBps, דו-כיווני לכל GPU.
תמיכה בדיסק

מכונות A4X Max ומכונות A4X תומכות ב-SSD מקומי לדיסקים זמניים מהירים, וזה שימושי להזנת נתונים ל-GPU תוך מניעת צווארי בקבוק של קלט/פלט. כדי לקבל אחסון עמיד, אפשר לצרף נפחי Hyperdisk.

‫12,000 GiB של Local SSD נוספים אוטומטית למופעי A4X Max ו-A4X.

כדי לקבל אחסון עמיד, אפשר גם לצרף עד 512 TiB של אחסון Hyperdisk. מידע נוסף על סוגי דיסקים זמין במאמר בחירת סוג דיסק.
תמיכה בהקצאה צפופה ובתזמון שמודע לטופולוגיה גם סוגי המכונות A4X Max וגם סוגי המכונות A4X תומכים בבקשת בלוקים של קיבולת שהוקצתה בצפיפות. מכונות המארח מוקצות פיזית קרוב זו לזו, מוקצות כבלוקים של משאבים ומקושרות זו לזו באמצעות רשת ML דינמית כדי לצמצם את מספר הקפיצות ברשת ולבצע אופטימיזציה לזמן אחזור נמוך. בנוסף, במקרים של מכונות וירטואליות מסוג A4X Max ו-A4X, אפשר לקבל מידע על הטופולוגיה ברמת הצומת והאשכול, שאפשר להשתמש בו למיקום משימות.

סוג המכונה A4X Max (Bare Metal)

סוגי מכונות שעברו אופטימיזציה להאצת A4X Max משתמשים ב-NVIDIA GB300 Grace Blackwell Ultra Superchips‏ (nvidia-gb300) והם אידיאליים לאימון מודלים בסיסיים ולהצגתם. סוגי המכונות A4X Max זמינים כמכונות Bare Metal.

‫A4X Max היא פלטפורמה בקנה מידה אקסאסקייל שמבוססת על NVIDIA GB300 NVL72. לכל מכונה יש שני שקעים עם מעבדי NVIDIA Grace עם ליבות Arm Neoverse V2. המעבדים האלה מחוברים לארבע יחידות GPU מסוג NVIDIA B300 Blackwell עם תקשורת מהירה בין שבבים (NVLink-C2C).

מערכות NVIDIA GB300 Grace Blackwell Ultra Superchips מצורפות
סוג המכונה מספר ליבות וירטואליות (vCPU)1 זיכרון המכונה (GB) אחסון SSD מקומי מצורף (GiB) מספר כרטיסי ה-NIC הפיזיים רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU3‏
(GB HBM3e)
a4x-maxgpu-4g-metal 144 960 12,000 6 3,600 4 1,116

‫1‫vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2רוחב הפס המקסימלי של תעבורת הנתונים היוצאת (egress) לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המופע ומיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

סוג מכונה A4X

סוגי מכונות A4X שעברו אופטימיזציה להאצה משתמשים ב-Superchips של NVIDIA GB200 Grace Blackwell‏ (nvidia-gb200) והם אידיאליים לאימון מודלים בסיסיים ולהצגתם.

‫A4X היא פלטפורמה בקנה מידה אקסאסקייל שמבוססת על NVIDIA GB200 NVL72. לכל מכונה יש שני שקעים עם מעבדי NVIDIA Grace עם ליבות Arm Neoverse V2. המעבדים האלה מחוברים לארבע יחידות GPU מסוג NVIDIA B200 Blackwell עם תקשורת מהירה בין שבבים (NVLink-C2C).

מצורפים שבבי NVIDIA GB200 Grace Blackwell Superchips
סוג המכונה מספר ליבות וירטואליות (vCPU)1 זיכרון המכונה (GB) אחסון SSD מקומי מצורף (GiB) מספר כרטיסי ה-NIC הפיזיים רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU3‏
(GB HBM3e)
a4x-highgpu-4g 140 884 12,000 6 2,000 4 744

‫1‫vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2רוחב הפס המקסימלי של תעבורת הנתונים היוצאת (egress) לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המופע ומיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

המגבלות של A4X Max ו-A4X

המגבלות הבאות חלות על מופעי A4X Max ו-A4X:

סוגי דיסקים נתמכים למופעי A4X Max ו-A4X

A4X Max

במופעי A4X Max אפשר להשתמש בסוגי האחסון הבלוקים הבאים:

  • ‫Hyperdisk Balanced‏ (hyperdisk-balanced): זהו סוג הדיסק היחיד שנתמך עבור דיסק האתחול
  • ‫Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • ‫Local SSD: שנוסף באופן אוטומטי למופעים שנוצרו באמצעות כל אחד מסוגי המכונות A4X Max
מספר הדיסקים המקסימלי לכל מכונה1
סוגי מכונות כל Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme אחסון SSD מקומי שמצורף
a4x-maxgpu-4g-metal 32 32 32 0 0 0 4

A4X

במופעי A4X אפשר להשתמש בסוגי האחסון הבלוקים הבאים:

  • ‫Hyperdisk Balanced‏ (hyperdisk-balanced): זהו סוג הדיסק היחיד שנתמך עבור דיסק האתחול
  • ‫Hyperdisk Extreme (hyperdisk-extreme)
  • ‫Hyperdisk ML (hyperdisk-ml)
  • ‫Local SSD: שנוסף באופן אוטומטי למופעים שנוצרו באמצעות כל אחד מסוגי המכונות A4X
מספר הדיסקים המקסימלי לכל מכונה1
סוגי מכונות כל Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme אחסון SSD מקומי שמצורף
a4x-highgpu-4g 128 128 0 0 128 8 4

‫1השימוש ב-Hyperdisk מחויב בנפרד מהתמחור של סוג המכונה. למידע על תמחור הדיסקים, אפשר לעיין בתמחור של Hyperdisk.

מגבלות על נפח האחסון

אפשר לצרף לאינסטנס שילוב של סוגים שונים של Hyperdisk, אבל הקיבולת הכוללת המקסימלית של הדיסקים (ב-TiB) בכל סוגי הדיסקים לא יכולה לעלות על 512 TiB לכל ה-Hyperdisk.

פרטים על מגבלות הקיבולת מופיעים במאמר בנושא גודל הדיסק ומגבלות הצירוף של Hyperdisk.

סדרת המכונות A4

סדרת המכונות A4 מציעה סוגי מכונות עם עד 224 ליבות וירטואליות ו-3,968 GB של זיכרון. מכונות A4 מספקות ביצועים טובים פי 3 בהשוואה לסוגים קודמים של מכונות GPU, ברוב עומסי העבודה שמואצים על ידי GPU. מומלץ להשתמש ב-A4 לעומסי עבודה של אימון ML, במיוחד בקנה מידה גדול – למשל, מאות או אלפי מעבדי GPU. סדרת מכונות A4 זמינה בסוג מכונה יחיד.

מכונות וירטואליות שנוצרו באמצעות סוג המכונה A4 מספקות את התכונות הבאות:

  • האצת GPU עם מעבדי NVIDIA B200 GPU: מעבדי NVIDIA B200 GPU מצורפים אוטומטית למכונות A4, שמציעות 180 GB של זיכרון GPU לכל GPU.

  • מעבד Intel Xeon Scalable דור 5 (Emerald Rapids): מציע תדר טורבו מקסימלי של עד 4.0 GHz לליבה אחת. מידע נוסף על המעבד הזה זמין במאמר בנושא פלטפורמת CPU.

  • יכולת הרחבה מובילה בתעשייה של NVLink: מעבדי ה-GPU של NVIDIA B200 מספקים רוחב פס של NVLink ל-GPU של 1,800 GBps, דו-כיווני לכל GPU.

    בטופולוגיית NVLink של כל-אל-כל בין 8 מעבדי GPU במערכת, רוחב הפס המצטבר של NVLink הוא עד ‎14.4 TBps.

  • שיפור הביצועים של הרשת באמצעות RoCE: ‏RDMA over Converged Ethernet‏ (RoCE) משפר את ביצועי הרשת על ידי שילוב של כרטיסי ממשק רשת (NIC) של NVIDIA ConnectX-7 עם רשת של Google שמתפרסת על כל מרכז הנתונים ומורכבת מארבע מסילות שמוצבות במקביל. בעזרת RDMA over Converged Ethernet ‏ (RoCE), מופעי A4 משיגים תפוקה גבוהה בהרבה בין מופעים באשכול בהשוואה לרוב מופעי A3, למעט מופעים שפועלים בסוג המכונה A3 Ultra.

  • מהירויות רשת גבוהות יותר: מהירויות הרשת גבוהות פי 4 בהשוואה למכונות A2 מהדור הקודם.

    מידע נוסף על רשתות זמין במאמר רוחבי פס של רשתות ו-GPU.

  • אופטימיזציות של וירטואליזציה להעברות נתונים ושחזור: טופולוגיית Peripheral Component Interconnect Express ‏ (PCIe) של מופעי A4 מספקת מידע מדויק יותר על המיקום, שבעזרתו עומסי עבודה יכולים לבצע אופטימיזציה של העברות נתונים.

    בנוסף, יחידות ה-GPU חושפות איפוס ברמת הפונקציה (FLR) לשחזור חלק מכשלים, ותמיכה בפעולות אטומיות לשיפורים של בו-זמניות בתרחישים מסוימים.

  • תמיכה בדיסק: מכונות A4 תומכות ב-SSD מקומי לדיסקים זמניים מהירים, וזה שימושי להזנת נתונים למעבדי GPU תוך מניעת צווארי בקבוק של קלט/פלט. כדי לקבל אחסון עמיד, אפשר לצרף נפחי Hyperdisk.

    ‫12,000 GiB של Local SSD נוספים אוטומטית למופעי A4. עבור עומסי עבודה שדורשים אחסון בלוקים עמיד, אפשר גם לצרף עד 512 TiB של Hyperdisk למופעי A4. מידע נוסף על סוגי דיסקים זמין במאמר בחירת סוג דיסק.

  • תמיכה בהקצאה צפופה ובתזמון מודע לטופולוגיה: כשמפעילים הקצאה של מכונות A4, אפשר לבקש בלוקים של קיבולת בהקצאה צפופה. מכונות המארח שלכם מוקצות קרוב פיזית זו לזו, מוקצות כבלוקים של משאבים ומקושרות זו לזו באמצעות רשת ML דינמית כדי לצמצם את מספר הקפיצות ברשת ולבצע אופטימיזציה לזמן האחזור הנמוך ביותר. בנוסף, אפשר לקבל מידע על הטופולוגיה ברמת הצומת והאשכול, שאפשר להשתמש בו למיקום משימות.

סוג מכונה A4

לסוגי המכונות A4 שעברו אופטימיזציה להאצה מצורפים מעבדי NVIDIA B200 Blackwell GPU (nvidia-b200), והם אידיאליים לאימון מודלים בסיסיים ולהצגתם.

מעבדים גרפיים (GPU) של NVIDIA B200 Blackwell מצורפים
סוג המכונה מספר ליבות וירטואליות (vCPU)1 זיכרון המכונה (GB) אחסון SSD מקומי מצורף (GiB) מספר כרטיסי ה-NIC הפיזיים רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU3‏
(GB HBM3e)
a4-highgpu-8g 224 3,968 12,000 10 3,600 8 1,440

‫1‫vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2רוחב הפס המקסימלי של תעבורת הנתונים היוצאת (egress) לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר בנושא רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המופע ומיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

מגבלות ב-A4

  • אפשר לבקש קיבולת רק באמצעות אפשרויות הצריכה הנתמכות עבור סוג מכונה A4.
  • לא מקבלים הנחות על שימוש קבוע והנחות גמישות תמורת התחייבות לשימוש על מכונות וירטואליות מסוג A4.
  • אפשר להשתמש בסוג מכונה A4 רק באזורים ותחומים מסוימים.
  • אי אפשר להשתמש בדיסקים לאחסון מתמיד (persistent disks) (אזוריים או של תחום מוגדר). אפשר להשתמש רק ב-Google Cloud Hyperdisk.
  • סוג המכונה A4 זמין רק בפלטפורמת המעבד Emerald Rapids.
  • אי אפשר לשנות את סוג המכונה של מופע לסוג מכונה A4 או מסוג מכונה A4. צריך ליצור מכונה חדשה עם סוג המכונה הזה.
  • סוגי מכונות A4 לא תומכים בדיירות בלעדית.
  • אי אפשר להריץ מערכות הפעלה של Windows בסוג מכונה A4.
  • במקרים של מופעי A4, כשמשתמשים ב-ethtool -S כדי לעקוב אחרי רשתות GPU, מוני יציאות פיזיות שמסתיימים ב-_phy לא מתעדכנים. זו התנהגות צפויה במקרים שבהם נעשה שימוש בארכיטקטורה של פונקציה וירטואלית (VF) של MRDMA. מידע נוסף זמין במאמר פונקציות MRDMA וכלים לניטור רשת.
  • אי אפשר לצרף דיסקים של Hyperdisk ML שנוצרו לפני 4 בפברואר 2026 לסוגי מכונות A4.

סוגי דיסקים נתמכים למכונות A4

במופעי A4 אפשר להשתמש בסוגי האחסון הבלוקים הבאים:

  • ‫Hyperdisk Balanced‏ (hyperdisk-balanced): זהו סוג הדיסק היחיד שנתמך בדיסק האתחול
  • ‫Hyperdisk Extreme (hyperdisk-extreme)
  • ‫Hyperdisk ML (hyperdisk-ml)
  • ‫SSD מקומי: מתווסף אוטומטית למופעים שנוצרו באמצעות כל אחד מסוגי המכונות A4
מספר הדיסקים המקסימלי לכל מכונה1
סוגי מכונות כל Hyperdisk Hyperdisk Balanced Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme אחסון SSD מקומי שמצורף
a4-highgpu-8g 128 128 לא רלוונטי 128 8 32

‫1השימוש ב-Hyperdisk מחויב בנפרד מהתמחור של סוג המכונה. למידע על תמחור הדיסקים, אפשר לעיין בתמחור של Hyperdisk.

מגבלות על נפח האחסון

אפשר לצרף לאינסטנס שילוב של סוגים שונים של Hyperdisk, אבל הקיבולת הכוללת המקסימלית של הדיסקים (ב-TiB) בכל סוגי הדיסקים לא יכולה לעלות על 512 TiB לכל ה-Hyperdisk.

פרטים על מגבלות הקיבולת מופיעים במאמר בנושא גודל הדיסק ומגבלות הצירוף של Hyperdisk.

סדרת המכונות A3

בסדרת המכונות A3 יש עד 224 ליבות וירטואליות ו-2,944 GB של זיכרון. סדרת המכונות הזו מותאמת לצריכת מעבד גבוהה ולצריכת זיכרון גבוהה, לאימון מודלים של ML שמוגבלים על ידי הרשת ולעומסי עבודה של HPC. סדרת מכונות A3 זמינה בסוגי המכונות A3 Ultra,‏ A3 Mega,‏ A3 High ו-A3 Edge.

מכונות וירטואליות שנוצרו באמצעות סוגי המכונות A3 מספקות את התכונות הבאות:

תכונה A3 Ultra ‫A3 Mega, ‏ High, ‏ Edge
האצת GPU

מעבדי NVIDIA H200 SXM GPU מצורפים, שמציעים זיכרון GPU בנפח 141 GB לכל GPU ומספקים זיכרון גדול ומהיר יותר לתמיכה במודלים גדולים של שפה (LLM) ועומסי עבודה של HPC.

מעבדי NVIDIA H100 SXM GPU מצורפים, ומציעים זיכרון GPU של 80 GB לכל GPU. הם אידיאליים למודלים גדולים של שפה מבוססי-טרנספורמציה, למסדי נתונים ול-HPC.
מעבדים מסוג Intel Xeon Scalable

מעבד Intel Xeon Scalable מדור 5 (Emerald Rapids) ומציע עד 4.0 GHz של תדר טורבו מקסימלי יציב של ליבה יחידה. מידע נוסף על המעבד הזה זמין במאמר בנושא פלטפורמת המעבד.

מעבד Intel Xeon Scalable מדור רביעי (Sapphire Rapids) ומציע עד 3.3 GHz של תדר טורבו מקסימלי לליבה יחידה. מידע נוסף על המעבד הזה זמין במאמר בנושא פלטפורמת המעבד.
מדרגיות NVLink מובילה בתחום

המעבדים הגרפיים (GPU) של NVIDIA H200 מספקים שיא של רוחב פס של NVLink במעבד הגרפי של 900 GB/s, בכיוון אחד.

בטופולוגיית NVLink של כל-אל-כל בין 8 מעבדי GPU במערכת, רוחב הפס המצטבר של NVLink הוא עד 7.2 TB/s.

מעבדי GPU מסוג NVIDIA H100 מספקים רוחב פס של GPU NVLink של 450 GB/s, חד-כיווני.

בטופולוגיית NVLink של כל-אל-כל בין 8 מעבדי GPU במערכת, רוחב הפס המצטבר של NVLink הוא עד 7.2 TB/s.
רשת משופרת בסוג המכונה הזה, פרוטוקול RDMA over Converged Ethernet ‏ (RoCE) משפר את ביצועי הרשת על ידי שילוב של כרטיסי ממשק רשת (NIC) מסוג NVIDIA ConnectX-7 עם רשת ארבע-כיוונית מיושרת מסילות ברמת מרכז הנתונים. באמצעות RDMA over Converged Ethernet ‏ (RoCE), סוג המכונה a3-ultragpu-8g משיג תפוקה גבוהה בהרבה בין מופעים באשכול בהשוואה לסוגי מכונות אחרים מסוג A3.
  • בסוגי המכונות A3 Mega, ‏ GPUDirect-TCPXO משפר עוד יותר את GPUDirect-TCPX על ידי העברת פרוטוקול TCP. באמצעות GPUDirect-TCPXO, סוג המכונה a3-megagpu-8g מכפיל את רוחב הפס של הרשת בהשוואה לסוגי המכונות A3 High ו-A3 Edge.
  • בסוגי המכונות A3 Edge ‏(a3-edgegpu-8g) ו-A3 High ‏(a3-highgpu-8g), ‏ GPUDirect-TCPX משפר את ביצועי הרשת בכך שהוא מאפשר להעביר מטענים ייעודיים (payloads) של מנות נתונים ישירות מזיכרון ה-GPU לממשק הרשת. השימוש ב-GPUDirect-TCPX מאפשר לסוגי המכונות האלה להשיג תפוקה גבוהה בהרבה בין מופעים באשכול, בהשוואה לסוגי המכונות מסוג A2 או G2 שעברו אופטימיזציה להאצה.
שיפור המהירות של הרשת

מהירויות רשת גבוהות פי 4 בהשוואה לסדרת מכונות A2 מהדור הקודם.

מידע נוסף על רשתות זמין במאמר רוחבי פס של רשתות ו-GPU.

מהירויות הרשת גבוהות עד פי 2.5 בהשוואה לסדרת המכונות הקודמת A2.

מידע נוסף על רשתות זמין במאמר רוחבי פס של רשתות ו-GPU.
אופטימיזציות של וירטואליזציה

טופולוגיית Peripheral Component Interconnect Express‏ (PCIe) של מופעי A3 מספקת מידע מדויק יותר על המיקום, שבעומסי עבודה יכולים להשתמש בו כדי לבצע אופטימיזציה של העברות נתונים.

בנוסף, יחידות ה-GPU חושפות איפוס ברמת הפונקציה (FLR) כדי לאפשר שחזור חלק מכשלים, ותמיכה בפעולות אטומיות לשיפורים של בו-זמניות בתרחישים מסוימים.
תמיכה בדיסק

מכונות A3 תומכות ב-Local SSD לדיסקים מהירים של קבצים זמניים, וזה שימושי להזנת נתונים ל-GPU תוך מניעת צווארי בקבוק של קלט/פלט. כדי לקבל אחסון עמיד, אפשר לצרף נפחי אחסון של Persistent Disk ו-Hyperdisk.

אחסון SSD מקומי מצורף באופן הבא:

  • ‫12,000 GiB של Local SSD מתווספים באופן אוטומטי למופעי A3 Ultra.
  • ‫6,000 GiB של Local SSD מתווספים באופן אוטומטי למופעי A3 Mega,‏ High ו-Edge.

עבור עומסי עבודה שדורשים אחסון בלוקים עמיד, אפשר גם לצרף עד 512 TiB של דיסק אחסון מתמיד ו-Hyperdisk לסוגי מכונות בסדרות האלה. בסוגים נבחרים של מכונות, יש גם תמיכה ב-Persistent Disk בנפח של עד 257 TiB. מידע נוסף על סוגי דיסקים זמין במאמר בחירת סוג דיסק.
תמיכה במדיניות למיקום קומפקטי

מאפשרת לכם שליטה רבה יותר במיקום הפיזי של המופעים שלכם במרכזי נתונים.

כך אפשר לקבל זמן אחזור נמוך יותר ורוחב פס גבוה יותר למופעים שנמצאים באותו אזור זמינות.

מידע נוסף זמין במאמר בנושא מדיניות בנושא מיקומי מודעות קומפקטיים.

סוג המכונה A3 Ultra

סוגי המכונות A3 Ultra כוללים מעבדי NVIDIA H200 SXM GPU (nvidia-h200-141gb) מצורפים, ומספקים את ביצועי הרשת הגבוהים ביותר בסדרת A3. סוגי המכונות A3 Ultra מתאימים במיוחד לאימון מודלים בסיסיים ולהצגת מודלים.

מעבדי GPU של NVIDIA H200 שמצורפים
סוג המכונה מספר ליבות וירטואליות (vCPU)1 זיכרון המכונה (GB) אחסון SSD מקומי מצורף (GiB) מספר כרטיסי ה-NIC הפיזיים רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU3‏
(GB HBM3e)
a3-ultragpu-8g 224 2,952 12,000 10 3,600 8 1128

‫1‫vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2רוחב הפס המקסימלי של תעבורת הנתונים היוצאת (egress) לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המופע ומיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

הגבלות ב-A3 Ultra

סוג מכונה A3 Mega

סוגי המכונות A3 Mega כוללים מעבדי NVIDIA H100 SXM GPU והם אידיאליים לאימון מודלים גדולים ולהסקת מסקנות במארחים מרובים.
מעבדי GPU מסוג NVIDIA H100 מצורפים
סוג המכונה מספר ליבות וירטואליות (vCPU)1 זיכרון המכונה (GB) אחסון SSD מקומי מצורף (GiB) מספר כרטיסי ה-NIC הפיזיים רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU3 ‏
(GB HBM3)
a3-megagpu-8g 208 1,872 6,000 9 ‫1,800 8 640

‫1‫vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2רוחב הפס המקסימלי של תעבורת הנתונים היוצאת (egress) לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המופע ומיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

מגבלות של A3 Mega

סוג מכונה A3 High

סוגי המכונות A3 High כוללים מעבדי GPU מסוג NVIDIA H100 SXM ומתאימים היטב הן להסקת מסקנות ממודלים גדולים והן לכוונון עדין של מודלים.
מעבדי GPU מסוג NVIDIA H100 מצורפים
סוג המכונה מספר ליבות וירטואליות (vCPU)1 זיכרון המכונה (GB) אחסון SSD מקומי מצורף (GiB) מספר כרטיסי ה-NIC הפיזיים רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU3 ‏
(GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1,500 1 50 2 160
a3-highgpu-4g 104 936 3,000 1 100 4 320
a3-highgpu-8g 208 1,872 6,000 5 1,000 8 640

‫1‫vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2רוחב הפס המקסימלי של תעבורת הנתונים היוצאת (egress) לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המופע ומיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

מגבלות של A3 High

סוג מכונת Edge‏ A3

סוגי המכונות A3 Edge כוללים מעבדי NVIDIA H100 SXM GPU ומיועדים במיוחד להצגת תוכן. הם זמינים בקבוצה מוגבלת של אזורים.
מעבדי GPU מסוג NVIDIA H100 מצורפים
סוג המכונה מספר ליבות וירטואליות (vCPU)1 זיכרון המכונה (GB) אחסון SSD מקומי מצורף (GiB) מספר כרטיסי ה-NIC הפיזיים רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU3 ‏
(GB HBM3)
a3-edgegpu-8g 208 1,872 6,000 5
  • ‫600: for asia-south1 and northamerica-northeast2
  • ‫400: לכל שאר אזורי A3 Edge
 8 640

‫1‫vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2רוחב הפס המקסימלי של תעבורת הנתונים היוצאת (egress) לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המופע ומיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

מגבלות של A3 Edge

סוגי דיסקים נתמכים למופעי A3

A3 Ultra

במופעי A3 Ultra אפשר להשתמש בסוגי האחסון הבלוקים הבאים:

  • ‫Hyperdisk Balanced‏ (hyperdisk-balanced): זהו סוג הדיסק היחיד שנתמך עבור דיסק האתחול
  • ‫Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • ‫Hyperdisk Extreme (hyperdisk-extreme)
  • ‫Local SSD: שנוסף באופן אוטומטי למופעים שנוצרו באמצעות אחד מסוגי המכונות A3
מספר הדיסקים המקסימלי לכל מכונה1
סוגי
מכונות		 כל Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme דיסקים של
SSD מקומי
מצורפים
a3-ultragpu-8g 128 128 128 לא רלוונטי לא רלוונטי 8 32

‫1השימוש ב-Hyperdisk מחויב בנפרד מהתמחור של סוג המכונה. למידע על תמחור הדיסקים, אפשר לעיין במחירון של Hyperdisk.

A3 Mega

באינסטנסים מסוג A3 Mega אפשר להשתמש בסוגים הבאים של אחסון בלוקים:

  • דיסק אחסון מתמיד מאוזן (pd-balanced)
  • ‫SSD (ביצועים) Persistent Disk‏ (pd-ssd)
  • ‫Hyperdisk Balanced (hyperdisk-balanced)
  • ‫Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • ‫Hyperdisk ML (hyperdisk-ml)
  • ‫Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • ‫Local SSD: שנוסף באופן אוטומטי למופעים שנוצרו באמצעות כל אחד מסוגי המכונות A3
מספר הדיסקים המקסימלי לכל מכונה1
סוגי
מכונות		 כל Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme דיסקים של
SSD מקומי
מצורפים
a3-megagpu-8g 128 32 32 64 64 8 16

‫1השימוש ב-Hyperdisk וב-Persistent Disk מחויב בנפרד מהתמחור של סוג המכונה. למידע על תמחור הדיסקים, אפשר לעיין במאמר תמחור של דיסקים אחסון מתמיד (persistent disk) ו-Hyperdisk.

A3 High

באינסטנסים מסוג A3 High אפשר להשתמש בסוגי אחסון הבלוקים הבאים:

  • דיסק אחסון מתמיד מאוזן (pd-balanced)
  • ‫SSD (ביצועים) Persistent Disk‏ (pd-ssd)
  • ‫Hyperdisk Balanced (hyperdisk-balanced)
  • ‫Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • ‫Hyperdisk ML (hyperdisk-ml)
  • ‫Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • ‫Local SSD: שנוסף באופן אוטומטי למופעים שנוצרו באמצעות כל אחד מסוגי המכונות A3
מספר הדיסקים המקסימלי לכל מכונה1
סוגי
מכונות		 כל Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme דיסקים של
SSD מקומי
מצורפים
a3-highgpu-1g 128 32 32 64 64 לא רלוונטי 2
a3-highgpu-2g 128 32 32 64 64 לא רלוונטי 4
a3-highgpu-4g 128 32 32 64 64 8 8
a3-highgpu-8g 128 32 32 64 64 8 16

‫1השימוש ב-Hyperdisk וב-Persistent Disk מחויב בנפרד מהתמחור של סוג המכונה. למידע על תמחור הדיסקים, אפשר לעיין במאמר תמחור של דיסקים אחסון מתמיד (persistent disk) ו-Hyperdisk.

A3 Edge

במופעי A3 Edge אפשר להשתמש בסוגי האחסון הבלוקים הבאים:

  • דיסק אחסון מתמיד מאוזן (pd-balanced)
  • ‫SSD (ביצועים) Persistent Disk‏ (pd-ssd)
  • ‫Hyperdisk Balanced (hyperdisk-balanced)
  • ‫Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • ‫Hyperdisk ML (hyperdisk-ml)
  • ‫Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • ‫Local SSD: שנוסף באופן אוטומטי למופעים שנוצרו באמצעות כל אחד מסוגי המכונות A3
מספר הדיסקים המקסימלי לכל מכונה1
סוגי מכונות כל Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme אחסון SSD מקומי שמצורף
a3-edgegpu-8g 128 32 32 64 64 8 16

‫1השימוש ב-Hyperdisk וב-Persistent Disk מחויב בנפרד מהתמחור של סוג המכונה. למידע על תמחור הדיסקים, אפשר לעיין במאמר תמחור של דיסקים אחסון מתמיד (persistent disk) ו-Hyperdisk.

מגבלות על נפח האחסון

אם סוג המכונה תומך בכך, אפשר לצרף למכונה שילוב של נפחי Hyperdisk ו-Persistent Disk, אבל חלות ההגבלות הבאות:

  • המספר הכולל של נפחי Hyperdisk ו-Persistent Disk לא יכול להיות יותר מ-128 לכל מכונה.

  • הקיבולת הכוללת המקסימלית של הדיסקים (ב-TiB) בכל סוגי הדיסקים לא יכולה לחרוג מהערכים הבאים:

    • לסוגי מכונות עם פחות מ-32 vCPU:

      • ‫257 TiB לכל Hyperdisk או לכל Persistent Disk
      • ‫257 TiB לשילוב של Hyperdisk ו-Persistent Disk

    • לסוגי מכונות עם 32 או יותר vCPU:

      • ‫512 TiB לכל Hyperdisk
      • ‫512 TiB לשילוב של Hyperdisk ו-Persistent Disk
      • ‫257 TiB לכל אחסון מתמיד (persistent disk)

פרטים על מגבלות הקיבולת זמינים במאמרים בנושא גודל Hyperdisk ומגבלות על צירוף וקיבולת מקסימלית של Persistent Disk.

סדרת מכונות A2

סדרת מכונות A2 זמינה בסוגי המכונות A2 Standard ו-A2 Ultra. סוגי המכונות האלה כוללים 12 עד 96 ליבות vCPU ועד 1,360GB של זיכרון.

מכונות וירטואליות שנוצרו באמצעות סוגי המכונות A2 מספקות את התכונות הבאות:

  • האצת GPU: לכל מופע A2 יש מעבדי GPU של NVIDIA A100. האפשרויות האלה זמינות גם ב-A100 40GB וגם ב-A100 80GB.

  • התאמה ל-NVLink מובילה בתעשייה שמספקת רוחב פס מקסימלי של 600 GBps ל-NVLink מ-GPU ל-GPU. לדוגמה, למערכות עם 16 יחידות GPU יש רוחב פס מצטבר של NVLink של עד ‎9.6 TBps. אפשר להשתמש ב-16 יחידות ה-GPU האלה כמאיץ יחיד בעל ביצועים גבוהים עם מרחב זיכרון מאוחד, כדי לספק עד 10 פטה-פלופס של כוח מחשוב ועד 20 פטה-פלופס של כוח מחשוב להיקש, שאפשר להשתמש בהם לעומסי עבודה של בינה מלאכותית, למידה עמוקה ולמידת מכונה.

  • מהירויות חישוב משופרות: מעבדי ה-GPU מסוג NVIDIA A100 שמצורפים מציעים שיפורים של עד פי 10 במהירות החישוב בהשוואה למעבדי ה-GPU מסוג NVIDIA V100 מהדור הקודם.

    עם סדרת המכונות A2, אפשר לקבל רוחב פס ברשת של עד 100 Gbps.

  • תמיכה בדיסק: מכונות A2 תומכות ב-SSD מקומי לדיסקים זמניים מהירים, וזה שימושי להזנת נתונים למעבדי GPU תוך מניעת צווארי בקבוק של קלט/פלט. כדי לקבל אחסון עמיד, אפשר לצרף נפחי אחסון של Persistent Disk ו-Hyperdisk.

    יש תמיכה ב-SSD מקומי באופן הבא:

    • כשיוצרים מכונה מסוג A2 Standard, אפשר להוסיף עד 3,000 GiB של SSD מקומי.
    • בסוגי מכונות A2 Ultra, דיסק SSD מקומי מצורף באופן אוטומטי כשיוצרים מופע.

    עבור עומסי עבודה שדורשים אחסון בלוקים עמיד, אפשר לצרף עד 257 TiB של Persistent Disk ו-512 TiB של נפחי Hyperdisk למכונות וירטואליות מסוג A2. מידע נוסף על סוגי דיסקים זמין במאמר בחירת סוג דיסק.

  • תמיכה במדיניות מיקום קומפקטי: מאפשרת לכם שליטה רבה יותר במיקום הפיזי של המופעים במרכזי נתונים. כך אפשר להשיג זמן אחזור נמוך יותר ורוחב פס גבוה יותר למופעים שנמצאים באותו אזור זמינות. מידע נוסף זמין במאמר בנושא הפחתת זמן האחזור באמצעות מדיניות מיקום קומפקטית.

אלה סוגי המכונות שזמינים בסדרת המכונות A2.

סוגי מכונות A2 Ultra

לסוגי המכונות האלה יש מספר קבוע של מעבדי A100 80GB GPU. כונן SSD מקומי מצורף אוטומטית למופעים שנוצרו באמצעות סוגי המכונות A2 Ultra.

מצורפים מעבדי GPU של NVIDIA A100 בנפח 80GB
סוג המכונה מספר ליבות וירטואליות (vCPU)1 זיכרון המכונה (GB) אחסון SSD מקומי מצורף (GiB) רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU3‏
(GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1,500 50 4 320
a2-ultragpu-8g 96 1,360 3,000 100 8 640

‫1‫vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2רוחב הפס המקסימלי של תעבורת הנתונים היוצאת (egress) לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המופע ומיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

הגבלות ב-A2 Ultra

  • אפשר לבקש קיבולת רק באמצעות אפשרויות הצריכה הנתמכות של סוג המכונה A2 Ultra.
  • לא מקבלים הנחות על שימוש קבוע והנחות גמישות תמורת התחייבות לשימוש על מקרים לדוגמה שבהם נעשה שימוש בסוג מכונה A2 Ultra.
  • אפשר להשתמש בסוג המכונה A2 Ultra רק באזורים ותחומים מסוימים.
  • סוג המכונה A2 Ultra זמין רק בפלטפורמת Cascade Lake.
  • אם המופע שלכם משתמש בסוג מכונה A2 Ultra, לא תוכלו לשנות את סוג המכונה. אם אתם צריכים להשתמש בסוג מכונה A2 Ultra אחר, או בכל סוג מכונה אחר, עליכם ליצור מופע חדש.
  • אי אפשר לשנות אף סוג מכונה אחר לסוג מכונה A2 Ultra. אם אתם צריכים מופע שמשתמש בסוג מכונה A2 Ultra, אתם צריכים ליצור מופע חדש.
  • אי אפשר לבצע פורמט מהיר של כונני SSD מקומיים שמצורפים למכונות Windows שמשתמשות בסוגי מכונות A2 Ultra. כדי לפרמט את כונני ה-SSD המקומיים האלה, צריך לבצע פרמוט מלא באמצעות כלי השירות diskpart ולציין format fs=ntfs label=tmpfs.

סוגי מכונות A2 Standard

סוגי המכונות האלה כוללים מספר קבוע של מעבדי A100 40GB GPU. אפשר גם להוסיף דיסקים מקומיים מסוג SSD כשיוצרים מופע A2 Standard. במאמר סוגי מכונות שבהם צריך לבחור מספר של דיסקים מקומיים מסוג SSD מפורט מספר הדיסקים שאפשר לצרף.

מצורפים מעבדי GPU של NVIDIA A100 בנפח 40GB
סוג המכונה מספר ליבות וירטואליות (vCPU)1 זיכרון המכונה (GB) יש תמיכה באחסון SSD מקומי רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU‏3
(GB HBM2)
a2-highgpu-1g 12 85 כן 24 1 40
a2-highgpu-2g 24 170 כן 32 2 80
a2-highgpu-4g 48 340 כן 50 4 160
a2-highgpu-8g 96 680 כן 100 8 320
a2-megagpu-16g 96 1,360 כן 100 16 640

‫1‫vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2רוחב הפס המקסימלי של תעבורת הנתונים היוצאת (egress) לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המופע ומיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

מגבלות של A2 Standard

  • אפשר לבקש קיבולת רק באמצעות אפשרויות הצריכה הנתמכות עבור סוג המכונה A2 Standard.
  • לא מקבלים הנחות על שימוש מתמשך והנחות על התחייבות לשימוש גמיש על מופעים שמשתמשים בסוג מכונה A2 Standard.
  • אפשר להשתמש בסוג המכונה A2 Standard רק באזורים מסוימים.
  • סוג המכונה A2 Standard זמין רק בפלטפורמת Cascade Lake.
  • אם המכונה הווירטואלית שלכם היא מסוג A2 Standard, אתם יכולים לעבור רק מסוג אחד של מכונת A2 Standard לסוג אחר של מכונת A2 Standard. אי אפשר לעבור לסוג מכונה אחר. מידע נוסף זמין במאמר בנושא שינוי מופעים שעברו אופטימיזציה לשימוש במאיצים.
  • אי אפשר להשתמש במערכת ההפעלה Windows עם סוג המכונה a2-megagpu-16g. כשמשתמשים במערכת הפעלה של Windows, צריך לבחור סוג מכונה אחר של A2 Standard.
  • אי אפשר לבצע פורמט מהיר של דיסקים לאחסון מתמיד (SSD) מקומיים שמצורפים למכונות וירטואליות של Windows שמשתמשות בסוגי מכונות A2 Standard. כדי לפרמט את כונני ה-SSD המקומיים האלה, צריך לבצע פרמוט מלא באמצעות כלי השירות diskpart ולציין format fs=ntfs label=tmpfs.

סוגי דיסקים נתמכים למכונות A2

במופעי A2 אפשר להשתמש בסוגי האחסון הבלוקים הבאים:

  • ‫Hyperdisk ML (hyperdisk-ml)
  • דיסק אחסון מתמיד מאוזן (pd-balanced)
  • דיסק מתמיד (Persistent Disk) שמבוסס על SSD (ביצועים) (pd-ssd)
  • דיסק מתמיד סטנדרטי ‏ (pd-standard)
  • ‫Local SSD: מצורף אוטומטית למופעים שנוצרו באמצעות סוגי המכונות A2 Ultra.

A2 Ultra

מספר הדיסקים המקסימלי לכל מכונה1
סוגי מכונות All disks 2 ‫Hyperdisk ML Attached Local SSD
a2-ultragpu-1g 128 32 1
a2-ultragpu-2g 128 48 2
a2-ultragpu-4g 128 64 4
a2-ultragpu-8g 128 64 8

‫1השימוש ב-Hyperdisk וב-Persistent Disk מחויב בנפרד מהתמחור של סוג המכונה. במאמר תמחור של Persistent Disk ו-Hyperdisk מפורטים המחירים של הדיסקים.
2המגבלה הזו חלה על Persistent Disk ו-Hyperdisk, אבל לא כוללת דיסקים של Local SSD.

A2 Standard

מספר הדיסקים המקסימלי לכל מכונה1
סוגי מכונות All disks 2 ‫Hyperdisk ML Local SSD
a2-highgpu-1g 128 32 8
a2-highgpu-2g 128 48 8
a2-highgpu-4g 128 64 8
a2-highgpu-8g 128 64 8
a2-megagpu-16g 128 64 8

‫1השימוש ב-Hyperdisk וב-Persistent Disk מחויב בנפרד מהתמחור של סוג המכונה. במאמר תמחור של Persistent Disk ו-Hyperdisk מפורטים המחירים של הדיסקים.
2המגבלה הזו חלה על Persistent Disk ו-Hyperdisk, אבל לא כוללת דיסקים של Local SSD.

אם סוג המכונה תומך בכך, אפשר לצרף למכונה שילוב של נפחי Hyperdisk ו-Persistent Disk, אבל חלות ההגבלות הבאות:

  • המספר הכולל של נפחי Hyperdisk ו-Persistent Disk לא יכול להיות יותר מ-128 לכל מכונה.

  • הקיבולת הכוללת המקסימלית של הדיסקים (ב-TiB) בכל סוגי הדיסקים לא יכולה לחרוג מהערכים הבאים:

    • לסוגי מכונות עם פחות מ-32 vCPU:

      • ‫257 TiB לכל Hyperdisk או לכל Persistent Disk
      • ‫257 TiB לשילוב של Hyperdisk ו-Persistent Disk

    • לסוגי מכונות עם 32 או יותר vCPU:

      • ‫512 TiB לכל Hyperdisk
      • ‫512 TiB לשילוב של Hyperdisk ו-Persistent Disk
      • ‫257 TiB לכל אחסון מתמיד (persistent disk)

פרטים על מגבלות הקיבולת זמינים במאמרים בנושא גודל Hyperdisk ומגבלות על צירוף וקיבולת מקסימלית של Persistent Disk.

סדרת המכונות G4

סדרת המכונות G4 משתמשת בפלטפורמת ה-CPU של AMD EPYC Turin וכוללת יחידות GPU של NVIDIA RTX PRO 6000 Blackwell Server Edition. סדרת המכונות הזו מציעה שיפורים משמעותיים בהשוואה לסדרת המכונות G2 מהדור הקודם, עם זיכרון GPU גדול בהרבה, רוחב פס גדול יותר של זיכרון GPU ורוחב פס גבוה יותר של רשת.

למכונות G4 יש עד 384 vCPU, זיכרון בנפח 1,440 GB ודיסקים מסוג Titanium SSD בנפח 12 TiB שמצורפים אליהן. מכונות וירטואליות מסוג G4 מספקות גם ביצועים סטנדרטיים ברשת של עד 400 Gbps.

סדרת המכונות הזו מיועדת במיוחד לעומסי עבודה כמו עומסי עבודה של סימולציית NVIDIA Omniverse, אפליקציות עתירות גרפיקה, טרנסקוד של סרטונים ומחשבים וירטואליים. סדרת מכונות G4 מספקת גם פתרון בעלות נמוכה לביצוע הסקה של מארח יחיד וכוונון מודלים בהשוואה לסוגי מכונות מסדרה A.

מכונות וירטואליות מסוג G4 מספקות את התכונות הבאות:

  • האצת GPU באמצעות מעבדי NVIDIA RTX PRO 6000 Blackwell Server Edition: מכונות G4 מצרפות באופן אוטומטי מעבדי NVIDIA RTX PRO 6000 Blackwell Server Edition, שמציעים 96 GB של זיכרון GPU לכל GPU.

  • פלטפורמת מעבד AMD EPYC Turin מהדור החמישי: הפלטפורמה הזו מציעה תדר טורבו מקסימלי של עד 4.1GHz. מידע נוסף על המעבד הזה זמין במאמר בנושא פלטפורמת CPU.

  • ביצועים גרפיים מהדור הבא: מעבדי ה-GPU מסוג NVIDIA RTX PRO 6000 מספקים שדרוגים משמעותיים בביצועים ובתכונות בהשוואה למעבדי ה-GPU מסוג NVIDIA L4 שמצורפים לסדרת המכונות G2. אלה השדרוגים:

    • ליבות Tensor מהדור החמישי: הליבות האלה תומכות בדיוק FP4 וב-DLSS 4 Multi Frame Generation. המעבדים הגרפיים NVIDIA RTX PRO 6000 כוללים ליבות טנסור מהדור החמישי, ולכן הם מציעים ביצועים משופרים להאצת משימות כמו פיתוח מודלים גדולים של שפה (LLM) מקומיים ויצירת תוכן, בהשוואה למעבדים הגרפיים NVIDIA L4.
    • ליבות RT מהדור הרביעי: הליבות האלה מספקות ביצועים של עד פי שניים ב-ray-tracing בהשוואה למעבדי ה-GPU הקודמים של NVIDIA L4, ומאיצות את העיבוד של עומסי עבודה בתחום העיצוב והייצור.
    • מספר הליבות: מעבד ה-GPU‏ NVIDIA RTX PRO 6000 כולל 24,064 ליבות CUDA,‏ 752 ליבות Tensor מדור חמישי ו-188 ליבות RT מדור רביעי. העדכון הזה מייצג עלייה משמעותית בהשוואה לדורות קודמים כמו L4 GPU, שיש לו 7,680 ליבות CUDA ו-240 ליבות Tensor.

  • ‫Multi-Instance GPU (MIG): התכונה הזו מאפשרת לחלק GPU יחיד לארבעה מופעי GPU מבודדים במכונה וירטואלית אחת. מידע נוסף על NVIDIA MIG זמין במאמר NVIDIA Multi-Instance GPU במסמכי התיעוד של NVIDIA.

  • תמיכה ב-Peripheral Component Interconnect Express‏ (PCIe) דור 5: מופעי G4 תומכים ב-PCI Express דור 5, שמשפר את מהירות העברת הנתונים מזיכרון ה-CPU ל-GPU בהשוואה ל-PCIe דור 3 שבו נעשה שימוש במופעי G2.

  • תמיכה בדיסקים: מכונות G4 תומכות ב-Titanium SSD לדיסקים זמניים מהירים, מה שמועיל להזנת נתונים ל-GPU תוך מניעת צווארי בקבוק של קלט/פלט. כדי לקבל אחסון עמיד, אפשר לצרף נפחי Hyperdisk.

    במכונות וירטואליות מסוג G4 אפשר לצרף עד 12,000 GiB של Titanium SSD. עבור עומסי עבודה שדורשים אחסון בלוקים עמיד, מופעי G4 תומכים גם בצירוף של עד 512 TiB של Hyperdisk. מידע נוסף על סוגי דיסקים זמין במאמר בחירת סוג דיסק.

  • תקשורת GPU Peer-to-Peer (P2P): מכונות G4 תומכות בתקשורת GPU P2P, שמאפשרת העברת נתונים ישירה בין מעבדי GPU באותה מכונה. השימוש ב-NVLink יכול לשפר באופן משמעותי את הביצועים של עומסי עבודה שמשתמשים בכמה מעבדים גרפיים, כי הוא מקצר את זמן האחזור של העברת הנתונים ומפנה משאבים במעבד. למידע נוסף, אפשר לעיין במאמר בנושא תקשורת עמית לעמית (P2P) של GPU‏ G4.

סוגי מכונות G4

סוגי המכונות G4 שעברו אופטימיזציה להאצה משתמשים ב מעבדים גרפיים (GPU) מסוג NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) והם מתאימים לעומסי עבודה של סימולציה ב-NVIDIA Omniverse, לאפליקציות עתירות גרפיקה, לטרנסקוד של וידאו ולמחשבים וירטואליים. סוגי המכונות G4 מספקים גם פתרון בעלות נמוכה לביצוע הסקה של מארח יחיד וכוונון מודלים, בהשוואה לסוגי המכונות מסדרת A.

מעבדי GPU מסוג NVIDIA RTX PRO 6000 שמצורפים
סוג המכונה מספר ליבות וירטואליות (vCPU)1 זיכרון המכונה (GB) נפח ה-Titanium SSD המקסימלי שנתמך (GiB)2 מספר כרטיסי ה-NIC הפיזיים רוחב פס מקסימלי ברשת (Gbps)3 מספר יחידות ה-GPU זיכרון GPU‏4
(GB GDDR7)
g4-standard-48 48 180 1,500 1 50 1 96
g4-standard-96 96 360 3,000 1 100 2 192
g4-standard-192 192 720 6,000 1 200 4 384
g4-standard-384 384 1,440 12,000 2 400 8 768

‫1‫vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2 אפשר להוסיף דיסקים של Titanium SSD כשיוצרים מופע G4. במאמר סוגי מכונות שבהם צריך לבחור מספר של דיסקים מקומיים מסוג SSD מפורט מספר הדיסקים שאפשר לצרף.
‫3רוחב הפס המקסימלי של תעבורת הנתונים היוצאת (egress) לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע על רוחב הפס של הרשת
‫4זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המופע ומיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

מגבלות של G4

סוגי הדיסקים הנתמכים במכונות G4

אפשר להשתמש בסוגי האחסון הבלוקים הבאים במופעי G4:

  • Hyperdisk Balanced‏ (hyperdisk-balanced): זהו סוג הדיסק היחיד שנתמך בדיסק האתחול
  • ‫Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • ‫Hyperdisk Extreme (hyperdisk-extreme)
  • ‫Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • ‫Titanium SSD: אפשר להוסיף Titanium SSD למופעים שנוצרו באמצעות סוגי המכונות G4.

מספר הדיסקים המקסימלי לכל מכונה1
סוגי מכונות כל Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Extreme Hyperdisk ML Hyperdisk Throughput Titanium SSD
g4-standard-48 32 32 32 0 32 32 4
g4-standard-96 32 32 32 8 32 32 8
g4-standard-192 64 64 64 8 64 64 16
g4-standard-384 128 128 128 8 128 128 32

‫1השימוש ב-Hyperdisk מחויב בנפרד מהתמחור של סוג המכונה. למידע על תמחור הדיסקים, אפשר לעיין בתמחור של Hyperdisk.

אפשר לצרף לאינסטנס שילוב של סוגים שונים של Hyperdisk, אבל הקיבולת הכוללת המקסימלית של הדיסקים (ב-TiB) בכל סוגי הדיסקים לא יכולה לעלות על 512 TiB לכל ה-Hyperdisk.

פרטים על מגבלות הקיבולת מופיעים במאמר בנושא גודל הדיסק ומגבלות הצירוף של Hyperdisk.

תקשורת עמית לעמית (P2P) ב-G4

מכונות G4 משפרות את ביצועי עומסי העבודה של כמה GPU באמצעות תקשורת ישירה בין GPU (P2P). היכולת הזו מאפשרת למעבדי GPU שמחוברים לאותו מופע G4 להחליף נתונים ישירות דרך אפיק PCIe, בלי להעביר את הנתונים דרך הזיכרון הראשי של המעבד. הנתיב הישיר הזה מפחית את זמן האחזור, את השימוש במעבד ומגדיל את רוחב הפס האפקטיבי בין המעבדים הגרפיים. תקשורת P2P מאיצה באופן משמעותי אפליקציות מרובות GPU, כמו אימון למידת מכונה (ML) ומחשוב עתיר ביצועים (HPC).

בדרך כלל לא צריך לבצע שינויים בקוד האפליקציה כדי להשתמש בתכונה הזו. צריך להגדיר את NCCL לשימוש ב-P2P רק אם כדי להגדיר את NCCL לפני שמריצים את עומסי העבודה, צריך להגדיר את משתנה הסביבה NCCL_P2P_LEVEL במופע G4 בהתאם לסוג המכונה:

  • למופעי G4 עם 2 או 4 מעבדים גרפיים (g4-standard-96, g4-standard-192): מגדירים NCCL_P2P_LEVEL=PHB
  • למכונות G4 עם 8 מעבדים גרפיים (g4-standard-384): מגדירים את NCCL_P2P_LEVEL=SYS

מגדירים את משתנה הסביבה באחת מהאפשרויות הבאות:

  • בשורת הפקודה, מריצים את פקודת הייצוא המתאימה (לדוגמה, export NCCL_P2P_LEVEL=SYS) בסשן של Shell שבו מתכננים להריץ את האפליקציה. כדי שההגדרה הזו תישמר, מוסיפים את הפקודה הזו לסקריפט לטעינה בזמן ההפעלה של המעטפת (לדוגמה, ~/.bashrc).
  • מוסיפים את ההגדרה המתאימה (לדוגמה, NCCL_P2P_LEVEL=SYS) לקובץ התצורה של NCCL שנמצא במיקום /etc/nccl.conf.

יתרונות מרכזיים וביצועים

  • מאיץ עומסי עבודה של כמה מעבדי GPU במכונות G4 עם שני מעבדי GPU או יותר: מספק זמני ריצה מהירים יותר לאפליקציות שפועלות במכונות מסוג g4-standard-96,‏ g4-standard-192 ו-g4-standard-384.
  • תקשורת ברוחב פס גבוה: מאפשרת מהירויות גבוהות של העברת נתונים בין מעבדי GPU.

  • שיפור הביצועים של NCCL: שיפורים משמעותיים בביצועים של אפליקציות שמשתמשות בספריית התקשורת הקולקטיבית של NVIDIA‏ (NCCL) בהשוואה לתקשורת שלא משתמשת ב-P2P. ההיפר-ויז'ר של Google מבודד בצורה מאובטחת את תקשורת ה-P2P הזו בתוך המופעים שלכם.

    • בארבע מכונות עם GPU‏ (g4-standard-192), כל יחידות ה-GPU נמצאות בצומת NUMA יחיד, מה שמאפשר תקשורת P2P יעילה ביותר. השינוי הזה יכול להוביל לשיפורים בביצועים של עד פי 2.04 בקולקטיבים כמו Allgather,‏ Allreduce ו-ReduceScatter.
    • ב-8 מכונות GPU ‏ (g4-standard-384), יחידות ה-GPU מחולקות בין שני צמתי NUMA. התקשורת בין עמיתים (P2P) מואצת עבור תנועה בתוך הצמתים האלה וביניהם, עם שיפורים בביצועים של עד פי 2.19 עבור אותם קולקטיבים.

סדרת המכונות G2

סדרת המכונות G2 זמינה בסוגי מכונות רגילים עם 4 עד 96 ליבות vCPU ועד 432GB של זיכרון. סדרת המכונות הזו מותאמת לעומסי עבודה של הסקת מסקנות וגרפיקה. סדרת המכונות G2 זמינה בסוג מכונה לשימוש סטנדרטי (standard) אחד עם כמה תצורות.

מכונות וירטואליות שנוצרו באמצעות סוגי המכונות G2 מספקות את התכונות הבאות:

  • האצת GPU: לכל סוג מכונה G2 יש מעבדי NVIDIA L4 GPU.

  • שיפור שיעורי ההסקה: סוג המכונה G2 מספק תמיכה בסוג הנתונים FP8 (נקודה צפה של 8 ביט), שמאיץ את שיעורי ההסקה של ML ומצמצם את דרישות הזיכרון.

  • ביצועים גרפיים מהדור הבא: מעבדי GPU מסוג NVIDIA L4 מספקים שיפור של עד פי 3 בביצועים הגרפיים באמצעות ליבות RT מהדור השלישי וטכנולוגיית NVIDIA DLSS 3 (Deep Learning Super Sampling).

  • רוחב פס ברשת עם ביצועים גבוהים: עם סוגי המכונות G2, אפשר לקבל רוחב פס ברשת של עד 100 Gbps.

  • תמיכה בדיסקים: מכונות G2 תומכות ב-SSD מקומי לדיסקים זמניים מהירים, וזה שימושי להזנת נתונים למעבדי GPU תוך מניעת צווארי בקבוק של קלט/פלט. כדי לקבל אחסון עמיד, אפשר לצרף נפחי אחסון של Persistent Disk ו-Hyperdisk.

    אפשר להוסיף עד 3,000 GiB של Local SSD למופעי G2. לעומסי עבודה שדורשים אחסון בלוקים עמיד, אפשר לצרף נפחי אחסון של Hyperdisk ו-Persistent Disk למופעי G2. קיבולת האחסון המקסימלית תלויה במספר ליבות ה-vCPU שיש למופע. מידע נוסף על סוגי דיסקים זמין במאמר בחירת סוג דיסק.

  • תמיכה במדיניות מיקום קומפקטי: מאפשרת לכם שליטה רבה יותר במיקום הפיזי של המופעים במרכזי נתונים. כך אפשר להשיג זמן אחזור נמוך יותר ורוחב פס גבוה יותר למופעים שנמצאים באותו אזור זמינות. מידע נוסף זמין במאמר בנושא הפחתת זמן האחזור באמצעות מדיניות מיקום קומפקטית.

סוגי מכונות G2

לסוגי מכונות G2 שעברו אופטימיזציה להאצה מצורפים מעבדי NVIDIA L4 GPU, והם אידיאליים להסקת מסקנות עם אופטימיזציה של עלויות, לעומסי עבודה של מחשוב עתיר גרפיקה ולעומסי עבודה של מחשוב עתיר ביצועים (HPC).

לכל סוג מכונה G2 יש גם זיכרון שמוגדר כברירת מחדל וטווח זיכרון בהתאמה אישית. טווח הזיכרון המותאם אישית מגדיר את נפח הזיכרון שאפשר להקצות למופע לכל סוג מכונה. אפשר גם להוסיף דיסקים מסוג Local SSD כשיוצרים מופע G2. במאמר סוגי מכונות שבהם צריך לבחור מספר של דיסקים מקומיים מסוג SSD מפורט מספר הדיסקים שאפשר לצרף.

מצורפים GPUs מסוג NVIDIA L4
סוג המכונה מספר ליבות וירטואליות (vCPU)1 זיכרון ברירת המחדל של המכונה (GB) טווח זיכרון מותאם אישית של מכונה (GB) הנפח המקסימלי של SSD מקומי שנתמך (GiB) רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU‏3 (GB GDDR6)
g2-standard-4 4 16 ‫16 עד 32 375 10 1 24
g2-standard-8 8 32 ‫32 עד 54 375 16 1 24
g2-standard-12 12 48 ‫48 עד 54 375 16 1 24
g2-standard-16 16 64 ‫54 עד 64 375 32 1 24
g2-standard-24 24 96 ‫96 עד 108 750 32 2 48
g2-standard-32 32 128 ‫96 עד 128 375 32 1 24
g2-standard-48 48 192 ‫192 עד 216 1,500 50 4 96
g2-standard-96 96 384 ‫384 עד 432 3,000 100 8 192

‫1‫vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2רוחב הפס המקסימלי של תעבורת הנתונים היוצאת (egress) לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המופע ומיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

מגבלות של G2

סוגי הדיסקים הנתמכים במכונות G2

במופעי G2 אפשר להשתמש בסוגי האחסון הבלוקים הבאים:

  • דיסק אחסון מתמיד מאוזן (pd-balanced)
  • ‫SSD (ביצועים) Persistent Disk‏ (pd-ssd)
  • ‫Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • ‫Local SSD: אפשר להוסיף Local SSD למופעים שנוצרו באמצעות סוגי המכונות G2.

מספר הדיסקים המקסימלי לכל מכונה1
סוגי מכונות All disks 2 ‫Hyperdisk ML Hyperdisk Throughput Local SSD
g2-standard-4 128 24 24 1
g2-standard-8 128 32 32 1
g2-standard-12 128 32 32 1
g2-standard-16 128 48 48 1
g2-standard-24 128 48 48 2
g2-standard-32 128 64 64 1
g2-standard-48 128 64 64 4
g2-standard-96 128 64 64 8

‫1השימוש ב-Hyperdisk וב-Persistent Disk מחויב בנפרד מהתמחור של סוג המכונה. במאמר תמחור של Persistent Disk ו-Hyperdisk מפורטים המחירים של הדיסקים.
2המגבלה הזו חלה על Persistent Disk ו-Hyperdisk, אבל לא כוללת דיסקים של Local SSD.

אם סוג המכונה תומך בכך, אפשר לצרף למכונה שילוב של נפחי Hyperdisk ו-Persistent Disk, אבל חלות ההגבלות הבאות:

  • המספר הכולל של נפחי Hyperdisk ו-Persistent Disk לא יכול להיות יותר מ-128 לכל מכונה.

  • הקיבולת הכוללת המקסימלית של הדיסקים (ב-TiB) בכל סוגי הדיסקים לא יכולה לחרוג מהערכים הבאים:

    • לסוגי מכונות עם פחות מ-32 vCPU:

      • ‫257 TiB לכל Hyperdisk או לכל Persistent Disk
      • ‫257 TiB לשילוב של Hyperdisk ו-Persistent Disk

    • לסוגי מכונות עם 32 או יותר vCPU:

      • ‫512 TiB לכל Hyperdisk
      • ‫512 TiB לשילוב של Hyperdisk ו-Persistent Disk
      • ‫257 TiB לכל אחסון מתמיד (persistent disk)

פרטים על מגבלות הקיבולת זמינים במאמרים בנושא גודל Hyperdisk ומגבלות על צירוף וקיבולת מקסימלית של Persistent Disk.

המאמרים הבאים