סקירה כללית של GPU באשכול

אשכולות GPU מותאמים לעומסי עבודה של בינה מלאכותית (AI) ולמידת מכונה (ML) שמתמקדים באימון מבוזר בקנה מידה עצום, בהסקת מסקנות בכמה מארחים ובמשימות מורכבות של מחשוב עתיר ביצועים (HPC).

אשכולות GPU מאפשרים לצוותים לפרוס ולהתאים לעומס אלפי מאיצים מקושרים כמערכת אחת עם צימוד חזק, באמצעות מארג רשתות ייעודי ותחזוקה מסונכרנת. הם מתאימים לעומסי עבודה שדורשים מחשוב, זיכרון וסנכרון רשת במהירות גבוהה. תרחישים נפוצים לדוגמה כוללים אימון מקדים של מודלים בסיסיים עם טריליוני פרמטרים, פרסום של מודלים פורצי דרך וסימולציות לגילוי תרופות.

המאפיינים העיקריים של אשכולות GPU

  • תחזוקה מסונכרנת: Google Cloud עדכון כל הצמתים באשכול בו-זמנית, כדי למנוע מצב שבו הפעלה מחדש של צומת אחד תעכב את העבודה.
  • מעקב אוטומטי אחרי תקינות: המערכת מזהה באופן יזום חריגים ומנטרת תקלות חומרה או פגיעה שקטה בנתונים.
  • החלפת צומת יזומה: המערכת מפנה מכונות וירטואליות עם ביצועים נמוכים ומתזמנת אותן מחדש במכונות תקינות ממאגר חלופי.
  • טופולוגיה בארכיטקטורת rail-aligned: טופולוגיה בארכיטקטורת rail-aligned מבודדת את התנועה בין מעבדי ה-GPU מהתקשורת הרגילה של המארח, כדי להבטיח ביצועים ללא ריצודים בתיאום בין מספר עצום של צמתים.
  • פרוטוקולים מתקדמים: סדרות המכונות האלה תומכות בחיבורים עם רוחב פס גבוה, כולל GPUDirect RDMA (מבוסס על RoCE).

משפחות של אשכולות GPU ומפרטים טכניים

בטבלאות הבאות מפורטים עומסי העבודה והמפרטים של החומרה בסדרת המכונות "אשכול GPU" פרימיום. לאימון בקנה מידה של אקסה-פלופס, השתמשו בסדרות A5X,‏ A4X Max,‏ A4X או A3 Ultra.

סדרת A5X

אם אתם מאמנים מודלי בסיס בקנה מידה גדול, מריצים היקש למודלי חשיבה רציונלית או מריצים סימולציות מורכבות של מחשוב עתיר ביצועים (HPC) על Bare Metal, השתמשו בסדרת המכונות A5X. הסדרה הזו כוללת שבבי-על מסוג NVIDIA Vera Rubin, שמתאימים לדרישות גבוהות של חישוב וזיכרון.

סוגי המכונות A5X משתמשים בשבבי-על של NVIDIA Vera Rubin, והם אידיאליים לאימון, להסקת מסקנות ולשירות של מודלים בסיסיים. סוגי המכונות A5X זמינים כמכונות Bare Metal.

‫A5X היא פלטפורמה בקנה מידה של אקסה-פלופ שמבוססת על NVIDIA Vera Rubin NVL72. בכל מכונה יש שני שקעים עם מעבדי NVIDIA Vera. המעבדים האלה מתחברים לארבעה מעבדי NVIDIA Rubin GPU עם תקשורת מהירה בין שבבים (NVLink-C2C). למידע על המגבלות של סוגי המכונות, קראו את המאמר מגבלות של A5X.

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU של NVIDIA Rubin זיכרון GPU (GB HBM4)
a5x-highgpu-4g-metal 176 1,440 48,000 10 7,200 4 1,152

ההערות הבאות מתייחסות לטבלה שלמעלה:

  • ‫vCPU count: במכונות פיזיות מסוג A5X, המספר 176 מייצג את 176 ליבות המעבד הפיזיות בשני שקעים של 88 ליבות בפלטפורמת המעבד של NVIDIA Vera.
  • רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שבו מאוחסנים נתונים זמניים. הוא נפרד מהזיכרון של המכונה ומטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים משאבים גרפיים רבים.

סדרות A4X Max ו-A4X

אם אתם מאמנים מודלים בסיסיים עצומים בקנה מידה של אקסה-בייט או מריצים סימולציות מורכבות מאוד של מחשוב עתיר ביצועים (HPC) בשרתים פיזיים, השתמשו בסדרת המכונות A4X Max או A4X. הסדרות האלה כוללות שבבי-על מסוג NVIDIA GB300 Grace Blackwell Ultra, שמתאימים לדרישות חישוב וזיכרון קיצוניות.

‫A4X Max (שרת פיזי)

סוגי המכונות A4X Max משתמשים ב-NVIDIA GB300 Grace Blackwell Ultra Superchips (nvidia-gb300) והם אידיאליים לאימון ולשירות של מודלים בסיסיים. סוגי המכונות A4X Max זמינים כמכונות Bare Metal.

‫A4X Max היא פלטפורמה בקנה מידה של אקסה-פלופ שמבוססת על NVIDIA GB300 NVL72. בכל מכונה יש שני שקעים עם מעבדי NVIDIA Grace עם ליבות Arm Neoverse V2. המעבדים האלה מחוברים לארבעה מעבדים גרפיים מסוג NVIDIA B300 Blackwell עם תקשורת מהירה בין שבבים (NVLink-C2C). מידע נוסף על המגבלות של סוגי המכונות מופיע במאמר המגבלות של A4X Max ו-A4X.

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU מדגם NVIDIA GB300 זיכרון GPU (GB HBM3e)
a4x-maxgpu-4g-metal 144 960 12,000 6 3,600 4 1,116

ההערות הבאות מתייחסות לטבלה שלמעלה:

  • ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
  • רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

A4X

במכונות מסוג A4X נעשה שימוש ב-NVIDIA GB200 Grace Blackwell Superchips (nvidia-gb200), והן אידיאליות לאימון ולשירות של מודלים בסיסיים.

‫A4X היא פלטפורמה בקנה מידה אקסה (exascale) שמבוססת על NVIDIA GB200 NVL72. בכל מכונה יש שני שקעים עם מעבדי NVIDIA Grace עם ליבות Arm Neoverse V2. המעבדים האלה מחוברים לארבעה מעבדי NVIDIA B200 Blackwell GPU עם תקשורת מהירה בין שבבים (NVLink-C2C). מידע נוסף על המגבלות של סוגי המכונות מופיע במאמר המגבלות של A4X Max ו-A4X.

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU מדגם NVIDIA GB200 זיכרון GPU (GB HBM3e)
a4x-highgpu-4g 140 884 12,000 6 2,000 4 744

ההערות הבאות מתייחסות לטבלה שלמעלה:

  • ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
  • רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סדרת A4

אם המטרה שלכם היא לאמן מודלים בסיסיים מתקדמים שדורשים עיבוד מקבילי בקנה מידה עצום, השתמשו בסדרת המכונות A4 כדי לשפר את זמן העיבוד ולמקסם את תפוקת החומרה.

לסוגי המכונות A4 מצורפים מעבדי GPU מסוג NVIDIA B200 Blackwell (nvidia-b200), והם אידיאליים לאימון ולשירות של מודלים בסיסיים. למידע על המגבלות של סוגי המכונות, קראו את המאמר מגבלות של A4.

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי GPU מסוג NVIDIA B200 Blackwell זיכרון GPU (GB HBM3e)
a4-highgpu-8g 224 3,968 12,000 10 3,600 8 1,440

ההערות הבאות מתייחסות לטבלה שלמעלה:

  • ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
  • רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב הפס של הרשת זמין במאמר רוחב הפס של הרשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סדרת A3‏ (Ultra,‏ Mega ו-High עם 8 יחידות GPU)

אם אתם צריכים להריץ הרצות אימון מבוזרות בקנה מידה גדול או להכניס לשימוש בסביבת הייצור מודלים פורצי דרך בכמה מארחים עם טבלאות גדולות של קבוצות נתונים, השתמשו בסדרת המכונות A3 כדי לצמצם את זמן האחזור ברשת בין המארחים.

A3 Ultra

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU מדגם NVIDIA H200 זיכרון GPU (GB HBM3e)
a3-ultragpu-8g 224 2,952 12,000 10 3,600 8 1128

A3 Mega

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי ה-GPU מסוג NVIDIA H100 זיכרון GPU (GB HBM3)
a3-megagpu-8g 208 1,872 6,000 9 1,800 8 640

A3 High

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי ה-GPU מסוג NVIDIA H100 זיכרון GPU (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1,500 1 50 2 160
a3-highgpu-4g 104 936 3,000 1 100 4 320
a3-highgpu-8g 208 1,872 6,000 5 1,000 8 640

ההערות הבאות מתייחסות לטבלה שלמעלה:

  • ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
  • רוחב פס מקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, קראו את המאמר רוחב פס של רשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

רכישת קיבולת

כדי לרכוש קיבולת מחשוב לאשכולות GPU, צריך לתאם את ניהול ההיצע והביקוש של מאיצים עם ביצועים גבוהים. מכיוון שהמשאבים האלה נמצאים פיזית בתוך מארג רשתות ייעודי, צריך לבקש אותם באמצעות תהליכי עבודה מנוהלים.

אתם יכולים לשריין קיבולת דרך צוות ניהול החשבון, או להשתמש במקומות שמורים לעתיד ובמתזמן משימות לפריסת workload דינמית (DWS).

המאמרים הבאים