מכונות GPU ורשתות

במאמר הזה מפורטות היכולות וההגדרות של רוחב הפס ברשת למכונות Compute Engine עם מעבדי GPU מצורפים. כאן נסביר על רוחב הפס המקסימלי של הרשת, על ההגדרות של כרטיס הרשת (NIC) ועל ההגדרות המומלצות של רשת VPC לסוגי מכונות שונים עם GPU, כולל הסדרות A4X Max,‏ A4X,‏ A4,‏ A3,‏ A2,‏ G4,‏ G2 ו-N1. הבנת ההגדרות האלה יכולה לעזור לכם לשפר את הביצועים של עומסי העבודה המבוזרים ב-Compute Engine.

סקירה כללית

בטבלה הבאה מוצגת השוואה כללית בין יכולות הרשת של סוגי מכונות עם GPU.

סוג המכונה דגם ה-GPU רוחב הפס הכולל המקסימלי טכנולוגיית רישות בין יחידות GPU
A4X Max NVIDIA GB300 Ultra Superchips 3,600 Gbps GPUDirect RDMA
A4X NVIDIA GB200 Superchips 2,000 Gbps GPUDirect RDMA
A4 NVIDIA B200 3,600 Gbps GPUDirect RDMA
A3 Ultra NVIDIA H200 3,600 Gbps GPUDirect RDMA
A3 Mega NVIDIA H100 80GB 1,800 Gbps GPUDirect-TCPXO
A3 High NVIDIA H100 80GB 1,000 Gbps GPUDirect-TCPX
A3 Edge NVIDIA H100 80GB 600 Gbps GPUDirect-TCPX
G4 NVIDIA RTX PRO 6000 400 Gbps לא רלוונטי
A2 Standard ו-A2 Ultra NVIDIA A100 40GB, NVIDIA A100 80GB 100 Gbps לא רלוונטי
G2 NVIDIA L4 100 Gbps לא רלוונטי
N1 NVIDIA T4, NVIDIA V100 100 Gbps לא רלוונטי
N1 NVIDIA P4 32 Gbps לא רלוונטי

פונקציות GPUDirect RDMA ו-MRDMA

בסוגים מסוימים של מכונות שעברו אופטימיזציה למאיצים, Google Cloud משתמש ב-MRDMA כהטמעה של ממשק הרשת לרשתות GPU-to-GPU שתומכות ב-GPUDirect RDMA.

‫GPUDirect RDMA היא טכנולוגיה של NVIDIA שמאפשרת לכרטיס רשת (NIC) לגשת ישירות לזיכרון ה-GPU דרך PCIe, בלי לעבור דרך המעבד (CPU) המארח וזיכרון המערכת. התקשורת הזו בין רכיבי NIC ל-GPU מפחיתה באופן משמעותי את זמן האחזור בתקשורת בין GPU ל-GPU בין צמתים.

‫MRDMA הוא ממשק הרשת שמשמש במכונות מסוג A4X Max,‏ A4X,‏ A4 ו-A3 Ultra כדי לספק יכולות GPUDirect RDMA. ‫MRDMA מבוסס על כרטיסי רשת של NVIDIA ConnectX, ואפשר לפרוס אותו באחת מהדרכים הבאות:

  • פונקציות וירטואליות (VF) של MRDMA: משמשות בסדרות A3 Ultra,‏ A4 ו-A4X.
  • פונקציות פיזיות (PF) של MRDMA: משמשות בסדרת A4X Max.

פונקציות MRDMA וכלים לניטור רשתות

במכונות מסוג A4X,‏ A4 ו-A3 Ultra, הרשת בין ה-GPU מבוססת על פונקציות וירטואליות (VF) של MRDMA, כדי לשפר את הביצועים. מכיוון שמדובר בישויות וירטואליות, יכולות מסוימות של מעקב ברמת החומרה מוגבלות בהשוואה לפונקציות פיזיות (PF).

ב-MRDMA VF, מונים סטנדרטיים של יציאות פיזיות (כמו אלה שמסתיימים ב-_phy) מופיעים בפלט של ethtool -S אבל לא מתעדכנים במהלך פעילות ברשת. זה מאפיין של ארכיטקטורת MRDMA VF. כדי לעקוב במדויק אחרי ביצועי הרשת בממשקים האלה, צריך לבדוק את הרשומות ב-vPort Counter Table במקום ב-Physical Port Counter Table.

סוג המכונה A4X Max משתמש ב-MRDMA PF. בניגוד לסוגי המכונות שמבוססים על MRDMA VF, מכונות A4X Max תומכות בכל המונים של היציאות הפיזיות לרשתות GPU.

מושגים בנושא רשתות לסוגי מכונות עם GPU

בקטע הבא מפורטים סידור הרשת ומהירות רוחב הפס לכל סוג מכונה עם GPU.

סוגי המכונות A4X Max ו-A4X

סדרות המכונות A4X Max ו-A4X, שתיהן מבוססות על ארכיטקטורת NVIDIA Blackwell, מיועדות לעומסי עבודה מבוזרים גדולים ותובעניים של AI. ההבדל העיקרי בין שתי האפשרויות הוא המאיצים וחומרת הרשת שמצורפים אליהן, כפי שמתואר בטבלה הבאה:

סדרת המכונות A4X Max סדרת המכונות A4X
חומרה מחוברת NVIDIA GB300 Ultra Superchips NVIDIA GB200 Superchips
רשת GPU ל-GPU ‫4 כרטיסי NVIDIA ConnectX-8 (CX-8) SuperNIC שמספקים רוחב פס של 3,200Gbps בטופולוגיה של 8 כיוונים בארכיטקטורת rail-aligned ‫4 כרטיסי רשת NVIDIA ConnectX-7 ‏ (CX-7) שמספקים רוחב פס של 1,600Gbps בארכיטקטורת rail-aligned עם 4 כיוונים
הטמעת רשת GPU-to-GPU ‫8 פונקציות פיזיות (PF) של MRDMA שמוגדרות כשתי פונקציות פיזיות לכל כרטיס רשת (NIC) ‫4 פונקציות וירטואליות (VF) של MRDMA שמוגדרות כ-VF אחד לכל NIC
רשתות לשימוש כללי ‫2 כרטיסי רשת חכמים מסוג Titanium שמספקים רוחב פס של ‎400 Gbps ‫2 כרטיסי רשת חכמים מסוג Titanium שמספקים רוחב פס של ‎400 Gbps
רוחב הפס המקסימלי הכולל של הרשת 3,600 Gbps 2,000 Gbps

ארכיטקטורת רשת רב-שכבתית

במכונות A4X Max ו-A4X יש ארכיטקטורת רשת היררכית עם כמה שכבות, בארכיטקטורת rail-aligned, כדי לשפר את הביצועים של סוגי תקשורת שונים. בטופולוגיה הזו, המכונות מתחברות דרך כמה מישורי רשת נפרדים, שנקראים מסילות.

  • במכונות A4X Max נעשה שימוש בארכיטקטורת rail-aligned עם 8 כיוונים, שבה כל אחד מארבעת כרטיסי ה-NIC מסוג ConnectX-8 במהירות 800Gbps מתחבר לשני מסלולים נפרדים במהירות 400Gbps.
  • במכונות A4X נעשה שימוש בארכיטקטורת rail-aligned עם 4 מסילות, שבה כל אחד מארבעת כרטיסי הרשת ConnectX-7 מתחבר למסילה נפרדת.

שכבות הרשת של סוגי המכונות האלה הן:

  • תקשורת בתוך הצומת ובתוך תת-הבלוק (NVLink): מארג NVLink במהירות גבוהה מחבר בין יחידות ה-GPU לתקשורת ברוחב פס גבוה וזמן אחזור קצר. התשתית הזו מחברת את כל יחידות ה-GPU במכונה אחת, ומתפרסת על פני בלוק משנה שמורכב מ-18 מכונות A4X Max או A4X (סה"כ 72 יחידות GPU). כך כל 72 יחידות ה-GPU בבלוק המשנה יכולות לתקשר כאילו הן נמצאות בשרת GPU אחד גדול.

  • תקשורת בין תת-בלוקים (כרטיסי רשת של NVIDIA ConnectX עם RoCE): כדי להרחיב את עומסי העבודה מעבר לתת-בלוק אחד, המכונות האלה משתמשות בכרטיסי רשת של NVIDIA ConnectX. כרטיסי ה-NIC האלה משתמשים ב-RDMA over Converged Ethernet‏ (RoCE) כדי לספק תקשורת ברוחב פס גבוה וזמן אחזור קצר בין תת-בלוקים, וכך מאפשרים לכם ליצור אשכולות אימון בקנה מידה גדול עם אלפי יחידות GPU.

  • רשתות למטרות כלליות (Titanium Smart NICs): בנוסף לרשתות ה-GPU הייעודיות, לכל מכונה יש שני Titanium Smart NICs, שמספקים רוחב פס משולב של 400Gbps למשימות רשת כלליות. זה כולל תעבורת נתונים לאחסון, לניהול ולחיבור לשירותים אחרים של Google Cloud או לאינטרנט הציבורי.

ארכיטקטורת A4X Max

הארכיטקטורה של A4X Max מבוססת על שבבי NVIDIA GB300 Ultra Superchip. אחד מהמאפיינים העיקריים של העיצוב הזה הוא החיבור הישיר של ארבעת כרטיסי הרשת SuperNIC של NVIDIA ConnectX-8 (CX-8)‎ במהירות 800Gbps למעבדי ה-GPU. כל ConnectX-8 הוא כרטיס רשת עם שתי יציאות, שמוצג למכונה כשתי פונקציות פיזיות (PF). כרטיסי ה-NIC האלה הם חלק מטופולוגיית רשת עם 8 מסילות, שבה כל כרטיס NIC מתחבר לשתי מסילות נפרדות של 400Gbps. הנתיב הישיר הזה מאפשר RDMA, ומספק רוחב פס גבוה וזמן אחזור נמוך לתקשורת בין מעבדים גרפיים בבלוקים שונים. המכונות האלה של Compute Engine כוללות גם כונני SSD מקומיים עם ביצועים גבוהים שמחוברים לכרטיסי הרשת ConnectX-8, ועוקפים את אפיק ה-PCIe כדי לאפשר גישה מהירה יותר לנתונים.

ארכיטקטורת רשת ל-A4X Max עם ארבעה כרטיסי רשת לתקשורת GPU ושני כרטיסי רשת Titanium לרשתות כלליות.
איור 1. ארכיטקטורת רשת למארח A4X Max יחיד

ארכיטקטורת A4X

הארכיטקטורה של A4X משתמשת בשבבי NVIDIA GB200 Superchip. בהגדרה הזו, ארבעת כרטיסי ה-NIC מסוג NVIDIA ConnectX-7 (CX-7) מחוברים למעבד המארח. ההגדרה הזו מספקת רשת עם ביצועים גבוהים לתקשורת בין GPU ל-GPU בין בלוקי משנה.

ארכיטקטורת רשת ל-A4X עם ארבעה כרטיסי רשת לתקשורת GPU ושני כרטיסי רשת Titanium לרשת כללית.
איור 2. ארכיטקטורת רשת למארח A4X יחיד

הגדרת רשת של ענן וירטואלי פרטי (VPC) ב-A4X Max וב-A4X

כדי להשתמש בכל יכולות הרשת של סוגי המכונות האלה, צריך ליצור רשתות VPC ולצרף אותן למכונות. כדי להשתמש בכל כרטיסי ה-NIC הזמינים, צריך ליצור רשתות VPC באופן הבא:

  • שתי רשתות VPC רגילות לכרטיסי הרשת החכמים של Titanium.

  • כשיוצרים אשכולות של כמה בלוקים משניים של A4X Max או A4X, צריך רשת VPC אחת עם פרופיל הרשת RoCE בשביל כרטיסי ה-NIC של ConnectX. ברשת ה-VPC של RoCE צריכה להיות רשת משנה אחת לכל מסילת רשת. כלומר, שמונה רשתות משנה למכונות A4X Max וארבע רשתות משנה למכונות A4X. אם אתם משתמשים בבלוק משנה אחד, אתם יכולים להשמיט את רשת ה-VPC הזו כי מארג ה-NVLink עם כמה צמתים מטפל בתקשורת ישירה בין ה-GPUs.

כדי להגדיר את הרשתות האלה, קראו את המאמר יצירת רשתות VPC במסמכי התיעוד של AI Hypercomputer.

סוגי המכונות A4X Max ו-A4X

A4X Max

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU מדגם NVIDIA GB300 זיכרון GPU‏ (GB HBM3e)
a4x-maxgpu-4g-metal 144 960 12,000 6 3,600 4 1,116

ההערות הבאות רלוונטיות לטבלה שלמעלה:

  • ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
  • רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

A4X

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU מדגם NVIDIA GB200 זיכרון GPU‏ (GB HBM3e)
a4x-highgpu-4g 140 884 12,000 6 2,000 4 744

ההערות הבאות רלוונטיות לטבלה שלמעלה:

  • ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
  • רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סוגי מכונות A4 ו-A3 Ultra

לסוגי המכונות A4 מצורפים מעבדי GPU מסוג NVIDIA B200, ולסוגי המכונות A3 Ultra מצורפים מעבדי GPU מסוג NVIDIA H200.

סוגי המכונות האלה כוללים שמונה כרטיסי רשת (NIC) מסוג NVIDIA ConnectX-7 (CX-7) ושני כרטיסי רשת וירטואליים של Google‏ (gVNIC). שמונת כרטיסי ה-NIC מסוג CX-7 מספקים רוחב פס כולל של 3,200Gbps ברשת. כרטיסי הרשת האלה מיועדים רק לתקשורת בין מעבדי GPU ברוחב פס גבוה, ואי אפשר להשתמש בהם לצרכים אחרים של הרשת, כמו גישה לאינטרנט הציבורי. כמו שמוצג בתרשים הבא, כל CX-7 NIC מותאם ל-GPU אחד כדי לבצע אופטימיזציה של גישה לא אחידה לזיכרון (NUMA). כל שמונת ה-GPU יכולים לתקשר במהירות זה עם זה באמצעות גשר NVLink שמחבר ביניהם. שני כרטיסי הרשת האחרים של gVNIC הם כרטיסי רשת חכמים שמספקים רוחב פס נוסף של 400Gbps לדרישות כלליות של הרשת. ביחד, כרטיסי הרשת מספקים רוחב פס מקסימלי של 3,600Gbps למכונות האלה.

הרשת עם הביצועים הגבוהים בין GPU ל-GPU במכונות A4 ו-A3 Ultra מיושמת באמצעות פונקציות וירטואליות (VF) של MRDMA לכל אחד משמונת כרטיסי ה-NIC של ConnectX-7.

ארכיטקטורת רשת ל-A4 ול-A3 Ultra, עם שמונה כרטיסי רשת CX-7 לתקשורת GPU ושני gVNIC לרשתות כלליות.
איור 3. ארכיטקטורת רשת למארח יחיד מסוג A4 או A3 Ultra

כדי להשתמש בכרטיסי ה-NIC האלה, צריך ליצור 3 רשתות VPC באופן הבא:

  • שתי רשתות VPC רגילות: כל gVNIC צריך להיות מחובר לרשת VPC אחרת
  • רשת VPC אחת של RoCE: כל שמונת כרטיסי ה-NIC של CX-7 משתפים את אותה רשת VPC של RoCE

כדי להגדיר את הרשתות האלה, קראו את המאמר יצירת רשתות VPC במסמכי התיעוד של AI Hypercomputer.

A4

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי GPU מסוג NVIDIA B200 Blackwell זיכרון GPU‏ (GB HBM3e)
a4-highgpu-8g 224 3,968 12,000 10 3,600 8 1,440

ההערות הבאות רלוונטיות לטבלה שלמעלה:

  • ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
  • רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס של רשת, ראו רוחב פס של רשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

A3 Ultra

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU מסוג NVIDIA H200 זיכרון GPU‏ (GB HBM3e)
a3-ultragpu-8g 224 2,952 12,000 10 3,600 8 1128

ההערות הבאות רלוונטיות לטבלה שלמעלה:

  • ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
  • רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סוגי המכונות A3 Mega,‏ High ו-Edge

לסוגי המכונות האלה יש מעבדי GPU מסוג H100. לכל אחד מסוגי המכונות האלה יש מספר קבוע של מעבדי GPU, מעבדי vCPU וגודל זיכרון.

  • מכונות וירטואליות מסוג A3 עם כרטיס רשת אחד: במכונות וירטואליות מסוג A3 עם 1 עד 4 יחידות GPU, יש רק כרטיס רשת פיזי אחד.
  • ‫מכונות וירטואליות מסוג A3 עם multi-NIC: במכונות וירטואליות מסוג A3 עם 8 יחידות GPU מצורפות, יש כמה כרטיסי NIC פיזיים. בסוגי המכונות האלה של A3, כרטיסי ה-NIC מסודרים באופן הבא באפיק Peripheral Component Interconnect Express ‏ (PCIe):
    • בסוג המכונה A3 Mega: אפשר להשתמש בסידור של 8+1 NIC. במערך הזה, 8 כרטיסי רשת חולקים את אותו אפיק PCIe, וכרטיס רשת אחד נמצא באפיק PCIe נפרד.
    • במכונה מסוג A3 High: אפשר להשתמש בסידור של 4+1 כרטיסי רשת. במערך הזה, 4 כרטיסי רשת משתפים את אותו אפיק PCIe, וכרטיס רשת אחד נמצא באפיק PCIe נפרד.
    • לסוג המכונה A3 Edge: אפשר להשתמש בסידור של 4+1 כרטיסי רשת. במערך הזה, 4 כרטיסי רשת חולקים את אותו אפיק PCIe, וכרטיס רשת אחד נמצא באפיק PCIe נפרד. חמשת כרטיסי ה-NIC האלה מספקים רוחב פס כולל של 400Gbps לכל מכונה וירטואלית.

    לכרטיסי רשת שחולקים את אותו אפיק PCIe יש מערך גישה לא אחידה לזיכרון (NUMA) של כרטיס רשת אחד לכל שני מעבדי NVIDIA H100 GPU. כרטיסי ה-NIC האלה אידיאליים לתקשורת ייעודית בין מעבדים גרפיים ברוחב פס גבוה. כרטיס הרשת הפיזי שנמצא באפיק PCIe נפרד מתאים לצרכים אחרים של הרשת. במאמר הגדרת רשתות MTU של מסגרות גדולות מוסבר איך מגדירים רשתות למכונות וירטואליות מסוג A3 High ו-A3 Edge.

A3 Mega

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי GPU מסוג NVIDIA H100 זיכרון GPU‏ (GB HBM3)
a3-megagpu-8g 208 1,872 6,000 9 1,800 8 640

A3 High

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי GPU מסוג NVIDIA H100 זיכרון GPU‏ (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1,500 1 50 2 160
a3-highgpu-4g 104 936 3,000 1 100 4 320
a3-highgpu-8g 208 1,872 6,000 5 1,000 8 640

A3 Edge

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי GPU מסוג NVIDIA H100 זיכרון GPU‏ (GB HBM3)
a3-edgegpu-8g 208 1,872 6,000 5 ‫600 (asia-south1 ו-northamerica-northeast2) או 400 (כל שאר האזורים של A3 Edge) 8 640

ההערות הבאות רלוונטיות לטבלה שלמעלה:

  • ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
  • רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סוגי מכונות A2

לכל סוג מכונה מסוג A2 יש מספר קבוע של מעבדי GPU מסוג NVIDIA A100 40GB או NVIDIA A100 80GB. לכל סוג מכונה יש גם מספר קבוע של מעבדי vCPU וגודל זיכרון.

יש שני סוגים של סדרות מכונות A2:

  • ‫A2 Ultra: לסוגי המכונות האלה מצורפים מעבדי GPU מדגם A100 80GB ודיסקים מקומיים מסוג SSD.
  • ‫A2 Standard: לסוגי המכונות האלה מצורפים מעבדי GPU מסוג A100 40GB.

A2 Ultra

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) ‫SSD מקומי מצורף (GiB) רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי GPU מסוג NVIDIA A100 80GB זיכרון GPU‏ (GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1,500 50 4 320
a2-ultragpu-8g 96 1,360 3,000 100 8 640

A2 Standard

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) תמיכה ב-SSD מקומי רוחב הפס המקסימלי של הרשת (Gbps) מספר מעבדי GPU מסוג NVIDIA A100 40GB זיכרון GPU‏ (GB HBM2)
a2-highgpu-1g 12 85 כן 24 1 40
a2-highgpu-2g 24 170 כן 32 2 80
a2-highgpu-4g 48 340 כן 50 4 160
a2-highgpu-8g 96 680 כן 100 8 320
a2-megagpu-16g 96 1,360 כן 100 16 640

ההערות הבאות רלוונטיות לטבלה שלמעלה:

  • ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
  • רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סוגי מכונות G4

סוגי המכונות G4 accelerator-optimized משתמשים ב- מעבדים גרפיים NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) ומתאימים לעומסי עבודה של סימולציה ב-NVIDIA Omniverse, לאפליקציות שדורשות עיבוד גרפי אינטנסיבי, להמרת קידוד של וידאו ולמחשבים וירטואליים. בנוסף, סוגי המכונות G4 מספקים פתרון זול להסקת מסקנות במארח יחיד ולכוונון מודלים בהשוואה לסוגי המכונות מסדרה A.

אפשר גם להוסיף דיסקים של Titanium SSD כשיוצרים מכונה מסוג G4. כדי לדעת כמה דיסקים אפשר לחבר, קראו את המאמר סוגי מכונות שצריך לבחור בהם מספר של דיסקי SSD מקומיים. מידע על המגבלות של סוגי המכונות מופיע במאמר המגבלות של G4.

סוג המכונה מספר מעבדי ה-vCPU זיכרון המכונה (GB) הנפח המקסימלי של Titanium SSD שנתמך (GiB) מספר כרטיסי הרשת הפיזיים רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU מסוג NVIDIA RTX PRO 6000 זיכרון GPU‏ (GB GDDR7)
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1,500 1 50 1 96
g4-standard-96 96 360 3,000 1 100 2 192
g4-standard-192 192 720 6,000 1 200 4 384
g4-standard-384 384 1,440 12,000 2 400 8 768

ההערות הבאות רלוונטיות לטבלה שלמעלה:

  • ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
  • רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס של רשת זמין במאמר רוחב פס של רשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סוגי מכונות G2

לסוגי המכונות G2 עם אופטימיזציה למאיצים מצורפים מעבדי GPU מסוג NVIDIA L4, והם אידיאליים לעומסי עבודה של הסקת מסקנות עם אופטימיזציה לעלויות, עומסי עבודה עם הרבה גרפיקה ועומסי עבודה של מחשוב עתיר ביצועים.

לכל סוג מכונה של G2 יש גם זיכרון שמוגדר כברירת מחדל וטווח זיכרון בהתאמה אישית. טווח הזיכרון בהתאמה אישית מגדיר את נפח הזיכרון שאפשר להקצות למכונה לכל סוג מכונה. אפשר גם להוסיף דיסקים מסוג Local SSD כשיוצרים מכונה מסוג G2. כדי לדעת כמה דיסקים אפשר לחבר, קראו את המאמר סוגי מכונות שצריך לבחור בהם מספר של כונני SSD מקומיים.

כדי להחיל את קצבי רוחב הפס הגבוהים יותר של הרשת (50Gbps ומעלה) על רוב המכונות של ה-GPU, מומלץ להשתמש ב-Google Virtual NIC ‏ (gVNIC). איך יוצרים מכונות GPU שמשתמשות ברוחבי פס גדולים יותר

סוג המכונה מספר מעבדי ה-vCPU זיכרון ברירת המחדל של המכונה (GB) טווח זיכרון מותאם אישית למכונה (GB) נפח מקסימלי נתמך של כונן SSD מקומי (GiB) רוחב הפס המקסימלי של הרשת (Gbps) מספר יחידות ה-GPU מסוג NVIDIA L4 זיכרון GPU (GB GDDR6)
g2-standard-4 4 16 ‫16 עד 32 375 10 1 24
g2-standard-8 8 32 32 עד 54 375 16 1 24
g2-standard-12 12 48 48 עד 54 375 16 1 24
g2-standard-16 16 64 ‫54 עד 64 375 32 1 24
g2-standard-24 24 96 96 עד 108 750 32 2 48
g2-standard-32 32 128 96 עד 128 375 32 1 24
g2-standard-48 48 192 192 עד 216 1,500 50 4 96
g2-standard-96 96 384 ‫384 עד 432 3,000 100 8 192

ההערות הבאות רלוונטיות לטבלה שלמעלה:

  • ‫vCPU count: מעבד וירטואלי (vCPU) מיושם כ-hyper-thread יחיד של חומרה באחת מפלטפורמות המעבד (CPU) הזמינות.
  • רוחב הפס המקסימלי של הרשת: רוחב הפס המקסימלי של תעבורת הנתונים היוצאת לא יכול לחרוג מהמספר שצוין. רוחב הפס בפועל של תעבורת הנתונים היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. למידע נוסף על רוחב פס ברשת, קראו את המאמר רוחב פס ברשת.
  • זיכרון GPU: הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הוא נפרד מהזיכרון של המכונה, ומיועד במיוחד לטפל בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה שדורשים עיבוד גרפי אינטנסיבי.

סוגי מכונות N1 + GPU

במכונות וירטואליות (VM) לשימוש כללי מסוג N1 שמחוברים אליהן מעבדי GPU מסוג T4 ו-V100, אתם יכולים לקבל רוחב פס מקסימלי של עד 100Gbps, בהתאם לשילוב של מספר מעבדי ה-GPU ומעבדי ה-vCPU. לכל שאר המכונות של N1 GPU, ראו סקירה כללית.

בקטע הבא מוסבר איך לחשב את רוחב הפס המקסימלי של הרשת שזמין למכונות T4 ו-V100, על סמך מודל ה-GPU, מספר ה-vCPU ומספר ה-GPU.

פחות מ-5 מעבדי vCPU

במכונות T4 ו-V100 עם 5 מעבדי vCPU או פחות, רוחב הפס המקסימלי של הרשת הוא 10Gbps.

יותר מ-5 מעבדי vCPU

במכונות T4 ו-V100 עם יותר מ-5 מעבדי vCPU, רוחב הפס המקסימלי של הרשת מחושב לפי מספר מעבדי ה-vCPU וה-GPU של אותה מכונה וירטואלית.

כדי להחיל את קצבי רוחב הפס הגבוהים יותר של הרשת (50Gbps ומעלה) על רוב המכונות של ה-GPU, מומלץ להשתמש ב-Google Virtual NIC ‏ (gVNIC). איך יוצרים מכונות GPU שמשתמשות ברוחבי פס גדולים יותר

דגם ה-GPU מספר יחידות ה-GPU חישוב רוחב הפס המקסימלי של הרשת
NVIDIA V100 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 32)
4 min(vcpu_count * 2, 50)
8 min(vcpu_count * 2, 100)
NVIDIA T4 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 50)
4 min(vcpu_count * 2, 100)

הגדרות MTU וסוגי מכונות GPU

כדי להגדיל את קצב העברת הנתונים ברשת, מגדירים ערך גבוה יותר של יחידת העברה מקסימלית (MTU) לרשתות ה-VPC. ערכי MTU גבוהים יותר מגדילים את גודל החבילה ומפחיתים את התקורה של כותרת החבילה, וכך מגדילים את קצב העברת הנתונים של המטען הייעודי (payload).

לסוגי מכונות GPU, מומלץ להשתמש בהגדרות ה-MTU הבאות לרשתות ה-VPC.

סוג מכונה של GPU יחידת ה-MTU המומלצת (בבייטים)
רשת VPC רגילה רשת VPC של RoCE
  • A4X Max
  • A4X
  • A4
  • A3 Ultra
 8896 8896
  • A3 Mega
  • A3 High
  • A3 Edge
 8244 לא רלוונטי
  • A2 Standard
  • A2 Ultra
  • G4
  • G2
  • סוגי מכונות N1 שתומכים במעבדי GPU
 8896 לא רלוונטי

כשמגדירים את ערך ה-MTU, חשוב לשים לב לדברים הבאים:

  • ‫8192 הוא שני דפים של 4KB.
  • מומלץ להשתמש ב-8244 במכונות וירטואליות מסוג A3 Mega,‏ A3 High ו-A3 Edge לכרטיסי רשת של GPU שמופעל בהם פיצול כותרות.
  • צריך להשתמש בערך 8896, אלא אם צוין אחרת בטבלה.

יצירת מכונות GPU עם רוחב פס גבוה

כדי ליצור מכונות GPU שמשתמשות ברוחבי פס גדולים יותר, צריך להשתמש באחת מהשיטות הבאות, בהתאם לסוג המכונה:

מה השלב הבא?