TPU v6e

במאמר הזה מתוארים הארכיטקטורה וההגדרות האישיות הנתמכות של Cloud TPU v6e (Trillium). בכל הממשקים הטכניים, כמו ה-API והיומנים, ובכל המסמך הזה, Trillium נקרא v6e.

עם שטח של 256 צ'יפים לכל Pod, ל-v6e יש הרבה מאפיינים דומים ל-v5e. המערכת הזו מותאמת לאימון, לכוונון ולהצגה של מודלים מסוג טרנספורמר, יצירת תמונות לפי טקסט ורשתות נוירונים מלאכותיות (CNN).

ארכיטקטורת המערכת

כל שבב v6e מכיל TensorCore אחד. לכל TensorCore יש 2 יחידות כפל מטריצות (MXU), יחידת וקטור ויחידת סקלר. בטבלה הבאה מפורטים המפרטים העיקריים והערכים שלהם ל-TPU v6e.

מפרט ערכים
ביצועים/עלות הבעלות הכוללת (TCO) (צפויה) 1
שיא המחשוב לכל שבב (bf16) 918 TFLOPs
שיא המחשוב לכל שבב (Int8) ‫1,836 טריליון פעולות בשנייה
קיבולת HBM לכל שבב 32 GB
רוחב פס של HBM לכל שבב ‫1,638GBps
רוחב פס דו-כיווני של חיבור בין שבבים (ICI) (לכל שבב) 800 GBps
יציאות ICI לכל שבב 4
‫DRAM לכל מארח 1,536GiB
צ'יפים לכל מארח 8
גודל ה-TPU Pod ‫256 צ'יפים
טופולוגיית Interconnect טורוס דו-ממדי
שיא החישוב של BF16 לכל Pod ‎234.9 PFLOPs
רוחב פס All-reduce לכל Pod ‫102.4TB לשנייה
רוחב פס של חצייה לכל Pod 3.2TB לשנייה
הגדרת NIC לכל מארח ‫4‎ x 200 Gbps NIC
רוחב הפס של הרשת במרכז הנתונים לכל Pod 25.6 Tbps
תכונות מיוחדות SparseCore

הגדרות נתמכות

בטבלה הבאה מוצגות צורות הפרוסות הדו-ממדיות שנתמכות ב-v6e:

טופולוגיה צ'יפים של TPU מארחים VMs (מכונות וירטואליות) סוג המכונה היקף
1x1 1 1/8 1 ct6e-standard-1t מארח משני
‫2 על 2 4 1/2 1 ct6e-standard-4t מארח משני
‫2 על 4 8 1 1 ct6e-standard-8t מארח יחיד
‫2 על 4 8 1 2 ct6e-standard-4t מספר מארחים
4x4 16 2 4 ct6e-standard-4t מספר מארחים
4x8 32 4 8 ct6e-standard-4t מספר מארחים
8x8 64 8 16 ct6e-standard-4t מספר מארחים
8x16 128 16 32 ct6e-standard-4t מספר מארחים
16x16 256 32 64 ct6e-standard-4t מספר מארחים

פרוסות עם 8 צ'יפים (v6e-8) שמחוברות למכונה וירטואלית אחת מותאמות להסקת מסקנות, ומאפשרות להשתמש בכל 8 הצ'יפים בעומס עבודה יחיד של הצגת מודעות. אתם יכולים להסיק מסקנות ממספר מארחים באמצעות Pathways ב-Cloud. מידע נוסף זמין במאמר ביצוע הסקה בכמה מארחים באמצעות Pathways.

במאמר סוגי מכונות וירטואליות מפורט מספר המכונות הווירטואליות בכל טופולוגיה.

סוגי מכונות וירטואליות

כל מכונה וירטואלית של TPU v6e יכולה להכיל צ'יפ אחד, 4 צ'יפים או 8 צ'יפים. לפרוסות של 4 שבבים או פחות יש אותו צומת של גישה לא אחידה לזיכרון (NUMA). מידע נוסף על צומתי NUMA מופיע במאמר גישה לא אחידה לזיכרון בוויקיפדיה.

תרשים של מארח v6e

פרוסות v6e נוצרות באמצעות מכונות וירטואליות בחצי מקיבולת המארח, עם 4 שבבי TPU בכל אחת. יש שני מקרים חריגים לכלל הזה:

  • ‫v6e-1: מכונה וירטואלית עם שבב אחד בלבד, שמיועדת בעיקר לבדיקה
  • ‫v6e-8: מכונה וירטואלית עם מארח מלא שעברה אופטימיזציה לתרחיש לדוגמה של הסקת מסקנות, כשכל 8 הצ'יפים מחוברים למכונה וירטואלית אחת.

בטבלה הבאה מוצגת השוואה בין סוגי ה-VM של TPU v6e:

סוג ה-VM מספר המעבדים הווירטואליים לכל מכונה וירטואלית ‫RAM ‏ (GB) לכל VM מספר צומתי NUMA לכל מכונה וירטואלית
מכונה וירטואלית עם שבב אחד 44 176 1
מכונה וירטואלית עם 4 שבבים 180 720 1
מכונה וירטואלית עם 8 שבבים 360 1440 2

המאמרים הבאים