TPU v6e

במאמר הזה מתוארת הארכיטקטורה של Cloud TPU v6e‏ (Trillium) והתצורות הנתמכות שלו. בכל הממשקים הטכניים, כמו ה-API והיומנים, ובכל המסמך הזה, Trillium יופיע כ-v6e.

עם 256 שבבים בכל Pod, ‏ v6e דומה מאוד ל-v5e. המערכת הזו מותאמת לאימון, לכוונון עדין ולהכניס לשימוש בסביבת הייצור של רשתות טרנספורמציה, רשתות ליצירת תמונות לפי טקסט ורשתות נוירונים מלאכותיות (CNN).

ארכיטקטורת המערכת

כל שבב v6e מכיל TensorCore אחד. לכל TensorCore יש 2 יחידות כפל מטריצות (MXU), יחידה וקטורית ויחידה סקלרית. בטבלה הבאה מוצגים המפרטים העיקריים של TPU v6e והערכים שלהם.

מפרט ערכים
ביצועים/עלות הבעלות הכוללת (TCO) (צפוי) 1
שיא יכולת החישוב לכל שבב (bf16) ‫918 TFLOPs
שיא יכולת החישוב לכל שבב (Int8) ‫1836 TOPs
קיבולת HBM לכל שבב 32 GB
רוחב פס של HBM לכל שבב ‫1,638GBps
רוחב פס דו-כיווני של חיבור בין-צ'יפי (ICI) (לכל צ'יפ) ‫800GBps
יציאות ICI לכל שבב 4
DRAM per host ‫1,536 GiB
צ'יפים לכל מארח 8
גודל ה-TPU Pod ‫256 צ'יפים
טופולוגיית Interconnect טורוס דו-ממדי
BF16 peak compute per Pod ‫234.9 פטה-פלופס
רוחב הפס של כל הפחתה לכל Pod ‫102.4TB/s
רוחב פס של חציית הגרף לכל Pod ‫3.2TB/s
הגדרה של כרטיס רשת לכל מארח ‫4 x 200 Gbps NIC
רוחב הפס של הרשת במרכז הנתונים לכל Pod ‫25.6 Tbps
תכונות מיוחדות SparseCore

הגדרות נתמכות

בטבלה הבאה מוצגים הצורות של פרוסות דו-ממדיות שנתמכות בגרסה v6e:

טופולוגיה צ'יפים של TPU מארחים VMs (מכונות וירטואליות) סוג המכונה היקף
‫1x1 1 1/8 1 ct6e-standard-1t מארח משנה
‫2 על 2 4 1/2 1 ct6e-standard-4t מארח משנה
‫2x4 8 1 1 ct6e-standard-8t מארח יחיד
‫2x4 8 1 2 ct6e-standard-4t כמה מארחים
4x4 16 2 4 ct6e-standard-4t כמה מארחים
4x8 32 4 8 ct6e-standard-4t כמה מארחים
8x8 64 8 16 ct6e-standard-4t כמה מארחים
‫8x16 128 16 32 ct6e-standard-4t כמה מארחים
‫16x16 256 32 64 ct6e-standard-4t כמה מארחים

פרוסות עם 8 שבבים (v6e-8) שמצורפות למכונה וירטואלית אחת מותאמות להסקת מסקנות, ומאפשרות שימוש בכל 8 השבבים בעומס עבודה של הגשה אחת. אתם יכולים לבצע היקשים בכמה מארחים באמצעות Pathways on Cloud. מידע נוסף מופיע במאמר בנושא ביצוע הסקה מרובת מארחים באמצעות Pathways.

מידע על מספר המכונות הווירטואליות בכל טופולוגיה זמין במאמר סוגי מכונות וירטואליות.

סוגי מכונות וירטואליות

כל מכונה וירטואלית של TPU v6e יכולה להכיל 1, 4 או 8 צ'יפים. לפרוסות של 4 שבבים ומטה יש צומת NUMA (גישה לזיכרון לא אחיד) זהה. מידע נוסף על צמתי NUMA זמין במאמר Non-uniform memory access (גישה לזיכרון לא אחיד) ב-Wikipedia.

תרשים של מארח v6e

פרוסות v6e נוצרות באמצעות מכונות וירטואליות של חצי מארח, כל אחת עם 4 שבבי TPU. יש שני חריגים לכלל הזה:

  • ‫v6e-1: מכונה וירטואלית עם צ'יפ יחיד, שמיועדת בעיקר לבדיקות
  • ‫v6e-8: מכונה וירטואלית עם מארח מלא שעברה אופטימיזציה לתרחיש שימוש בהסקת מסקנות, עם כל 8 השבבים שמחוברים למכונה וירטואלית אחת.

בטבלה הבאה מוצגת השוואה בין סוגי מכונות וירטואליות של TPU v6e:

סוג ה-VM מספר המעבדים הווירטואליים לכל מכונה וירטואלית ‫RAM ‏ (GB) לכל מכונה וירטואלית מספר צומתי NUMA לכל מכונה וירטואלית
מכונה וירטואלית עם שבב אחד 44 176 1
מכונה וירטואלית עם 4 שבבים 180 720 1
מכונה וירטואלית עם 8 שבבים 360 1440 2

המאמרים הבאים