יחידות לעיבוד טנסורים (TPU) הן מעגלים משולבים לאפליקציות ספציפיות (ASIC) שפותחו על ידי Google כדי להאיץ עומסי עבודה של למידת מכונה (ML) ובינה מלאכותית (AI). בין אם אתם מאמנים מודלים מורכבים של מודלים בסיסיים במשך שבועות או מריצים הסקה בקנה מידה גדול, מעבדי TPU מציעים משאבי מחשוב מיוחדים וניתנים להרחבה שעברו אופטימיזציה למסגרות כמו JAX ו-PyTorch.
ה-TPU בענן מתוכננים להתמודד עם עומסי העבודה הכי תובעניים של AI. היתרונות העיקריים:
אופטימיזציה לחישובי מטריצות: יחידות ה-TPU תוכננו במיוחד עם יחידות כפל מטריצות (MXU) כדי לבצע את פעולות המטריצה המסיביות שחיוניות לאלגוריתמים של ML ביעילות יוצאת דופן.
זיכרון ברוחב פס גבוה (HBM): זיכרון ברוחב פס גבוה על שבב מאפשר לאמן מודלים גדולים יותר ולהפעיל אותם, ולנצל ביעילות גדלים גדולים יותר של אצווה.
יכולת התאמה לעומס גבוהה מאוד עם חלוקה: אפשר לחבר צ'יפים של TPU בקבוצות שנקראות חלוקות. הפרוסות מאפשרות לעומסי העבודה להגיע למאות אלפי שבבי TPU, כדי לבצע משימות אימון גדולות.
מתי כדאי להשתמש במעבדי TPU
יחידות TPU מותאמות לעומסי עבודה ספציפיים, כמו:
- מודלים שבהם יש דומיננטיות לחישובים של מטריצות
- מודלים ללא פעולות PyTorch/JAX בהתאמה אישית בתוך לולאת האימון הראשית
- מודלים שעוברים אימון במשך שבועות או חודשים
- מודלים גדולים עם גודלי אצווה אפקטיביים גדולים
- מודלים עם הטמעות גדולות במיוחד, שמשמשים בדרך כלל לעומסי עבודה מתקדמים של דירוג והמלצות
יחידות TPU לא מתאימות לעומסי העבודה הבאים:
- תוכניות אלגברה לינארית שנדרש בהן פיצול תכוף או שמכילות הרבה פעולות אלגבריות ברמת האלמנט
- עומסי עבודה שדורשים חישובים אריתמטיים ברמת דיוק גבוהה
- עומסי עבודה של רשתות נוירונים שמכילים פעולות בהתאמה אישית בלולאת האימון הראשית
אפשרויות הקצאת הרשאות ב- Google Cloud
אתם יכולים לגשת ל-TPU ולספק אותם באמצעות המוצרים הבאים Google Cloud בהתאם לצרכים התפעוליים שלכם.
Compute Engine
בעזרת Compute Engine אפשר ליצור ולנהל מכונות וירטואליות של TPU או חלקי TPU, וכך לנהל את מחזור החיים המלא של מכונות וירטואליות של TPU. Google ממליצה להשתמש ב-Compute Engine במקום ב-Cloud TPU API מדור קודם כדי להקצות משאבי TPU.
מידע נוסף זמין במאמר בנושא משאבי Cloud TPU ב-Compute Engine.
Google Kubernetes Engine
Google Kubernetes Engine (GKE) מספק סביבת Kubernetes מנוהלת במלואה עם מספר דיירים, לניהול עומסי עבודה של AI בקנה מידה גדול. GKE תומך בניהול מחזור החיים של צומתי TPU ושל מאגרי צמתים, כולל יצירה, הגדרה ומחיקה של מכונות וירטואליות של TPU.
מידע נוסף זמין במאמר בנושא TPU ב-GKE.
Cloud TPU
הפיתוח של Cloud TPU API, כולל Google Cloud CLI וספריות לקוח של Cloud ל-Cloud TPU, הופסק. לצורך הקצאה וניהול של משאבי TPU, Google ממליצה להשתמש ב-Compute Engine או ב-GKE, בהתאם לצרכים שלכם בנוגע לאורקסטרציה ולעומסי העבודה.
מידע נוסף מופיע במאמר בנושא מעבר מ-Cloud TPU API.
גרסאות TPU שנתמכות ב-Compute Engine
Compute Engine תומך בגרסאות הבאות של TPU:
- TPU7x (Ironwood)
- TPU v6e (Trillium)
- TPU v5p
מידע נוסף על כל גרסת TPU זמין במאמר בנושא מכונות TPU.