סקירה כללית של TPU Cluster Director

הכלי TPU Cluster Director נועד לתת לכם שליטה ישירה על מאיצי ה-AI שלכם, על בסיס הזמנה. Google Cloud ב-Cloud TPU, היכולות הבסיסיות של Cluster Director מספקות רמת שירות שהיא מעבר להצעה של דיירים מרובים, ומספקות קיבולת TPU מבודדת פיזית:

  • קיבולת ייעודית שמוקמת במיקום פיזי משותף: אתם מקבלים הזמנות של TPU צפופות שמוקמות במיקום פיזי משותף, וכך אתם מקבלים שליטה מלאה על החומרה כדי להשיג ביצועים אופטימליים ברשת ותזמון אופטימלי של עומסי העבודה.
  • תחזוקה ושליטה מתקדמות: אתם מקבלים שליטה מדויקת באירועי תחזוקה, עם אפשרות לטרגט מכונות וירטואליות ספציפיות, קוביות, Pod או הזמנות שלמות, ולנהל את הרצף והקצב של האירועים האלה כדי למזער את ההשפעה על העסק.
  • תזמון שמודע לטופולוגיה: מקבלים תמונה מלאה של הטופולוגיה הפיזית, התקינות והניצול של החומרה, וכך אפשר למקם עומסי עבודה בצורה חכמה יותר שמבוססת על ביצועים.

הבסיס של Cluster Director משולב באופן מלא עם Google Kubernetes Engine. השילוב הזה מציע כמה תכונות לשיפור עומסי עבודה של AI בקנה מידה גדול:

  • יעילות משופרת, עמידות בפני תקלות וחוסן: מספקת סביבה חזקה למשימות AI תובעניות.
  • מאגרי צמתים ומיקום עומסי עבודה עם מודעות לטופולוגיה: הזמנות צפופות של משאבים שמוקצים יחד מאפשרות לכם לטרגט תרמילים או קוביות ספציפיים. כך אפשר לתזמן עומסי עבודה בצורה מדויקת יותר.

עם Cluster Director ב-GKE, אתם נהנים מניצול טוב יותר, מביצועים וממדרגיות גבוהים יותר של עומסי העבודה, משיפור של התפוקה והאמינות ומאפשרות מקיפה של מעקב אחרי הקיבולת הפיזית (ממארחים ועד אשכולות GKE).

התכונה TPUs Cluster Director foundations on GKE זמינה באמצעות ההזמנה החדשה במצב All Capacity.

כל מצבי הקיבולת

כברירת מחדל, קיבולת TPU מוצעת במצב 'מנוהל', שבו Google מחליפה באופן אוטומטי מכונות TPU פגומות, אבל שומרת חלק מהקיבולת שהזמנתם כדי לוודא שלפרוסות ה-TPU שלכם יש את המשאבים הדרושים להפעלה מחדש. יש מצב קיבולת חלופי ל-TPU שנקרא מצב All Capacity. במצב הקיבולת הזה, יש לכם גישה מלאה לטופולוגיית החומרה של ה-TPU, לסטטוס השימוש ולסטטוס התקינות של הקיבולת שהזמנתם. יש לכם גם גישה לקיבולת המלאה שהזמנתם, אבל אתם אחראים לניהול של כשלים ותחזוקה מתוכננת.

התכונות העיקריות של מצב 'כל הקיבולת' כוללות:

  • שליטה מלאה ויכולת מלאה לראות את ההתקדמות: יש לכם שליטה מלאה בקיבולת השמורה ויכולת מלאה לראות את התקינות והטופולוגיה של הציוד. המשמעות היא שאתם יכולים לראות את כל הקיבולת הזמינה, כולל קיבולת שמוקצית לגיבוי, ולנהל כשלים במכונות באופן ישיר.
  • קיבולת ייעודית: אתם יכולים לגשת לקיבולת ייעודית שתמיד זמינה לעומסי העבודה של ה-AI. עם קיבולת מלאה וללא הגבלות, אתם מקבלים יכולת חיזוי טובה יותר והקצאה גבוהה יותר, כך שתוכלו לנצל כל חלק מקיבולת ה-TPU שהזמנתם. עכשיו, גם הקיבולת של ההקצאה מראש זמינה להרצת עומסי עבודה בעדיפות נמוכה יותר.
  • ביצועים אופטימליים: מצב 'כל הקיבולת' של TPU מספק מיקום משותף צפוף של משאבי האצה גדולים עם רשתות זמן אחזור נמוך במיוחד, שחשובות לעומסי עבודה של ML ו-HPC בקנה מידה גדול ובצימוד הדוק. הארכיטקטורה מותאמת לביצועים מקסימליים בעומסי עבודה של אימון והסקת מסקנות.

דורות TPU נתמכים

התכונות והמצב 'כל הקיבולת' של TPU זמינים ב-Trillium‏ (TPU v6e), ב-TPU Ironwood‏ (TPU7x) ובדורות עתידיים של TPU. מצב 'כל הקיבולת' של TPU לא נתמך בדורות ישנים יותר של TPU.

מינוח של TPU Cluster Director

הטופולוגיה של Cluster Director מורכבת מארבע רמות: אשכול, בלוק, תת-בלוק ומארח. אשכול הוא יחידת פריסה של Google עם קיבולת פיזית של TPU בכפולות של Pod. כל קיבולת ה-TPU באשכול נמצאת באזור אחד. הזמנת TPU במצב 'כל הקיבולת' היא תמיד במסגרת אשכול אחד. ב-TPU, שאר המושגים שקשורים לטופולוגיה ממופים לרכיבים פיזיים, כמו שמוצג בטבלאות הבאות.

Trillium

מושגים בנושא טופולוגיה Trillium ליבות צ'יפס מארחים
--- צ'יפ 1 1 לא רלוונטי
מארח מארח 8 8 1
Sub-block Trillium Pod 256 256 32
חסימה כמה תאי Trillium (עד 16) בהזמנה

עד 4,096

עד 4,096

עד 512
--- פרוסות מותרות בחסימת משנה ‫1x1,‏ 2x2,‏ 2x4,‏ 4x4,‏ 4x8,‏ 8x8,‏ 8x16 ו-16x16
--- בהזמנה אחת יכולים להיות כמה בלוקים, ובכל בלוק יכולים להיות 1 עד 16 מכשירי Trillium Pod

מידע נוסף על גודלי הפרוסות של Trillium זמין במאמר הגדרות נתמכות של Trillium.

Ironwood

מושגים בנושא טופולוגיה Ironwood ליבות צ'יפס מארחים
--- צ'יפ 2 1 ---
מארח מארח 8 4 1
Sub-block קובייה 128 64 16
חסימה כמה קוביות Ironwood עד ל-Pod מלא עד 9,216 (144 קוביות) עד 2,304
--- דוגמאות לגדלים מותרים של פרוסות בבלוק ‫1x1x1,‏ 2x2x1,‏ 2x2x2,‏ 2x4x4,‏ 4x4x4,‏ 8x8x8,‏ 16x8x8,‏ 16x16x8 ו-12x24x24 (ועוד רבים אחרים)
--- הזמנה יכולה לכלול קובייה אחת או יותר של Ironwood, עד ל-Ironwood Pod מלא.

מידע נוסף על גודלי פרוסות Ironwood זמין במאמר תצורות נתמכות של TPU7x.