תכנון המשאבים של Cloud TPU
בדף הזה מוסבר איך לתכנן את השימוש ביחידות לעיבוד טנסורים (TPU).
בחירת אפשרות צריכה
אפשרויות הצריכה מתייחסות לדרכים שבהן אפשר לקבל ולהשתמש במשאבי מחשוב. אתם יכולים לבקש קיבולת של TPU VM ב-Cloud TPU על סמך הצרכים שלכם מבחינת מהירות, משך, עלות וסובלנות להפסקות. האפשרויות כוללות:
- לפי דרישה: מופעים רגילים בתשלום לפי שימוש.
- מכונות וירטואליות במודל Spot: מופעים זמניים שניתנים להפסקה בעלות נמוכה יותר. השימוש במכסה הוא מסוג preemptible.
- מכונות וירטואליות עם הפעלה גמישה: אפשר להזמין קיבולת לפי הצורך, למשך עד 7 ימים, בלי הזמנות לטווח ארוך או ניהול מורכב של מכסות.
- הזמנות: הזמנת קיבולת למשך תקופה מסוימת (עד 90 ימים או שנה ומעלה), כדי להבטיח זמינות. משתמש במכסה על פי דרישה.
בטבלה הבאה מוצגות אפשרויות לשימוש ב-TPU בהשוואה לפי אופן הפעולה, תרחישי השימוש האידיאליים וגרסאות ה-TPU הנתמכות.
| אפשרות צריכה | איך זה עובד | השימוש הכי טוב | גרסאות TPU נתמכות |
|---|---|---|---|
| שריון מקום שמור לעתיד לשנה או יותר |
אתם מבקשים משאבי TPU שנה מראש או יותר. המשאבים האלה שמורים לשימוש בלעדי שלכם במהלך התקופה הזו. הזמנות מספקות את רמת הוודאות הגבוהה ביותר לגבי הקיבולת, והן זולות יותר ממשאבים לפי דרישה. הזמנות עתידיות של TPU כוללות הנחה תמורת התחייבות לשימוש (CUD). הנחות CUD מספקות מחירים מוזלים כשרוכשים חוזה התחייבות לשימוש. מידע נוסף זמין במאמר בנושא הזמנות עתידיות לשנה או יותר |
הזמנות עתידיות לשנה או יותר מתאימות במיוחד למשימות אימון ארוכות טווח ולעומסי עבודה של הסקת מסקנות. | כל הגרסאות של TPU |
| הזמנות עתידיות לטווח של עד 90 יום (מצב יומן) |
אתם מבקשים משאבי TPU לזמן התחלה ומשך ספציפיים, בין יום אחד ל-90 ימים. המשאבים האלה שמורים לשימוש בלעדי שלכם במהלך התקופה הזו. מידע נוסף זמין במאמר בנושא הזמנות עתידיות לפרק זמן של עד 90 ימים (במצב יומן) הזמנות מספקות את רמת הביטחון הגבוהה ביותר לגבי הקיבולת, והמחיר שלהן נמוך יותר ממחיר המשאבים על פי דרישה. |
הזמנות עתידיות במצב יומן מתאימות לעומסי עבודה של אימון וניסויים שדורשים זמני התחלה מדויקים ומשך מוגדר. | TPU7x, TPU v6e ו-TPU v5p |
| על פי דרישה |
אתם מבקשים משאבי TPU לשימוש מיידי, למשך הזמן שאתם צריכים אותם. השימוש ב-On-demand מאפשר גמישות רבה. למשאבים לפי דרישה אין עדיפות, אבל אין ערובה לכך שיהיו מספיק משאבי TPU זמינים כדי למלא את הבקשה שלכם. האפשרות שמוגדרת כברירת מחדל כשיוצרים משאבי TPU היא על פי דרישה. מידע נוסף על יצירה ושימוש ב-TPU על פי דרישה זמין במאמר יצירת מכונות וירטואליות של TPU. |
התמחור לפי דרישה מתאים לעבודות דחופות ולעומסי עבודה שנדרש להם זמן סיום גמיש. | כל הגרסאות של TPU |
| Flex-start (תצוגה מקדימה) |
אתם יכולים לבקש משאבי TPU למשך זמן מסוים, עד שבעה ימים, בלי לשריין מראש קיבולת. מכונות וירטואליות של TPU Flex-start מסופקות ממאגר ייעודי של קיבולת, ולכן הזמינות של המשאבים האלה גבוהה יותר מאשר על פי דרישה. מידע נוסף זמין במאמר בקשת מכונות וירטואליות עם TPU Flex-start. מידע נוסף על שימוש במכונות וירטואליות עם TPU Flex-start ב-Google Kubernetes Engine (GKE) זמין במאמר מידע על הקצאת GPU ו-TPU במצב הקצאה של flex-start. |
התחלה גמישה מתאימה במיוחד לניסויים, לבדיקות בקנה מידה קטן, להקצאה דינמית של TPU לעומסי עבודה של הסקת מסקנות, לכוונון עדין של מודלים ולעומסי עבודה שפועלים פחות משבעה ימים. | TPU7x, TPU v6e ו-TPU v5p |
| Spot |
אתם מבקשים משאבי TPU שניתן להפסיק את השימוש בהם. מכונות וירטואליות זמניות זמינות במחיר נמוך משמעותית בהשוואה למשאבים לפי דרישה. בדרך כלל קל יותר להשיג מכונות וירטואליות מסוג Spot מאשר משאבים לפי דרישה, אבל יכול להיות שהן יידחקו (יושבתו) בכל שלב. אין הגבלה על משך זמן הריצה. מידע נוסף על מכונות וירטואליות מסוג TPU Spot זמין במאמר ניהול מכונות וירטואליות מסוג TPU Spot. |
Spot מתאים לתזמון עומסי עבודה בעדיפות נמוכה יותר, כמו אימון מוקדם של מודלים, שיפור מודלים ומשימות סימולציה שניתן לבצע גם אם יש שיבושים בזמינות. | כל הגרסאות של TPU |
בחירת מצב קיבולת של TPU
כברירת מחדל, קיבולת ה-TPU פועלת בתשתית שמנוהלת על ידי Google. אם יש לכם הזמנה, אתם יכולים להשתמש במצב 'כל הקיבולת' עבור TPU v6e (Trillium) ו-TPU7x (Ironwood). במצב 'כל הקיבולת' יש לכם גישה ל-100% מהקיבולת שהזמנתם, ואתם יכולים לראות את הטופולוגיה המלאה. עם זאת, אתם אחראים לניהול תחזוקת החומרה ולשחזור במקרה של כשל.
במאמר על מצבי קיבולת של TPU יש השוואה מפורטת בין תשתית בניהול Google (ברירת מחדל) לבין מצב 'כל הקיבולת'.
בחירת גרסת TPU
בוחרים את גרסת ה-TPU, לדוגמה, v5p, v6e או TPU7x (Ironwood) בהתאם לצרכים של האימון או ההסקה של המודל. מידע נוסף זמין במאמר בנושא גרסאות TPU.
שליחת בקשה למכסת TPU
כדי להשתמש במכונות וירטואליות של TPU, לא משנה באיזו אפשרות צריכה תבחרו, אתם צריכים מכסה לפי דרישה או מכסה שניתנת להפסקה למשאבי Cloud TPU. מוודאים שיש לכם מספיק מכסת שימוש לאפשרות שבחרתם, לגרסת ה-TPU, לגודל ולאזור. המכסות ספציפיות לכל גרסה של TPU, והן שונות לשימוש לפי דרישה ולשימוש שניתן לקטיעה. לחלק מגרסאות ה-TPU יש מכסות ברירת מחדל, ובגרסאות אחרות צריך לבקש מכסה. למידע נוסף, ראו מכסות ב-Compute Engine.
המאמרים הבאים