תכנון משאבי Cloud TPU
בדף הזה מוסבר איך לתכנן את השימוש ביחידות לעיבוד טנסורים (TPU).
בחירת אפשרות צריכה
אפשרויות הצריכה מתייחסות לדרכים שבהן אפשר לקבל ולהשתמש במשאבי מחשוב. אתם יכולים לבקש קיבולת של מכונות וירטואליות ב-Cloud TPU על סמך הצרכים שלכם מבחינת מהירות, משך, עלות וסובלנות להפסקה זמנית. האפשרויות כוללות:
- לפי דרישה: מופעים רגילים בתשלום לפי שימוש.
- מכונות וירטואליות במודל Spot: מכונות וירטואליות זולות יותר שניתן להפסיק את השימוש בהן. נעשה שימוש במכסה שניתן לקטוע.
- מכונות וירטואליות עם הפעלה גמישה: אפשר להזמין קיבולת לפי הצורך, למשך עד 7 ימים, בלי הזמנות לטווח ארוך או ניהול מורכב של מכסות.
- הזמנות: הזמנת קיבולת למשך זמן מסוים (עד 90 ימים או שנה ומעלה), עם הבטחה לזמינות. משתמש במכסה על פי דרישה.
ב-TPU v6e ובדורות מאוחרים יותר, אפשר גם להשתמש ב-GKE עם TPU Cluster Director. התכונה הזו זמינה באמצעות הזמנה במצב 'כל הקיבולת'. הוא מספק גישה מלאה לקיבולת השמורה שלכם ושקיפות מלאה לגבי פריסת החומרה, השימוש והתקינות של ה-TPU. מידע נוסף זמין במאמר סקירה כללית על מצב 'כל הקיבולת'.
בטבלה הבאה מוצגת השוואה בין אפשרויות השימוש ב-TPU על סמך אופן הפעולה שלהן, תרחישי השימוש האידיאליים, הגרסאות והאזורים הנתמכים של TPU וסוגי המכסות הנדרשים.
| אפשרות צריכה | איך זה עובד | השימוש הכי טוב | גרסאות ותחומים (Zones) נתמכים של TPU | סוג המכסה ל-Cloud TPU API |
|---|---|---|---|---|
| שריון מקום שמור לעתיד לשנה או יותר |
אתם מבקשים משאבי TPU שנה מראש או יותר. המשאבים האלה שמורים לשימוש בלעדי שלכם במהלך התקופה הזו. הזמנות מספקות את רמת הוודאות הגבוהה ביותר לגבי הקיבולת, והן זולות יותר ממשאבים על פי דרישה. הזמנות עתידיות של TPU כוללות הנחה תמורת התחייבות לשימוש (CUD). הנחות CUD מספקות מחירים מוזלים כשרוכשים חוזה התחייבות לשימוש. מידע נוסף זמין במאמר בנושא הזמנות עתידיות לשנה או יותר |
הזמנות עתידיות לשנה או יותר מתאימות במיוחד למשימות אימון ארוכות ולעומסי עבודה של הסקת מסקנות. | כל גרסאות ה-TPU: ראו אזורים ותחומים של TPU | מכסה על פי דרישה |
| הזמנות עתידיות ל-90 יום (מצב יומן) (גרסת Preview) |
אתם מבקשים משאבי TPU לזמן התחלה ומשך ספציפיים, בין יום אחד ל-90 יום. המשאבים האלה שמורים לשימוש בלעדי שלכם במהלך התקופה הזו. מידע נוסף זמין במאמר בנושא הזמנות עתידיות לפרק זמן של עד 90 ימים (במצב יומן) הזמנות מספקות את רמת הוודאות הגבוהה ביותר לגבי הקיבולת, ומחירן נמוך יותר ממחיר המשאבים על פי דרישה. |
הזמנות עתידיות במצב יומן מתאימות לעומסי עבודה של אימון וניסויים שדורשים זמני התחלה מדויקים ומשך מוגדר. |
TPU7x (Ironwood) (גרסת Preview) לאימון ולהצגה: us-central1-c v6e (Trillium) לאימון ולהרצה: asia-northeast1-b, us-east5-a v5p לאימון ולהצגה: us-east5-a v5e לאימון: us-west4-a v5e להצגת מודלים: us-central1-a |
לא נדרשת מכסה |
| על פי דרישה |
אתם מבקשים משאבי TPU לשימוש מיידי, למשך הזמן שאתם צריכים אותם. השימוש ב-On-demand מאפשר גמישות רבה. למשאבים לפי דרישה אין עדיפות, אבל אין ערובה לכך שיהיו מספיק משאבי TPU זמינים כדי למלא את הבקשה שלכם. האפשרות 'על פי דרישה' היא ברירת המחדל כשיוצרים משאבי TPU. מידע נוסף על יצירה ושימוש ב-TPU על פי דרישה זמין במאמר יצירת מכונות וירטואליות של TPU. |
התמחור לפי דרישה מתאים לעבודות דחופות ולעומסי עבודה שנדרש להם זמן סיום גמיש. | כל גרסאות ה-TPU: ראו אזורים ותחומים של TPU | מכסה על פי דרישה |
| Flex-start (תצוגה מקדימה) |
אתם יכולים לבקש משאבי TPU למשך זמן מסוים, עד שבעה ימים, בלי לשריין מראש קיבולת. מכונות וירטואליות עם TPU Flex-start מסופקות ממאגר ייעודי של קיבולת, ולכן הזמינות של המשאבים האלה גבוהה יותר מאשר במקרה של משאבים על פי דרישה. מידע נוסף זמין במאמר בקשת מכונות וירטואליות עם TPU Flex-start. מידע נוסף על שימוש במכונות וירטואליות של TPU Flex-start עם Google Kubernetes Engine (GKE) זמין במאמר מידע על הקצאת GPU ו-TPU עם מצב הקצאה של flex-start. |
התכונה 'התחלה גמישה' מתאימה במיוחד לניסויים, לבדיקות בקנה מידה קטן, להקצאה דינמית של TPU לעומסי עבודה של הסקת מסקנות, לכוונון עדין של מודלים ולעומסי עבודה שפועלים פחות משבעה ימים. |
TPU7x (Ironwood) (גרסת Preview): us-central1-c (בשימוש ב-GKE בלבד) v6e (Trillium): asia-northeast1-b, us-east5-a v5p: us-east5-a v5e: us-west4-a |
מכסה של מכונות שאפשר להפסיק |
| Spot |
אתם מבקשים משאבי TPU שניתן לבצע בהם קדימה. מכונות Spot VM זמינות במחיר נמוך משמעותית ממחיר המשאבים על פי דרישה. לרוב קל יותר להשיג מכונות וירטואליות מסוג Spot מאשר משאבים לפי דרישה, אבל יכול להיות שהן יידחקו (יושבתו) בכל שלב. אין הגבלה על משך זמן הריצה. מידע נוסף על מכונות וירטואליות מסוג TPU Spot זמין במאמר ניהול מכונות וירטואליות מסוג TPU Spot. |
Spot מתאים לתזמון עומסי עבודה בעדיפות נמוכה יותר, כמו אימון מוקדם של מודלים, שיפור מודלים ועבודות סימולציה שניתן לבצע גם אם יש שיבושים בזמינות. | כל גרסאות ה-TPU: ראו אזורים ותחומים של TPU | מכסה של מכונות שאפשר להפסיק |
בקשה למכסת TPU
כדי להשתמש במכונות וירטואליות של TPU, לא משנה מהי אפשרות הצריכה, אתם צריכים מכסה לפי דרישה או מכסה שניתן להפסיק עבור ליבות או שבבים של Cloud TPU. מוודאים שיש לכם מספיק מכסת שימוש לאפשרות, לגרסת ה-TPU, לגודל ולאזור שבחרתם. המכסות הן ספציפיות לכל גרסה של TPU, והן שונות לשימוש על פי דרישה ולשימוש זמני. לחלק מגרסאות ה-TPU יש מכסות ברירת מחדל, ובגרסאות אחרות צריך לבקש מכסה. מידע נוסף זמין במאמר בנושא מכסות של Cloud TPU.
אם אתם משתמשים ב-TPU עם Google Kubernetes Engine (GKE), אתם צריכים מכסת Compute Engine API במקום מכסת TPU API רגילה. מידע נוסף על מכסות TPU ב-GKE זמין במאמר איך מוודאים שיש לכם מכסת TPU.
בחירת גרסת TPU
בוחרים את גרסת ה-TPU, למשל v5e, v5p, v6e או TPU7x (Ironwood), בהתאם לצרכים של האימון או ההסקה של המודל. מידע נוסף זמין במאמר בנושא גרסאות TPU.
המאמרים הבאים