פתרון בעיות ב-PyTorch – TPU

במדריך הזה מוסבר איך לזהות ולפתור בעיות שאתם עלולים להיתקל בהן בזמן אימון מודלים של PyTorch ב-Cloud TPU. למדריך כללי יותר לתחילת העבודה עם Cloud TPU, קראו את המדריך למתחילים: יצירת מכונת TPU.

פתרון בעיות שקשורות לביצועי אימון איטיים

אם המודל מתאמן לאט, צרו דוח מדדים ובדקו אותו.

כדי לנתח באופן אוטומטי את דוח המדדים ולקבל סיכום, מריצים את עומס העבודה עם PT_XLA_DEBUG=1.

למידע נוסף על בעיות שעלולות לגרום לאימון איטי של המודל, ראו אזהרות ידועות לגבי ביצועים.

יצירת פרופיל ביצועים

כדי ליצור פרופיל מעמיק של עומס העבודה ולגלות צווארי בקבוק, כדאי לעיין במקורות המידע הבאים:

כלים נוספים לניפוי באגים

אתם יכולים לציין משתני סביבה כדי לשלוט בהתנהגות של מחסנית התוכנה PyTorch/XLA.

אם נתקלתם בבאג לא צפוי ואתם צריכים עזרה, דווחו על הבעיה ב-GitHub.

ניהול טנזורים של XLA

במאמר XLA tensor Quirks מתואר מה כדאי לעשות ומה לא כדאי לעשות כשעובדים עם טנזורים של XLA ומשקלים משותפים.