מילון מונחים של שגיאות ב-Cloud TPU

במסמך הזה מופיע מילון מונחים של שגיאות נפוצות עם פתרונות משירות Cloud TPU.

סוג המאיץ לא תקין

הודעת השגיאה

generic::invalid_argument: Accelerator type v2-512 as preemptible (false) and
reserved (false) is not available in zone us-central1-a, please contact support.

הפתרון

סופק פרמטר לא תקין לפקודת היצירה. הזמינות של מאיץ באזור תלויה בפרמטרים הבאים: הסוג, הדגל preemptible, הדגל spot והדגל reserved. אפשר לשנות את ההגדרות של הדגלים preemptible, spot ו-reserved על ידי הכללה או אי-הכללה שלהם בפקודת היצירה.

יחידת TPU שנוצרה עם הדגל reserved תשתמש בקיבולת שמורה. הוספת הדגלים spot או preemptible תאפשר ל-TPU להידחק על ידי TPUs בעלי עדיפות גבוהה יותר. אם לא מציינים אף אחד מהדגלים האלה, ה-TPU יהיה לפי דרישה. הגדרת יותר מאחד מהסימונים האלה לא תקינה. מידע נוסף מופיע במאמרי העזרה בנושא פקודת היצירה.

אפשר למצוא את סוגי המאיצים שזמינים בכל אזור במסמכי התיעוד בנושא אזורים ותחומים של TPU, או שאפשר להריץ את הפקודה accelerator-types list. משנים את פקודת היצירה כך שתשתמש באחד מסוגי המאיצים האלה, מנסים שוב או פונים לתמיכה אם הבעיה נמשכת.

הרשת לא נמצאה

הודעת השגיאה

  Cloud TPU received a bad request. The field "Network" cannot be "NETWORK_NAME":
  requested resource not found

הפתרון

הרשת NETWORK_NAME לא נמצאה. מוודאים שהרשת נוצרה והוגדרה בצורה תקינה. מידע נוסף אפשר למצוא במאמר בנושא יצירה וניהול של רשתות VPC.

ההרשאה לחשבון השירות נדחתה

הודעת השגיאה

  generic::permission_denied: Cloud TPU got permissions denied when trying to
  access the customer project. Make sure that the IAM account
  'service-[project number]@cloud-tpu.iam.gserviceaccount.com' has the 'Cloud
  TPU API Service Agent' role by following https://cloud.google.com/iam/docs/manage-access-service-accounts

הפתרון

השגיאה הזו מתרחשת כשמשתמש מנסה ליצור צמתים או להציג רשימה של צמתים בפרויקט בלי הרשאת IAM. סביר להניח שהבעיה הזו נגרמת מכך שלחשבון השירות של Cloud TPU API אין את התפקיד הנדרש בפרויקט. במסמכי התיעוד בנושא ניהול הגישה לחשבונות מופיעה סקירה כללית על ניהול הגישה. פועלים לפי השלבים במאמר הענקת תפקיד יחיד או ביטול שלו ומעניקים לחשבון service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.comאת התפקיד Cloud TPU API Service Agent (חשוב להחליף את PROJECT_NUMBER במספר הפרויקט, שאפשר למצוא בהגדרות הפרויקט במסוף Google Cloud ). למידע נוסף על סוכני שירות, אפשר לעיין במסמכי התיעוד בנושא סוכני שירות.

חריגה מהמכסה

הודעת השגיאה

You have reached XXXX limit. Please request an increase for the 'YYYY' quota for
Compute Engine API by following https://cloud.google.com/docs/quotas/view-manage#requesting_higher_quota.

הפתרון

הפרויקט הגיע למגבלת מכסה. מידע נוסף על עבודה עם מכסות זמין במסמכי התיעוד של Cloud Quotas. חשוב לא להתבלבל בין זה לבין מכסת ה-TPU, שקובעת את השימוש במערכות TPU.

כדי לבקש הגדלה של המכסה המתאימה, צריך לפעול לפי השלבים שמפורטים במאמר בקשה לשינוי המכסה. בדף המכסות, אפשר לחפש את המכסה שצוינה בחלק YYYY של ההודעה הזו. חלק מהמכסות מחולקות בין אזורים או שירותים שונים. בהודעת השגיאה יצוין איזו מגבלה צריך להגדיל.

החלקים 'XXXX' ו-'YYYY' בהודעה יכולים להיות אחד מהערכים הבאים:

  • ‫HEALTH_CHECKS – מכסת 'בדיקות תקינות'
  • ‫FIREWALLS – המכסה 'Firewall rules'
  • NETWORK_ENDPOINT_GROUPS – מכסת 'קבוצות של נקודות קצה ברשת' באזור הזה
  • READ_REQUESTS – מכסת 'בקשות קריאה לדקה' לשירות Compute Engine API
  • ‫OPERATION_READ_REQUESTS – מכסת 'בקשות קריאה של פעולות לדקה'

הטיפול בבקשה הזו בדרך כלל נמשך 2-3 ימי עסקים. אם הבקשה דחופה, אפשר לפנות למהנדס לקוחות או למנהל חשבון טכני.

שגיאה קריטית

הודעת השגיאה

!!!! FATAL ERROR !!!! observed errors are: [ERROR_TYPE]. Now taking a TPU core dump...

הפתרון

השגיאה הזו מצביעה על בעיה קריטית בצומת ה-TPU. סוג השגיאה ([ERROR_TYPE]) בהודעה מציין את מהות השגיאה. הפעולה המומלצת תלויה בשגיאה שזוהתה:

HARDWARE

  • הסיבה: בעיה בחומרה של ה-TPU, בזיכרון שלו (HBM) או במחשב המארח. דוגמאות לכך הן שגיאות בזיכרון שלא ניתן לתקן (ECC HBM) או בעיות באיכות של קישורים פנימיים. דוגמאות נפוצות לבעיות חומרה: שגיאת v6e ECC HBM, שגיאת v6e runtime Intra Link Quality ושגיאת v5e ECC HBM.
  • פתרון: למרות ש- Google Cloud לרוב מזהה ופותר את הבעיות האלה באופן אוטומטי, שגיאות חומרה בדרך כלל לא זמניות. אם אתם נתקלים בשגיאה הזו יותר מפעם אחת באותו צומת TPU, צרו קשר עם Google Cloud התמיכה. אם יש לכם הזמנה במצב 'כל הקיבולת', כדאי לדווח על הצומת ולהחליף אותו.

USER

  • הסיבה: בעיה בקוד או בהגדרה, שאולי קשורה לניהול הזיכרון, לשימוש לא נכון ב-API או להיבטים אחרים של עומס העבודה של ה-ML.
  • פתרון: בודקים את קוד למידת המכונה ואת הגדרות המשימה כדי לזהות באגים פוטנציאליים או בעיות שקשורות למשאבים. מנסים שוב להפעיל את עומס העבודה. אם השגיאה הזו נמשכת באותו צומת, צריך לפנות אל Google Cloud התמיכה. אם יש לכם הזמנה במצב 'כל הקיבולת', כדאי לדווח על הצומת ולהחליף אותו.

POWER

  • הסיבה: בעיה שקשורה להפעלה של חומרת ה-TPU או הקושחה שלה.
  • פתרון: Google Cloud המערכת מטפלת בבעיה הזו באופן אוטומטי, ולא נדרשת פעולה מצדכם. כדאי לנסות שוב להפעיל את עומס העבודה, ואם הבעיה נמשכת, לפנות אל Google Cloud התמיכה.

NETWORK

  • הסיבה: בעיה שקשורה לרשת במערכת TPU. הבעיות יכולות להיות תקלות זמניות או בעיות מתמשכות יותר בקישורי Inter-Chip Interconnect ‏ (ICI).
  • פתרון: Google Cloud מנסה לפתור באופן אוטומטי בעיות ברשת שקשורות לחומרה. כדאי לנסות שוב להריץ את עומס העבודה, כי חלק מהבעיות שקשורות לרשת הן זמניות. אם הבעיה נמשכת בצמתים שונים או אחרי שיוצרים מחדש את הצמתים, אפשר לפנות Google Cloud לתמיכה. אם יש לכם הזמנה במצב 'כל הקיבולת', כדאי לדווח על הצומת ולהחליף אותו.