שאלות נפוצות – Cloud TPU

במסמך הזה מפורטת רשימה של שאלות נפוצות בנושא Cloud TPU. הוא מחולק לקטעים:

  1. שאלות נפוצות שלא תלויות במסגרת – שאלות על שימוש ב-Cloud TPU בלי קשר למסגרת למידת המכונה שבה אתם משתמשים.
  2. שאלות נפוצות על JAX – שאלות על שימוש ב-Cloud TPU עם JAX.
  3. שאלות נפוצות על PyTorch – שאלות על שימוש ב-Cloud TPU עם PyTorch.

שאלות נפוצות שלא תלויות ב-Framework

איך בודקים איזה תהליך משתמש ב-TPU במכונת Cloud TPU וירטואלית?

מריצים את הפקודה tpu-info במכונה הווירטואלית של Cloud TPU כדי להדפיס את מזהה התהליך ומידע נוסף על התהליך באמצעות ה-TPU. במאמר בנושא מדדים נתמכים מפורטים המדדים וההגדרות שלהם.

   tpu-info

הפלט של tpu-info אמור להיראות כך:

   TPU Chips
   ┏━━━━━━━━━━━━━┳━━━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━━┓
   ┃ Chip        ┃ Type        ┃ Devices ┃ PID    ┃
   ┡━━━━━━━━━━━━━╇━━━━━━━━━━━━━╇━━━━━━━━━╇━━━━━━━━┩
   │ /dev/accel0 │ TPU v4 chip │ 1       │ 130007 │
   │ /dev/accel1 │ TPU v4 chip │ 1       │ 130007 │
   │ /dev/accel2 │ TPU v4 chip │ 1       │ 130007 │
   │ /dev/accel3 │ TPU v4 chip │ 1       │ 130007 │
   └─────────────┴─────────────┴─────────┴────────┘

   TPU Runtime Utilization
   ┏━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┓
   ┃ Device ┃ Memory usage         ┃ Duty cycle ┃
   ┡━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━┩
   │ 0      │ 0.00 GiB / 31.75 GiB │      0.00% │
   │ 1      │ 0.00 GiB / 31.75 GiB │      0.00% │
   │ 2      │ 0.00 GiB / 31.75 GiB │      0.00% │
   │ 3      │ 0.00 GiB / 31.75 GiB │      0.00% │
   └────────┴──────────────────────┴────────────┘

   TensorCore Utilization
   ┏━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━┓
   ┃ Chip ID ┃ TensorCore Utilization ┃
   ┡━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━┩
   │ 0       │                  0.00% │
   │ 1       │                  0.00% │
   │ 3       │                  0.00% │
   │ 2       │                  0.00% |
   └─────────┴────────────────────────┘

   Buffer Transfer Latency
   ┏━━━━━━━━━━━━━┳━━━━━┳━━━━━┳━━━━━┳━━━━━━┓
   ┃ Buffer Size ┃ P50 ┃ P90 ┃ P95 ┃ P999 ┃
   ┡━━━━━━━━━━━━━╇━━━━━╇━━━━━╇━━━━━╇━━━━━━┩
   │       8MB+  | 0us │ 0us │ 0us │  0us |
   └─────────────┴─────┴─────┴─────┴──────┘

איך מוסיפים נפח של דיסק מתמיד למכונת Cloud TPU וירטואלית?

מידע נוסף זמין במאמר צירוף אחסון בלוקים עמיד למכונת TPU וירטואלית.

מידע נוסף מופיע במאמר אפשרויות אחסון ב-Cloud TPU.

שאלות נפוצות על JAX

איך אפשר לדעת אם התוכנית משתמשת ב-TPU?

יש כמה דרכים לוודא ש-JAX משתמש ב-TPU:

  1. משתמשים בפונקציה jax.devices(). לדוגמה:

    assert jax.devices()[0].platform == 'tpu'

  2. יוצרים פרופיל של התוכנית ומוודאים שהפרופיל מכיל פעולות TPU. מידע נוסף זמין במאמר בנושא יצירת פרופילים של תוכניות JAX

מידע נוסף זמין בשאלות הנפוצות בנושא JAX

שאלות נפוצות בנושא Pytorch

איך אפשר לדעת אם התוכנית משתמשת ב-TPU?

אפשר להריץ את פקודות Python הבאות:

>>> import torch_xla.core.xla_model as xm
>>> xm.get_xla_supported_devices(devkind="TPU")

בודקים אם מופיעים מכשירי TPU.