בדף הזה מפורט מידע כללי על אופן הפעולה של מעבדים גרפיים (GPU) עם Dataflow, כולל מידע על דרישות מוקדמות ועל סוגי מעבדים גרפיים נתמכים.
שימוש במעבדי GPU במשימות של Dataflow מאפשר להאיץ חלק ממשימות עיבוד הנתונים. מעבדי GPU יכולים לבצע חישובים מסוימים מהר יותר ממעבדי CPU. החישובים האלה הם בדרך כלל מספריים או אלגברה לינארית, ומשמשים לעיתים קרובות בתרחישי שימוש של עיבוד תמונה ולמידת מכונה. מידת השיפור בביצועים משתנה בהתאם לתרחיש השימוש, לסוג החישוב ולכמות הנתונים שעוברים עיבוד.
דרישות מוקדמות לשימוש במעבדי GPU ב-Dataflow
- כדי להשתמש ב-GPU בעבודת Dataflow, צריך להשתמש ב-Portable Runner (שנקרא בעבר Runner v2).
- Dataflow מריץ קוד משתמש במכונות וירטואליות של עובדים בתוך קונטיינר Docker.
המכונות הווירטואליות של העובדים מריצות מערכת הפעלה שמותאמת לקונטיינרים.
כדי שמשימות Dataflow יוכלו להשתמש ביחידות GPU, צריך לעמוד בדרישות המוקדמות הבאות:
- מנהלי ההתקנים (דרייברים) של ה-GPU מותקנים במכונות וירטואליות של עובדים ונגישים לקונטיינר Docker. מידע נוסף זמין במאמר בנושא התקנת דרייברים של GPU.
- ספריות GPU שנדרשות לצורך הפייפליין, כמו ספריות NVIDIA CUDA-X או NVIDIA CUDA Toolkit, מותקנות בקובץ אימג' של קונטיינר מותאם אישית. מידע נוסף זמין במאמר בנושא הגדרת קובץ אימג' של קונטיינר.
- מאחר שקונטיינרים של GPU הם בדרך כלל גדולים, כדי שלא ייגמר נפח האחסון בדיסק, צריך להגדיל את גודל דיסק האתחול שמוגדר כברירת מחדל ל-50 גיגה-בייט או יותר.
תמחור
על משימות שמשתמשות במעבדי GPU חלים חיובים כמו שמפורט בדף התמחור של Dataflow.
זמינות
סוגי ה-GPU הבאים נתמכים ב-Dataflow:
| סוג ה-GPU | מחרוזת (worker_accelerator) |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 40 GB | nvidia-tesla-a100 |
| NVIDIA® A100 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 (הוצא משימוש) | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 (הוצא משימוש) | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® H100 | nvidia-h100-80gb |
| NVIDIA® H100 Mega | nvidia-h100-mega-80gb |
| NVIDIA® RTX Pro 6000 | nvidia-rtx-pro-6000 |
מידע נוסף על כל סוג GPU, כולל נתוני ביצועים, זמין במאמר בנושא פלטפורמות GPU של Compute Engine.
מידע על האזורים והתחומים שבהם אפשר להשתמש ב-GPU זמין במאמר זמינות של אזורים ותחומים ל-GPU במסמכי Compute Engine.
עומסי עבודה מומלצים
בטבלה הבאה מפורטות המלצות לגבי סוג ה-GPU שמומלץ להשתמש בו עבור עומסי עבודה שונים. הדוגמאות בטבלה הן רק הצעות, ואתם צריכים לבצע בדיקה בסביבה שלכם כדי לקבוע את סוג ה-GPU המתאים לעומס העבודה שלכם.
מידע מפורט יותר על גודל הזיכרון של ה-GPU, על הזמינות של התכונות ועל סוגי עומסי העבודה האידיאליים לדגמי GPU שונים זמין בטבלת ההשוואה הכללית בדף של פלטפורמות ה-GPU.
| עומס עבודה | A100, H100 | RTX Pro 6000 | L4 | T4 (הוצא משימוש) |
|---|---|---|---|---|
| כוונון עדין של מודלים | מומלץ | |||
| הסקת מסקנות במודל גדול | מומלץ | מומלץ | מומלץ | |
| הסקת מסקנות במודל בינוני | מומלץ | מומלץ | מומלץ | |
| הסקת מסקנות במודל קטן | מומלץ | מומלץ | מומלץ |
המאמרים הבאים
- דוגמה לתהליך עבודה של מפתחים ליצירת צינורות עיבוד נתונים שמשתמשים במעבדי GPU
- איך מריצים צינור Apache Beam ב-Dataflow עם יחידות GPU
- פועלים לפי השלבים במאמר עיבוד תמונות לוויין של Landsat באמצעות מעבדי GPU.