בדף הזה מפורט מידע כללי על אופן הפעולה של מעבדים גרפיים (GPU) עם Dataflow, כולל מידע על דרישות מוקדמות ועל סוגי מעבדים גרפיים נתמכים.
שימוש במעבדים גרפיים (GPU) במשימות Dataflow מאפשר להאיץ חלק ממשימות עיבוד הנתונים. מעבדים גרפיים יכולים לבצע חישובים מסוימים מהר יותר ממעבדים מרכזיים (CPU). החישובים האלה הם בדרך כלל מספריים או אלגברה לינארית, והם משמשים לעיתים קרובות בעיבוד תמונות ובמקרים של שימוש בלמידת מכונה. מידת השיפור בביצועים משתנה בהתאם לתרחיש השימוש, לסוג החישוב ולכמות הנתונים שעוברים עיבוד.
דרישות מוקדמות לשימוש ב-GPU ב-Dataflow
- כדי להשתמש ב-GPU בעבודת Dataflow, צריך להשתמש ב-Runner v2.
- Dataflow מריץ קוד משתמש במכונות וירטואליות של עובדים בתוך קונטיינר Docker.
המכונות הווירטואליות של העובדים מריצות מערכת הפעלה שמותאמת לקונטיינרים.
כדי שמשימות Dataflow יוכלו להשתמש ב-GPU, צריך לעמוד בדרישות המוקדמות הבאות:
- מנהלי ההתקנים (דרייברים) של ה-GPU מותקנים במכונות וירטואליות של עובדים ונגישים לקונטיינר Docker. מידע נוסף זמין במאמר בנושא התקנת דרייברים של GPU.
- ספריות GPU שנדרשות לצורך הצינור, כמו ספריות NVIDIA CUDA-X או NVIDIA CUDA Toolkit, מותקנות בקובץ האימג' של הקונטיינר בהתאמה אישית. למידע נוסף, אפשר לעיין במאמר בנושא הגדרת קובץ האימג' של הקונטיינר.
- מכיוון שקונטיינרים של GPU הם בדרך כלל גדולים, כדי שלא ייגמר לכם שטח האחסון בדיסק, כדאי להגדיל את גודל דיסק האתחול שמוגדר כברירת מחדל ל-50 גיגה-בייט או יותר.
תמחור
על משימות שמשתמשות במעבדי GPU חלים חיובים כמו שמפורט בדף התמחור של Dataflow.
זמינות
Dataflow תומך בסוגי ה-GPU הבאים:
| סוג ה-GPU | worker_accelerator מחרוזת |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 40 GB | nvidia-tesla-a100 |
| NVIDIA® A100 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
| NVIDIA® H100 | nvidia-h100-80gb |
| NVIDIA® H100 Mega | nvidia-h100-mega-80gb |
| NVIDIA® RTX Pro 6000 | nvidia-rtx-pro-6000 |
למידע נוסף על כל סוג GPU, כולל נתוני ביצועים, אפשר לעיין במאמר בנושא פלטפורמות GPU של Compute Engine.
מידע על האזורים והתחומים שבהם אפשר להשתמש ב-GPU זמין במאמר זמינות של אזורים ותחומים ל-GPU במאמרי העזרה של Compute Engine.
עומסי עבודה מומלצים
בטבלה הבאה מפורטות המלצות לגבי סוג ה-GPU שמתאים לעומסי עבודה שונים. הדוגמאות בטבלה הן רק הצעות, ואתם צריכים לבצע בדיקות בסביבה שלכם כדי לקבוע את סוג ה-GPU המתאים לעומס העבודה שלכם.
מידע מפורט יותר על גודל הזיכרון של ה-GPU, על הזמינות של התכונות ועל הסוגים האידיאליים של עומסי עבודה עבור דגמי GPU שונים זמין בטבלת ההשוואה הכללית בדף של פלטפורמות ה-GPU.
| עומס עבודה | A100, H100 | RTX Pro 6000 | L4 | T4 |
|---|---|---|---|---|
| כוונון עדין של מודלים | מומלץ | |||
| הסקת מסקנות במודל גדול | מומלץ | מומלץ | מומלץ | |
| הסקת מסקנות במודל בינוני | מומלץ | מומלץ | מומלץ | |
| הסקת מסקנות במודל קטן | מומלץ | מומלץ | מומלץ |
המאמרים הבאים
- תוכלו לראות דוגמה לתהליך עבודה למפתחים לבניית צינורות עיבוד נתונים שמשתמשים במעבדי GPU.
- איך מריצים צינור Apache Beam ב-Dataflow עם יחידות GPU
- פועלים לפי ההוראות במאמר עיבוד תמונות לוויין של Landsat באמצעות מעבדי GPU.