בדף הזה מופיע מידע כללי על אופן הפעולה של מעבדים גרפיים (GPU) עם Dataflow, כולל מידע על דרישות מוקדמות ועל סוגי מעבדים גרפיים נתמכים.
שימוש במעבדי GPU במשימות של Dataflow מאפשר להאיץ חלק ממשימות עיבוד הנתונים. מעבדי GPU יכולים לבצע חישובים מסוימים מהר יותר ממעבדי CPU. החישובים האלה הם בדרך כלל מספריים או אלגברה לינארית, והם משמשים לעיתים קרובות בתרחישי שימוש של עיבוד תמונות ולמידת מכונה. מידת השיפור בביצועים משתנה בהתאם לתרחיש השימוש, לסוג החישוב ולכמות הנתונים שעוברים עיבוד.
דרישות מוקדמות לשימוש ב-GPU ב-Dataflow
- כדי להשתמש ב-GPU בעבודת Dataflow, צריך להשתמש ב-Runner v2.
- Dataflow מריץ קוד משתמש במכונות וירטואליות של עובדים בתוך קונטיינר Docker.
מכונות וירטואליות של Worker מריצות מערכת הפעלה שמותאמת לקונטיינרים.
כדי שמשימות Dataflow יוכלו להשתמש ב-GPU, צריך לעמוד בדרישות המוקדמות הבאות:
- מנהלי ההתקנים (דרייברים) של ה-GPU מותקנים במכונות וירטואליות של עובדים ונגישים לקונטיינר Docker. מידע נוסף זמין במאמר בנושא התקנת דרייברים של GPU.
- ספריות GPU שנדרשות לפייפליין, כמו ספריות NVIDIA CUDA-X או NVIDIA CUDA Toolkit, מותקנות בקובץ אימג' של קונטיינר מותאם אישית. מידע נוסף זמין במאמר בנושא הגדרת קובץ אימג' של קונטיינר.
- מכיוון שקונטיינרים של GPU הם בדרך כלל גדולים, כדי שלא ייגמר לכם שטח האחסון בדיסק, כדאי להגדיל את גודל דיסק האתחול שמוגדר כברירת מחדל ל-50 גיגה-בייט או יותר.
תמחור
על משימות שמשתמשות במעבדי GPU חלים חיובים כמו שמפורט בדף התמחור של Dataflow.
זמינות
Dataflow תומך בסוגי ה-GPU הבאים:
| סוג ה-GPU | מחרוזת worker_accelerator |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 40 GB | nvidia-tesla-a100 |
| NVIDIA® A100 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
| NVIDIA® H100 | nvidia-h100-80gb |
| NVIDIA® H100 Mega | nvidia-h100-mega-80gb |
| NVIDIA® RTX Pro 6000 | nvidia-rtx-pro-6000 |
למידע נוסף על כל סוג GPU, כולל נתוני ביצועים, אפשר לעיין במאמר בנושא פלטפורמות GPU של Compute Engine.
מידע על האזורים והתחומים שבהם אפשר להשתמש ב-GPU זמין במאמר זמינות של אזורים ותחומים ל-GPU במאמרי העזרה של Compute Engine.
עומסי עבודה מומלצים
בטבלה הבאה מפורטות המלצות לגבי סוג ה-GPU שמתאים לעומסי עבודה שונים. הדוגמאות בטבלה הן רק הצעות, ואתם צריכים לבצע בדיקה בסביבה שלכם כדי לקבוע את סוג ה-GPU המתאים לעומס העבודה שלכם.
מידע מפורט יותר על גודל הזיכרון של ה-GPU, על הזמינות של התכונות ועל סוגי עומסי העבודה האידיאליים לדגמי GPU שונים זמין בטבלת ההשוואה הכללית בדף של פלטפורמות ה-GPU.
| עומס עבודה | A100, H100 | RTX Pro 6000 | L4 | T4 |
|---|---|---|---|---|
| כוונון עדין של מודלים | מומלץ | |||
| הסקת מסקנות במודל גדול | מומלץ | מומלץ | מומלץ | |
| הסקת מסקנות במודל בינוני | מומלץ | מומלץ | מומלץ | |
| הסקת מסקנות במודל קטן | מומלץ | מומלץ | מומלץ |
המאמרים הבאים
- תוכלו לראות דוגמה לתהליך עבודה למפתחים לבניית צינורות עיבוד נתונים שמשתמשים במעבדי GPU.
- איך מריצים צינור Apache Beam ב-Dataflow עם יחידות GPU
- פועלים לפי ההוראות במאמר עיבוד תמונות לוויין של Landsat באמצעות מעבדי GPU.