בדף הזה מפורט מידע כללי על האופן שבו מעבדים גרפיים (GPU) פועלים עם Dataflow, כולל מידע על דרישות מוקדמות ועל סוגי מעבדים גרפיים נתמכים.
שימוש במעבדי GPU במשימות של Dataflow מאפשר להאיץ חלק ממשימות עיבוד הנתונים. מעבדים גרפיים יכולים לבצע חישובים מסוימים מהר יותר ממעבדים מרכזיים. החישובים האלה הם בדרך כלל מספריים או אלגברה לינארית, ומשמשים לעיתים קרובות בתרחישי שימוש של עיבוד תמונות ולמידת מכונה. מידת השיפור בביצועים משתנה בהתאם לתרחיש השימוש, לסוג החישוב ולכמות הנתונים שעוברים עיבוד.
דרישות מוקדמות לשימוש ב-GPU ב-Dataflow
- כדי להשתמש ב-GPU בעבודת Dataflow, צריך להשתמש ב-Runner v2.
- Dataflow מריץ קוד משתמש במכונות VM של עובדים בתוך קונטיינר Docker.
המכונות הווירטואליות של העובדים מריצות מערכת הפעלה שמותאמת לקונטיינרים.
כדי שמשימות Dataflow יוכלו להשתמש ב-GPU, צריך לעמוד בדרישות המוקדמות הבאות:
- מנהלי ההתקנים (דרייברים) של ה-GPU מותקנים במכונות וירטואליות של עובדים ונגישים לקונטיינר Docker. מידע נוסף זמין במאמר בנושא התקנת דרייברים של GPU.
- ספריות GPU שנדרשות לצורך הצינור, כמו ספריות NVIDIA CUDA-X או ערכת הכלים NVIDIA CUDA, מותקנות בקובץ האימג' של הקונטיינר בהתאמה אישית. מידע נוסף זמין במאמר בנושא הגדרת קובץ אימג' של קונטיינר.
- מכיוון שקונטיינרים של GPU הם בדרך כלל גדולים, כדי לא להגיע למצב של חוסר מקום בדיסק, כדאי להגדיל את גודל דיסק האתחול שמוגדר כברירת מחדל ל-50 גיגה-בייט או יותר.
תמחור
על משימות שמשתמשות במעבדי GPU חלים חיובים כמו שמפורט בדף התמחור של Dataflow.
זמינות
Dataflow תומך בסוגי ה-GPU הבאים:
| סוג ה-GPU | worker_accelerator מחרוזת |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 40 GB | nvidia-tesla-a100 |
| NVIDIA® A100 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
| NVIDIA® H100 | nvidia-h100-80gb |
| NVIDIA® H100 Mega | nvidia-h100-mega-80gb |
מידע נוסף על כל סוג GPU, כולל נתוני ביצועים, זמין במאמר בנושא פלטפורמות GPU של Compute Engine.
מידע על האזורים והתחומים שבהם אפשר להשתמש ב-GPU זמין במאמר זמינות של אזורים ותחומים ל-GPU במסמכי התיעוד של Compute Engine.
עומסי עבודה מומלצים
בטבלה הבאה מפורטות המלצות לגבי סוג ה-GPU שמתאים לעומסי עבודה שונים. הדוגמאות בטבלה הן רק הצעות, ואתם צריכים לבצע בדיקות בסביבה שלכם כדי לקבוע את סוג ה-GPU המתאים לעומס העבודה שלכם.
מידע מפורט יותר על גודל זיכרון ה-GPU, על זמינות התכונות ועל סוגי עומסי העבודה האידיאליים למודלים שונים של GPU זמין בטבלת ההשוואה הכללית בדף של פלטפורמות ה-GPU.
| עומס עבודה | A100, H100 | L4 | T4 |
|---|---|---|---|
| כוונון עדין של מודלים | מומלץ | ||
| הסקת מסקנות במודלים גדולים | מומלץ | מומלץ | |
| היקש מודל בינוני | מומלץ | מומלץ | |
| הסקת מסקנות במודל קטן | מומלץ | מומלץ |
המאמרים הבאים
- תוכלו לראות דוגמה לתהליך עבודה למפתחים לבניית צינורות עיבוד נתונים שמשתמשים ב-GPU.
- איך מריצים צינור Apache Beam ב-Dataflow עם יחידות GPU
- פועלים לפי השלבים במאמר עיבוד תמונות לוויין של Landsat באמצעות מעבדי GPU.