עומסי עבודה מקבילים מאוד ב-Dataflow HPC

כשעובדים עם מחשוב רשת בעל נפח גבוה, אפשר להשתמש ב-Dataflow כדי להריץ עומסי עבודה של HPC במקביל במערכת מנוהלת. בעזרת Dataflow, אתם יכולים להריץ את עומסי העבודה המקבילים שלכם בצינור עיבוד נתונים יחיד, לשפר את היעילות ולנהל את תהליך העבודה בקלות רבה יותר. הנתונים נשארים במערכת אחת גם לפני העיבוד, גם אחריו וגם במהלך עיבוד המשימות. ‫Dataflow מנהל באופן אוטומטי את הביצועים, יכולת ההתאמה לעומס, הזמינות וצרכי האבטחה.
במדריך הזה מופיעה דוגמה מלאה לצינור HPC מקבילי מאוד שמשתמש במאגרי תמונות מותאמים אישית עם ספריות C++‎.
כאן מפורטות שיטות מומלצות שכדאי להכיר כשמתכננים צינור עיבוד נתונים מקבילי מאוד ל-HPC.

משאבים

שימוש במעבדים גרפיים (GPU) בעבודות של Dataflow יכול להאיץ את העיבוד של תמונות ומשימות של למידת מכונה.
ב-HSBC השתמשו בתהליך עבודה מקביל מאוד של Dataflow HPC כדי להגדיל את יכולת החישוב ואת המהירות, וגם כדי להקטין את העלויות.
דוגמה לצינור עיבוד נתונים מקביל מאוד של Dataflow HPC וקוד המקור המתאים זמינים ב-GitHub.