מתכונים לאופטימיזציה של קצב העברת נתונים

במאמר הזה נסביר איך לבצע אופטימיזציה של התפוקה, כלומר קצב העברת הנתונים השימושיים, עבור עומסי העבודה שלכם. כדי לבצע את האופטימיזציה הזו, יצרנו מתכונים לשחזור של תפוקה טובה, שמשתמשים במסגרות ובמודלים נפוצים של למידת מכונה (ML). כדי לעיין במתכונים האלה, אפשר להיכנס אל ארגון AI Hypercomputer ב-GitHub. המתכונים של goodput נבדקו באשכולות שנוצרו באמצעות Cluster Toolkit.

כדי להבטיח את המהימנות האופטימלית של עומסי העבודה ולמקסם את קצב העברת הנתונים, אפשר גם לזהות באופן יזום צמתים באשכול Google Kubernetes Engine ‏ (GKE) שסביר שיחול בהם שיפור ברמת הביצועים בחמש השעות הבאות. האזהרה המוקדמת הזו עוזרת לכם להימנע מתזמון של עומסי עבודה חדשים במכונות וירטואליות בסיכון, וכך לצמצם את הסיכון לשיבושים בעבודות. מידע נוסף זמין במאמר הפעלת חיזוי של תקינות הצמתים.

לפני שמתחילים

לפני שמשתמשים במתכונים של קצב העברת נתונים יעיל שמופיעים במסמך הזה, צריך לבצע את השלבים הבאים אם עוד לא ביצעתם אותם:

  1. בחירת מאיץ שמתאים לעומס העבודה

  2. בחירת שיטת צריכה בהתאם למאיץ שבחרתם

  3. יצירת האשכול

מתכונים

המתכונים הבאים ל-goodput ניתנים לשחזור וזמינים לאימון מראש באשכולות GKE:

שם המתכון מאיץ מודל Framework סוג עומס העבודה
Llama3.1 70B - A3 Mega A3 Mega Llama3.1 70B NeMo אימון מראש ב-GKE

המאמרים הבאים