כדי לעזור לכם להריץ את עומסי העבודה, יצרנו אוסף של מתכוני השוואה שניתן לשחזר, שמשתמשים בחלק ממסגרות העבודה והמודלים הנפוצים ביותר של למידת מכונה (ML). הם מאוחסנים במאגרי GitHub. כדי לגשת למאגרים האלה, אפשר לעיין בארגון AI Hypercomputer ב-GitHub. מתכוני ההשוואה האלה נבדקו באשכולות שנוצרו באמצעות Cluster Toolkit.
סקירה כללית
לפני שמתחילים להשתמש במתכונים האלה, חשוב לוודא שביצעתם את הפעולות הבאות:
- בוחרים מאיץ שמתאים הכי טוב לעומס העבודה. מה אסטרטגיית הפריסה שמתאימה לכם?
- בוחרים שיטת צריכה על סמך המאיץ הרצוי. מידע נוסף זמין במאמר בנושא אפשרויות צריכה.
- יוצרים את האשכול על סמך סוג המאיץ שנבחר. מדריכים לפריסת אשכולות
מתכונים
המתכונים הבאים להשוואה לשוק שניתן לשחזר זמינים לאימון מראש ולהסקת מסקנות באשכולות GKE.
כדי לחפש בקטלוג, אפשר לסנן לפי שילוב של המסגרת, המודל והמאיץ.
| שם המתכון | מאיץ | מודל | Framework | סוג עומס העבודה |
|---|---|---|---|---|
| Llama3.1 70B - A3 Ultra | A3 Ultra | Llama3.1 70B | MaxText | אימון מראש ב-GKE |
| Llama3.1 70B - A3 Ultra | A3 Ultra | Llama3.1 70B | NeMo | אימון מראש ב-GKE |
| Mixtral-8-7B - A3 Ultra | A3 Ultra | Mixtral-8-7B | NeMo | אימון מראש ב-GKE |
| GPT3-175B - A3 Mega | A3 Mega | GPT3-175B | NeMo | אימון מראש ב-GKE |
| Mixtral 8x7B - A3 Mega | A3 Mega | Mixtral 8x7B | NeMo | אימון מראש ב-GKE |
| Llama3 70B - A3 Mega | A3 Mega | Llama3 70B | NeMo | אימון מראש ב-GKE |
| Llama3.1 70B A3 Mega | A3 Mega | Llama3.1 70B | NeMo | אימון מראש ב-GKE |
| DeepSeek R1 671B | A3 Mega | DeepSeek R1 671B | SGLang | הסקת מסקנות ב-GKE |
| DeepSeek R1 671B | A3 Mega | DeepSeek R1 671B | vLLM | הסקת מסקנות ב-GKE |
| Llama-3.1-405B - A3 Ultra | A3 Ultra | Llama-3.1-405B | MaxText | אימון מראש ב-GKE |
| Llama-3.1-405B - A3 Ultra (Resiliency) | A3 Ultra | Llama-3.1-405B | NeMo | אימון מראש ב-GKE |
| Llama-3.1-405B - A3 Ultra | A3 Ultra | Llama-3.1-405B | NeMo | אימון מראש ב-GKE |
| DeepSeek R1 671B | A3 Ultra | DeepSeek R1 671B | SGLang | הסקת מסקנות ב-GKE |
| DeepSeek R1 671B | A3 Ultra | DeepSeek R1 671B | vLLM | הסקת מסקנות ב-GKE |