הגדרות מומלצות

במאמר הזה מפורטות המלצות לגבי המאיצים, סוגי הצריכה וכלי הפריסה שהכי מתאימים לעומסי עבודה שונים של בינה מלאכותית (AI), למידת מכונה (ML) ומחשוב עתיר ביצועים (HPC). המאמר הזה יעזור לכם לזהות את הפריסה הכי טובה לעומס העבודה שלכם.

מידע והמלצות לגבי עמודי התווך של התשתית לעומסי עבודה של AI,‏ ML ו-HPC זמינים במסמכים הבאים:

• סוגי מכונות עם GPU
• סקירה כללית על רישות GPU
• סקירה כללית על שירותי אחסון

סקירה כללית על עומסי עבודה

ארכיטקטורת AI Hypercomputer תומכת בתרחישי השימוש הבאים:

עומסי עבודה	תיאור	המלצה
אימון מראש של מודלים בסיסיים	התהליך כולל בניית מודל שפה באמצעות מערך נתונים גדול. התוצאה של אימון מראש של מודלים בסיסיים היא מודל חדש שיכול לבצע משימות כלליות בצורה טובה. המודלים מסווגים לפי הגודל שלהם באופן הבא: ‫Frontier model: אלה מודלים של למידת מכונה שכוללים מאות מיליארדים עד טריליונים של פרמטרים או יותר. הם כוללים מודלים גדולים של שפה (LLM) כמו Gemini. מודל גדול: מודלים שמכילים עשרות מיליארדים עד מאות מיליארדים של פרמטרים או יותר.	המלצות לאימון מוקדם של מודלים
כוונון עדין	התהליך הזה כולל לקיחת מודל מאומן והתאמתו לביצוע משימות ספציפיות באמצעות מערכי נתונים ייעודיים או טכניקות אחרות. בדרך כלל מבצעים כוונון עדין במודלים גדולים.	המלצות לכוונון עדין של מודלים
הסקת מסקנות או הצגה	התהליך כולל לקיחת מודל מאומן או מודל שעבר כוונון עדין והפיכתו לזמין לשימוש על ידי משתמשים או אפליקציות. עומסי עבודה של הסקה מסווגים לפי גודל המודלים באופן הבא: הסקת מסקנות ממודל בסיסי עם כמה מארחים: ביצוע הסקת מסקנות באמצעות מודלים מאומנים של למידת מכונה שכוללים מאות מיליארדים עד טריליונים של פרמטרים או יותר. עומס החישוב של עומסי העבודה האלה של הסקת מסקנות מתחלק בין כמה מכונות מארחות. היקש של מודל בסיסי במארח יחיד: ביצוע היקש באמצעות מודלים מאומנים של למידת מכונה שכוללים עשרות עד מאות מיליארדים של פרמטרים. עבור עומסי העבודה האלה של הסקת מסקנות, עומס החישוב מוגבל למכונת מארח אחת. הסקת מסקנות במודלים גדולים: ביצוע הסקת מסקנות באמצעות מודלים של למידת מכונה שאומנו או כוונו, וכוללים עשרות עד מאות מיליארדי פרמטרים.	המלצות להסקת מסקנות
למידת מכונה של מודלים קטנים עד בינוניים	התהליך כולל אימון של מודלים של למידת מכונה (ML) והצגתם. המודלים האלה קטנים יותר בגודל ובמורכבות, ובדרך כלל הם מיועדים למשימות ספציפיות יותר.	המלצות ללמידת מכונה של מודלים קטנים עד בינוניים
HPC	זוהי שיטה לצבירת משאבי מחשוב כדי להשיג ביצועים טובים יותר מאלה של תחנת עבודה, שרת או מחשב יחידים. משתמשים ב-HPC כדי לפתור בעיות במחקר אקדמי, במדע, בעיצוב, בסימולציה ובבינה עסקית.	המלצות ל-HPC

המלצות לאימון מראש של מודלים

אימון מוקדם של מודלים בסיסיים כולל אשכולות גדולים של מאיצים, קריאה רציפה של כמויות גדולות של נתונים והתאמה של משקלים באמצעות העברות קדימה ואחורה כדי ללמוד מהנתונים. העבודות האלה של אימון המודל פועלות במשך שבועות, או אפילו חודשים בכל פעם.

בקטעים הבאים מפורטים המאיצים וסוג הצריכה המומלץ לשימוש כשמבצעים אימון מראש של מודלים.

מאיצים מומלצים

כדי לבצע אימון מראש של מודלים בסיסיים ב- Google Cloud, מומלץ להשתמש בסוגי מכונות שעברו אופטימיזציה להאצה: A4X Max, ‏ A4 או A3. בנוסף, מומלץ להשתמש בכלי לניהול תהליכים כדי לפרוס את האשכול. כדי לפרוס את האשכולות הגדולים האלה של מאיצים, מומלץ להשתמש ב-Cluster Director או ב-Cluster Toolkit. מידע נוסף זמין במדריך הפריסה המתאים לאשכול שבחרתם בטבלה הבאה.

עומסי עבודה	המלצות		מדריך לפריסת אשכול
	סוג המכונה	Orchestrator
אימון מודלים פורצי דרך אימון מודלים גדולים	A4X Max A4X A4 A3 Ultra	GKE	יצירת אשכול GKE שעבר אופטימיזציה ל-AI עם הגדרת ברירת מחדל
		Slurm	יצירת אשכול Slurm מנוהל במלואו לעומסי עבודה של AI יצירת אשכול Slurm בניהול עצמי לעומסי עבודה של AI
אימון מודלים פורצי דרך אימון מודלים גדולים	A3 Mega	GKE	מיקסום רוחב הפס של הרשת של המעבד הגרפי באשכולות במצב רגיל
		Slurm	יצירת אשכול שעבר אופטימיזציה ל-AI על סמך תבנית פריסת אשכול Slurm של A3 Mega לאימון למידת מכונה
אימון מודלים גדולים	A3 High	GKE	מיקסום רוחב הפס של הרשת של המעבד הגרפי באשכולות במצב רגיל
		Slurm	פריסת אשכול Slurm מסוג A3 High

סוג הצריכה המומלץ

כדי להגדיל את הסיכוי שתקבלו בוודאות אשכולות גדולים של מאיצים, מומלץ להשתמש בהזמנה. כדי למזער את העלויות של משאבים שמורים, מומלץ לבקש את השמירה הזו למשך זמן ארוך מספיק כדי לקבל הנחות תמורת התחייבות לשימוש. מידע נוסף על סוגי צריכה זמין במאמר בחירת אפשרות צריכה.

המלצות לכוונון עדין של מודלים

כוונון עדין של מודלים גדולים בסיסיים כולל אשכולות קטנים יותר של מאיצים, קריאה של נפחי נתונים בינוניים והתאמה של המודל לביצוע משימות ספציפיות. תהליכי ההתאמה העדינה האלה פועלים במשך ימים, או אפילו שבועות.

בקטעים הבאים מפורטים המאיצים המומלצים וסוג הצריכה שמומלץ להשתמש בהם כשמבצעים כוונון עדין של מודלים.

מאיצים מומלצים

כדי לכוונן מודלים ב- Google Cloud, מומלץ להשתמש בסוגי מכונות שעברו אופטימיזציה להאצה של A4X Max,‏ A4X,‏ A4 או A3, ולהשתמש בכלי לתזמור כדי לפרוס את האשכול.

כדי לפרוס את קבוצות המאיצים האלה, מומלץ גם להשתמש ב-Cluster Director או ב-Cluster Toolkit. מידע נוסף זמין במדריך לפריסת אשכולות שמתאים לסוג המכונה שבחרתם, בטבלה הבאה.

עומסי עבודה	המלצות		מדריך לפריסת אשכול
	סוג מכונה	Orchestrator
כוונון עדין של מודלים גדולים	A4X Max A4X A4	GKE	יצירת אשכול GKE שעבר אופטימיזציה ל-AI עם הגדרת ברירת מחדל
		Slurm	יצירת אשכול Slurm מנוהל במלואו לעומסי עבודה של AI יצירת אשכול Slurm בניהול עצמי לעומסי עבודה של AI
כוונון עדין של מודלים גדולים	A3 Mega	GKE	מיקסום רוחב הפס של הרשת של המעבד הגרפי באשכולות במצב רגיל
		Slurm	יצירת אשכול שעבר אופטימיזציה ל-AI על סמך תבנית פריסת אשכול Slurm של A3 Mega לאימון למידת מכונה
כוונון עדין של מודלים גדולים	A3 High	GKE	מיקסום רוחב הפס של הרשת של המעבד הגרפי באשכולות במצב רגיל
		Slurm	פריסת אשכול Slurm מסוג A3 High

סוג הצריכה המומלץ

עבור עומסי עבודה של כוונון עדין, מומלץ להשתמש במקום שמור לעתיד במצב יומן כדי להקצות משאבים. מידע נוסף על אפשרויות הצריכה מפורט במאמר בחירת אפשרות צריכה.

המלצות להסקת מסקנות

בקטעים הבאים מפורטים המאיצים המומלצים וסוג הצריכה שמומלץ להשתמש בהם כשמבצעים היסק.

מאיצים מומלצים

ההמלצות לגבי מאיצים להסקת מסקנות תלויות בסוג ההסקה שאתם מבצעים: הסקה של מודל גדול או של מודל גבול רב-מארח, או הסקה של מודל גבול במארח יחיד.

מאיצים מומלצים (מרובי מארחים)

כדי לבצע הסקה של מודל גדול או הסקה של גבולות מרובי מארחים ב- Google Cloud, מומלץ להשתמש בסוג מכונה שעבר אופטימיזציה למאיץ A4X Max, ‏ A4X, ‏ A4 או A3, ולפרוס את המכונה באמצעות כלי תזמור. כדי לפרוס את קבוצות המאיצים האלה, מומלץ להשתמש גם ב-Cluster Director או ב-Cluster Toolkit. כדי לעזור לכם להתחיל להשתמש באשכולות האלה, אנחנו מספקים קישור למדריך לפריסת אשכולות לכל סוג מומלץ של מכונה.

עומסי עבודה	המלצות		מדריך לפריסת אשכול
	סוג מכונה	Orchestrator
הסקת מסקנות לגבי אתרים עם כמה מארחים	A4X Max A4X A4 A3 Ultra	GKE	יצירת אשכול GKE שעבר אופטימיזציה ל-AI עם הגדרת ברירת מחדל
		Slurm	יצירת אשכול Slurm מנוהל במלואו לעומסי עבודה של AI יצירת אשכול Slurm בניהול עצמי לעומסי עבודה של AI
הסקת מסקנות לגבי אתרים עם כמה מארחים	A3 Mega	GKE	מיקסום רוחב הפס של הרשת של המעבד הגרפי באשכולות במצב רגיל
		Slurm	יצירת אשכול שעבר אופטימיזציה ל-AI על סמך תבנית פריסת אשכול Slurm של A3 Mega לאימון למידת מכונה
הסקת מסקנות במודל גדול	A3 High	GKE	מיקסום רוחב הפס של הרשת של המעבד הגרפי באשכולות במצב רגיל
		Slurm	פריסת אשכול Slurm מסוג A3 High

מאיצים מומלצים (מארח יחיד)

בטבלה הבאה מפורטים המאיצים המומלצים לשימוש כשמבצעים הסקה של Frontier במארח יחיד. כדי לעזור לכם להתחיל להשתמש במכונות הווירטואליות האלה, אנחנו מספקים קישור למדריך לפריסת מכונות וירטואליות לכל סוג מומלץ של מכונה.

עומסי עבודה	המלצות		מדריך לפריסת מכונות וירטואליות
	סוג מכונה	Orchestrator
הסקת מסקנות בגבולות של מארח יחיד	A4 A3 Ultra	לא רלוונטי	יצירת מכונה שעברה אופטימיזציה ל-AI
הסקת מסקנות בגבולות של מארח יחיד	A3 High	לא רלוונטי	יצירת מכונה וירטואלית מסוג A3 עם GPUDirect-TCPX מופעל

סוג הצריכה המומלץ

לצורך הסקת מסקנות, מומלץ להשתמש בהזמנה לטווח ארוך או בהזמנה לעתיד במצב יומן. מידע נוסף על אפשרויות הצריכה מפורט במאמר בחירת אפשרות צריכה.

המלצות ללמידת מכונה של מודלים קטנים עד בינוניים

בעומסי עבודה של למידת מכונה שכוללים מודלים קטנים עד בינוניים, חשוב מאוד להגיע לאיזון אופטימלי בין מחיר לביצועים.

מאיצים מומלצים

בטבלה הבאה מפורטים המאיצים המומלצים לשימוש בעומסי עבודה של מודלים קטנים עד בינוניים של ML.

עומסי עבודה	המלצות		מדריך לפריסת מכונות וירטואליות
	סוג מכונה	Orchestrator
למידת מכונה של מודלים קטנים עד בינוניים	G4 G2	לא רלוונטי	יצירת מכונת G2 או G4

המלצות ל-HPC

לעומסי עבודה של HPC, כל סדרת מכונות וירטואליות שמותאמת למאיצים או סדרת מכונות וירטואליות שמותאמת לצריכת מעבד גבוהה מתאימה. אם משתמשים בסדרת מכונות שעברה אופטימיזציה לשימוש במאיץ, הסוג המתאים ביותר תלוי בכמות החישובים שצריך להעביר ל-GPU. רשימה מפורטת של המלצות לעומסי עבודה של HPC זמינה במאמר שיטות מומלצות להפעלת עומסי עבודה של HPC.

סיכום ההמלצות

בטבלה הבאה מפורטות ההמלצות שלנו לגבי המאיץ וסוג הצריכה שמתאימים לעומסי עבודה שונים.

משאב	המלצה
אימון מראש של המודל
משפחת מכונות	להשתמש באחד מסוגי המכונות הבאים שעברו אופטימיזציה לשימוש במאיץ: A4X Max,‏ A4X,‏ A4,‏ A3 Ultra,‏ A3 Mega או A3 High
סוג הצריכה	שימוש בהזמנות
כוונון עדין של מודלים
משפחת מכונות	שימוש בסוגי מכונות מותאמות למאיץ A4X Max,‏ A4X,‏ A4 או A3
סוג הצריכה	שימוש בהזמנות
הסקת מסקנות
משפחת מכונות	להשתמש באחד מסוגי המכונות הבאים שעברו אופטימיזציה לשימוש במאיץ: A4X Max,‏ A4X,‏ A4,‏ A3 Ultra,‏ A3 Mega או A3 High
סוג הצריכה	שימוש בהזמנות
HPC
סיכום השיטות המומלצות להרצת עומסי עבודה של HPC