Llama היא אוסף של מודלים פתוחים שפותחו על ידי Meta. אפשר לבצע כוונון עדין ולפרוס אותם ב-Gemini Enterprise Agent Platform. Llama מציעה מודלים גנרטיביים של טקסט ומודלים מולטימודיאליים שעברו אימון מראש וכוונון לפי הוראות.
Llama 4
משפחת המודלים Llama 4 היא אוסף של מודלים מולטימודאליים שמשתמשים בארכיטקטורה של Mixture-of-Experts (MoE). השימוש בארכיטקטורת MoE מאפשר למודלים עם מספר גדול מאוד של פרמטרים להפעיל קבוצת משנה של הפרמטרים האלה עבור כל קלט נתון, וכך להסיק מסקנות בצורה יעילה יותר. בנוסף, Llama 4 משתמשת במיזוג מוקדם, שמשלב מידע טקסטואלי ומידע ויזואלי משלבי העיבוד הראשוניים. השיטה הזו מאפשרת למודלים של Llama 4 להבין בצורה יעילה יותר קשרים מורכבים ודקים בין טקסט ותמונות. Model Garden ב-Gemini Enterprise Agent Platform מציע שני מודלים של Llama 4: Llama 4 Scout ו-Llama 4 Maverick.
מידע נוסף זמין בכרטיס המודל Llama 4 ב-Model Garden או בפוסט בבלוג Introducing Llama 4 on Gemini Enterprise Agent Platform.
Llama 4 Maverick
Llama 4 Maverick הוא המודל הכי גדול והכי מתקדם בסדרת Llama 4, והוא מציע יכולות מובילות בתחום הקידוד, החשיבה הרציונלית והשוואות הביצועים של תמונות. יש בו 17 מיליארד פרמטרים פעילים מתוך 400 מיליארד פרמטרים בסך הכול, עם 128 מומחים. Llama 4 Maverick משתמש בשכבות צפופות ובשכבות MoE לסירוגין, כאשר כל טוקן מפעיל מומחה משותף בתוספת אחד מ-128 המומחים המנותבים. אפשר להשתמש במודל כמודל שעבר אימון מקדים (PT) או כמודל שעבר כוונון לפי הוראות (IT) עם תמיכה ב-FP8. המודל מאומן מראש על 200 שפות ועבר אופטימיזציה לאינטראקציות בצ'אט באיכות גבוהה באמצעות צינור משופר של עיבוד נתונים אחרי האימון.
Llama 4 Maverick הוא מולטי-מודאלי וחלון ההקשר שלו הוא מיליון. הוא מתאים ליצירת כיתוב לתמונות מתקדם, לניתוח, להבנה מדויקת של תמונות, לשאלות ותשובות חזותיות, ליצירת טקסט יצירתי, לעוזרי AI לשימוש כללי ולצ'אט בוטים מתוחכמים שדורשים אינטליגנציה והבנה של תמונות ברמה הגבוהה ביותר.
Llama 4 Scout
Llama 4 Scout מספק תוצאות מתקדמות ביחס לגודל שלו, עם חלון הקשר גדול של 10 מיליון טוקנים. הוא עולה בביצועים על דורות קודמים של Llama ועל מודלים אחרים קנייניים ופתוחים בכמה מדדים. יש בו 17 מיליארד פרמטרים פעילים מתוך 109 מיליארד פרמטרים בסך הכול, עם 16 מומחים, והוא זמין כמודל שאומן מראש (PT) או כמודל שעבר כוונון לפי הוראות (IT). Llama 4 Scout מתאים למשימות אחזור בהקשרים ארוכים ולמשימות שדורשות חשיבה רציונלית על כמויות גדולות של מידע, כמו סיכום של כמה מסמכים גדולים, ניתוח נתונים של יומני אינטראקציה נרחבים של משתמשים לצורך התאמה אישית וחשיבה רציונלית על בסיסי קוד גדולים.
Llama 3.3
Llama 3.3 הוא מודל עם 70 מיליארד פרמטרים שעבר כוונון לפי הוראות, והוא מיועד רק ליצירת טקסט. הוא מספק ביצועים משופרים בהשוואה ל-Llama 3.1 70B ול-Llama 3.2 90B כשמשתמשים בו באפליקציות שמיועדות רק ליצירת טקסט. בנוסף, בחלק מהאפליקציות, הביצועים של Llama 3.3 70B דומים לביצועים של Llama 3.1 405B.
מידע נוסף זמין בכרטיס המודל Llama 3.3 ב-Model Garden.
Llama 3.2
Llama 3.2 מאפשר למפתחים ליצור ולפרוס את המודלים והאפליקציות העדכניים ביותר של AI גנרטיבי, שמשתמשים ביכולות של Llama כדי להניע חדשנות, כמו ניתוח תמונות. Llama 3.2 גם נועד להיות נגיש יותר לאפליקציות במכשיר. ברשימה הבאה מודגשות התכונות של Llama 3.2:
- חוויית שימוש פרטית יותר ב-AI שמותאמת אישית, עם עיבוד במכשיר של מודלים קטנים יותר.
- המודלים האלה נועדו להיות יעילים יותר, עם חביון מופחת וביצועים משופרים, ולכן הם מתאימים למגוון רחב של אפליקציות.
- הוא מבוסס על Llama Stack, שמקל על בנייה ופריסה של אפליקציות. Llama Stack הוא ממשק סטנדרטי לבניית רכיבי שרשרת כלים קנוניים ואפליקציות מבוססות-סוכנים.
- תומך במשימות שקשורות לראייה, עם ארכיטקטורת מודל חדשה שמשלבת ייצוגים של מקודד תמונות במודל השפה.
מודלים 1B ו-3B הם מודלים קלי משקל שמבוססים על טקסט בלבד, ותומכים בתרחישי שימוש במכשיר כמו אחזור ידע מקומי רב-לשוני, סיכום וכתיבה מחדש.
מודלים של Llama 11B ו-90B הם מודלים קטנים ובינוניים מולטי-מודאליים עם יכולת חשיבה רציונלית על תמונות. לדוגמה, הם יכולים לנתח נתונים חזותיים מתרשימים כדי לספק תשובות מדויקות יותר, ולחלץ פרטים מתמונות כדי ליצור תיאורי טקסט.
מידע נוסף זמין בכרטיס מודל Llama 3.2 ב-Model Garden.
לתשומת ליבכם
כשמשתמשים ב-11B וב-90B, אין הגבלות כששולחים הנחיות שמכילות רק טקסט. עם זאת, אם כוללים תמונה בהנחיה, התמונה חייבת להיות בתחילת ההנחיה, ואפשר לכלול רק תמונה אחת. לדוגמה, אי אפשר לכלול טקסט ואז תמונה.
Llama 3.1
Llama 3.1 הוא אוסף של מודלים גדולים של שפה (LLM) רב-לשוניים, שהם מודלים גנרטיביים שעברו אימון מראש והתאמה להוראות בגדלים של 8B, 70B ו-405B (טקסט כקלט וטקסט כפלט). מודלים של Llama 3.1 עם כוונון להוראות, שמבוססים על טקסט בלבד (8B, 70B, 405B), מותאמים לתרחישי שימוש של דיאלוג רב-לשוני, והם עולים בביצועים שלהם על הרבה מודלים זמינים של צ'אט בקוד פתוח וסגור, במבחני השוואה נפוצים בתעשייה.
מידע נוסף זמין בכרטיס הדגם Llama 3.1 ב-Model Garden.
Llama 3
מודלים של Llama 3 שעברו כוונון להנחיות הם אוסף של מודלים גדולים של שפה (LLM) שעברו אופטימיזציה לתרחישי שימוש של דיאלוג. מודלים של Llama 3 משיגים ביצועים טובים יותר בהשוואה להרבה מודלים זמינים של צ'אט בקוד פתוח, במדדים מקובלים בתעשייה.
מידע נוסף זמין בכרטיס מודל Llama 3 ב-Model Garden.
Llama 2
מודלי השפה הגדולים של Llama 2 הם אוסף של מודלים גנרטיביים של טקסט שעברו אימון מראש וכוונון עדין, והגודל שלהם נע בין 7 מיליארד ל-70 מיליארד פרמטרים.
מידע נוסף זמין בכרטיס מודל Llama 2 ב-Model Garden.
Code Llama
מודלים של Code Llama מבית Meta מיועדים לסינתזה, להבנה ולהוראה של קוד.
מידע נוסף זמין בכרטיס המודל Code Llama ב-Model Garden.
Llama Guard 3
Llama Guard 3 מבוסס על היכולות של Llama Guard 2, וכולל שלוש קטגוריות חדשות: הוצאת דיבה, בחירות וניצול לרעה של מפרש קוד. בנוסף, המודל הזה הוא רב-לשוני ויש לו פורמט הנחיה שתואם למודלים של Llama 3 או למודלים מתקדמים יותר.
מידע נוסף זמין בכרטיס הדגם Llama Guard ב-Model Garden.
משאבים
מידע נוסף על Model Garden זמין במאמר הכרת מודלים של AI ב-Model Garden.