מודלים של Llama שמוטמעים באופן עצמאי

‫Llama הוא אוסף של מודלים פתוחים שפותחו על ידי Meta, שאפשר לכוונן ולפרוס ב-Gemini Enterprise Agent Platform. ‫Llama מציע מודלים גנרטיביים של טקסט דינמי מבוסס-AI ומודלים מולטי-מודאליים שאומנו מראש ועברו כוונון לפי הוראות.

Llama 4

משפחת המודלים Llama 4 היא אוסף של מודלים מולטי-מודאליים שמבוססים על ארכיטקטורת שילוב מומחים (MoE). באמצעות ארכיטקטורת MoE, מודלים עם מספר גדול מאוד של פרמטרים יכולים להפעיל קבוצת משנה של הפרמטרים האלה לכל קלט נתון, וכך להסיק מסקנות בצורה יעילה יותר. בנוסף, Llama 4 משתמש ב-early fusion, שמשלב מידע טקסטואלי וחזותי משלבי העיבוד הראשוניים. השיטה הזו מאפשרת למודלים של Llama 4 להבין בצורה יעילה יותר קשרים מורכבים וניואנסים בין טקסט לתמונות. ‫Model Garden ב-Gemini Enterprise Agent Platform מציע שני מודלים של Llama 4: ‏Llama 4 Scout ו-Llama 4 Maverick.

מידע נוסף זמין בכרטיס המודל של Llama 4 ב-Model Garden או בפוסט בבלוג Introducing Llama 4 on Gemini Enterprise Agent Platform.

Llama 4 Maverick

‫Llama 4 Maverick הוא המודל הגדול ביותר של Llama 4, והוא מציע יכולות תכנות, חשיבה ועיבוד תמונות. יש לו 17 מיליארד פרמטרים פעילים מתוך 400 מיליארד פרמטרים בסך הכול, עם 128 מומחים. ‫Llama 4 Maverick משתמש בשכבות MoE ושכבות דחוסות לסירוגין, שבהן כל טוקן מפעיל מומחה משותף וגם אחד מ-128 המומחים המנותבים. כשפורסים באופן עצמאי מ-Model Garden, אפשר לפרוס את המודל שעבר אימון מראש (llama-4-maverick-17b-128e), את המודל שעבר כוונון לפי הוראות ברמת דיוק של BF16‏ (llama-4-maverick-17b-128e-instruct) או את המודל שעבר כוונון לפי הוראות עם קוונטיזציה של FP8‏ (llama-4-maverick-17b-128e-instruct-fp8). נקודת הקצה המנוהלת של MaaS‏ (llama-4-maverick-17b-128e-instruct-maas) מציגה את המודל שעבר כוונון לפי הוראות ברמת דיוק קבועה של FP8. המודל אומן מראש ב-200 שפות ועבר אופטימיזציה לאינטראקציות בצ'אט באמצעות צינור עיבוד נתונים לאחר אימון.

‫Llama 4 Maverick הוא מודל מולטי-מודאלי עם חלון הקשר של מיליון טוקנים. הוא מתאים ליצירת כיתוב לתמונות, ניתוח חזותי, מענה לשאלות על תמונות (VQA), יצירת טקסט יצירתי, עוזרים אישיים מבוססי-AI לשימוש כללי ואפליקציות צ'אט מורכבות.

‫Llama 4 Scout

‫Llama 4 Scout הוא מודל MoE יעיל במיוחד עם חלון הקשר של 10 מיליון טוקנים. הוא כולל 17 מיליארד פרמטרים פעילים מתוך 109 מיליארד פרמטרים בסך הכול, עם 16 מומחים. כשפורסים באופן עצמאי מ-Model Garden, אפשר לפרוס את המודל שעבר אימון מראש (llama-4-scout-17b-16e) או את המודל שעבר כוונון לפי הוראות (llama-4-scout-17b-16e-instruct). נקודת הקצה המנוהלת של MaaS‏ (llama-4-scout-17b-16e-instruct-maas) משרתת את המודל שעבר כוונון לפי הוראות ברמת דיוק קבועה של FP8. המודל Llama 4 Scout מתאים למשימות אחזור בהקשרים ארוכים ולמשימות שדורשות הסקת מסקנות על כמויות גדולות של מידע, כמו סיכום של כמה מסמכים גדולים, ניתוח של יומני אינטראקציות נרחבים של משתמשים לצורך התאמה אישית והסקת מסקנות על בסיסי קוד גדולים.

Llama 3.3

‫Llama 3.3 הוא מודל טקסט בלבד עם 70 מיליארד פרמטרים שעבר כוונון לפי הוראות. הוא מספק ביצועים משופרים בהשוואה ל-Llama 3.1 עם 70 מיליארד פרמטרים ול-Llama 3.2 עם 90 מיליארד פרמטרים, כשמשתמשים בו באפליקציות טקסט בלבד. בנוסף, באפליקציות מסוימות, הביצועים של Llama 3.3 70B דומים לאלה של Llama 3.1 405B.

מידע נוסף זמין בכרטיס המודל של Llama 3.3 ב-Model Garden.

Llama 3.2

‫Llama 3.2 מאפשר למפתחים ליצור ולפרוס את מודלי ה-AI הגנרטיבי והאפליקציות העדכניים ביותר, שמשתמשים ביכולות של Llama כדי להצית חידושים, כמו הסקת מסקנות מתמונות. הוא גם מותאם יותר לאפליקציות שפועלות במכשיר. התכונות העיקריות של Llama 3.2:

  • חוויית AI פרטית ומותאמת אישית יותר, עם עיבוד במכשיר למודלים קטנים יותר.
  • מודלים שנועדו להיות יעילים יותר, עם זמן אחזור קצר יותר וביצועים משופרים, כך שהם מתאימים למגוון רחב של אפליקציות.
  • הוא מבוסס על Llama Stack, שמאפשר ליצור ולפרוס אפליקציות בקלות. ‫Llama Stack הוא ממשק סטנדרטי ליצירת רכיבי toolchain קנוניים ואפליקציות מבוססות-סוכנים.
  • תומך במשימות ראייה, עם ארכיטקטורת מודל חדשה שמשלבת ייצוגים של מקודד תמונות במודל השפה.

המודלים 1B ו-3B הם מודלים קלים של טקסט בלבד, שתומכים בתרחישי שימוש במכשיר כמו אחזור ידע מקומי בכמה שפות, סיכום ושכתוב.

המודלים Llama 11B ו-Llama 90B הם מודלים מולטי-מודאליים קטנים ובינוניים עם יכולת הסקת מסקנות מתמונות. לדוגמה, הם יכולים לנתח נתונים חזותיים מתרשימים כדי לספק תשובות מדויקות יותר, ולחלץ פרטים מתמונות כדי ליצור תיאורי טקסט.

מידע נוסף זמין בכרטיס המודל של Llama 3.2 ב-Model Garden.

לתשומת ליבכם

כשמשתמשים במודלים 11B ו-90B, אין הגבלות על שליחת הנחיות טקסט בלבד. עם זאת, אם אתם כוללים תמונה בהנחיה, היא חייבת להיות בתחילת ההנחיה, ואפשר לכלול רק תמונה אחת. לדוגמה, אי אפשר לכלול קטע טקסט ואחריו תמונה.

Llama 3.1

‫Llama 3.1 הוא אוסף של מודלים גדולים של שפה (LLM) בכמה שפות. אלה מודלים גנרטיביים שעברו אימון מראש וכוונון לפי הוראות, בגדלים 8B,‏ 70B ו-405B (קלט ופלט של טקסט). המודלים של Llama 3.1‎ שעברו כוונון לפי הוראות וכוללים טקסט בלבד (8B,‏ 70B,‏ 405B) מותאמים לתרחישי שימוש של דיאלוגים בכמה שפות, והם עולים בביצועים על הרבה מהמודלים הזמינים של צ'אט בקוד פתוח ובקוד סגור בנקודות השוואה נפוצות בתחום.

מידע נוסף זמין בכרטיס המודל של Llama 3.1 ב-Model Garden.

Llama 3

המודלים של Llama 3 שעברו כוונון באמצעות הוראות הם אוסף של מודלים גדולים של שפה (LLM) שמתאימים לתרחישים לדוגמה של דיאלוגים. המודלים של Llama 3 מציגים ביצועים טובים יותר מהרבה מודלים זמינים של צ'אט בקוד פתוח, לפי השוואה לשוק נפוצה בתחום.

מידע נוסף זמין בכרטיס המודל של Llama 3 ב-Model Garden.

Llama 2

מודלי ה-LLM של Llama 2 הם אוסף של מודלים גנרטיביים של טקסט, שעברו אימון מראש וכוונון עדין, בגדלים שנעים בין 7 מיליארד ל-70 מיליארד פרמטרים.

מידע נוסף זמין בכרטיס המודל של Llama 2 ב-Model Garden.

Code Llama

המודלים של Code Llama מבית Meta מיועדים לסינתזה, להבנה ולהוראה של קוד.

מידע נוסף זמין בכרטיס המודל של Code Llama ב-Model Garden.

Llama Guard 3

‫Llama Guard 3 מתבסס על היכולות של Llama Guard 2, ומוסיף שלוש קטגוריות חדשות: Defamation (השמצה), Elections (בחירות) ו-Code Interpreter Abuse (ניצול לרעה של מפרש הקוד). בנוסף, המודל הזה הוא רב-לשוני, והפורמט של ההנחיות שלו תואם למודלים של Llama 3 או למודלים מאוחרים יותר של הוראות.

מידע נוסף זמין בכרטיס המודל של Llama Guard ב-Model Garden.

משאבים

למידע נוסף על Model Garden, קראו את המאמר סקירת מודלים של AI ב-Model Garden.