מודלים של Llama מנוהלים באופן מלא

אפשר להשתמש במודלים של Llama כממשקי API מנוהלים וכמודלים בפריסה עצמית ב-Gemini Enterprise Agent Platform. אתם יכולים להעביר את התשובות בסטרימינג כדי לצמצם את תפיסת זמן האחזור של משתמשי הקצה. תשובה בסטרימינג משתמשת באירועים שנשלחים מהשרת (SSE) כדי להעביר את התשובה בסטרימינג באופן מצטבר.

מודלים מנוהלים של Llama

מודלים של Llama הם מודלים מנוהלים לחלוטין וללא שרת (serverless) שמוצעים כממשקי API. כדי להשתמש במודל Llama ב-Agent Platform, שולחים בקשה ישירות לנקודת הקצה ל-API של Agent Platform. כשמשתמשים במודלים של Llama בתור API מנוהל, אין צורך להקצות או לנהל תשתית.

אלה המודלים של Llama שזמינים לשימוש ב-Gemini Enterprise Agent Platform. כדי לגשת למודל Llama, עוברים לכרטיס המודל שלו ב-Model Garden.

Llama 4 Maverick 17B-128E המודל הכי גדול ומתקדם של Llama 4 (עם MoE 17B פעיל / 400B בסך הכול), שמותאם לכתיבת קוד, הסקת מסקנות מעמיקה, צ'אט מתוחכם והבנת תמונות ברמת דיוק גבוהה.

Llama 4 Scout 17B-16E מודל MoE יעיל במיוחד (‎17B פעילים / ‎109B בסך הכול) שמספק תוצאות מתקדמות בשליפת מידע מהקשרים ארוכים, בסיכום מסמכים ובהסקת מסקנות מבסיסי קוד גדולים.

שימוש במודלים של Llama

במודלים מנוהלים, אתם יכולים להשתמש בפקודות curl כדי לשלוח בקשות לנקודת הקצה של Gemini Enterprise Agent Platform באמצעות שמות המודלים הבאים. במאמר קריאה לממשקי API של מודלים פתוחים מוסבר איך שולחים קריאות בסטרימינג וללא סטרימינג למודלים של Llama.

כדי להשתמש במודל של Gemini Enterprise Agent Platform בפריסה עצמית:

1. נכנסים למסוף Model Garden.
2. מוצאים את המודל הרלוונטי ב-Gemini Enterprise Agent Platform.
3. לוחצים על Enable וממלאים את הטופס כדי לקבל את הרישיונות הנדרשים לשימוש מסחרי.

מידע נוסף על פריסה ושימוש במודלים של שותפים זמין במאמר פריסת מודל של שותף ושליחת בקשות לחיזוי.

המאמרים הבאים

איך משתמשים במודלים של Llama