ההעדפות של Gemini Enterprise Agent Platform מאפשרות לכם לשפר את מודלי Gemini באמצעות נתוני משוב אנושי.
התאמה של ההעדפות מאפשרת למודל ללמוד מהעדפות סובייקטיביות של משתמשים שקשה להגדיר באמצעות תוויות ספציפיות או באמצעות כוונון עדין מפוקח בלבד.
מערך הנתונים של הקלט לשינוי ההעדפות מכיל דוגמאות שכוללות פרומפט וזוג תשובות, שמציינות איזו תשובה מועדפת ואיזו לא. המודל לומד ליצור תשובות מועדפות עם הסתברות גבוהה יותר ותשובות לא מועדפות עם הסתברות נמוכה יותר.
במאמר הכנת נתונים לשינוי העדפות במודלים של Gemini מוסבר איך להכין את מערך הנתונים.
מודלים נתמכים
המודלים הבאים של Gemini תומכים בהתאמה להעדפות:
כדי להרחיב את רשימת המודלים הנתמכים, לוחצים כאן
מגבלות
| מפרט | ערך |
|---|---|
| אמצעי תחבורה | טקסט |
| גודל הקובץ של מערך הנתונים לאימון | 1GB |
| מספר מקסימלי של טוקנים בקלט ובפלט לכל דוגמה לאימון | 131,072 |
| מספר מקסימלי של טוקנים של קלט ופלט | זהה למודל Gemini הבסיסי |
| המספר המקסימלי של דוגמאות אימון בקבוצת נתונים לאימון | 10 מיליון דוגמאות לאימון עם טקסט בלבד |
| גודל מקסימלי של מערך נתונים לאימות | 5,000 דוגמאות או 30% ממספר הדוגמאות לאימון, אם יש יותר מ-1,000 דוגמאות לאימות |
| גודל המתאם | הערכים הנתמכים הם 1, 2, 4, 8 ו-16 |
שיטות מומלצות
לפני שמחילים את אלגוריתם האופטימיזציה של ההעדפות על המודל, מומלץ מאוד לבצע את הפעולות הבאות:
- מכווננים את המודל באמצעות כוונון בפיקוח על נתוני התגובה המועדפים. כך המודל לומד ליצור תשובות מועדפות במהלך ההיקש.
- ממשיכים לכוונן מנקודת הבדיקה שנוצרה בשלב 1 באמצעות כוונון העדפות. כך המודל לומד להגדיל את פער הסבירות בין תשובות מועדפות לבין תשובות לא מועדפות.
כדי ליצור את מערך הנתונים של הכוונון העדין בפיקוח, משתמשים בצמדי ההנחיות והתשובות שאושרו במערך הנתונים של ההעדפות כהנחיות ויעדים למערך הנתונים של הכוונון העדין בפיקוח. בדרך כלל, מספיק לבצע תקופה אחת או שתיים של כוונון עדין מפוקח, אבל זה יכול להשתנות בהתאם לגודל של מערך הנתונים ולמידת ההתאמה של מערך הנתונים לאימון עם מודל Gemini בהתחלה.
כדי להשתמש בכוונון עדין מפוקח כדי לכוונן את המודל, פועלים לפי השלבים במאמר כוונון מודלים של Gemini באמצעות כוונון עדין מפוקח.
מכסה
המכסה נאכפת על מספר משימות ההתאמה האישית שמתבצעות בו-זמנית. לכל פרויקט יש מכסה שמוגדרת כברירת מחדל להרצת לפחות משימת כוונון אחת. זו מכסה גלובלית, שמשותפת לכל האזורים הזמינים ולכל המודלים הנתמכים. אם רוצים להריץ יותר משימות בו-זמנית, צריך לבקש מכסה נוספת ל-Global concurrent tuning jobs.
תמחור
את התמחור של התאמת ההעדפות ב-Gemini אפשר למצוא כאן: Gemini Enterprise Agent Platform pricing.
לצורך תמחור, מספר הטוקנים בכל דוגמה להתאמה אישית מחושב על ידי הכפלת מספר הטוקנים בהנחיה ב-2, ואז הוספת מספר הטוקנים של ההשלמה.