ההעדפות של Gemini Enterprise Agent Platform מאפשרות לכם לשפר את מודלי Gemini באמצעות נתוני משוב אנושי.
התאמה של ההעדפות מאפשרת למודל ללמוד מהעדפות סובייקטיביות של משתמשים שקשה להגדיר באמצעות תוויות ספציפיות או באמצעות כוונון עדין מפוקח בלבד.
מערך הנתונים של קלט לכוונון ההעדפות מכיל דוגמאות שמורכבות מהנחיה ומזוג תשובות, שבהן מצוין איזו תשובה מועדפת ואיזו לא. המודל לומד ליצור תשובות מועדפות עם הסתברות גבוהה יותר ותשובות לא מועדפות עם הסתברות נמוכה יותר.
במאמר הכנת נתונים לשינוי ההעדפות במודלים של Gemini מוסבר איך להכין את מערך הנתונים.
מודלים נתמכים
המודלים הבאים של Gemini תומכים בהתאמה להעדפות:
לחצו כדי להרחיב את רשימת המודלים הנתמכים
מגבלות
| מפרט | ערך |
|---|---|
| אופנים | טקסט |
| גודל הקובץ של מערך הנתונים לאימון | 1GB |
| מספר מקסימלי של טוקנים בקלט ובפלט לכל דוגמה לאימון | 131,072 |
| מספר מקסימלי של טוקנים של קלט ופלט | זהה למודל הבסיסי של Gemini |
| מספר מקסימלי של דוגמאות אימון במערך נתוני אימון | 10 מיליון דוגמאות לאימון טקסט בלבד |
| גודל מקסימלי של מערך הנתונים לאימות | 5,000 דוגמאות או 30% ממספר הדוגמאות לאימון, אם יש יותר מ-1,000 דוגמאות לאימות |
| גודל המתאם | הערכים הנתמכים הם 1, 2, 4, 8 ו-16 |
שיטות מומלצות
לפני שמחילים את אלגוריתם האופטימיזציה של ההעדפות על המודל, מומלץ מאוד לבצע את הפעולות הבאות:
- מכווננים את המודל באמצעות כוונון בפיקוח על נתוני התגובות המועדפות. כך המודל לומד ליצור תשובות מועדפות במהלך ההיקש.
- ממשיכים לכוונן מנקודת הבדיקה שנוצרה משלב 1 באמצעות כוונון ההעדפות. כך המודל לומד להגדיל את פער הסבירות בין תשובות מועדפות לבין תשובות לא מועדפות.
כדי ליצור את מערך הנתונים של הכוונון העדין בפיקוח, משתמשים בצמדי ההנחיות והתשובות המקובלות במערך הנתונים של ההעדפות כהנחיות ויעדים למערך הנתונים של הכוונון העדין בפיקוח. בדרך כלל, מספיק לבצע תקופה אחת או שתיים של כוונון עדין מפוקח, אבל זה יכול להשתנות בהתאם לגודל מערך הנתונים ולמידת ההתאמה של מערך הנתונים לאימון למודל Gemini בהתחלה.
כדי להשתמש בכוונון עדין מפוקח כדי לכוונן את המודל, פועלים לפי השלבים במאמר כוונון מודלים של Gemini באמצעות כוונון עדין מפוקח.
מכסה
המכסה נאכפת על מספר משימות ההתאמה האישית שמתבצעות בו-זמנית. כל פרויקט מגיע עם מכסה שמאפשר להריץ לפחות משימת התאמה אחת. זו מכסה גלובלית שמשותפת לכל האזורים הזמינים ולכל המודלים הנתמכים. אם רוצים להריץ יותר משימות בו-זמנית, צריך לבקש מכסה נוספת ל-Global concurrent tuning jobs.
תמחור
כאן אפשר למצוא את התמחור של Gemini preference tuning.
לצורך תמחור, מספר הטוקנים בכל דוגמה של התאמה אישית מחושב על ידי הכפלת מספר הטוקנים בהנחיה ב-2, ואז הוספה של מספר הטוקנים של ההשלמה.