ב-Gemini Enterprise Agent Platform אתם יכולים לכוונן את מודלי Gemini באמצעות נתונים ממשוב אנושי.
כוונון העדפות מאפשר למודל ללמוד מהעדפות סובייקטיביות של משתמשים שקשה להגדיר באמצעות תוויות ספציפיות או באמצעות כוונון מפוקח בלבד.
קבוצת הנתונים של הקלט לכוונון ההעדפות מכילה דוגמאות שמורכבות מהנחיה וזוג תשובות, שמציינות איזו מהן מועדפת ואיזו לא מועדפת. המודל לומד ליצור תשובות מועדפות בסבירות גבוהה יותר ותשובות לא מועדפות בסבירות נמוכה יותר.
איך מכינים את הנתונים לכוונון לפי העדפות במודלים של Gemini
מודלים נתמכים
המודלים הבאים של Gemini תומכים בכוונון לפי העדפות:
לחצו כדי להרחיב את רשימת המודלים הנתמכים
מגבלות
| מפרט | ערך |
|---|---|
| מודליות | טקסט |
| גודל הקובץ של מערך הנתונים לאימון | 1GB |
| מספר מקסימלי של טוקנים לקלט ולפלט בכל דוגמת אימון | 131,072 |
| מספר מקסימלי של טוקנים להצגה בקלט ובפלט | זהה למודל Gemini הבסיסי |
| המספר המקסימלי של דוגמאות אימון בקבוצת נתונים לאימון | 10 מיליון דוגמאות אימון מסוג טקסט בלבד |
| הגודל המקסימלי של מערך הנתונים לאימות | 5,000 דוגמאות או 30% ממספר דוגמאות האימון, אם יש יותר מ-1,000 דוגמאות אימות |
| גודל המתאם | הערכים הנתמכים הם 1, 2, 4, 8 ו-16 |
שיטות מומלצות
לפני שמפעילים את אלגוריתם אופטימיזציית ההעדפות במודל, מומלץ מאוד לבצע את הפעולות הבאות:
- מכווננים את המודל באמצעות כוונון מפוקח (SFT) על נתוני התשובות המועדפות. כך המודל לומד ליצור תשובות מועדפות במהלך ההסקה.
- ממשיכים בכוונון מנקודת הבדיקה שנוצרה בשלב 1 באמצעות כוונון לפי העדפות. כך המודל לומד להגדיל את פער הסבירות בין התשובות המועדפות לתשובות הלא מועדפות.
כדי ליצור את מערך הנתונים לכוונון מפוקח, משתמשים בצמדים של ההנחיה והתשובה המקובלת במערך הנתונים של ההעדפות בתור ההנחיה והיעד של מערך הנתונים לכוונון מפוקח. בדרך כלל, תקופה אחת או שתיים של כוונון מפוקח אמורות להספיק, אבל זה יכול להשתנות בהתאם לגודל של קבוצת הנתונים ולמידת ההתאמה של קבוצת הנתונים לאימון למודל Gemini בהתחלה.
כדי להשתמש בכוונון מפוקח (SFT) להתאמת מודל Gemini, פועלים לפי השלבים במאמר כוונון מודלים של Gemini באמצעות כוונון מפוקח (SFT).
מכסה
המכסה נאכפת על מספר משימות הכוונון שמתבצעות בו-זמנית. לכל פרויקט יש מכסה שמוגדרת כברירת מחדל להרצה של משימת כוונון אחת לפחות. זו מכסה גלובלית שמשותפת לכל האזורים הזמינים ולכל המודלים הנתמכים. אם אתם רוצים להריץ יותר משימות בו-זמנית, אתם צריכים לבקש מכסה נוספת ל-Global concurrent tuning jobs.
תמחור
התמחור של התאמת ההעדפות ב-Gemini מפורט במאמר התמחור של Gemini Enterprise Agent Platform.
למטרות תמחור, מספר הטוקנים לכל דוגמה לכוונון מחושב על ידי הכפלת מספר הטוקנים בהנחיה ב-2, ואז הוספת מספר הטוקנים להשלמה.