התאמה אישית של Gemini Enterprise Agent Platform מאפשרת לכם לשפר את מודלי Gemini באמצעות נתונים של משוב אנושי.
התאמה להעדפות מאפשרת למודל ללמוד מהעדפות סובייקטיביות של משתמשים שקשה להגדיר באמצעות תוויות ספציפיות או באמצעות כוונון עדין מפוקח בלבד.
מערך הנתונים של הקלט לשיפור ההעדפות מכיל דוגמאות שכוללות פרומפט וזוג תשובות, שמציינות איזו תשובה מועדפת ואיזו לא. המודל לומד ליצור תשובות מועדפות עם הסתברות גבוהה יותר ותשובות לא מועדפות עם הסתברות נמוכה יותר.
במאמר הכנת נתונים לשינוי ההעדפות של מודלים של Gemini מוסבר איך להכין את מערך הנתונים.
מודלים נתמכים
המודלים הבאים של Gemini תומכים בהתאמה להעדפות:
לחצו כדי להרחיב את רשימת המודלים הנתמכים
מגבלות
| מפרט | ערך |
|---|---|
| אופנים | טקסט |
| גודל הקובץ של מערך הנתונים לאימון | 1GB |
| מספר מקסימלי של טוקנים בקלט ובפלט לכל דוגמה לאימון | 131,072 |
| מספר מקסימלי של טוקנים של קלט ופלט | זהה למודל Gemini הבסיסי |
| מספר מקסימלי של דוגמאות אימון במערך נתוני אימון | 10 מיליון דוגמאות לאימון טקסט בלבד |
| גודל מקסימלי של מערך הנתונים לאימות | 5,000 דוגמאות או 30% ממספר הדוגמאות לאימון, אם יש יותר מ-1,000 דוגמאות לאימות |
| גודל המתאם | הערכים הנתמכים הם 1, 2, 4, 8 ו-16 |
שיטות מומלצות
לפני שמחילים את אלגוריתם האופטימיזציה של ההעדפות על המודל, מומלץ מאוד לבצע את הפעולות הבאות:
- מכווננים את המודל באמצעות כוונון בפיקוח על נתוני התגובות המועדפות. כך המודל לומד ליצור תשובות מועדפות במהלך ההיקש.
- ממשיכים לכוונן מנקודת הבדיקה שנוצרה משלב 1 באמצעות כוונון ההעדפות. כך המודל לומד להגדיל את פער הסבירות בין תשובות מועדפות לבין תשובות לא מועדפות.
כדי ליצור את מערך הנתונים של הכוונון העדין בפיקוח, משתמשים בצמדי ההנחיות והתשובות המקובלות במערך הנתונים של ההעדפות כהנחיות ויעדים למערך הנתונים של הכוונון העדין בפיקוח. בדרך כלל, מספיק לבצע תקופה אחת או שתיים של כוונון עדין מפוקח, אבל זה יכול להשתנות בהתאם לגודל מערך הנתונים ולמידת ההתאמה של מערך הנתונים לאימון עם מודל Gemini מלכתחילה.
כדי להשתמש בשיטת ה-SFT כדי לשפר את המודל, פועלים לפי השלבים במאמר שיפור המודלים של Gemini באמצעות שיטת ה-SFT.
מכסה
המכסה נאכפת על מספר משימות ההתאמה האישית שמתבצעות בו-זמנית. כל פרויקט מגיע עם מכסה שמאפשר להריץ לפחות משימת התאמה אחת. זו מכסה גלובלית שמשותפת לכל האזורים הזמינים ולכל המודלים הנתמכים. אם רוצים להריץ יותר משימות בו-זמנית, צריך לבקש מכסה נוספת ל-Global concurrent tuning jobs.
תמחור
את התמחור של Gemini preference tuning אפשר למצוא כאן: Gemini Enterprise Agent Platform pricing.
לצורך תמחור, מספר הטוקנים בכל דוגמה להתאמה אישית מחושב על ידי הכפלת מספר הטוקנים בהנחיה ב-2, ואז הוספה של מספר הטוקנים של ההשלמה.