מידע על התאמת העדפות למודלים של Gemini

‫Gemini Enterprise Agent Platform מאפשרת לכם לכוונן את מודלי Gemini באמצעות נתוני משוב אנושי.

כוונון העדפות מאפשר למודל ללמוד מהעדפות סובייקטיביות של משתמשים שקשה להגדיר באמצעות תוויות ספציפיות או באמצעות כוונון מפוקח (SFT) בלבד.

קבוצת הנתונים של הקלט לכוונון ההעדפות מכילה דוגמאות שמורכבות מהנחיה וזוג תשובות, שמציינות איזו מהן מועדפת ואיזו לא מועדפת. המודל לומד ליצור תשובות מועדפות בסבירות גבוהה יותר ותשובות לא מועדפות בסבירות נמוכה יותר.

איך מכינים את מערך הנתונים לכוונון לפי העדפות במודלים של Gemini

מודלים נתמכים

המודלים הבאים של Gemini תומכים בכוונון לפי העדפות:

לחצו כדי להרחיב את רשימת המודלים הנתמכים

מגבלות

מפרט ערך
אמצעי טיפול טקסט
גודל הקובץ של מערך הנתונים לאימון 1GB
מספר מקסימלי של טוקנים לקלט ולפלט בכל דוגמת אימון 131,072
מספר מקסימלי של טוקנים בקלט ובפלט זהה למודל Gemini הבסיסי
מספר מקסימלי של דוגמאות אימון בקבוצת נתונים לאימון 10 מיליון דוגמאות אימון מסוג טקסט בלבד
הגודל המקסימלי של מערך הנתונים לאימות ‫5,000 דוגמאות או 30% ממספר דוגמאות האימון, אם יש יותר מ-1,000 דוגמאות אימות
גודל המתאם הערכים הנתמכים הם 1, 2, 4, 8 ו-16

שיטות מומלצות

לפני שמפעילים את אלגוריתם האופטימיזציה של ההעדפות במודל, מומלץ מאוד לבצע את הפעולות הבאות:

  1. מכווננים את המודל באמצעות כוונון מפוקח (SFT) על נתוני התשובות המועדפות. כך המודל לומד ליצור תשובות מועדפות במהלך ההסקה.
  2. ממשיכים בכוונון מנקודת הבדיקה שנוצרה בשלב 1 באמצעות כוונון לפי העדפות. כך המודל לומד להגדיל את פער הסבירות בין תשובות מועדפות לתשובות לא מועדפות.

כדי ליצור את מערך הנתונים לכוונון מפוקח, משתמשים בצמדים של ההנחיה והתשובה המקובלת במערך הנתונים של ההעדפות בתור ההנחיה והיעד של מערך הנתונים לכוונון מפוקח. בדרך כלל, תקופה אחת או שתיים של כוונון מפוקח אמורות להספיק, אבל זה יכול להשתנות בהתאם לגודל של קבוצת הנתונים ולמידת ההתאמה של קבוצת הנתונים לאימון למודל Gemini בהתחלה.

כדי להשתמש בכוונון מפוקח (SFT) לכוונון מודל Gemini, פועלים לפי השלבים שמפורטים במאמר כוונון מודלים של Gemini באמצעות כוונון מפוקח (SFT).

מכסה

המכסה נאכפת על מספר משימות הכוונון שמתבצעות בו-זמנית. כל פרויקט כולל מכסה שמוגדרת כברירת מחדל להרצה של משימת כוונון אחת לפחות. זו מכסה גלובלית שמשותפת לכל האזורים הזמינים ולכל המודלים הנתמכים. אם אתם רוצים להריץ יותר משימות בו-זמנית, אתם צריכים לבקש מכסה נוספת ל-Global concurrent tuning jobs.

תמחור

התמחור של התאמת העדפות ב-Gemini מפורט כאן: התמחור של Gemini Enterprise Agent Platform.

למטרות תמחור, מספר הטוקנים לכל דוגמה לכוונון מחושב על ידי הכפלת מספר הטוקנים בהנחיה ב-2, ואז הוספת מספר הטוקנים להשלמה.

המאמרים הבאים