במאמר הזה מוסבר איך מגדירים מערך נתונים לשיפור ההעדפות של מודל Gemini.
מידע על מערכי נתונים לשיפור ההעדפות
מערך הנתונים של כוונון ההעדפות נוצר כדי לתעד העדפות של בני אדם באמצעות אותות כמו לייק או דיסלייק, השוואה בין זוגות ומשוב עם ניקוד.
הכנת נתונים מותאמים אישית לשינוי ההעדפות
בדוגמה הזו:
example מורכב מקלט ומזוג שדות completions.
הקלט כולל contents וsystem_instruction אופציונלי. סכום הערכים של מספר האסימונים המקסימלי של הקלט ומספר האסימונים המקסימלי של ההשלמה צריך להיות <= 128K.
השדה contents הוא באותו פורמט שמשמש לכוונון מפוקח (SFT). הוא תומך בנתוני טקסט משיחות מרובות, שצריכות להסתיים בתור של המשתמש. הוא לא תומך בנתונים מרובי-אופנים.
השדה completions מורכב מזוג השלמות והציונים שלהן. לזוג צריך להיות השלמה מועדפת אחת והשלמה לא מועדפת אחת.
completion היא תור יחיד של המודל שמציין את התגובה של המודל. השדה score מציין אם ההשלמה מועדפת או לא. הערך האפשרי היחיד הוא אפס או אחד. אפס מייצג את ההשלמה הלא מועדפת, ואחד מייצג את ההשלמה המועדפת.
אנחנו מאמנים רק על completions תור לכל example.
דוגמה למערך נתונים ל-Gemini
{
"system_instruction": {
"parts": [
{
"text": "You are a chat bot."
}
]
},
"contents": [
{
"role": "user",
"parts": [
{
"text": "What is my favorite fruit?"
}
]
}
],
"completions": [
{
"score": 1,
"completion": {
"role": "model",
"parts": [
{
"text": "Apple! Apple! Apple!"
}
]
}
},
{
"score": 0,
"completion": {
"role": "model",
"parts": [
{
"text": "Your favorite fruit is apple."
}
]
}
}
]
}