מערך נתונים לכוונון עדין של למידת חיזוק

משימת כוונון עדין של למידת חיזוק מבוססת על מערך נתוני אימון ועל מערך נתוני אימות אופציונלי. כל מערך נתונים הוא קובץ JSON שמאוחסן ב-Cloud Storage, וכל שורה בו היא דוגמה אחת של כוונון.

בדף הזה מוסבר על סכימת מערך הנתונים, על השימוש בשדה references לחישוב התגמול ועל המגבלות על מערך הנתונים לכל אופן פעולה שנאכפות על ידי השירות.

סכימה של מערך נתונים

כל שורה בקובץ הנתונים של JSONL פועלת לפי הסכימה הזו:

{
  "systemInstruction": {
    "role": string,
    "parts": [
      {
        "text": string
      }
    ]
  },
  "contents": [
    {
      "role": string,
      "parts": [
        {
          // Union field data: text or fileData.
          "text": string,
          "fileData": {
            "mimeType": string,
            "fileUri": string
          }
        }
      ]
    }
  ],
  "references": {
    string: string,
    ...
  }
}

השדות contents ו-systemInstruction משתמשים באותה סכמה כמו Gemini Enterprise Agent Platform generateContent API. systemInstruction מקבל רק טקסט. contents יכול לכלול טקסט או נתונים של קבצים (תמונה, אודיו או וידאו), בכפוף למגבלות של מערך הנתונים.

השדה references

השדה references ספציפי לכוונון עדין של למידת חיזוק. הוא מאחסן את כל המטא-נתונים שפונקציית התגמול צריכה כדי לתת ציון לתגובה של המודל. היא מקבלת מילון של מחרוזות.

לדוגמה, תגמול על התאמת מחרוזות שמשווה את התשובה של המודל לאמת בסיסית ידועה יכול להשתמש בשורה של מערך נתונים כמו הבאה:

{
  "systemInstruction": {
    "role": "system",
    "parts": [{ "text": "You are a helpful math tutor." }]
  },
  "contents": [
    {
      "role": "user",
      "parts": [{ "text": "What is 17 * 23? Put your final answer in $\\text{your answer}$." }]
    }
  ],
  "references": {
    "ground_truth_answer": "391"
  }
}

פונקציית התגמול שלכם עשויה לקרוא references["ground_truth_answer"] ולהשוות אותו לערך שהמודל מייצר. פרטים על אופן השימוש בכל סוג תגמול ב-references זמינים בדף פונקציות תגמול.

מגבלות על מערכי נתונים

המגבלות הבאות חלות על מערכי נתונים לשיפור באמצעות למידה חיזוקית:

מפרט ערך
מספר הדוגמאות המקסימלי במערך נתוני אימון 5,000
מספר הדוגמאות המקסימלי במערך נתונים של אימות 500
גודל קובץ מקסימלי של מערך נתונים ‎1GB
מספר מקסימלי של טוקנים בקלט לכל דוגמה 32,768
מספר מקסימלי של טוקנים בפלט לכל דוגמה (כולל טוקנים של חשיבה) 32,768

מגבלות של מודלים רב-אופניים

המגבלות הבאות חלות על כל מודאליות בנפרד, אם מערך הנתונים כולל נתוני תמונה, אודיו או וידאו:

אודיו

מפרט ערך
המספר המקסימלי של קובצי אודיו לכל הנחיה 15
האורך הכולל המקסימלי של האודיו לכל דוגמה (בכל הקבצים) 10 דקות
גודל קובץ האודיו המקסימלי ‫100MB

וידאו

מפרט ערך
המספר המקסימלי של קובצי וידאו לכל הנחיה 10
האורך הכולל המקסימלי של הסרטון לכל דוגמה (בכל הקבצים) ‫5 דקות
גודל קובץ וידאו מקסימלי 20 MB

תמונה

מפרט ערך
מספר התמונות המקסימלי לכל הנחיה 15
גודל קובץ תמונה מקסימלי 20 MB

המאמרים הבאים