כוונון מתמשך לכוונון עדין של למידת חיזוק

כוונון רציף מאפשר לכם להמשיך לכוונן מודל שכבר כוונן או נקודת בקרה של מודל, על ידי הוספת עוד תקופות או דוגמאות לאימון. שימוש במודל או בנקודת ביקורת שכבר עברו כוונון בתור מודל הבסיס מאפשר ניסויים יעילים יותר בכוונון.

אתם יכולים להשתמש בכוונון רציף למטרות הבאות:

  • כדי לבצע כוונון עם יותר נתונים אם המודל המכוונן הקיים לא מתאים.
  • כדי לשפר את הביצועים או לעדכן את המודל עם נתונים חדשים.
  • כדי להתאים אישית מודל קיים שעבר כוונון.

תבניות נתמכות של כוונון רציף

אלה דפוסי הכוונון הרציף שנתמכים:

  • כוונון מפוקח (SFT) ← כוונון באמצעות למידה מתגמלת (RL)
  • כוונון עדין באמצעות למידה מתגמלת ← כוונון עדין באמצעות למידה מתגמלת

הגדרת כוונון רציף

אפשר להגדיר משימת כוונון רציפה במסוף Google Cloud או באמצעות ה-API בארכיטקטורת REST.

המסוף

כדי להגדיר משימת כוונון רציפה במסוף Google Cloud :

  1. במסוף Google Cloud , נכנסים לדף Models > Tuning.

    עוברים אל Tuning.

  2. לוחצים על Create tuned model.
  3. בקטע Tuning method, בוחרים באפשרות Reinforcement learning fine tuning.
  4. בקטע Base model, בוחרים באפשרות Tune a pre-tuned model.
  5. לוחצים על Select model, בוחרים את המודל שעבר כוונון ובוחרים גרסה או נקודת ביקורת שממנה רוצים להמשיך את הכוונון.
  6. ממשיכים בשלבים הבאים כדי להגדיר את פונקציות התגמול, את מערך הנתונים לאימון ואת הפרמטרים של היפר. מידע נוסף זמין במדריך למתחילים של מסוףGoogle Cloud .

REST

כדי להגדיר משימת כוונון רציף באופן פרוגרמטי, צריך לכלול בגוף הבקשה בלוק preTunedModel שמפנה למודל שעבר כוונון קודם (ואם רוצים, גם לנקודת ביקורת ספציפית). שאר הבקשה פועלת לפי אותה סכימה כמו משימת כוונון חדשה של למידת חיזוק.

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DESCRIPTION: תיאור של משימת הכוונון. זה שינוי אופציונלי.
  • ‫TUNED_MODEL_DISPLAY_NAME: השם המוצג של המודל המכוונן.
  • ‫TRAINING_DATASET: ה-URI ב-Cloud Storage של קובץ ה-JSONL של מערך הנתונים לאימון.
  • ‫VALIDATION_DATASET: ה-URI ב-Cloud Storage של קובץ ה-JSONL של מערך הנתונים לאימות. זה שינוי אופציונלי.
  • ‫HYPERPARAMETERS: הגדרת היפר-פרמטרים למשימת הכוונון הרציף. לפרטים נוספים, ראו את הדף היפר-פרמטרים.
  • ‫REWARD_CONFIG: הגדרת הפרס. לפרטים נוספים, קראו את הדף פונקציות תגמול.
  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫LOCATION_ID: מזהה המיקום.
  • ‫PRETUNED_MODEL_ID: מזהה המודל של המודל שעבר כוונון קודם, שממנו רוצים להמשיך.
  • ‫CHECKPOINT_ID: המזהה של נקודת בקרה ספציפית במודל שעבר כוונון. אופציונלי. אם לא מציינים את הפרמטר, המערכת משתמשת בנקודת השמירה האחרונה של המודל שעבר כוונון מראש.

המאמרים הבאים