כוונון מתמשך לכוונון עדין של למידת חיזוק

התאמה רציפה מאפשרת לכם להמשיך להתאים מודל שכבר עבר התאמה או נקודת ביקורת של מודל, על ידי הוספה של עוד תקופות או דוגמאות לאימון. שימוש במודל או בנקודת ביקורת שכבר עברו התאמה כמודל הבסיס מאפשר לבצע ניסויים בהתאמה בצורה יעילה יותר.

אפשר להשתמש בכוונון מתמשך למטרות הבאות:

  • כדי לשפר את המודל עם יותר נתונים אם מודל קיים שעבר שיפור לא מתאים מספיק לנתונים.
  • כדי לשפר את הביצועים או לעדכן את המודל בנתונים חדשים.
  • כדי להתאים אישית עוד יותר מודל קיים שעבר כוונון.

תבניות נתמכות של כוונון מתמשך

אלה התבניות של כוונון מתמשך שנתמכות:

  • כוונון עדין מפוקח → כוונון עדין של למידת חיזוק
  • כוונון עדין של למידת חיזוק → כוונון עדין של למידת חיזוק

הגדרת כוונון רציף

אפשר להגדיר משימת התאמה מתמשכת במסוף Google Cloud או באמצעות API בארכיטקטורת REST.

המסוף

כדי להגדיר משימת כוונון רציף במסוף Google Cloud :

  1. במסוף Google Cloud , נכנסים לדף Models > Tuning.

    עוברים אל Tuning

  2. לוחצים על יצירת מודל שעבר התאמה.
  3. בקטע שיטת התאמה, בוחרים באפשרות Reinforcement learning fine tuning (התאמה באמצעות למידת חיזוק).
  4. בקטע מודל בסיסי, בוחרים באפשרות שיפור של מודל שכבר עבר אופטימיזציה.
  5. לוחצים על בחירת מודל, בוחרים את המודל שכבר בוצע בו כוונון, ובוחרים גרסה או נקודת ביקורת כדי להמשיך את הכוונון.
  6. ממשיכים לשלבים הבאים כדי להגדיר את פונקציות התגמול, את מערך הנתונים לאימון ואת ההיפר-פרמטרים. מידע נוסף זמין במאמר Google Cloud מדריך למתחילים לשימוש במסוף.

REST

כדי להגדיר באופן פרוגרמטי משימת כוונון רציף, צריך לכלול בלוק preTunedModel בגוף הבקשה שמפנה למודל שעבר כוונון קודם (ואפשר גם לציין נקודת ביקורת ספציפית). החלקים הבאים של הבקשה פועלים לפי אותה סכימה כמו משימת כוונון עדין חדשה של למידת חיזוק.

{
  "description": "DESCRIPTION",
  "tunedModelDisplayName": "TUNED_MODEL_DISPLAY_NAME",
  "reinforcementTuningSpec": {
    "trainingDatasetUri": "TRAINING_DATASET",
    "validationDatasetUri": "VALIDATION_DATASET",
    "hyperParameters": HYPERPARAMETERS,
    "singleRewardConfig": REWARD_CONFIG
  },
  "preTunedModel": {
    "tunedModelName": "projects/PROJECT_ID/locations/LOCATION_ID/models/PRETUNED_MODEL_ID",
    "checkpointId": "CHECKPOINT_ID"
  }
}

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DESCRIPTION: תיאור של משימת ההתאמה. זה שינוי אופציונלי.
  • ‫TUNED_MODEL_DISPLAY_NAME: השם המוצג של המודל שעבר התאמה.
  • ‫TRAINING_DATASET: ה-URI של Cloud Storage של קובץ ה-JSONL של מערך הנתונים לאימון.
  • ‫VALIDATION_DATASET: ה-URI של Cloud Storage של קובץ ה-JSONL של מערך נתוני האימות. זה שינוי אופציונלי.
  • ‫HYPERPARAMETERS: הגדרת היפר-פרמטרים למשימת הכוונון הרציף. פרטים נוספים מופיעים בדף היפרפרמטרים.
  • ‫REWARD_CONFIG: הגדרת פרסים. לפרטים נוספים, אפשר לעיין בדף פונקציות של פרסים.
  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫LOCATION_ID: מזהה המיקום.
  • ‫PRETUNED_MODEL_ID: מזהה המודל של המודל שהותאם בעבר, שממנו רוצים להמשיך.
  • ‫CHECKPOINT_ID: המזהה של נקודת ביקורת ספציפית של המודל שעבר כוונון קודם. אופציונלי – אם לא מציינים ערך, נעשה שימוש בנקודת השמירה האחרונה של המודל שעבר התאמה מראש.

המאמרים הבאים